AI Engineer Roadmap: Giới Thiệu về Cơ Sở Dữ Liệu Vector

Vector database không phải một “Postgres có thêm cột vector”. Nó là một hệ thống có hợp đồng riêng: index ANN, lọc metadata, fusion giữa dense và lexical, chiến lược cập nhật, và chi phí RAM tỉ lệ với số vector. Chọn sai ở đây thì pipeline RAG của bạn vẫn chạy, chỉ là chậm, đắt và trả kết quả thiếu.

Dưới đây là bức tranh đã kiểm chứng tháng 11/2026, cộng với cách ra quyết định theo quy mô, ngân sách và mức độ tự vận hành mà team bạn thực sự có.

Cập nhật 2026

  • pgvector 0.8.7 (Python 0.5.1) vẫn là lựa chọn mặc định nếu bạn đã có Postgres, nhưng không có fusion native: hybrid phải ghép ở application bằng RRF với tsvector.
  • Qdrant 1.20.0, Weaviate 1.40.4, Elasticsearch 9.5.x đều đã có hybrid và RRF ở tầng server, không còn là tính năng thử nghiệm.
  • Pinecone (SDK Python 10.3.0) vẫn hosted-only: dense+sparse và full-text filter, nhưng RRF phải làm phía client.
  • Chroma 1.5.9 không có BM25. “Full-text search” của nó là lọc substring/regex phân biệt hoa thường — đúng cho debug, sai cho xếp hạng lexical.

Vì sao không dùng thẳng cơ sở dữ liệu quan hệ

Bạn hoàn toàn có thể lưu vector trong Postgres dưới dạng float[] hoặc bytea và tự tính cosine. Vấn đề là chi phí. Một truy vấn top-10 trên 10 triệu vector yêu cầu so sánh 10 triệu lần nếu quét tuyến tính; mỗi lần là 1.024 phép nhân cộng. Không có B-tree nào giúp được việc này vì thứ tự cần tìm là thứ tự theo khoảng cách trong không gian nhiều chiều, không phải theo giá trị một cột.

Index ANN đổi một chút recall lấy tốc độ lớn. HNSW xây một đồ thị nhiều tầng, đi từ tầng thưa đến tầng dày để tìm lân cận gần đúng. IVF gom vector thành các cụm và chỉ quét vài cụm gần query nhất. Product Quantization nén vector để giảm bộ nhớ và chi phí tính khoảng cách. Hệ thống thật thường ghép nhiều kỹ thuật: IVF + PQ, HNSW + PQ, hoặc HNSW thuần khi RAM còn dư.

Điều bạn mua từ một vector database không phải riêng ANN. Bạn mua bốn thứ đi kèm:

  • Metadata và lọc. Query thật hiếm khi là “tìm 10 vector gần nhất”; nó là “tìm 10 vector gần nhất trong tài liệu của tenant này, đã publish, ngôn ngữ tiếng Việt”.
  • Hybrid. Dense giỏi ngữ nghĩa, lexical giỏi tên riêng và mã. Hệ tử tế cần cả hai, rồi fuse.
  • Cập nhật. Upsert, delete, re-index theo lô mà không khoá toàn bộ collection.
  • Vận hành. Backup, replica, quan sát, nâng cấp index. Đây là phần chiếm nhiều thời gian nhất và ít được nói đến nhất.

Bảng đã kiểm chứng

Store Phiên bản / hosting Hybrid và lưu ý
pgvector extension 0.8.7, Py 0.5.1; Postgres extension Không fusion native; RRF tự viết với tsvector/BM25
Qdrant 1.20.0; self-host hoặc cloud Prefetch lồng nhau + RRF/DBSF; dense+sparse+BM25; RRF k mặc định 2; có weight từ 1.17
Weaviate 1.40.4; self-host hoặc cloud Một query chạy BM25F + vector, tham số alpha; RRF mặc định từ 1.24; Boost 1.38, MMR 1.38.6
Pinecone SDK Python 10.3.0; hosted only Dense+sparse, full-text filter; RRF phía client; Documents API dùng một field cho cả search và embed
Chroma 1.5.9; embedded hoặc server Chỉ substring/regex, không có BM25
Milvus 3.0.5; self-host hoặc Zilliz Hybrid multi-vector; chi tiết BM25 chưa xác nhận
LanceDB 0.41.0; embedded hoặc cloud FTS + vector; API reranker chưa xác nhận
Redis SDK Python 8.1.0; self-host hoặc cloud Vector + lexical; chi tiết fusion chưa xác nhận
Elasticsearch 9.5.x; self-host hoặc cloud RRF GA; BM25 + kNN/ELSER; RRF cần hai child retriever, rank_constant 60

FAISS không có trong bảng vì nó không phải database mà là thư viện index: nhanh, hỗ trợ CPU/GPU, nhưng bạn tự lo persistence, metadata, lọc, cập nhật và phân tán. Dùng cho nghiên cứu hoặc index tĩnh nhúng trong service thì hợp lý; gọi nó là “vector database” trong tài liệu kiến trúc là sai.

Đọc từng lựa chọn theo công việc thật

pgvector: đúng khi bạn đã có Postgres

Ưu điểm lớn nhất không phải hiệu năng mà là một nguồn dữ liệu duy nhất. Vector nằm cạnh bảng tài liệu, phân quyền, transaction và backup hiện có. Với vài trăm nghìn đến vài triệu chunk, HNSW trên Postgres thường đủ nhanh.

Giới hạn ở hai chỗ: hybrid phải tự fuse dense với tsvector trong ứng dụng; và index HNSW nằm trong RAM, nên dữ liệu lớn lên là phải scale máy. Đừng chọn pgvector cho 50 triệu vector rồi ngạc nhiên vì RAM.

Qdrant: lọc mạnh, hybrid native

Qdrant 1.20.0 cho phép prefetch lồng nhau: chạy một truy vấn dense, một truy vấn sparse, rồi fuse bằng RRF hoặc DBSF trong cùng request. RRF mặc định k = 2, DBSF chuẩn hóa theo mean/σ, và trọng số giữa các nhánh có từ 1.17. Payload index cho phép lọc theo tenant, ngôn ngữ, ngày publish mà không phải quét toàn bộ.

Đây là lựa chọn cân bằng nhất cho team tự vận hành: một binary, cấu hình rõ, có cloud khi cần. Cái giá là bạn phải hiểu filterable HNSW: lọc quá chặt làm giảm recall vì đồ thị bị cắt cụt.

Weaviate: schema chặt, hybrid một query

Weaviate 1.40.4 tổ chức dữ liệu theo class và property. Một query hybrid chạy cả BM25F lẫn vector, alpha=1 là thuần vector, alpha=0 là thuần keyword. Từ 1.24, RRF là mặc định thay vì phải tự cấu hình fusion. Boost 1.38 và MMR 1.38.6 xử lý các nhu cầu tinh chỉnh xếp hạng.

Đổi lại là cú pháp GraphQL và schema phải nghĩ trước; prototype đổi schema mỗi tuần sẽ thấy ma sát.

Pinecone: thuê vận hành, trả bằng tiền

Pinecone là hosted-only. Bạn không chạy nó on-premise, không nhúng nó vào binary. Đổi lại: không phải lo shard, replica, nâng cấp; SDK Python 10.3.0 ổn định; dense+sparse và full-text filter có sẵn. RRF vẫn phải làm phía client vì server trả về từng nhánh riêng.

Trước khi chọn, trả lời hai câu: dữ liệu có được rời hạ tầng của bạn không, và chi phí ở quy mô dự kiến có nằm trong ngân sách không. Nếu cả hai đều ổn, Pinecone mua cho bạn thời gian kỹ thuật.

Chroma: đúng cho prototype, sai cho lexical

Chroma 1.5.9 chạy embedded trong process hoặc như server. API Python ngắn, phù hợp notebook và demo, và đó là lý do nó phổ biến. Nhưng đừng giao cho nó việc xếp hạng từ khoá: “full-text search” ở đây là lọc substring/regex phân biệt hoa thường, không có BM25, không có IDF, không có xếp hạng theo tần suất.

Nếu cần hybrid với Chroma, bạn phải tự mang theo một index lexical khác và fuse ở application. Lúc đó câu hỏi đặt ra là tại sao không dùng luôn Qdrant hoặc Postgres.

Milvus, LanceDB, Redis, Elasticsearch

Milvus 3.0.5 dành cho quy mô lớn và triển khai phân tán, có Zilliz làm bản managed. Chi tiết cú pháp BM25 trong hybrid chưa được xác nhận đầy đủ, nên hãy kiểm tra trên phiên bản bạn chạy trước khi cam kết thiết kế.

LanceDB 0.41.0 là embedded columnar store, hợp với pipeline offline và dữ liệu trên object storage; có FTS + vector nhưng API reranker chưa xác nhận. Redis (SDK Python 8.1.0) hợp lý khi bạn đã dùng Redis cho cache và cần vector + lexical cạnh đó; chi tiết fusion chưa được kiểm chứng, nên coi là “có thể” chứ không phải “có sẵn”.

Elasticsearch 9.5.x là lựa chọn mạnh nhất nếu tổ chức đã có ES: BM25 trưởng thành, kNN, ELSER, RRF đã GA. Ràng buộc cụ thể: RRF cần hai child retriever, rank_constant mặc định 60, và không hỗ trợ scroll/sort/rescore trong ngữ cảnh RRF.

Lọc metadata: nơi recall chết

Mọi engine đều nhận filter, nhưng cách chúng áp dụng khác nhau và ảnh hưởng trực tiếp tới chất lượng:

  • Post-filter — lấy top-k rồi mới loại. Nếu 90% dữ liệu thuộc tenant khác, bạn lấy 100 kết quả và còn 10. Cách sửa rẻ nhất là tăng k, cách sửa đúng là pre-filter.
  • Pre-filter — thu hẹp tập ứng viên trước khi tìm ANN. Chính xác hơn nhưng có thể phá cấu trúc đồ thị HNSW nếu filter quá hẹp, khiến recall tụt dù latency đẹp.
  • Payload index — Qdrant, Weaviate, Milvus cho phép đánh index trên field thường dùng để lọc. Không có index, filter trở thành quét tuần tự.

Quy tắc thực dụng: mọi filter bạn dùng trong production phải có test đo recall@k trên tập query thật. Filter theo tenant là bắt buộc vì lý do bảo mật, nhưng nó cũng là nguyên nhân phổ biến nhất của “hệ thống tự nhiên kém đi” sau khi thêm multi-tenancy.

Hosted hay self-hosted

Tiêu chí Hosted Self-hosted
Thời gian ra sản phẩm Nhanh, không cần học vận hành Chậm hơn, cần người biết index và backup
Dữ liệu và tuân thủ Phụ thuộc region và hợp đồng Kiểm soát hoàn toàn, on-premise được
Chi phí ở quy mô lớn Tăng theo storage, replica, request Tăng theo RAM/GPU và người vận hành
Ràng buộc kỹ thuật Theo API và giới hạn của nhà cung cấp Bạn tự chịu trách nhiệm về hiệu năng

Con số quyết định không phải giá niêm yết mà là RAM. HNSW giữ đồ thị trong bộ nhớ; 10 triệu vector 1.024 chiều float32 là khoảng 41 GB chỉ riêng vector, chưa kể đồ thị và metadata. Đó là lý do các bản managed báo giá theo pod có RAM cố định. Trước khi so sánh giá, hãy tính dung lượng thật của bạn.

Ví dụ: pgvector 0.8.7

-- File: schema.sql
CREATE EXTENSION IF NOT EXISTS vector;

CREATE TABLE chunks (
  id          text PRIMARY KEY,
  doc_id      text NOT NULL,
  tenant_id   text NOT NULL,
  lang        text NOT NULL,
  content     text NOT NULL,
  embedding   vector(1024) NOT NULL
);

-- cosine: vector_cosine_ops
CREATE INDEX chunks_hnsw ON chunks
  USING hnsw (embedding vector_cosine_ops);

-- lọc theo tenant vẫn nên có B-tree
CREATE INDEX chunks_tenant ON chunks (tenant_id);

SET hnsw.ef_search = 100;   -- cao hơn: recall tốt hơn, chậm hơn

SELECT id, content, 1 - (embedding <=> :q) AS cosine_sim
FROM chunks
WHERE tenant_id = :tenant AND lang = 'vi'
ORDER BY embedding <=> :q
LIMIT 10;

Hai điểm cần chú ý trong đoạn SQL này. ORDER BY ... <=> phải khớp với vector_cosine_ops; trộn cosine index với L2 distance sẽ khiến planner bỏ index hoặc xếp hạng sai. Và ef_search là núm vặn recall/latency: đặt 40 khi thử, 100–200 khi đo chất lượng, rồi chốt theo p95 latency của bạn.

Nếu cần hybrid trên pgvector, ghép hai truy vấn và fuse bằng RRF ở application:

# File: fuse.py
def rrf(dense_ids, lexical_ids, k=60):
    scores = {}
    for rank, doc_id in enumerate(dense_ids, start=1):
        scores[doc_id] = scores.get(doc_id, 0.0) + 1.0 / (k + rank)
    for rank, doc_id in enumerate(lexical_ids, start=1):
        scores[doc_id] = scores.get(doc_id, 0.0) + 1.0 / (k + rank)
    return sorted(scores.items(), key=lambda kv: kv[1], reverse=True)

Hằng số 60 là mặc định phổ biến (Elasticsearch dùng rank_constant 60), nhưng nó là tham số, không phải chân lý: đo trên tập eval của bạn thay vì tin vào con số được truyền miệng.

Những lỗi hay gặp

  • Dùng Chroma cho hybrid rồi tưởng là có BM25. Nó chỉ lọc substring; xếp hạng lexical sẽ tệ hơn cả một LIKE đơn giản.
  • Coi FAISS là database. Không có metadata, không có delete theo điều kiện, không có multi-tenant. Bạn sẽ tự viết lại một vector DB tệ hơn.
  • Không tính RAM cho HNSW. Vector 41 GB cộng đồ thị có thể thành 60–80 GB. Mua máy theo dung lượng vector là mua thiếu.
  • Đổi số chiều mà không đổi schema. vector(1024) không nhận vector 768; luôn version hoá cả model lẫn cột.
  • Filter không có index. Bỏ qua payload index là biến query 10 ms thành 2 giây.

Bảng quyết định

Tình huống của bạn Chọn Lý do
Đã có Postgres, dữ liệu dưới 10 triệu chunk, team nhỏ pgvector 0.8.7 Một nguồn dữ liệu, backup/phân quyền sẵn có
Cần hybrid native, self-host, lọc theo tenant Qdrant 1.20.0 Prefetch + RRF/DBSF trong một request
Đã có Elasticsearch Elasticsearch 9.5.x BM25 + kNN + RRF đã GA
Không muốn vận hành hạ tầng Pinecone 10.3.0 SDK Hosted, ổn định, trả tiền để mua thời gian
Prototype trong notebook Chroma 1.5.9 Embedded, API ngắn; chỉ dùng dense
Quy mô rất lớn, cần phân tán Milvus 3.0.5 / Zilliz Thiết kế cho shard và multi-vector

Nhìn về 2027

Ranh giới giữa “vector database” và “database có vector” đang mờ đi: Postgres, Elasticsearch và Redis đã đủ tốt cho phần lớn nhu cầu, còn engine chuyên dụng cạnh tranh bằng hybrid, lượng tử hoá và multi-tenancy. Hệ quả: chọn theo hạ tầng sẵn có thay vì benchmark.

Checklist trước khi chốt

  • Tính dung lượng: số vector × chiều × 4 byte, rồi cộng đồ thị index và metadata.
  • Đo recall@10 với filter thật (tenant, ngôn ngữ, trạng thái publish), không chỉ không filter.
  • Quyết định hybrid ngay từ đầu: engine nào fuse, fuse ở server hay client.
  • Viết kế hoạch re-index: version collection, dual-write, alias swap.

Để đi tiếp, đọc các mô hình embeddings mã nguồn mở nếu bạn chưa chốt model, và triển khai tìm kiếm ngữ nghĩa với index vector để thấy index được dùng trong pipeline. Khi pipeline đã chạy, bài xây dựng pipeline RAG là bước kế tiếp, còn RAG là gì và khi nào dùng thay vì fine-tuning giúp bạn quyết định có cần RAG hay không.