Tìm kiếm ngữ nghĩa không phải một dòng collection.query(). Nó là một chuỗi quyết định: cắt tài liệu thế nào, nhúng bằng model nào, đặt id ra sao, fuse dense với lexical, có rerank hay không, và cập nhật index khi tài liệu đổi. Sai ở bất kỳ mắt nào thì phần còn lại chỉ làm bạn tốn thêm tiền.
Bài này mô tả pipeline đầy đủ, các tham số thật của ANN, cách đo recall@k thay vì cảm nhận, và những lỗi khiến hệ thống “chạy đúng nhưng trả lời ngu”.
Mục lục
Cập nhật 2026
sentence-transformers6.2.0 vàchromadb1.5.9 là bộ tối thiểu để dựng pipeline trong bài này. Chroma không có BM25, nên phần lexical phải làm ở nơi khác hoặc dùng engine khác.- Contextual retrieval của Anthropic (2024-09-19) vẫn là cải thiện rẻ nhất: giảm 35% lỗi top-20, 49% khi thêm contextual BM25, 67% khi có rerank.
- Hybrid + rerank trên pgvector, Qdrant, Weaviate hoặc Elasticsearch là cấu hình đã chứng minh trong production, không còn là thử nghiệm.
- Công cụ eval: Ragas 0.4.3, DeepEval 4.3.3, promptfoo 0.125.1. Ragas phát hành chậm, hãy pin phiên bản.
Pipeline bằng hình
nguồn → parse → chunk → (contextualize) → embed → upsert → index
│
query → embed query ─────────────┬─────────────→ ANN top-50 ──┤
│ │
lexical/BM25 top-50 ────────────┴→ RRF fuse → rerank top-10 → prompt
Hai nhánh retrieval chạy song song, fuse rồi rerank. Nếu bạn chỉ có dense, bỏ nhánh lexical nhưng biết rằng mình đang mất recall ở tên riêng, mã sản phẩm và số hiệu văn bản.
Bước 1: chunking — quyết định lớn nhất, ít được đo nhất
Baseline là recursive/fixed-size với overlap. Kích thước và overlap phải được tune trên retrieval eval, không theo mặc định của framework. Vài nguyên tắc thực dụng:
- Bám cấu trúc tài liệu. Cắt theo heading, section, bảng, code block trước khi cắt theo ký tự. Một chunk nửa câu ở đầu và nửa câu ở cuối là vector vô nghĩa.
- Đơn vị ngữ nghĩa, không phải đơn vị token. 500 token có thể là một mục hoàn chỉnh hoặc ba mục bị cắt ngang. Đo bằng query thật.
- Giữ tiêu đề trong chunk. Một chunk “hoàn tiền trong 30 ngày” không cho biết hoàn tiền cho sản phẩm nào nếu tiêu đề bị bỏ lại phía trên.
- Semantic chunking có giá. Nó cắt tại chỗ embedding similarity tụt, nhưng phải chạy thêm một lượt embedding. Chỉ đáng khi baseline rõ ràng kém.
- Late chunking (Jina, 2024) embed cả tài liệu rồi pool theo chunk; chưa có nhiều báo cáo production ở quy mô lớn, nên coi là thử nghiệm.
Còn contextual retrieval: trước khi embed, thêm một đoạn ngắn do LLM viết, mô tả chunk này nằm ở đâu và nói về gì. Đây là chi phí một lần lúc index, không phải mỗi query. Với support/legal search, đây thường là thay đổi có tỉ lệ ăn/chịu tốt nhất trong toàn pipeline.
Bước 2: embed — đối xứng và chuẩn hóa
Ba lỗi phổ biến, cả ba đều không báo exception:
- Model khác nhau giữa index và query. Vector không cùng không gian. Luôn lưu tên model + revision trong metadata collection và kiểm tra lúc khởi động.
- Không chuẩn hóa khi dùng cosine. Cosine vẫn tính ra số, nhưng thứ hạng lệch. Bật
normalize_embeddings=Truevà khai báo đúng metric trong index. - Đối xứng sai với model instruction-aware. Qwen3-Embedding cần instruction cho query, không cho document. Nếu bạn encode cả hai giống nhau, chất lượng giảm âm thầm.
Một điểm nữa: đừng trộn model trong cùng một collection, kể cả khi chúng cùng số chiều. Cùng 1.024 chiều không có nghĩa cùng không gian.
Bước 3: upsert — id và metadata là hợp đồng
Id phải ổn định và idempotent. Công thức thực dụng:
chunk_id = sha256(f"{doc_id}:{doc_version}:{chunk_index}:{content_hash}")[:16]
Nhờ đó chạy lại pipeline không tạo bản trùng, sửa một đoạn chỉ thay một chunk, và xoá tài liệu cũ là xoá theo doc_id. Metadata tối thiểu nên có:
doc_id,doc_version,chunk_index— để xoá và truy vết.tenant_id— bắt buộc nếu multi-tenant; thiếu nó là lỗ hổng dữ liệu, không chỉ là lỗi retrieval.source,url,updated_at,lang— để hiển thị citation và lọc.embedding_model,embedding_revision— để biết khi nào phải re-index.
Upsert theo batch (ví dụ 100–500 chunk mỗi lần) và ghi theo thứ tự có thể retry. Nếu pipeline chạy lại sau lỗi giữa đường, idempotency là thứ cứu bạn, không phải may mắn.
ANN: HNSW, IVF và núm vặn recall/latency
HNSW xây đồ thị nhiều tầng; tìm kiếm đi từ tầng thưa xuống tầng dày. Nó cho recall cao với latency thấp, nhưng tốn RAM cho đồ thị và tốn thời gian build. Núm vặn chính là M (số cạnh mỗi node), ef_construction (độ rộng lúc build) và ef_search (độ rộng lúc query).
IVF gom vector thành các cụm và chỉ quét nprobe cụm gần query nhất. Nó rẻ bộ nhớ hơn, build nhanh hơn, nhưng recall phụ thuộc vào việc cluster có tách đúng hay không; dữ liệu mới thêm có thể lệch khỏi phân bố ban đầu.
Nguyên tắc đo:
- Recall@k = phần trăm query mà kết quả ANN chứa ít nhất một tài liệu đúng, so với exact search trên cùng tập. Đây là thước đo trực tiếp của việc “có tìm thấy hay không”.
- Latency p95, không phải trung bình. Trung bình che mất đuôi dài, và người dùng cảm nhận đuôi.
- Đo theo cặp tham số. Tăng
ef_search40 → 100 → 200 và ghi lại recall@10 cùng p95. Chốt ở điểm mà recall không tăng đáng kể khi thêm latency. - Đo sau khi bật filter. Filter làm giảm số ứng viên, kéo recall xuống. Một con số recall không filter không nói gì về production.
Lượng tử hoá (PQ, int8) giảm bộ nhớ nhưng thêm một tầng sai số. Nếu dùng, hãy rerank trên vector gốc cho top ứng viên, hoặc giữ một bản float32 cho tập nhỏ cần độ chính xác cao.
Filter: pre hay post
Filter hậu kiểm (lấy top-k rồi loại) làm mất kết quả khi tỉ lệ khớp thấp. Filter tiền kiểm thu hẹp tập ứng viên nhưng có thể phá cấu trúc HNSW nếu quá hẹp. Cách xử lý thực tế:
- Đánh index trên các field lọc nóng (tenant, lang, status, ngày).
- Tách collection theo tenant nếu số tenant ít và mỗi tenant lớn; đừng tách thành hàng nghìn collection nhỏ.
- Đo recall@k với filter thật, đặt ngưỡng chấp nhận, và có cảnh báo khi tỉ lệ ứng viên sau filter quá thấp.
Hybrid và RRF
Dense giỏi ngữ nghĩa; lexical giỏi khớp chính xác. RRF là cách fuse đơn giản và ổn định nhất vì không cần chuẩn hóa điểm số giữa hai hệ khác thang đo:
# File: rrf.py
def rrf(rank_lists, k=60):
"""rank_lists: list các list id, mỗi list đã xếp hạng từ 1."""
fused = {}
for ids in rank_lists:
for rank, doc_id in enumerate(ids, start=1):
fused[doc_id] = fused.get(doc_id, 0.0) + 1.0 / (k + rank)
return sorted(fused.items(), key=lambda kv: kv[1], reverse=True)
k = 60 là mặc định phổ biến (Elasticsearch dùng rank_constant 60). Qdrant dùng RRF với k mặc định 2 trong cấu hình prefetch của nó — cùng công thức, khác mặc định, nên đừng giả định hai hệ cho cùng thứ hạng. Trọng số giữa các nhánh có từ Qdrant 1.17; Weaviate đi theo hướng khác với alpha giữa BM25F và vector.
Nếu chọn RRF, hãy log cả hai danh sách trước khi fuse. Khi kết quả tệ, câu hỏi đầu tiên là “nhánh nào thiếu tài liệu đúng”, và log đó trả lời được ngay.
Rerank: tăng precision, không tăng recall
Lấy 20–100 ứng viên từ fusion, rồi chấm lại bằng cross-encoder. Cohere rerank-v5.0-pro (khoảng 2B tham số) và -fast (khoảng 500M) nhận 32K token query+document, trả điểm 0–1 đã calibrate. Voyage có rerank-3/-lite cùng 32K. Tự host có bge-reranker-v2-m3 và mixedbread mxbai-rerank, nhưng phiên bản hai model này chưa được xác nhận trong bộ fact.
Ràng buộc quan trọng: reranker không thể tạo ra tài liệu không có trong tập ứng viên. Nếu recall@50 là 70%, rerank chỉ sắp xếp lại 70% đó. Đo recall trước, rerank sau.
Độ mới và cập nhật tăng dần
Index là bản sao, không phải nguồn sự thật. Ba cơ chế cần có:
- Upsert theo sự kiện. Tài liệu đổi thì phát sự kiện, pipeline tính lại chunk và upsert. Không chạy full re-index mỗi đêm nếu chỉ vài chục tài liệu đổi.
- Xoá mềm rồi xoá cứng. Đánh dấu
deleted_atngay, xoá vector theo lô sau. Nếu không, kết quả cũ vẫn trả về trong cửa sổ vài giờ. - Re-index có kiểm soát khi đổi model hoặc chunking. Ghi vào collection mới, chạy eval, rồi alias swap. Không sửa tại chỗ collection đang phục vụ.
Độ trễ chấp nhận được là một quyết định sản phẩm, không phải kỹ thuật: 5 phút cho wiki nội bộ là ổn; 5 phút cho giá hoặc tồn kho là không.
Harness đánh giá tối thiểu
Bạn cần một tập vàng nhỏ nhưng thật: 100–300 query, mỗi query gắn 1–5 doc id đúng, lấy từ log hoặc do người hiểu miền viết. Không có tập này, mọi thay đổi chunking/model/rerank đều là đoán.
| Metric | Đo cái gì | Ngưỡng hành động |
|---|---|---|
| recall@10, recall@50 | Retrieval có lấy được tài liệu đúng không | Dưới 80% ở @50: sửa chunking hoặc thêm lexical trước khi rerank |
| MRR / nDCG@10 | Vị trí của kết quả đúng | Giảm sau khi đổi fuse: kiểm tra trọng số và k |
| p95 latency | Trải nghiệm thật | Vượt ngân sách: giảm ef_search, giảm candidate, hoặc cache |
| Zero-result rate | Tỉ lệ query không trả về gì | Tăng đột biến: filter quá chặt hoặc index thiếu tenant |
| Faithfulness | Câu trả lời có bám nguồn không | Đây là metric của generation, không phải retrieval |
Công cụ: DeepEval 4.3.3 cho test kiểu pytest, promptfoo 0.125.1 cho CI/red team, Ragas 0.4.3 cho metric RAG nhưng phải pin vì nhịp phát hành chậm. Nếu dùng LLM-as-judge, nhớ các thiên lệch đã biết: ưu tiên vị trí, ưu tiên câu dài, tự ưu tiên model cùng họ. Đổi thứ tự cặp, dùng rubric neo điểm, và hiệu chỉnh với nhãn người trên một mẫu nhỏ.
Lỗi hay gặp
- Chunk cắt giữa bảng hoặc giữa code block. Vector không còn nghĩa; query về một dòng trong bảng không bao giờ khớp.
- Không chuẩn hóa, không khớp metric. Index L2 nhưng query cosine là hai bài toán khác nhau.
- Index cũ sau khi đổi model. Không có lỗi, chỉ có kết quả tệ dần.
- Query và document encode khác chế độ. Đặc biệt với model cần instruction.
- Filter không index. Query 10 ms thành 2 giây khi dữ liệu lớn lên.
- Đo bằng cảm giác. “Có vẻ tốt hơn” không phải metric; recall@k mới là.
Ví dụ pipeline tối thiểu
# File: pipeline.py
# pip install sentence-transformers==6.2.0 chromadb==1.5.9
import hashlib
import chromadb
from sentence_transformers import SentenceTransformer
model = SentenceTransformer("BAAI/bge-m3") # 1024 chiều
client = chromadb.PersistentClient(path="./chroma")
col = client.get_or_create_collection(name="chunks")
def chunk_id(doc_id, version, index, text):
raw = f"{doc_id}:{version}:{index}:{text}".encode()
return hashlib.sha256(raw).hexdigest()[:16]
def index_document(doc_id, version, chunks, tenant):
ids = [chunk_id(doc_id, version, i, c) for i, c in enumerate(chunks)]
vectors = model.encode(chunks, normalize_embeddings=True, batch_size=32).tolist()
col.upsert(
ids=ids,
embeddings=vectors,
documents=chunks,
metadatas=[
{"doc_id": doc_id, "doc_version": version, "chunk_index": i,
"tenant_id": tenant, "embedding_model": "BAAI/bge-m3"}
for i in range(len(chunks))
],
)
# xoá chunk cũ của phiên bản trước
col.delete(where={"$and": [{"doc_id": doc_id}, {"doc_version": {"$ne": version}}]})
def search(query, tenant, k=50):
q = model.encode([query], normalize_embeddings=True)[0].tolist()
return col.query(
query_embeddings=[q],
n_results=k,
where={"tenant_id": tenant},
)
Đoạn code này là dense-only. Với hybrid, thêm một truy vấn lexical (Postgres tsvector, Elasticsearch BM25, hoặc Qdrant sparse) rồi fuse bằng RRF ở trên. Và nhớ: Chroma 1.5.9 không có BM25, đừng tìm cách bật nó trong Chroma.
Nhìn về 2027
Pipeline đang dịch từ “retrieve rồi generate” sang “retrieve có kiểm soát”: query rewriting, lọc theo quyền, kiểm tra đủ thông tin trước khi gọi model. Contextual retrieval cho thấy phần lớn cải thiện đến từ việc làm sạch dữ liệu lúc index, không phải từ một model lớn hơn. Đó cũng là hướng rẻ nhất để cải thiện trong năm tới.
Checklist
- Chốt kích thước chunk và overlap bằng recall@k trên tập query thật, không theo mặc định.
- Lưu model + revision trong metadata và kiểm tra lúc khởi động.
- Idempotent id, upsert theo batch, xoá theo
doc_idvà phiên bản. - Đo recall@10/@50 với filter thật, cùng p95 latency, trước và sau rerank.
- Log hai nhánh retrieval trước khi fuse để debug được.
- Có kế hoạch re-index version hoá và alias swap trước khi đổi model.
Nền tảng của bài này nằm ở cơ sở dữ liệu vector và các mô hình embeddings mã nguồn mở. Bước tiếp theo là ghép pipeline này vào pipeline RAG, và nếu dùng framework thì xem triển khai RAG với LangChain hoặc LlamaIndex.
