RAG không phải “nhét tài liệu vào prompt”. Nó là một pipeline có hai chặng riêng biệt — truy xuất và sinh — và phần lớn câu trả lời tệ mà bạn gặp không phải do model yếu, mà do chặng truy xuất đưa nhầm chunk.
Bài này đi qua pipeline đó theo đúng thứ tự bạn sẽ phải xây: chunk, embed, index, retrieve, rerank, rồi mới đến prompt và trích dẫn. Kèm theo là cách đo từng chặng, vì “cảm giác trả lời tốt hơn” không phải một metric.
Mục lục
Cập nhật 2026: những gì đã đổi
- Fine-tuning của OpenAI đã đóng với người dùng mới. Chỉ còn
gpt-4.1/-mini/-nano(SFT/DPO) vàgpt-4ocho vision, dành cho người dùng cũ trong vài tháng tới. Với kiến thức riêng và thay đổi, RAG không còn là lựa chọn “một trong hai” — nó là đường chính. - Contextual retrieval vẫn là tham chiếu chuẩn. Anthropic công bố ngày 19-09-2024: giảm 35% lỗi top-20, 49% khi thêm contextual BM25, 67% khi thêm rerank.
- Hạ tầng hybrid đã phổ cập. pgvector 0.8.7, Qdrant 1.20.0, Weaviate 1.40.4, Chroma 1.5.9, Milvus 3.0.5 — nhưng Qdrant, Weaviate và Elasticsearch có fusion native; pgvector và Chroma thì không, bạn phải tự ghép.
- Eval RAG có tool ổn định. Ragas 0.4.3 và DeepEval 4.3.3 đủ để chạy trong CI; không cần tự viết harness từ đầu.
Khi nào RAG là lựa chọn đúng
| Nhu cầu | Cách làm | Vì sao |
|---|---|---|
| Kiến thức riêng, thay đổi, cần trích dẫn | RAG | Cập nhật bằng re-index, không huấn luyện lại; trả về nguồn |
| Định dạng đầu ra, giọng điệu, taxonomy hẹp | Prompt + schema, rồi LoRA nếu cần | Hành vi ổn định, không phải dữ kiện |
| Fact mới, số liệu, tài liệu nội bộ | RAG | Fine-tune không đưa fact mới vào một cách đáng tin cậy |
| Giảm latency với model nhỏ, tác vụ hẹp | LoRA/QLoRA trên model mở | Chất lượng cố định ở chi phí thấp hơn |
| Corpus nhỏ, ổn định, dưới vài chục nghìn token | Long context + prompt cache | Ít hạ tầng hơn; nhưng cẩn thận ngưỡng phụ phí long-context |
Quy tắc: RAG giải quyết “model biết gì”, fine-tune giải quyết “model hành xử thế nào”. Trộn hai mục tiêu này là lý do phổ biến khiến người mới đưa tài liệu vào training set rồi thất vọng vì model vẫn bịa. Xem thêm bài fine-tuning so với prompt engineering để biết khi nào leo lên bậc đắt hơn.
Pipeline: năm bước, hai chặng
Tài liệu → parse → chunk → embed → index
│
Câu hỏi → embed query ──────────────┤
↓
dense top-N + lexical top-N
↓
fuse (RRF) → rerank
↓
prompt có số nguồn → LLM → câu trả lời + citation
Chặng offline (trái) chạy khi ingest, có thể chậm và đắt. Chặng online (phải) chạy mỗi request, phải nhanh và rẻ. Hai chặng có cách đo khác nhau: chặng offline đo coverage và chunk quality, chặng online đo recall@k, độ trễ và groundedness. Gộp chúng vào một con số “chất lượng RAG” là cách chắc chắn nhất để không biết mình hỏng ở đâu.
Chunk và contextual retrieval
Chunk 300–800 token theo cấu trúc tài liệu, overlap 10–20%, giữ heading và metadata. Đây là baseline; mọi thứ phức tạp hơn phải chứng minh được cải thiện trên eval. Chunk quá nhỏ làm mất ngữ cảnh, chunk quá lớn làm nhiễu vector và ăn ngân sách prompt.
Contextual retrieval thêm một bước rẻ mà hiệu quả: trước khi embed, prepend một câu mô tả chunk nằm ở đâu — tên tài liệu, mục, đối tượng liên quan. Bước này chỉ cần một lần gọi model rẻ cho mỗi chunk, và kết quả được lưu cùng chunk. Nó giúp cả dense retrieval lẫn BM25 vì cả hai đều thấy thêm từ khóa định vị. Con số 35/49/67 ở trên là từ nghiên cứu của Anthropic trên corpus của họ; hãy coi đó là bằng chứng về hướng đi, không phải cam kết cho dữ liệu của bạn.
Một biến thể khác đáng biết: parent-child. Chunk nhỏ (200–300 token) dùng để tìm, nhưng khi trả về prompt thì mở rộng ra chunk cha lớn hơn. Cách này giữ precision của chunk nhỏ mà không mất ngữ cảnh khi sinh. Nó cũng là cách xử lý bảng và code block — những thứ mà chunk nhỏ sẽ cắt nát.
Truy xuất: dense, lexical, rồi fuse
Dense retrieval giỏi đồng nghĩa và diễn đạt lại; lexical giỏi mã, tên riêng, số hiệu. Chạy cả hai rồi fuse bằng Reciprocal Rank Fusion:
# File: rrf.py
def rrf(rankings: list[list[str]], k: int = 60, limit: int = 20) -> list[str]:
"""rankings: mỗi list là doc_id đã xếp hạng, tốt nhất trước."""
scores: dict[str, float] = {}
for ranking in rankings:
for rank, doc_id in enumerate(ranking, start=1):
scores[doc_id] = scores.get(doc_id, 0.0) + 1.0 / (k + rank)
return sorted(scores, key=scores.get, reverse=True)[:limit]
RRF chỉ dùng thứ hạng, không dùng điểm gốc — đó là ưu điểm lớn nhất của nó, vì điểm cosine và điểm BM25 không cùng thang đo và không so sánh được. Hằng số k làm phẳng ảnh hưởng của các rank đầu; Elasticsearch dùng rank_constant 60, Qdrant đặt mặc định 2 trong cấu hình RRF của nó. Đừng bê nguyên một giá trị sang store khác mà không đo lại.
Lấy bao nhiêu ứng viên? 20–100 mỗi nguồn trước khi rerank là khoảng hợp lý. Lấy quá ít thì reranker không có gì để chọn; lấy quá nhiều thì chi phí rerank và độ trễ tăng mà precision không tăng tương ứng.
Một chi tiết dễ bỏ: embed query bằng đúng model và đúng phiên bản đã dùng để index. Nếu pipeline có nhiều môi trường, hãy kiểm tra điều này lúc khởi động — sai model không gây lỗi, chỉ làm recall giảm dần và rất khó truy nguyên nhân.
Rerank: sửa precision, không sửa recall
Reranker là cross-encoder: nó đọc cặp query–document cùng lúc và cho điểm liên quan, chính xác hơn cosine nhưng đắt hơn nhiều. Các lựa chọn đang dùng: Cohere rerank-v5.0-pro (~2B) và -fast (~500M), nhận tới 32K token cho query + document, điểm chuẩn hóa 0–1; Voyage rerank-3/-lite, cũng 32K; hoặc tự host bge-reranker-v2-m3.
Giới hạn cần nhớ: reranker không cứu được recall. Nếu chunk đúng không nằm trong 20–100 ứng viên, không có reranker nào bịa ra nó. Vì vậy thứ tự đo là recall@k trước, rerank sau. Rerank đáng bật khi bạn đã có nhiều ứng viên, chất lượng bị giới hạn bởi precision (RAG có trích dẫn, tra cứu pháp lý, support), và một lượt cross-encoder vẫn nằm trong ngân sách độ trễ.
Prompt và trích dẫn
Prompt RAG tốt có bốn đặc điểm: nguồn được đánh số, chỉ dẫn rõ “chỉ trả lời từ nguồn”, yêu cầu gắn citation theo số, và một đường thoát khi thiếu thông tin. Đường thoát quan trọng ngang phần còn lại: nếu model không được phép nói “tài liệu không đề cập”, nó sẽ bịa để lấp khoảng trống.
Bạn trả lời chỉ dựa trên các nguồn dưới đây.
Mỗi khẳng định phải kèm [số nguồn]. Nếu nguồn không đủ, nói rõ phần nào thiếu.
[1] (doc_id, section, updated_at)
...
[2] ...
Câu hỏi: ...
Đặt metadata cạnh từng nguồn, không chỉ ở cuối prompt. Khi có xung đột giữa hai tài liệu, model cần thấy ngày cập nhật để chọn bản mới hơn; nếu không, nó sẽ chọn theo thứ tự xuất hiện. Citation nên được kiểm tra tự động: mọi số trong câu trả lời phải tồn tại trong danh sách nguồn, và nếu có thể, đối chiếu chuỗi trích dẫn với nội dung chunk.
Đo lường: tách retrieval khỏi generation
Bộ eval tối thiểu gồm 50–200 câu hỏi thật, mỗi câu có chunk đúng đã gán nhãn. Chạy hai loại đo riêng:
- Retrieval: recall@k (chunk đúng có trong top-k không), precision@k, MRR nếu bạn cần biết chunk đúng xếp thứ mấy. Đây là nơi bạn chỉnh chunk size, model embedding, hybrid, rerank.
- Generation: groundedness/faithfulness (mọi khẳng định có nguồn trong context không), answer relevance, và tỷ lệ câu trả lời đúng bị từ chối oan. Ragas 0.4.3 và DeepEval 4.3.3 có sẵn các metric này.
Dùng LLM-as-judge được, nhưng phải biết nó lệch ở đâu: ưu tiên câu trả lời dài, ưu tiên model cùng họ, và điểm không được calibrate. Cách giảm lệch: rubric neo rõ, đổi thứ tự cặp khi so sánh, dùng judge khác họ model sinh, và hiệu chỉnh trên một mẫu người chấm. Đừng dùng judge một mình để chặn các quyết định an toàn.
Một phép đo hay bị bỏ: ablation. Tắt rerank, tắt lexical, đổi chunk size — mỗi lần một biến, chạy lại cùng bộ eval. Nếu một thành phần không cải thiện recall@k hoặc groundedness, nó chỉ đang thêm độ trễ và tiền. Đo cả p50/p95 của chặng retrieve + rerank; nếu vượt ngân sách, giảm số ứng viên trước khi hạ chất lượng model.
Lỗi phổ biến
- Đánh giá bằng vài câu hỏi tự nghĩ. Bạn sẽ chỉnh pipeline cho đúng 5 câu đó. Cần bộ eval có nhãn và chạy lại mỗi lần đổi tham số.
- Không có lexical. Mã lỗi và SKU biến mất khỏi kết quả; người dùng báo “chatbot không biết sản phẩm của công ty”.
- Nhồi 20 chunk vào prompt. Model bị pha loãng, chi phí tăng, và tỷ lệ trích dẫn sai tăng. 3–8 chunk sau rerank thường đủ.
- Bỏ qua filter metadata. Trộn tài liệu của nhiều tenant hoặc nhiều phiên bản sản phẩm là lỗi bảo mật, không chỉ lỗi chất lượng.
- Index cũ. Tài liệu đã sửa nhưng chunk chưa re-index; model trả lời theo bản cũ và trích dẫn nó. Cần pipeline ingest có xóa/ghi đè theo
doc_id. - Tin nội dung truy xuất. Tài liệu có thể chứa chỉ dẫn tấn công. Coi mọi chunk là dữ liệu không tin cậy, không phải instruction — OWASP xếp đây là prompt injection gián tiếp (LLM01) và rủi ro vector/embedding (LLM08).
Checklist
- Có bộ eval 50–200 câu hỏi thật kèm chunk đúng trước khi viết pipeline.
- Chunk theo cấu trúc, 300–800 token, có metadata và heading.
- Bật hybrid và RRF nếu corpus có mã, tên riêng hoặc song ngữ.
- Đo recall@k trước, rồi mới bật rerank và đo lại precision.
- Prompt có số nguồn, metadata và đường thoát “không đủ thông tin”.
- Kiểm tra citation tự động; log chunk nào được dùng cho mỗi câu trả lời.
Hướng 2027: agentic RAG — model tự quyết định khi nào retrieve, tự viết lại query — sẽ phổ biến hơn, nhưng chỉ nên bật sau eval gate vì nó thêm vòng lặp, token và khả năng lạc đường. GraphRAG phù hợp với câu hỏi tổng hợp toàn corpus, không phù hợp tra cứu một đoạn.
Bài liên quan
- Embeddings và tìm kiếm vector — nền tảng của chặng truy xuất.
- Bộ nhớ của agent: ngắn hạn và dài hạn — RAG cho tri thức, bộ nhớ cho trải nghiệm.
- Đánh giá agent với LangSmith, Ragas và DeepEval — biến các metric trên thành CI.
