Phần lớn pipeline RAG thất bại không phải vì LLM yếu, mà vì chunk đúng không bao giờ được truy xuất. Đổi sang model đắt gấp mười lần hay viết prompt dài gấp đôi vẫn không cứu được câu trả lời nếu đoạn văn chứa đáp án không nằm trong top-k. Vì vậy hãy xây pipeline theo thứ tự ngược với cảm giác: bắt đầu từ eval của retrieval.
Bài này đi qua một pipeline end-to-end: chuẩn bị dữ liệu, phân đoạn, nhúng và upsert, metadata, hybrid retrieval, rerank, prompt có trích dẫn, re-index gia tăng, và cách đo từng chặng.
Mục lục
Cập nhật 2026
- Contextual retrieval (Anthropic, 2024-09-19) vẫn là cải thiện rẻ nhất trên bảng: giảm 35% lỗi top-20, 49% khi thêm contextual BM25, 67% khi thêm rerank. Con số này đo trên bộ dữ liệu của họ, không phải bảo đảm cho corpus của bạn.
- Hybrid + rerank là mặc định production, nhưng mỗi store làm fusion khác nhau: Qdrant có prefetch + RRF/DBSF, Weaviate trộn BM25F với vector qua
alpha, Elasticsearch 9.5.x có RRF vớirank_constant60, còn pgvector không có fusion sẵn. Chroma 1.5.9 chỉ có substring/regex, không có BM25 — đừng dùng nó làm nhánh lexical. - Eval: Ragas 0.4.3 và DeepEval 4.3.3 có thể chấm điểm, nhưng chỉ có giá trị khi bạn có tập vàng tự viết và báo cáo riêng recall của retrieval.
Kiến trúc: hai đường chạy, một nguồn sự thật
Pipeline RAG có hai đường tách biệt: đường offline xử lý tài liệu, đường online xử lý câu hỏi. Chúng chỉ gặp nhau ở index.
OFFLINE
nguồn → parse → chunk → (contextualize) → embed → upsert + metadata
│
index (vector + lexical)
│
ONLINE │
query → (rewrite?) → embed query ──┐ │
├─ retrieve top-50 ─→ fuse (RRF) → rerank top-8
query ─────────────────────────────┘ │
↓
prompt có nhãn nguồn → LLM → answer + citations
Đường online là chi phí biến đổi theo request; đường offline là chi phí một lần nhưng lặp lại mỗi khi tài liệu đổi. Hãy làm cho đường offline chạy lại rẻ và an toàn.
Phân đoạn: baseline trước, ngữ nghĩa sau
Đừng bắt đầu bằng semantic chunking. Bắt đầu bằng recursive splitting theo cấu trúc tự nhiên của tài liệu: tiêu đề, đoạn, câu, rồi mới đến từ. Đây là baseline dễ giải thích, dễ tái lập, và đủ tốt cho phần lớn tài liệu. Chỉ khi eval cho thấy ranh giới chunk là nút thắt thì mới nâng cấp.
- Recursive baseline — thử danh sách separator theo thứ tự ưu tiên, cắt ở mức lớn nhất còn vừa ngân sách. Mục tiêu thực dụng: 400–800 token/chunk, overlap 10–20%. Con số này là điểm khởi đầu để đo, không phải quy tắc.
- Semantic chunking — cắt tại chỗ embedding của các câu liền kề tụt tương đồng. Nó tốn thêm một lượt embedding cho toàn bộ tài liệu, và kết quả phụ thuộc ngưỡng bạn chọn. Hữu ích cho văn bản dài không có cấu trúc rõ; lãng phí với tài liệu đã có heading.
- Contextual retrieval — trước khi nhúng, chèn một đoạn ngắn mô tả chunk nằm ở đâu trong tài liệu và nói về gì. Anthropic công bố cách này giảm mạnh lỗi retrieval vì chunk rời rạc vẫn giữ được ngữ cảnh. Chi phí là một lượt gọi LLM cho mỗi chunk, nên hãy tính trước khi chạy trên hàng triệu tài liệu.
Code: recursive chunk
# File: chunking.py — Python 3.12, stdlib only
from dataclasses import dataclass
SEPARATORS = ["\n\n", "\n", ". ", " "]
@dataclass
class Chunk:
doc_id: str
index: int
text: str
heading: str
def split_recursive(text: str, limit: int, separators: list[str]) -> list[str]:
if len(text) <= limit:
return [text]
sep = next((s for s in separators if s in text), None)
if sep is None:
return [text[i:i + limit] for i in range(0, len(text), limit)]
out, buf = [], ""
for part in text.split(sep):
candidate = buf + sep + part if buf else part
if len(candidate) <= limit:
buf = candidate
else:
if buf:
out.append(buf)
rest = separators[separators.index(sep) + 1:]
if len(part) <= limit:
buf = part
else:
out.extend(split_recursive(part, limit, rest))
buf = ""
if buf:
out.append(buf)
return out
def make_chunks(doc_id: str, text: str, limit: int = 2200) -> list[Chunk]:
return [Chunk(doc_id, i, piece, heading="")
for i, piece in enumerate(split_recursive(text, limit, SEPARATORS))]
Hàm dùng ký tự để không phụ thuộc tokenizer. Khi lên production, thay limit bằng ngân sách token đo trên model thật.
Nhúng và upsert: id ổn định, metadata đủ dùng
Nhúng là bước dễ làm ẩu nhất. Ba quy tắc:
- Cùng một model cho tài liệu và câu hỏi. Đổi model embedding là đổi không gian vector; vector cũ và vector mới không so sánh được. Ghi model + revision + số chiều vào metadata của từng chunk.
- Batch và giới hạn đầu vào.
text-embedding-3-smallcó 8.192 token đầu vào và 1.536 chiều;-largelà 3.072 chiều. Cả hai đều hỗ trợ tham sốdimensionsđể rút gọn vector, nhưng đừng rút gọn chỉ vì tiết kiệm dung lượng nếu chưa đo recall. - Id phải tất định. Hash của
(doc_id, chunk_index, content_hash, embedding_model)cho phép upsert lặp lại mà không tạo bản trùng, và xoá đúng chunk cũ khi tài liệu đổi.
# File: embed_and_upsert.py — openai 3.46.0, Python 3.12
import hashlib, os
from openai import OpenAI
client = OpenAI(api_key=os.environ["OPENAI_API_KEY"])
EMBED_MODEL = "text-embedding-3-small"
DIMS = 1536
def stable_id(doc_id: str, index: int, text: str) -> str:
raw = f"{doc_id}:{index}:{hashlib.sha256(text.encode()).hexdigest()}:{EMBED_MODEL}:{DIMS}"
return hashlib.sha256(raw.encode()).hexdigest()
def embed(texts: list[str]) -> list[list[float]]:
resp = client.embeddings.create(model=EMBED_MODEL, input=texts, dimensions=DIMS)
return [item.embedding for item in resp.data]
def rows(doc_id, chunks, vectors, source_url, updated_at):
return [{
"id": stable_id(doc_id, c.index, c.text),
"doc_id": doc_id, "chunk_index": c.index, "content": c.text,
"embedding": v, "source_url": source_url, "lang": "vi",
"updated_at": updated_at,
} for c, v in zip(chunks, vectors)]
Upsert vào Postgres + pgvector (extension 0.8.7) có thể viết bằng SQL thuần, không cần lớp ORM:
-- schema: một bảng chunk, một unique key để upsert
CREATE EXTENSION IF NOT EXISTS vector;
CREATE TABLE IF NOT EXISTS chunks (
id text PRIMARY KEY,
doc_id text NOT NULL,
chunk_index int NOT NULL,
content text NOT NULL,
embedding vector(1536) NOT NULL,
source_url text NOT NULL,
lang text NOT NULL,
updated_at timestamptz NOT NULL,
tsv tsvector GENERATED ALWAYS AS (to_tsvector('simple', content)) STORED
);
INSERT INTO chunks (id, doc_id, chunk_index, content, embedding, source_url, lang, updated_at)
VALUES ($1, $2, $3, $4, $5, $6, $7, $8)
ON CONFLICT (id) DO UPDATE SET
content = EXCLUDED.content,
embedding = EXCLUDED.embedding,
updated_at = EXCLUDED.updated_at;
Metadata không phải trang trí. Tối thiểu cần doc_id, chunk_index, source_url, title, section, updated_at, lang, tenant_id, acl, embedding_model. Thiếu tenant_id và acl là lỗi bảo mật: filter theo quyền phải chạy trong query, không chạy sau khi lấy kết quả.
Truy xuất: hybrid trước, rerank sau
Dense retrieval giỏi ngữ nghĩa nhưng yếu với mã sản phẩm, tên riêng, số hiệu văn bản, từ viết tắt nội bộ. Lexical giỏi đúng những thứ đó nhưng không hiểu paraphrase. Production dùng cả hai: lấy 20–100 ứng viên mỗi nhánh, hợp nhất, rồi rerank.
RRF là cách hợp nhất không cần chuẩn hoá điểm số: mỗi tài liệu nhận điểm sum(1 / (k + rank)) trên các danh sách mà nó xuất hiện. Hằng số k làm giảm ảnh hưởng của thứ hạng đầu; các hệ thống dùng giá trị khác nhau — Elasticsearch đặt rank_constant 60, Qdrant để mặc định 2. Đừng trộn hai quy ước trong cùng một tài liệu so sánh, và đừng so sánh RRF với cosine trực tiếp.
# File: rrf.py — pure Python, không phụ thuộc vector store
from collections import defaultdict
def rrf(ranked_lists: list[list[str]], k: int = 60) -> list[tuple[str, float]]:
"""ranked_lists: mỗi list là id theo thứ tự giảm dần độ liên quan."""
scores = defaultdict(float)
for ranking in ranked_lists:
for rank, doc_id in enumerate(ranking, start=1):
scores[doc_id] += 1.0 / (k + rank)
return sorted(scores.items(), key=lambda kv: kv[1], reverse=True)
Với Qdrant 1.20.0, dùng prefetch + RRF phía server để giảm round-trip. Với pgvector, bạn phải hợp nhất ở application: extension không có fusion sẵn, nhưng bảng tsv cho bạn nhánh lexical. Chroma 1.5.9 không có BM25.
Rerank sửa precision, không sửa recall
Cross-encoder rerank đọc cặp (query, chunk) và cho điểm mịn hơn cosine. Cohere rerank-v5.0-pro nhận query + document tới 32K và trả điểm 0–1 đã hiệu chuẩn; Voyage có rerank-3; self-host dùng bge-reranker-v2-m3.
Nhưng reranker không tạo ra chunk không có trong danh sách ứng viên. Nếu recall@50 là 60%, rerank hoàn hảo vẫn chỉ đạt 60%: đo recall trước, rồi mới đo precision sau rerank.
Lắp prompt: ngữ cảnh có nhãn, chỉ dẫn có giới hạn
Prompt RAG tốt không phải prompt dài. Nó là prompt mà model biết rõ đâu là nguồn, đâu là câu hỏi, và được phép nói “không tìm thấy”. Ba thành phần:
- Khối nguồn có nhãn — mỗi chunk được bọc
[S1],[S2]kèm title và URL. Nhãn này là cơ sở để kiểm tra trích dẫn sau khi sinh. - Quy tắc trả lời — chỉ dùng thông tin trong nguồn; nếu nguồn mâu thuẫn, nêu mâu thuẫn; nếu thiếu, nói thiếu. Đừng viết “hãy trả lời chính xác” — đó không phải chỉ dẫn hành vi.
- Giới hạn đầu ra — độ dài, ngôn ngữ, định dạng. Với API có reasoning, nhớ rằng reasoning token tính như output.
# File: build_prompt.py
SYSTEM = """Bạn là trợ lý tra cứu tài liệu nội bộ.
Chỉ sử dụng thông tin trong phần NGUỒN. Không dùng kiến thức nền ngoài nguồn.
Mỗi khẳng định phải kèm nhãn nguồn như [S1]. Nếu nguồn không đủ, trả lời:
"Không tìm thấy thông tin trong tài liệu được cung cấp." """
def build_prompt(question: str, hits: list[dict]) -> list[dict]:
blocks = []
for i, h in enumerate(hits, start=1):
blocks.append(f"[S{i}] {h['title']} — {h['source_url']}\n{h['content']}")
context = "\n\n".join(blocks)
user = f"NGUỒN:\n{context}\n\nCÂU HỎI:\n{question}"
return [
{"role": "system", "content": SYSTEM},
{"role": "user", "content": user},
]
Sau khi sinh, kiểm tra trích dẫn bằng code: mọi nhãn [Sn] phải tồn tại trong danh sách nguồn. Đây là kiểm tra tất định, rẻ, và bắt được lỗi model bịa nguồn.
Re-index gia tăng: đừng xoá cả index mỗi lần
Pipeline production chạy lại khi tài liệu đổi:
- Tính
content_hashcủa từng tài liệu sau khi parse. Nếu không đổi, bỏ qua toàn bộ. - Nếu đổi, chunk lại và upsert theo id tất định. Chunk không còn tồn tại trong phiên bản mới phải bị xoá theo
(doc_id, chunk_index)hoặc theo tập id của phiên bản cũ. - Nếu đổi model embedding hoặc số chiều, đây là migration toàn bộ: tạo index mới, backfill, đổi alias, rồi xoá index cũ. Không trộn vector của hai model trong một collection.
Với tài liệu có phân quyền, re-index phải cập nhật cả acl; một tài liệu vừa bị thu hồi quyền mà chunk còn trong index là rò rỉ dữ liệu.
Đo pipeline: recall trước, groundedness sau
- Retrieval có tìm đúng không? Dùng
recall@ktrên tập câu hỏi có nhãn chunk đúng: bao nhiêu phần trăm câu hỏi có chunk chứa câu trả lời trong top-k. Thêm MRR nếu bạn quan tâm thứ hạng. Đo ở k = 5, 20, 50 để thấy đường cong; nếu recall@50 thấp, đừng tốn tiền rerank. - Câu trả lời có bám nguồn không? Groundedness/faithfulness: từng khẳng định có được nguồn hỗ trợ không. Có thể chấm bằng LLM judge, nhưng judge có position bias, verbosity bias và self-preference; hãy đảo thứ tự cặp khi so sánh, dùng rubric neo cụ thể, và hiệu chuẩn bằng một mẫu người chấm.
Tập vàng nên có 50–200 câu hỏi thật: tra cứu một fact, so sánh nhiều tài liệu, từ viết tắt nội bộ, câu hỏi không có đáp án, và câu hỏi cố tình vượt quyền. Loại cuối là bài test bảo mật. Ragas 0.4.3 và DeepEval 4.3.3 giúp chạy metric, nhưng cadence của Ragas chậm — pin version và đọc công thức trước khi tin con số.
Failure mode hay gặp
| Triệu chứng | Nguyên nhân thường gặp | Cách sửa |
|---|---|---|
| Trả lời đúng nhưng thiếu chi tiết | Chunk quá nhỏ, mất ngữ cảnh xung quanh | Tăng ngân sách chunk hoặc thêm contextual prefix; đo lại recall |
| Không tìm thấy dù tài liệu có | Chỉ dense retrieval; mã/tên riêng không khớp ngữ nghĩa | Thêm nhánh lexical (tsvector/BM25) và RRF |
| Top-1 sai, top-20 đúng | Thiếu rerank hoặc score không hiệu chuẩn | Cross-encoder rerank trên 20–50 ứng viên |
| Kết quả cũ sau khi cập nhật tài liệu | Không xoá chunk cũ; cache theo query không invalidate | Id tất định + xoá theo phiên bản; invalidate cache khi index đổi |
| Người dùng thấy tài liệu không có quyền | Filter ACL chạy sau retrieval hoặc không chạy | Filter trong query, theo tenant, và test bằng câu hỏi vượt quyền |
Checklist trước khi coi pipeline là “xong”
- Chunk có metadata đủ để filter và truy vết:
doc_id,source_url,tenant_id,acl,embedding_model. - Id tất định; re-index chạy lại được mà không tạo bản trùng.
- Có nhánh lexical thật, không phải substring; fusion có tài liệu hoá hằng số
k. - Rerank chỉ bật sau khi biết recall@50; có ngưỡng thời gian và chi phí.
- Có tập vàng và báo cáo recall@k + groundedness cho mỗi lần đổi chunking, model, hay store.
Bước tiếp theo: xem triển khai RAG với LangChain hoặc LlamaIndex, hoặc đọc hosted file search trên Responses API vs. manual RAG nếu chưa chọn được hướng. Nền tảng lý thuyết nằm ở RAG là gì và khi nào nên dùng thay vì fine-tuning.
