Niềm tin sai phổ biến nhất về fine-tuning là “train mô hình trên tài liệu công ty để nó biết câu trả lời”. Nó không hoạt động như vậy: fine-tuning dạy mô hình cách phản hồi, không phải một cơ chế tra cứu dữ kiện. RAG làm điều ngược lại. Hiểu ranh giới này giúp bạn tránh hai tháng huấn luyện để rồi nhận câu trả lời vẫn sai.
Bài này so sánh RAG và fine-tuning theo chi phí, độ mới của dữ liệu, khả năng trích dẫn, độ trễ, và đưa ra thứ tự leo thang hợp lý cho năm 2026.
Mục lục
Cập nhật 2026
- Fine-tuning của OpenAI đang thu hẹp: đóng với người dùng mới, người dùng cũ chỉ tạo được job “trong vài tháng tới”, và chỉ còn
gpt-4.1/-mini/-nano(SFT/DPO) cùnggpt-4ocho vision. Ngày cắt cụ thể chưa được xác nhận. - Đường thực dụng năm 2026 là LoRA/QLoRA trên trọng số mở: PEFT 0.21.2, TRL 1.17.1, Unsloth 2026.11.3, Axolotl 0.21.1.
- Contextual retrieval (Anthropic, 2024-09-19) vẫn là cải thiện rẻ nhất: giảm 35% lỗi top-20, 49% với contextual BM25, 67% khi thêm rerank.
- Eval RAG: Ragas 0.4.3, DeepEval 4.3.3. Cả hai đều không thay được một tập vàng tự viết.
RAG thực sự làm gì
RAG có bốn bước, và chỉ bước cuối là “generation”:
- Index — cắt tài liệu thành chunk, nhúng thành vector, lưu vào vector database kèm metadata.
- Retrieve — nhúng câu hỏi bằng cùng model, tìm top-k chunk gần nhất, thường kèm hybrid và rerank.
- Augment — đưa các chunk tìm được vào prompt trong một khối rõ ràng, kèm chỉ dẫn chỉ trả lời từ đó.
- Generate — model viết câu trả lời dựa trên ngữ cảnh, và lý tưởng là trích dẫn nguồn.
Điểm mạnh và điểm yếu đều nằm ở retrieval: kiến thức nằm ngoài trọng số nên cập nhật tài liệu là cập nhật index; nhưng nếu chunk đúng không nằm trong top-50, không model nào cứu được.
Fine-tuning thực sự làm gì
Fine-tuning cập nhật trọng số trên một tập ví dụ có nhãn. Với LoRA, bạn chỉ huấn luyện một lượng nhỏ tham số chèn vào các lớp linear, giữ nguyên phần lớn mô hình gốc. QLoRA là biến thể lượng tử hoá base model xuống 4-bit NF4 rồi gắn adapter LoRA; rank 8–64 trên các lớp linear là điểm khởi đầu, không phải quy tắc.
Kết quả là mô hình học phân bố đầu ra: giọng văn, cấu trúc JSON, cách gọi tên, cách xử lý một loại tài liệu. Nó không học một bảng sự kiện, và nó không tự biết khi nào dữ kiện của mình đã cũ.
So sánh theo tiêu chí thật
| Tiêu chí | RAG | Fine-tuning (LoRA/QLoRA) |
|---|---|---|
| Dữ liệu mới | Cập nhật index, hiệu lực ngay | Cố định sau khi train; muốn mới phải train lại |
| Trích dẫn nguồn | Có, tự nhiên | Không có; model không “nhớ” nguồn |
| Chi phí | Theo query: embed + retrieve + prompt token | Một lần train + serving; prompt ngắn hơn |
| Độ trễ | Thêm 20–100 ms retrieval, cộng rerank | Thấp hơn nếu prompt ngắn và model nhỏ |
| Kiểm soát định dạng | Chỉ qua prompt, dễ trôi | Ổn định, học được mẫu đầu ra |
| Rủi ro chính | Retrieval kém, chunk xấu, index cũ | Quên kiến thức cũ, overfit, data rò rỉ |
Bảng này không nói RAG tốt hơn: hai công cụ giải hai bài toán khác nhau, và phần lớn dự án cần cả hai.
Khi nào RAG là lựa chọn đúng
- Dữ kiện thay đổi thường xuyên. Giá, tồn kho, chính sách, lịch release. Train lại mỗi ngày là bất khả thi; cập nhật index thì bình thường.
- Dữ liệu riêng tư hoặc nhạy cảm. Tài liệu nội bộ, hồ sơ khách hàng, hợp đồng. RAG giữ dữ liệu trong hệ thống của bạn và chỉ đưa phần cần thiết vào ngữ cảnh.
- Cần trích dẫn. Support, pháp lý, y tế, tài chính: người dùng phải kiểm chứng được câu trả lời. Fine-tuning không cho bạn nguồn.
- Corpus lớn. Hàng triệu tài liệu không thể “nạp” vào trọng số một cách đáng tin cậy, nhưng index được.
- Cần thay đổi phạm vi truy cập theo người dùng. Phân quyền theo tenant và vai trò là việc của retrieval, không phải của trọng số.
Khi nào fine-tuning là lựa chọn đúng
- Định dạng đầu ra ổn định. Luôn trả JSON theo schema, luôn tóm tắt theo mẫu nội bộ. Prompt + schema-constrained output giải quyết được phần lớn, nhưng khi độ dài và cấu trúc phức tạp, LoRA ổn định hơn.
- Giọng văn và thuật ngữ. Cách xưng hô, mức trang trọng, từ vựng riêng của công ty — những thứ phải xuất hiện mọi lúc, không chỉ khi được nhắc trong prompt.
- Tác vụ hẹp, lặp lại, cần độ trễ thấp. Phân loại ticket, trích xuất field từ hoá đơn. Một model nhỏ đã fine-tune có thể thay model lớn gọi API, giảm chi phí mỗi request và độ trễ.
- Dữ liệu huấn luyện tĩnh và đủ lớn. Nếu bạn có vài nghìn ví dụ chất lượng cho một tác vụ cố định, fine-tuning đáng làm.
- Mô hình local thay vì API. Khi dữ liệu không được ra ngoài hoặc cần chạy offline, fine-tune một model mở là con đường duy nhất.
Ví dụ: chuẩn hoá báo cáo, phân loại theo taxonomy nội bộ, sinh code theo convention của team.
Bậc thang chi phí: đừng nhảy cóc
Thứ tự nên thử, từ rẻ đến đắt:
- Prompt + tools + schema-constrained output. Đổi cách diễn đạt tác vụ, thêm few-shot, buộc JSON schema, cho model công cụ tra cứu. Đây là mặc định, và nhiều yêu cầu “cần fine-tune” chết ở bậc này.
- RAG. Khi thiếu kiến thức riêng, kiến thức đổi, hoặc cần trích dẫn.
- LoRA/QLoRA. Khi cần ổn định định dạng, giảm độ trễ, hoặc thay model lớn bằng model nhỏ.
- Full fine-tune / continued pretraining. Hiếm; cần dữ liệu lớn và hạ tầng eval nghiêm túc.
Mỗi bậc phải vượt qua eval trước khi lên bậc sau. Không có eval, bạn không biết mình đang cải thiện hay chỉ đang đổi lỗi.
Kết hợp cả hai: mô hình đúng định dạng, dữ kiện lấy từ index
Cách tiếp cận mạnh nhất thường là hybrid: fine-tune để model nói đúng cách, RAG để model nói đúng sự thật. Ví dụ cụ thể: LoRA trên một model mở để nó luôn trích xuất theo cấu trúc báo cáo tài chính nội bộ; sau đó RAG cung cấp số liệu mới nhất từ kho dữ liệu. Phần “biết hôm nay doanh thu bao nhiêu” không bao giờ là việc của trọng số.
Một dạng hybrid khác là fine-tune model nhỏ để viết lại query và chọn filter, còn generation vẫn dùng model lớn — giảm chi phí tầng retrieval mà không phải train model sinh.
Contextual retrieval: cải thiện rẻ trước khi nghĩ đến train
Trước khi chi tiền cho GPU, hãy thử thay đổi rẻ nhất trong pipeline: với mỗi chunk, gọi LLM một lần lúc index để viết một hai câu mô tả chunk đó nằm ở đâu trong tài liệu và nói về gì, rồi ghép đoạn mô tả vào trước nội dung khi embed và khi index BM25.
Chi phí là một lần trên mỗi chunk, không phải mỗi query. Kết quả công bố: giảm 35% lỗi top-20, 49% khi thêm contextual BM25, 67% khi có rerank. Với support/legal search, đây thường là thay đổi đáng làm nhất trong toàn bộ pipeline — rẻ hơn nhiều so với một tuần train LoRA.
Lưu ý: contextual retrieval không thay thế việc đo. Nếu chunking của bạn cắt giữa bảng, thêm context chỉ làm chunk sai đó dài hơn.
Chi phí: so sánh đúng thứ
RAG và fine-tuning có cấu trúc chi phí khác nhau, nên so sánh tuyệt đối thường sai:
- RAG trả tiền mỗi query: embed query (rẻ), truy vấn vector DB, rerank nếu có, và prompt token — phần lớn chi phí nằm ở prompt vì context dài. Prompt caching giảm mạnh phần lặp lại: cache read khoảng 2,5–10% giá input tùy provider và model, nhưng ghi cache cũng tốn tiền (Anthropic 1,25× cho 5 phút, 2× cho 1 giờ).
- Fine-tuning trả tiền một lần cho train, rồi trả tiền serving. Prompt ngắn hơn nên mỗi request rẻ hơn, nhưng bạn phải vận hành GPU hoặc trả cho endpoint, và phải train lại khi dữ liệu đổi.
- Reasoning token tính như output ở mọi provider. Nếu bật chế độ suy luận sâu cho một tác vụ RAG đơn giản, bạn đang trả giá cao nhất cho phần ít giá trị nhất.
Quy tắc: nếu tác vụ có thể giải bằng prompt ngắn + retrieval tốt, đừng mua GPU. Nếu tác vụ chạy hàng chục triệu request với cùng định dạng, model nhỏ fine-tune thường thắng về chi phí đơn vị.
Eval: thứ quyết định, không phải công cụ
Một harness tối thiểu gồm ba tầng:
- Retrieval — recall@k trên tập query có nhãn doc id. Đây là tầng phải đo trước; generation không thể tốt hơn nguồn.
- Generation — groundedness/faithfulness (câu trả lời có bám ngữ cảnh), độ đúng của trích dẫn, và tỉ lệ “không đủ thông tin” đúng chỗ.
- Tác vụ — task success theo rubric, chi phí mỗi task, p50/p95 latency.
Với fine-tuning, thêm hai thứ: so sánh trên tập held-out mà model chưa từng thấy, và kiểm tra hồi quy trên các tác vụ cũ. Model fine-tune rất dễ giỏi việc mới và tệ việc cũ.
Nếu dùng LLM-as-judge, đừng chấm một lần rồi tin. Judge có thiên lệch vị trí, thiên lệch độ dài, và ưu tiên model cùng họ. Đổi thứ tự cặp, dùng rubric neo điểm, và hiệu chỉnh với một mẫu nhãn người. Không bao giờ dùng judge một mình để chặn các quyết định an toàn hoặc giá trị cao.
Code: một vòng RAG có trích dẫn
# File: rag_answer.py
# pip install anthropic==2.6.0
from anthropic import Anthropic
client = Anthropic()
def answer(question: str, context_blocks: list[dict]) -> str:
context = "\n\n".join(
f"[{b['id']}] {b['title']}\n{b['text']}" for b in context_blocks
)
resp = client.messages.create(
model="claude-sonnet-5-5",
max_tokens=1024,
system=(
"Chỉ trả lời từ CONTEXT. Nếu CONTEXT không đủ, nói rõ là không đủ. "
"Mỗi khẳng định phải kèm mã nguồn dạng [id]."
),
messages=[{
"role": "user",
"content": f"CONTEXT:\n{context}\n\nCÂU HỎI: {question}",
}],
)
return resp.content[0].text
Hai điều đáng chú ý: system prompt nói rõ được phép từ chối, và mỗi block có id để model trích dẫn. Nếu bạn không kiểm tra id trả về có tồn tại trong context_blocks, trích dẫn chỉ là văn bản trang trí.
Code: LoRA tối thiểu
# File: lora_setup.py
# pip install peft==0.21.2 transformers==5.22.2
from peft import LoraConfig, get_peft_model
from transformers import AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained(
"Qwen/Qwen3.8-27B", torch_dtype="bfloat16"
)
cfg = LoraConfig(
r=16, lora_alpha=32, lora_dropout=0.05,
target_modules=["q_proj", "k_proj", "v_proj", "o_proj"],
task_type="CAUSAL_LM",
)
model = get_peft_model(model, cfg)
model.print_trainable_parameters()
Đây chỉ là cấu hình adapter, chưa phải training loop. Phần khó không nằm ở code mà ở dữ liệu: cặp input/output sạch, phân bố đúng như production, và một tập held-out đủ khó. Nếu dữ liệu train được sinh bởi chính model bạn đang train, bạn đang dạy nó lặp lại lỗi của nó.
Lỗi hay gặp
- Fine-tune để “nạp” tài liệu. Model học văn phong tài liệu, không học bảng sự kiện; câu trả lời vẫn bịa khi gặp câu hỏi mới.
- RAG nhưng không đo recall. Bạn tối ưu prompt trong khi vấn đề nằm ở chunking.
- Trích dẫn không kiểm chứng. Model sinh ra id không tồn tại; UI hiển thị nguồn sai.
- Train trên dữ liệu rò rỉ từ eval. Điểm eval đẹp, production tệ.
- Bỏ qua quên kiến thức cũ. LoRA trên dữ liệu hẹp làm giảm khả năng ngoài miền.
- So sánh giá cũ. Giá model và khuyến mại đổi liên tục; luôn dùng bảng giá hiện hành.
Bảng quyết định
| Nhu cầu | Chọn | Lý do |
|---|---|---|
| Dữ kiện đổi thường xuyên, cần nguồn | RAG | Cập nhật index, trích dẫn được |
| Định dạng/giọng văn cố định | LoRA/QLoRA | Học phân bố đầu ra, prompt ngắn hơn |
| Cả hai | Hybrid | Adapter cho cách nói, index cho sự thật |
| Tác vụ mới, chưa rõ | Prompt + schema + tools | Rẻ nhất, sửa được trong ngày |
| Dữ liệu không được ra ngoài | Self-host + LoRA + RAG nội bộ | Không phụ thuộc API bên thứ ba |
Nhìn về 2027
Fine-tuning qua API đang co lại, còn LoRA trên trọng số mở thành kỹ năng bình thường của kỹ sư AI. RAG cũng dịch từ “tìm top-k” sang “tuyển chọn ngữ cảnh có kiểm soát”: lọc theo quyền, kiểm tra đủ thông tin, xác minh trích dẫn. Ranh giới không còn là RAG hay fine-tuning, mà là phần nào của bài toán thuộc về kiến thức và phần nào thuộc về hành vi.
Checklist
- Viết rõ bài toán: thiếu sự thật, thiếu định dạng, hay thiếu độ trễ?
- Thử prompt + schema + tools trước khi train bất cứ thứ gì.
- Nếu RAG: đo recall@k trước, rồi mới đo chất lượng câu trả lời.
- Nếu fine-tune: chốt tập held-out và test hồi quy trước khi chạy job đầu tiên.
- Kiểm tra mọi trích dẫn trả về có tồn tại trong context thật.
Để đi sâu vào từng nhánh: fine-tuning thực sự hoạt động như thế nào với các mô hình OpenAI giải thích phần trọng số và giới hạn hiện tại; xây dựng pipeline RAG đi vào chunking, nhúng và truy xuất; tìm kiếm ngữ nghĩa với index vector là phần retrieval chi tiết; và triển khai RAG với LangChain hoặc LlamaIndex dành cho ai muốn dùng framework.
