AI Agent Roadmap: Tinh chỉnh (Fine-Tuning) so với Kỹ thuật Prompt (Prompt Engineering) – Ưu nhược điểm

Phần lớn yêu cầu “cho tôi fine-tune model” thực chất là ba lỗi khác: prompt thiếu ràng buộc, thiếu dữ liệu truy xuất, hoặc schema đầu ra không được ép. Fine-tuning không sửa được cả ba. Bài này xếp bốn bậc thang — prompt, RAG, LoRA, full fine-tune — theo chi phí tăng dần, và chỉ ra khi nào leo thang là đúng, khi nào là đang đốt GPU để che một lỗi thiết kế.

Cập nhật 2026: đường fine-tuning đã đổi chiều

  • Fine-tuning của OpenAI đã đóng với người dùng mới; người dùng cũ vẫn tạo được job “trong vài tháng tới”, và chỉ trên gpt-4.1/-mini/-nano (SFT/DPO) cùng gpt-4o cho vision. Ngày cắt hoàn toàn chưa công bố.
  • Đường thực tế cho dự án mới là LoRA trên trọng số mở, chạy trên GPU của bạn hoặc thuê theo giờ.
  • Toolchain đã chín: PEFT 0.21.2, TRL 1.17.1 (SFT/DPO/KTO/GRPO/reward), Unsloth 2026.11.3, Axolotl 0.21.1, trên transformers 5.22.2.
  • QLoRA vẫn là mặc định thực dụng: base 4-bit NF4 đóng băng, adapter LoRA huấn luyện trên đó.

Bốn bậc thang, chọn bậc rẻ nhất qua được eval

Nguyên tắc duy nhất cần nhớ: leo bậc chỉ khi bậc dưới đã được đo và thất bại vì lý do cụ thể. “Prompt mãi không tốt” không phải lý do; “prompt đã ổn định nhưng model vẫn sai 12% ở một lớp input cụ thể, và lỗi nằm ở định dạng chứ không ở kiến thức” là lý do.

Bậc 1: prompt, tool và schema

Đây là mặc định, và là nơi sửa được nhiều lỗi nhất với chi phí gần bằng không. Ba việc cụ thể: đặt lại bài toán (đổi từ “trả lời câu hỏi” sang “điền vào cấu trúc này”), thêm 3–5 ví dụ đúng định dạng, và ép đầu ra bằng JSON Schema thay vì dặn “hãy trả về JSON”.

Với agent, thêm hai thứ thường bị bỏ: mô tả tool rõ ràng (khi nào dùng, khi nào không, tham số nào bắt buộc) và thứ tự context ổn định. Prompt cache chỉ có tác dụng khi prefix byte-stable; nếu bạn nhét timestamp hay thứ tự tool ngẫu nhiên vào đầu prompt, bạn đang trả giá đầy đủ cho mỗi lần gọi và đồng thời làm model khó tái lập hơn.

Ba thứ prompt không giải quyết được: kiến thức mới sau ngày huấn luyện, dữ liệu riêng chưa từng thấy, và định dạng cực hẹp mà model chưa học. Chúng thuộc bậc 2 hoặc bậc 3.

Bậc 2: RAG cho kiến thức

Nếu vấn đề là “model không biết thông tin của tôi”, fine-tuning là câu trả lời sai. LoRA học hành vi và định dạng, không học sự kiện một cách đáng tin — và kiến thức đó đóng băng ngay khi huấn luyện xong. RAG giải quyết đúng bài: dữ liệu riêng, thay đổi liên tục, cần trích dẫn nguồn.

Thứ tự cải thiện trong RAG cũng quan trọng: chunking và hybrid search trước, reranker sau, agentic RAG sau cùng. Retrieve 20–100 ứng viên, trộn dense với lexical bằng RRF, rồi rerank. Reranker tăng precision chứ không tăng recall — nếu chunk đúng không nằm trong tập ứng viên, không reranker nào cứu được. Đo recall@k trước khi đổi bất cứ thứ gì.

Một dấu hiệu bạn đang ở bậc 2 chứ không phải bậc 3: khi bạn thêm tài liệu mới, chất lượng tăng ngay mà không cần huấn luyện lại. Nếu mỗi lần thêm tài liệu bạn lại nghĩ tới việc train, bạn đã chọn sai công cụ.

Bậc 3: LoRA và QLoRA cho hành vi

LoRA đóng băng trọng số gốc và chèn các ma trận hạng thấp vào một số lớp. Bạn huấn luyện phần nhỏ đó, lưu adapter vài chục đến vài trăm MB, và nạp chồng lên base model khi chạy. QLoRA thêm một bước: base model được lượng tử hoá 4-bit NF4 và đóng băng, adapter vẫn huấn luyện ở độ chính xác cao hơn.

Điều LoRA giỏi: ổn định một định dạng đầu ra phức tạp, dạy giọng văn và cấu trúc trả lời, dạy cách gọi một bộ tool theo quy ước riêng, hoặc thu nhỏ model — dùng model 8B đã tinh chỉnh thay cho model API 30B với chất lượng tương đương trên tác vụ hẹp. Điều LoRA không giỏi: nạp sự kiện mới, thay đổi kiến thức thường xuyên, hoặc bù cho dữ liệu truy xuất kém.

Về tham số khởi điểm: rank 8–64 trên toàn bộ lớp linear là điểm bắt đầu, không phải quy tắc. Rank thấp học ít, ít overfit; rank cao học nhiều, dễ overfit và tốn VRAM. Với tác vụ định dạng, rank 16 thường đủ. Với tác vụ cần học phong cách dài, rank 64 mới có ý nghĩa. Đừng chọn rank bằng cảm giác — chọn bằng holdout.

Một chi tiết vận hành hay bị bỏ: adapter phải đi kèm base model cụ thể. Đổi base, đổi chat template, hay đổi phiên bản tokenizer là adapter có thể lệch chất lượng dù vẫn load được. Ghi base model ID và revision vào metadata của adapter, đúng như bạn ghi model ID trong log agent.

Bậc 4: full fine-tune và continued pretraining

Hiếm khi đúng. Full fine-tune cần dữ liệu lớn, hạ tầng nhiều GPU và pipeline eval đủ mạnh để biết mình đang làm hỏng cái gì. Continued pretraining còn hiếm hơn: nó dành cho miền ngôn ngữ hoàn toàn mới hoặc miền chuyên môn cực hẹp, nơi tokenizer hiện tại không phù hợp. Với hầu hết dự án agent, bậc này là lãng phí — và còn rủi ro catastrophic forgetting, tức model giỏi việc mới nhưng quên việc cũ.

So sánh ba bậc thực dụng

Tiêu chí Prompt RAG / LoRA
Thời gian tới kết quả đầu Giờ Ngày / tuần
Dữ liệu cần 3–5 ví dụ 500–5.000 cặp sạch (LoRA)
Kiến thức thay đổi Theo prompt RAG theo tài liệu; LoRA thì không
Chi phí Theo token GPU + người vận hành
Rủi ro chính Mong manh theo cách diễn đạt Overfit, hồi quy trên tác vụ khác

Con số dữ liệu ở bảng là kinh nghiệm, không phải ngưỡng kỹ thuật. 500 cặp tốt, đa dạng, phủ đúng phân bố production thường thắng 5.000 cặp do model lớn sinh ra rồi tự chấm. Chất lượng và độ phủ quyết định, không phải số lượng.

Overfitting: dấu hiệu và cách chặn

Dấu hiệu rõ nhất không phải loss giảm mà là chất lượng trên dữ liệu thật đi ngang hoặc tụt trong khi model trả lời ngày càng giống tập train. Với tác vụ định dạng, overfit thể hiện ở việc model bắt đầu chèn các cụm cố định xuất hiện nhiều trong tập train, hoặc từ chối các input hơi lệch phân bố.

Cách chặn: chia holdout theo thời gian hoặc theo tenant, không chia ngẫu nhiên. Nếu tập train và tập test cùng ngày, cùng khách hàng, cùng template, bạn đang đo khả năng ghi nhớ chứ không đo khả năng tổng quát hoá. Với dữ liệu sinh bởi model, càng phải cẩn thận: giáo viên sai thì học trò học luôn cái sai, và tự huấn luyện lặp lại làm mất đa dạng — giữ một neo dữ liệu thật.

Cũng nên nhớ: nhiều nhà cung cấp có điều khoản về việc dùng output API để huấn luyện model khác. Điều khoản này chưa được xác minh rõ cho từng nơi, nên kiểm tra trước khi đưa dữ liệu sinh vào tập train thương mại.

Eval trước, train sau

Không có bộ eval thì không có fine-tuning, chỉ có thử vận may. Bộ tối thiểu: 100–300 case có nhãn, đo ba thứ — độ chính xác trên tác vụ mục tiêu, tỉ lệ hồi quy trên tác vụ cũ mà agent vẫn phải làm, và tỉ lệ đầu ra không parse được. Cái thứ hai hay bị bỏ và là cái gây sự cố production.

Chạy eval trên model gốc trước khi train để có baseline. Sau khi train, so sánh trên cùng bộ. Nếu chỉ số mục tiêu tăng 4% nhưng hồi quy tăng 6%, bạn đã đổi một lỗi này lấy hai lỗi khác. Với agent có nhiều tool, hãy thêm kiểm tra tool-call: tên tool, tham số, thứ tự — vì LoRA có thể làm tăng khả năng tuân định dạng nhưng giảm khả năng chọn đúng tool.

Chi phí và latency: nơi LoRA thắng thật

Lợi ích tài chính của LoRA không đến từ việc train rẻ, mà từ việc chạy rẻ. Một model 8B đã tinh chỉnh có thể thay model API 30B ở tác vụ hẹp, giảm giá mỗi token và giảm latency vì không qua mạng. Nhưng bạn vẫn phải trả cho GPU ngồi chờ, cho người vận hành, và cho việc train lại khi dữ liệu trôi.

Nếu bạn chỉ có một tác vụ hẹp, khối lượng lớn, chạy 24/7 — LoRA cộng self-host thường thắng. Nếu tác vụ thay đổi mỗi quý, hoặc khối lượng nhỏ và không đều, API cộng prompt tốt thắng rõ. Con số hoà vốn phụ thuộc vào đỉnh lưu lượng, không phải trung bình.

# File: train_lora.py — peft 0.21.2, trl 1.17.1, transformers 5.22.2
from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
from peft import LoraConfig, get_peft_model, prepare_model_for_kbit_training
from trl import SFTConfig, SFTTrainer
import torch

model_id = "Qwen/Qwen3.8-27B"
tok = AutoTokenizer.from_pretrained(model_id)
bnb = BitsAndBytesConfig(load_in_4bit=True, bnb_4bit_quant_type="nf4",
                         bnb_4bit_compute_dtype=torch.bfloat16)
model = AutoModelForCausalLM.from_pretrained(model_id, quantization_config=bnb,
                                             device_map="auto")
model = prepare_model_for_kbit_training(model)

lora = LoraConfig(
    r=16, lora_alpha=32, lora_dropout=0.0, task_type="CAUSAL_LM",
    target_modules=["q_proj", "k_proj", "v_proj", "o_proj",
                    "gate_proj", "up_proj", "down_proj"],
)
model = get_peft_model(model, lora)

trainer = SFTTrainer(
    model=model,
    processing_class=tok,
    train_dataset=ds,                       # Dataset với cột "messages"
    eval_dataset=holdout,
    args=SFTConfig(output_dir="out/qwen38-lora", num_train_epochs=2,
                   learning_rate=2e-4, per_device_train_batch_size=1,
                   gradient_accumulation_steps=8, max_length=4096,
                   logging_steps=20, save_strategy="epoch"),
)
trainer.train()
trainer.save_model("out/qwen38-lora")      # chỉ lưu adapter, không lưu base 4-bit

Hai chi tiết trong code dễ sai: save_model lưu adapter chứ không lưu base đã lượng tử hoá, nên khi triển khai bạn phải nạp lại base theo đúng revision rồi mới gắn adapter. Và max_length phải phản ánh độ dài thật của dữ liệu — cắt ngắn mẫu train là cách nhanh nhất để dạy model một hành vi khác với hành vi bạn muốn.

Khi fine-tuning là lựa chọn sai

  • Kiến thức thay đổi thường xuyên. Bạn sẽ train lại mỗi tuần và không bao giờ đóng kịp dữ liệu.
  • Vấn đề là truy xuất. Model trả lời sai vì không có tài liệu, không phải vì không biết cách trả lời.
  • Tác vụ đa dạng, mỗi loại một ít. Một adapter cho mọi thứ thường tệ hơn prompt cho từng thứ.
  • Chưa có eval. Không có baseline thì không biết mình vừa cải thiện hay vừa làm hỏng.
  • Dữ liệu nhỏ và lệch. 200 mẫu từ một khách hàng sẽ dạy model phong cách của khách đó, không dạy tác vụ.
  • Bạn cần audit trail. Adapter tự huấn luyện khó giải thích hơn prompt cho kiểm toán và điều tra sự cố.

Nhìn sang 2027

Hai việc đang diễn ra: fine-tuning trên API tiếp tục thu hẹp, và LoRA trên trọng số mở tiếp tục rẻ đi nhờ toolchain tốt hơn. Dự đoán: adapter nhỏ, huấn luyện nhanh, gắn theo tác vụ sẽ phổ biến hơn model tinh chỉnh khổng lồ. Prompt và RAG không yếu đi; chúng chỉ bị đẩy về đúng vị trí mặc định của chúng.

Checklist

  • Viết lý do leo bậc bằng một câu, kèm số liệu eval thất bại.
  • Chốt baseline trên model gốc trước khi động vào GPU.
  • Chia holdout theo thời gian hoặc tenant, không chia ngẫu nhiên.
  • Bắt đầu rank 16, chỉ tăng khi holdout chứng minh cần.
  • Đo cả hồi quy trên tác vụ cũ, không chỉ chỉ số mục tiêu.
  • Ghi base model revision và chat template vào metadata adapter.

Đọc tiếp: trọng số mở so với trọng số đóng, các mô hình prompt engineering, viết prompt hiệu quả cho tác vụ agent, và đánh giá agent bằng LangSmith, Ragas và DeepEval.