Mô hình được huấn luyện trước không hỏng theo kiểu bug phần mềm. Nó hỏng theo kiểu phân bố: nó trả lời rất tự tin những thứ chưa từng thấy, quên thông tin sau ngày cắt, và thay đổi hành vi khi bạn thêm ba chữ vào prompt. Hiểu các kiểu hỏng này là phần việc bắt buộc của kỹ sư AI, vì mỗi kiểu cần một cách giảm thiểu khác nhau — và một số kiểu không thể sửa bằng prompt hay hơn.
Bài này đi qua chín hạn chế thực tế của mô hình AI được huấn luyện trước trong năm 2026, cách nhận ra từng kiểu, và biện pháp giảm thiểu đi kèm. Mục tiêu không phải làm bạn sợ model, mà để bạn thiết kế hệ thống biết model có thể sai ở đâu.
Mục lục
Cập nhật 2026: bốn thay đổi làm hạn chế lộ rõ hơn
- Context 1M không xóa được giới hạn. OpenAI có cửa sổ 1,05 triệu token nhưng tối đa 922K vào và 128K ra; Anthropic 1M vào, 128K ra; Gemini 4 Argon 1.048.576 token dùng chung cho cả vào lẫn ra. Cửa sổ lớn hơn, nhưng chất lượng và chi phí không phẳng theo độ dài.
- Knowledge cutoff vẫn là ngày cụ thể. Claude 5.x có cutoff tháng 6/2026; mỗi dòng model có một ngày riêng. Không có model nào biết dữ liệu sau ngày nó được huấn luyện.
- Deprecate và đổi giá là chuyện thường niên. Từ 01/12/2026, request tới gemini-2.5-flash tự route sang gemini-3.5-flash-lite; Gemini 4 Argon tăng từ $2/$10 lên $4/$20 sau 30/11/2026; ưu đãi của Gemini 3.8 Flash hết sau 31/12/2026.
- Open-weight không miễn nhiễm. Tự host giảm phụ thuộc API nhưng vẫn có bias, rò rỉ dữ liệu, license, và chi phí vận hành riêng.
Vì sao mô hình AI được huấn luyện trước hỏng theo cách khác
Model ngôn ngữ được tối ưu để sinh token hợp lý về mặt thống kê, không phải để nói đúng. Khi thiếu thông tin, nó vẫn sinh ra câu trả lời trôi chảy vì đó là điều phân bố huấn luyện thưởng. Đây là gốc của ảo giác, của việc bịa trích dẫn, và của việc khẳng định chắc chắn về một API không tồn tại.
Hệ quả thiết kế: mọi tính năng dùng model cần một nguồn sự thật bên ngoài model, một cách kiểm tra đầu ra, và một đường lui khi kiểm tra thất bại. Ba thứ đó — grounding, validation, fallback — là cấu trúc, không phải mẹo prompt.
1. Ảo giác (hallucination)
Ảo giác xuất hiện rõ nhất khi bạn hỏi về số liệu, ngày tháng, tên người, điều khoản hợp đồng, hoặc API. Model trả lời đúng định dạng, đúng giọng, nhưng nội dung sai. Tệ hơn, nó hiếm khi tự nói “tôi không biết” trừ khi được dạy cách từ chối.
Giảm thiểu: retrieval từ nguồn đã kiểm duyệt, bắt buộc trích dẫn id tài liệu, cho phép trả lời “không đủ thông tin”, và kiểm tra citation trước khi hiển thị. Với tác vụ có schema, dùng structured output và validate; nếu validation thất bại, retry một lần rồi fallback. Không có prompt nào làm ảo giác biến mất hoàn toàn — chỉ có grounding và kiểm tra làm nó giảm và làm nó lộ ra.
2. Knowledge cutoff
Mỗi model có một ngày cắt. Hỏi nó về giá hôm nay, policy vừa đổi, hay bản release tuần này là hỏi một người đã ngủ từ tháng 6. Cutoff không phải lỗi cấu hình; nó là giới hạn của dữ liệu huấn luyện.
Giảm thiểu: đưa ngày hiện tại vào system prompt, đưa tài liệu phiên bản mới vào context qua RAG, và không bao giờ để model tự quyết định “nguồn mới nhất”. Với tài liệu nội bộ, gắn metadata ngày và lọc theo ngày trước khi retrieve. Với câu hỏi thời sự, dùng web search có kiểm soát hoặc trả lời “cần tra cứu” thay vì đoán.
3. Giới hạn context và suy giảm chất lượng ở độ dài lớn
Ba con số khác nhau, đừng nhầm: cửa sổ vào, giới hạn ra, và ngân sách chi phí. OpenAI cho 922K token vào nhưng tối đa 128K ra; Gemini 4 Argon mặc định 65.536 token ra, mở rộng tới 1M khi decode dài. Vượt 272K token vào trên OpenAI, toàn bộ request bị tính gấp đôi input/cache và 1,5 lần output; trên xAI ngưỡng là 200K.
Chất lượng không tăng tuyến tính với độ dài. Model có xu hướng bám vào phần đầu và phần cuối của context, bỏ qua phần giữa; thêm tài liệu không liên quan có thể làm giảm độ chính xác. Đừng tin vào con số 1M — hãy đo recall theo vị trí trên chính corpus của bạn, rồi chọn chunking + retrieval thay vì nhét tất cả.
Giảm thiểu: retrieval thay vì long context khi cùng một corpus bị hỏi nhiều lần; đặt thông tin quan trọng ở đầu hoặc cuối; nén lịch sử hội thoại; và đặt trần cứng cho token vào trước khi gọi.
4. Bias và nội dung độc hại
Model kế thừa phân bố trong dữ liệu huấn luyện, gồm cả định kiến về giới, vùng miền, ngôn ngữ và nghề nghiệp. Với tiếng Việt, vấn đề còn ở chỗ dữ liệu ít hơn tiếng Anh, nên chất lượng và sắc thái có thể lệch giữa các nhóm người dùng.
Giảm thiểu: chia eval theo nhóm người dùng và ngôn ngữ, không chỉ theo tổng thể; dùng moderation endpoint (omni-moderation-latest của OpenAI miễn phí, trả điểm theo category, ngưỡng do bạn đặt); và với quyết định ảnh hưởng đến người thật — tuyển dụng, tín dụng, y tế — luôn có người review trước khi hành động. Filter không phải bảo đảm, chỉ là một lớp.
5. Prompt sensitivity
Cùng một yêu cầu, đổi cách diễn đạt, thêm ví dụ, hoặc đổi thứ tự message có thể đổi đầu ra đáng kể. Model không có “hợp đồng” ngữ nghĩa ổn định như một hàm; nó phản ứng với toàn bộ context. Đây là lý do một prompt thắng trên máy bạn có thể thua trên traffic thật.
Giảm thiểu: bộ eval có cả biến thể diễn đạt của cùng một case; schema-constrained output cho tác vụ có cấu trúc; few-shot ví dụ đại diện chứ không phải ví dụ đẹp; và version prompt như code. Nếu một thay đổi chỉ cải thiện đúng một câu bạn vừa nghĩ ra, nó chưa phải cải thiện.
6. Vendor lock-in
Lock-in không chỉ là giá. Đó là model id, API surface, và lịch deprecate. Assistants API của OpenAI đã bị gỡ; fine-tuning đã đóng với người dùng mới; Gemini 2.5 Flash sẽ tự route sang model khác từ 01/12/2026. Code viết chặt vào một API có thể phải viết lại dù model vẫn “chạy”.
Giảm thiểu: giữ prompt và manifest trong repo; tách lớp gọi model sau một interface nội bộ; lưu model id chính xác thay vì “latest”; và test ít nhất một đường fallback sang provider khác. Đừng trừu tượng hóa đến mức chỉ dùng được giao diện chung nhất — bạn sẽ mất tool calling và structured output đặc thù.
7. Chi phí ở quy mô lớn
Ở quy mô nhỏ, chi phí token trông không đáng lo. Ở quy mô lớn, nó là một dòng trong P&L. Một request 1.800 token vào, 600 token ra trên GPT-6.1 Sol tốn khoảng $0,00732; một triệu request tốn khoảng $7.320. Nếu vô tình vượt 272K token, con số đó tăng vọt vì toàn bộ request vào bảng giá gấp đôi.
Ba cái bẫy cụ thể: reasoning token tính như output và có thể gấp đôi hóa đơn; Claude Haiku 5.5 tăng 5 lần đơn giá khi vượt 100K token; và giá khuyến mãi của Gemini hết hạn theo ngày. Giảm thiểu: log bốn dòng chi phí theo feature, đặt ngân sách và alert, dùng prompt caching cho prefix ổn định, và Batch cho việc không đồng bộ.
8. Rò rỉ dữ liệu
Dữ liệu có thể rò ở ba chỗ: prompt gửi ra provider, log nội bộ lưu nguyên văn, và output hiển thị cho người không có quyền. OWASP LLM Top 10 xếp “Sensitive Information Disclosure” là LLM02 và “System Prompt Leakage” là LLM07; cả hai đều là lỗi thiết kế, không phải lỗi model.
Giảm thiểu: tối thiểu hóa và redact trước khi gửi; không đưa secret hay khóa API vào context; che PII trong log; cấp quyền tool theo tenant và task; và mã hóa output trước khi render. Với dữ liệu cần cư trú tại một vùng, chọn endpoint theo vùng thay vì mặc định.
9. Non-determinism
Cùng prompt, cùng model, hai lần gọi có thể ra hai kết quả. Nguyên nhân gồm sampling, cách batch request, và việc model snapshot thay đổi mà id không đổi. “Temperature 0” giảm biến thiên nhưng không bảo đảm tái lập tuyệt đối, nhất là khi có reasoning token.
Giảm thiểu: đánh giá trên phân bố nhiều lần chạy thay vì một lần; dùng structured output + validation; thiết kế retry idempotent; và không dùng so sánh chuỗi thô làm test. Với quyết định quan trọng, chấp nhận hai lần kiểm tra độc lập thay vì tin một lần gọi.
# File: guardrails/check_answer.py
def check_answer(answer, allowed_source_ids):
citations = answer.get("citations", [])
if not citations:
return {"ok": False, "reason": "missing_citation"}
unknown = {c["id"] for c in citations} - set(allowed_source_ids)
if unknown:
return {"ok": False, "reason": f"unknown_source:{sorted(unknown)}"}
return {"ok": True}
Hàm trên là ví dụ tối thiểu cho grounding check: câu trả lời không có citation, hoặc citation trỏ tới nguồn không nằm trong tập đã retrieve, đều bị coi là không hợp lệ. Đây là kiểm tra rẻ, chạy được trước khi hiển thị, và bắt được phần lớn ảo giác có trích dẫn bịa.
Thang fallback khi một hạn chế bị kích hoạt
Đừng chỉ có một đường. Thang fallback thực dụng: schema-constrained output → validate → retry một lần với prompt sửa → chuyển model rẻ hơn hoặc model khác → trả lời bằng search/template → chuyển người. Mỗi bước phải có log và lý do, để bạn biết tầng nào đang gánh traffic.
Với tính năng trả lời khách hàng, bước cuối là một nút “gặp người” hoạt động được, không phải một form chết. Với agent có tool, fallback phải bao gồm việc thu hồi quyền tool — dừng process là chưa đủ.
Bảng quyết định: hạn chế nào là chặn ship
| Hạn chế | Chấp nhận được khi | Chặn ship khi |
|---|---|---|
| Ảo giác | Có citation và người kiểm tra | Quyết định tài chính/y tế không có review |
| Cutoff | Có RAG với tài liệu mới | Cần dữ liệu thời gian thực không nguồn |
| Context | Corpus nhỏ, đo được recall | Nhét toàn bộ tài liệu và tin vào 1M |
| Bias | Đã chia slice và có người review | Ảnh hưởng trực tiếp đến nhóm người |
| Lock-in | Có interface và fallback đã test | Phụ thuộc một API đang deprecate |
Nhìn tới 2027
Các nhà cung cấp sẽ tiếp tục tăng context và giảm giá, nhưng cutoff, ảo giác và non-determinism là đặc tính của mô hình xác suất, không phải nhược điểm tạm thời. Điều sẽ đổi là công cụ: eval trong CI, grounding check tự động, và yêu cầu minh bạch của EU AI Act siết thêm. Việc của bạn là làm cho các lớp kiểm tra đó thành mặc định, không phải phụ lục.
Checklist
- Mọi câu trả lời quan trọng có citation trỏ tới nguồn đã retrieve.
- Có đường trả lời “không đủ thông tin” thay vì bịa.
- Đo recall theo vị trí và độ dài trước khi tăng context.
- Eval chia theo ngôn ngữ, nhóm người dùng và biến thể diễn đạt.
- Log bốn dòng chi phí, có alert khi chạm 70% ngân sách.
- Fallback và kill switch đã được diễn tập, không chỉ viết trong tài liệu.
Đọc tiếp: xây dựng pipeline RAG, tấn công prompt injection, và tokens, cửa sổ ngữ cảnh và chi phí API.
