Một LLM không “đọc hiểu” đoạn văn của bạn theo cách con người đọc. Nó nhận một chuỗi token, đưa chuỗi đó qua các lớp attention, rồi tính phân phối xác suất cho token kế tiếp. Lặp lại bước cuối cho đến khi gặp stop sequence. Toàn bộ “trí tuệ” mà bạn thấy trong một agent nằm trong vòng lặp dự đoán đó.
Bài này cố ý bỏ qua công thức. Bạn chỉ cần ba thứ để làm việc với agent tốt hơn: token là gì, attention làm gì với ngữ cảnh, và vì sao “next-token prediction” giải thích được gần như mọi hành vi kỳ lạ — từ hallucination đến việc agent quên tool vừa gọi hai bước trước.
Mục lục
Cập nhật 2026: những gì đã thay đổi so với bản cũ
- Dòng model đã đổi hoàn toàn. OpenAI hiện là GPT-6 (Astra, Sol, Terra, Luna), Anthropic là Claude 5.x (Fable 5.1, Opus 5.5, Sonnet 5.5, Haiku 5.5), Google là Gemini 4 Argon. GPT-4 và Claude 3 không còn là ví dụ đúng để dạy.
- Cả ba nhà đều ở quanh 1 triệu token context, nhưng trần input và output tách rời nhau: OpenAI 922K vào / 128K ra trên cùng cửa sổ 1,05 triệu.
- Reasoning token đã thành hạng mục chi phí riêng — chúng được tính như output token, không miễn phí và không bị ẩn.
- Tool calling trên các model lớn của OpenAI chỉ chạy qua Responses API; Chat Completions không còn gọi tool được trừ khi tắt reasoning.
Token: đơn vị duy nhất mà model thật sự nhìn thấy
Model không thấy chữ, không thấy byte, không thấy file PDF của bạn. Nó thấy một dãy số nguyên. Tokenizer chia văn bản thành các mảnh — thường là subword, đôi khi là cả từ phổ biến, đôi khi chỉ là một cụm byte — rồi ánh xạ mỗi mảnh sang một ID trong bảng từ vựng cố định của model đó.
Hệ quả đầu tiên và quan trọng nhất: token không phải từ. Một từ tiếng Anh thông thường có thể là một token; một từ tiếng Việt có dấu thường bị chia thành hai, ba mảnh hoặc hơn, vì bảng từ vựng được huấn luyện chủ yếu trên văn bản tiếng Anh. Cùng một ý nghĩa, viết bằng tiếng Việt thường tốn nhiều token hơn. Đây không phải chi tiết học thuật: nó là hóa đơn của bạn và là phần context bị ăn mất trước khi agent kịp suy luận.
Mỗi họ model có tokenizer riêng. Cùng một câu, đưa vào GPT-6, Claude 5.5 và Gemini 4, sẽ ra ba con số token khác nhau. Vì vậy mọi ước lượng “khoảng 1 token = 4 ký tự” chỉ là xấp xỉ thô cho tiếng Anh, và sai đáng kể với tiếng Việt, với JSON, với ID dạng UUID. Cách đúng là đọc số token mà API trả về trong usage, hoặc dùng tokenizer chính thức của model nếu có. Chi tiết về chuyện này nằm ở bài tokenization và hiệu năng agent.
Trong một agent, token đến từ những nguồn bạn thường không tính: system prompt, mô tả tool, JSON schema của tool, lịch sử hội thoại, kết quả tool (log, JSON API, đoạn tài liệu retrieve), và cả “thinking” của model. Một agent “đơn giản” với 4 tool có thể đã tiêu 3.000–5.000 token trước khi người dùng gõ câu đầu tiên. Con số đó lặp lại ở mỗi bước của vòng lặp.
Attention: mỗi token nhìn tất cả token khác
Transformer bỏ tính tuần tự của RNN. Thay vì đọc lần lượt, nó để mọi token trong context “nhìn” mọi token khác cùng lúc, qua ba vector: query (tôi đang tìm gì), key (tôi chứa thông tin gì), value (nội dung tôi đóng góp). Điểm tương đồng giữa query của token A và key của token B quyết định B đóng góp bao nhiêu vào biểu diễn của A.
Cách nghĩ thực dụng: attention là một cơ chế định tuyến thông tin. Khi model xử lý từ “nó” trong câu “John gọi cho mẹ anh ấy, nhưng anh ấy không bắt máy”, attention của token “anh ấy” phải chỉ đúng về “John” chứ không phải “mẹ”. Không có attention đúng, mọi suy luận phía sau đều sai. Đó là lý do context rối loạn — quá nhiều thứ na ná nhau — làm model yếu đi, dù bạn còn thừa hàng trăm nghìn token.
Đặc điểm kỹ thuật quan trọng nhất với người viết code: attention so sánh theo cặp, nên chi phí tăng theo bình phương độ dài, cộng thêm KV cache phình theo số token × số lớp × số head. Đó là lý do một request 900K token tốn bộ nhớ và thời gian prefill trước khi sinh ra token đầu tiên. Cửa sổ ngữ cảnh lớn không phải “miễn phí rồi trả sau” — bạn trả ngay ở prefill, và trả tiếp ở mỗi token output vì KV cache phải được đọc lại.
Transformer cũng không tự biết thứ tự. Thông tin vị trí được đưa vào embedding, nên “chó cắn người” và “người cắn chó” khác nhau với model. Nhưng đây là trật tự vị trí trong chuỗi, không phải trật tự logic. Nếu bạn đặt instruction quan trọng ở giữa một khối 200K token, model không có bất kỳ cơ chế nào đảm bảo nó sẽ chú ý tới đó hơn phần còn lại.
Dự đoán token tiếp theo: toàn bộ hành vi nằm ở đây
Model tính xác suất cho từng token trong bảng từ vựng, chọn một token theo cách lấy mẫu, nối nó vào chuỗi, rồi lặp lại. Không có bước “hiểu ý người dùng” riêng biệt. Hiểu ý người dùng chính là việc phân phối xác suất bị dịch chuyển bởi context phía trước.
Ba hệ quả trực tiếp:
Hallucination không phải lỗi riêng, nó là chế độ mặc định khi thiếu dữ liệu. Nếu context không chứa câu trả lời, model vẫn phải chọn một token — và nó chọn token có xác suất cao theo phân phối đã học, tức là câu trả lời nghe hợp lý. Không có cơ chế “tôi không biết” trừ khi bạn dạy nó qua prompt, schema hoặc tool. Đó là lý do grounding bằng RAG và tool tra cứu hiệu quả hơn việc dặn “đừng bịa”.
Model không có trạng thái giữa các lần gọi. Mỗi request là một lần chạy mới trên đúng những token bạn gửi. “Agent nhớ cuộc hội thoại” thực chất là lớp ứng dụng gửi lại lịch sử, hoặc dùng state server-side như previous_response_id của Responses API. Nếu tool chạy xong mà kết quả không nằm trong context, với model việc đó chưa từng xảy ra.
Chất lượng phụ thuộc vào thứ tự và cách trình bày token, không chỉ nội dung. Cùng một tập dữ liệu, đặt JSON thô trước câu hỏi và đặt câu hỏi trước JSON cho kết quả khác nhau. Đây không phải mê tín: vị trí token thay đổi attention, và attention quyết định token nào được dùng để dự đoán.
Reasoning token: “suy nghĩ” cũng là token sinh ra
Các model hiện tại có thể sinh một chuỗi token nội bộ trước khi trả lời. Chuỗi đó không hiển thị cho người dùng nhưng vẫn được tính tiền như output. Với agent, đây thường là hạng mục chi phí lớn nhất và khó thấy nhất, vì một bước “suy luận” có thể sinh 2.000 token ẩn cho một quyết định mà output thật chỉ 40 token.
Cách điều khiển khác nhau ở từng nhà, và đây là chỗ tài liệu cũ khiến người ta viết sai:
- OpenAI dùng
reasoning.effortvới các mứclow,medium,high,xhigh,max; dòng Sol mặc địnhmedium. - Anthropic đã bỏ
budget_tokensthủ công — từ Claude 4.7 trở đi, tham số này bị từ chối với lỗi 400. Cách đúng làthinking: {"type": "adaptive"}cộngoutput_config: {"effort": ...}. - Google dùng thinking ở ba mức
low,medium,high, và giá output đã bao gồm token thinking — mọi token sinh ra đều bị tính.
Quy tắc thực tế: reasoning nhiều không làm task dễ tốt hơn. Với phân loại, trích xuất, format lại JSON, effort thấp thường cho cùng kết quả với chi phí thấp hơn nhiều lần. Với bài toán nhiều ràng buộc — lập kế hoạch nhiều bước, kiểm tra chéo tài liệu, debug — effort cao mới có lãi. Hãy đo trên eval của bạn thay vì mặc định để mức cao nhất.
Năm hệ quả khi thiết kế agent
- Tool call cũng là token. Tên tool, mô tả, schema, và arguments đều chiếm context. Một tool có mô tả 300 từ là 300 từ bị trừ vào ngân sách suy luận ở mọi bước. Schema gọn, mô tả rõ, ít tool hơn — luôn thắng về cả chất lượng lẫn chi phí.
- Agent không “thấy” hệ thống, chỉ thấy văn bản. Nếu bạn đổi state ở backend mà không đưa vào context, model sẽ hành động như state cũ. Mọi sự thật mà agent cần phải xuất hiện dưới dạng token ở đúng bước.
- Lỗi thường là lỗi context, không phải lỗi model. Trước khi đổi sang model đắt hơn, hãy kiểm tra: instruction có bị chôn giữa khối dài không, kết quả tool có bị cắt không, ví dụ few-shot có mâu thuẫn không.
- Non-determinism là thuộc tính, không phải bug. Sampling làm hai lần chạy khác nhau. Muốn ổn định thì hạ temperature, siết schema, và viết eval thay vì trông vào may mắn.
- Model không có khái niệm “đã xong”. Nó dừng khi sinh stop token hoặc khi bạn cắt. Vòng lặp agent cần điều kiện dừng ở phía bạn: số bước, ngân sách token, hoặc tín hiệu thành công kiểm chứng được.
Các dòng model năm 2026
Bảng dưới chỉ để bạn biết mình đang chọn giữa cái gì. Giá là USD trên 1 triệu token, tier standard, đọc từ tài liệu chính thức của nhà cung cấp; chúng thay đổi theo tháng nên đừng hard-code.
| Model | Context / output | Giá input / cached / output |
|---|---|---|
| GPT-6 Astra | 1,05M / 128K | $10 / $1 / $50 |
| GPT-6.1 Sol | 1,05M / 128K | $2 / $0,10 / $10 |
| Claude Sonnet 5.5 | 1M / 128K | $2 / $0,10 / $10 |
| Claude Haiku 5.5 | 1M / 128K | $0,10 / $0,01 / $0,50 (đến 100K) |
| Gemini 4 Argon | 1,048,576 dùng chung | $2 / — / $10 (đến 2026-11-30) |
Ba điều đáng chú ý trong bảng này. Thứ nhất, model rẻ nhất và đắt nhất chênh nhau khoảng 100 lần — chọn sai model là sai một bậc chi phí, không phải vài phần trăm. Thứ hai, cached input rẻ hơn input thường từ 10 đến 20 lần, nên cấu trúc prompt ổn định có giá trị trực tiếp. Thứ ba, Gemini 4 Argon đang ở giá khuyến mãi đến hết 2026-11-30, sau đó gấp đôi — đừng xây dựng mô hình chi phí trên con số hiện tại.
Về API: với OpenAI, Responses API là lựa chọn cho dự án mới. Chat Completions vẫn chạy nhưng không gọi được tool trên Astra và Sol, và không có hosted tools, encrypted reasoning hay state qua previous_response_id. Nếu bạn đang dạy hoặc học theo mẫu Chat Completions cũ, phần tool calling sẽ không chạy.
Lỗi hay gặp khi giải thích Transformer cho người mới
- Dạy “attention là model hiểu ngữ cảnh” mà không nói attention chỉ là trọng số trên token. Model không có mô hình thế giới bền vững; nó có phân phối xác suất điều kiện theo context.
- Nói “model có 1M token nên nhét cả codebase”. Cửa sổ là trần kỹ thuật, không phải ngân sách chất lượng. Nhồi đầy làm loãng attention và tăng chi phí theo bậc.
- Bỏ qua reasoning token khi ước lượng chi phí. Đây là lý do phổ biến nhất khiến hóa đơn thực tế cao gấp đôi dự toán.
- Dùng encoder-decoder làm ví dụ mặc định. Hầu hết LLM bạn gọi qua API là decoder-only; kiến trúc encoder-decoder của bài báo gốc thuộc về lịch sử dịch máy.
Checklist trước khi đi tiếp
- Đo token thật của system prompt + tool schema + một lượt hội thoại, bằng usage trả về từ API — không ước lượng bằng số ký tự.
- Đọc lại mọi instruction quan trọng và kiểm tra chúng không nằm giữa khối dữ liệu dài.
- Đặt
max_outputrõ ràng và xử lý trường hợp output bị cắt thay vì để JSON hỏng làm sập parser. - Chọn mức reasoning theo loại task, có eval so sánh chất lượng và chi phí ở hai mức kề nhau.
- Ghi lại model ID và giá tại thời điểm viết, kèm ngày kiểm tra — giá đổi theo tháng.
Năm 2027, phần lớn thay đổi sẽ không nằm ở kiến trúc mà ở cách điều khiển: context được quản lý như tài nguyên (compaction, isolation, memory ngoài) và chi phí được tính theo task thay vì theo token thô. Nhưng mental model thì không đổi: model dự đoán token tiếp theo trên đúng những gì nó thấy.
Bài tiếp theo trong series
- Cửa sổ ngữ cảnh và độ dài tối đa — 1M token thực tế nghĩa là gì.
- Temperature, top-p và các hình phạt — phần lấy mẫu mà bài này chỉ nhắc tới.
- Lựa chọn LLM cho suy luận và lập kế hoạch — biến bảng model ở trên thành quyết định.
