AI Agent Roadmap: Ảnh Hưởng Của Tokenization Đến Hiệu Năng Của AI Agent

Tokenization là bước duy nhất trong pipeline LLM mà hầu như không ai đọc tài liệu, nhưng nó quyết định ba thứ bạn quan tâm nhất: hóa đơn, lượng context còn trống cho suy luận, và việc tool call có chạy đúng hay không. Cùng một yêu cầu nghiệp vụ, viết bằng tiếng Việt, đưa qua một schema tool dài dòng, có thêm vài UUID trong kết quả API — số token có thể gấp nhiều lần bản gọn, dù nội dung không khác gì.

Bài này không giải thích BPE từ đầu. Nó tập trung vào những chỗ tokenization đánh vào agent thật: chi phí mỗi bước, trần context, JSON của tool, tiếng Việt, số và ID, và chuyện output bị cắt giữa chừng.

Cập nhật 2026: ba thay đổi ảnh hưởng trực tiếp

  • Usage đã chi tiết hơn. API hiện trả về input token, cached input token, output token và reasoning token riêng biệt ở nhiều nhà cung cấp. Đếm token bằng cách chia độ dài chuỗi là bỏ qua toàn bộ dữ liệu miễn phí này.
  • Cache tính theo prefix, không theo “prompt”. Chỉ phần đầu giống hệt từng byte mới được cache; một thay đổi nhỏ ở system prompt làm mất cache của cả khối phía sau. Tokenization quyết định “giống hệt” nghĩa là gì.
  • Context lớn nhưng trần input thấp hơn context. OpenAI GPT-6 có cửa sổ 1,05 triệu token nhưng tối đa 922K input và 128K output; Gemini 4 Argon dùng chung 1.048.576 token cho cả vào và ra. Tokenization là thứ ăn vào phần trần đó trước tiên.

Tokenization thực sự làm gì

Tokenizer chia văn bản thành các mảnh theo một bảng từ vựng cố định, rồi gán ID. Các mảnh thường là subword: từ phổ biến thành một token, từ hiếm bị xé thành nhiều mảnh, ký tự lạ rơi xuống mức byte. Nghĩa là không còn khái niệm “từ ngoài từ vựng” theo kiểu cũ — mọi chuỗi đều encode được, chỉ là tốn bao nhiêu token mà thôi.

Điểm cần nhớ: số token là thuộc tính của cặp (văn bản, tokenizer), không phải của văn bản. Cùng một câu tiếng Việt, GPT-6, Claude 5.5 và Gemini 4 sẽ cho ba con số khác nhau. Vì vậy mọi so sánh chi phí giữa các model phải dùng đơn vị tiền trên cùng một tác vụ, không phải giá trên 1 triệu token nhân với “số từ ước lượng”.

Một chi tiết hay bị bỏ: Unicode normalization. Cùng một chữ tiếng Việt có dấu có thể được biểu diễn bằng ký tự dựng sẵn hoặc bằng ký tự gốc cộng dấu kết hợp. Nhìn giống nhau trên màn hình, nhưng tokenizer có thể chia thành số token khác nhau. Nếu bạn đo, so sánh hoặc cache theo chuỗi, hãy chuẩn hóa về NFC trước — nếu không, “cùng một prompt” có thể không phải cùng một chuỗi byte.

Chi phí: tokenization là bội số của hóa đơn

Giá API tính theo token, nên tokenization không phải chi tiết kỹ thuật mà là hệ số nhân chi phí. Một tokenizer chia văn bản thành ít token hơn cho cùng nội dung sẽ rẻ hơn tuyến tính — và tiết kiệm đó lặp lại ở mọi bước của agent, mọi ngày, mọi tenant.

Ba hạng mục chi phí không giống nhau: input thường, cached input (rẻ hơn nhiều lần), và output. Reasoning token được tính như output. Với agent nhiều bước, phần lớn tiền nằm ở input lặp lại — chính là phần mà tokenization và cấu trúc prompt kiểm soát được. Cách tính chi tiết theo từng hạng mục nằm ở bài định giá dựa trên token.

Điều này cũng giải thích vì sao prompt caching lại quan trọng đến vậy. Nếu system prompt và tool block giữ nguyên từng byte, phần đó được đọc ở giá cached — với Anthropic khoảng 5% giá input trên Opus/Sonnet 5.5, với OpenAI 5–10% tùy dòng model. Nhưng cache có ngưỡng tối thiểu: prefix dưới 512 token sẽ không được cache trên Anthropic. Một agent có system prompt 400 token và 6 tool mô tả ngắn có thể rơi đúng dưới ngưỡng này và mất toàn bộ lợi ích cache mà không ai nhận ra.

Context: token của tool schema là token bạn không dùng để suy luận

Trong một agent, context bị ăn trước khi model làm việc. System prompt, mô tả tool, JSON schema, lịch sử, kết quả tool — mỗi thứ đều là token. Một tool với mô tả dài và schema nhiều field có thể chiếm hơn một nghìn token; với 10 tool, bạn mất hơn 10.000 token mỗi request trước khi người dùng hỏi bất cứ điều gì.

Con số đó không chỉ là tiền. Nó làm loãng attention và đẩy thông tin thật về phía giữa một khối dài — nơi model kém chú ý nhất. Một agent 4 tool với schema gọn thường hoạt động tốt hơn agent 12 tool có mô tả dài, dù context còn thừa rất nhiều. Đây là lý do bài thiết kế công cụ cho agent bắt đầu bằng việc cắt bớt tool, không phải thêm.

Với tài liệu dài, hãy nhớ trần input khác trần context. Cửa sổ 1,05 triệu token không có nghĩa bạn được gửi 1,05 triệu token input: output cần chỗ riêng, và trên OpenAI con số input tối đa là 922K. Nếu bạn tính ngân sách theo “context window” mà quên trừ output reserve, request sẽ bị từ chối hoặc bị cắt ở chỗ bạn không ngờ.

Tool JSON: chỗ tokenization âm thầm làm hỏng agent

Tool call là văn bản, không phải lời gọi hàm thần kỳ. Model sinh ra tên tool và arguments dưới dạng token; runtime parse chúng thành JSON. Mọi thứ bạn viết trong schema đều là token mà model phải đọc ở mỗi bước, và mọi thứ model viết ra đều là token bạn phải trả tiền.

Ba quy tắc thực dụng:

  • Schema gọn nhưng không mơ hồ. Tên field rõ nghĩa quan trọng hơn tên ngắn: customer_id đọc tốt hơn cid, dù tốn thêm vài token. Cắt phần mô tả trùng lặp, ví dụ dài, và enum không dùng đến — đừng cắt tên field.
  • Đừng nhét dữ liệu vào mô tả tool. Mô tả tool là để dạy model khi nào dùng tool, không phải nơi chứa danh sách 200 mã sản phẩm. Dữ liệu đó thuộc về kết quả tool hoặc RAG.
  • Output JSON nên ngắn. Khi bạn yêu cầu JSON, model sẽ sinh dấu ngoặc, tên key và khoảng trắng — tất cả đều là output token, hạng mục đắt nhất. Minify ở phía bạn, và chỉ yêu cầu các field bạn thực sự dùng.

Số và ID là điểm đau riêng. Các chuỗi như UUID, hash, base64, hoặc số điện thoại thường bị tokenizer xé thành nhiều mảnh vì chúng không giống văn bản tự nhiên. Một UUID 36 ký tự có thể tốn cả chục token; một danh sách 50 ID tốn một khoản đáng kể ở mỗi bước lặp. Nếu ID chỉ dùng nội bộ, hãy dùng số nguyên tăng dần hoặc mã ngắn, và giữ UUID ở tầng database.

Tiếng Việt: đo, đừng đoán

Tiếng Việt có dấu, nhiều âm tiết viết rời, và ít xuất hiện trong dữ liệu huấn luyện tokenizer so với tiếng Anh. Hệ quả thực tế: cùng một nội dung, bản tiếng Việt thường chiếm nhiều token hơn bản tiếng Anh, nên context còn ít hơn và chi phí cao hơn. Mức chênh lệch phụ thuộc model và văn bản cụ thể — không có một tỷ lệ cố định nào đúng cho mọi trường hợp, và mọi con số “1 token = 4 ký tự” đều sai với tiếng Việt.

Vì vậy, với agent phục vụ người dùng Việt Nam, ba việc sau đáng làm ngay: đo token thật trên chính dữ liệu của bạn; đặt ngân sách context theo số token đo được chứ không theo số từ; và ưu tiên cấu trúc nội dung rõ ràng — tiêu đề ngắn, bullet, không lặp lại — vì mỗi token tiết kiệm được nhân lên theo số bước agent.

Cũng đừng chọn model chỉ vì giá token thấp. Một model rẻ nhưng tokenize tiếng Việt kém có thể đắt hơn trên mỗi task hoàn thành, vì nó tốn nhiều token hơn, cần nhiều bước hơn, và tỷ lệ thành công thấp hơn. Đơn vị so sánh đúng là chi phí trên một task đúng, không phải giá trên một triệu token.

Truncation và structured output

Khi output bị cắt vì chạm max_output, hậu quả không chỉ là câu trả lời ngắn hơn. Với JSON, nó là object không đóng ngoặc — parser ném lỗi, agent loop dừng hoặc rơi vào nhánh retry đắt tiền. Với tool call, nó là arguments thiếu field, và tool chạy với dữ liệu sai thay vì báo lỗi rõ ràng.

Ba biện pháp: đặt max_output đủ lớn cho schema của bạn và kiểm tra trường finish reason; thiết kế output ngắn (trả về ID thay vì cả object; trả về diff thay vì cả file); và validate phía server trước khi thực thi side effect. Đừng để model tự quyết định “trả lời xong chưa” trong một tác vụ có hậu quả.

Đo token trong thực tế

Đếm token bằng tokenizer là việc của thư viện; đếm token của agent là việc của bạn. Hãy ghi lại usage mỗi lượt, tách input thường, cached, và output, rồi cộng theo task. Đoạn code dưới chỉ làm phần kế toán — nó nhận số liệu từ API, không tự bịa ra số.

# File: token_budget.py
from dataclasses import dataclass

@dataclass
class TurnUsage:
    input_tokens: int          # tổng input, đã gồm phần cached
    cached_input_tokens: int   # subset của input_tokens
    output_tokens: int         # gồm cả reasoning token
    reasoning_tokens: int      # subset của output_tokens

def split_usage(u: TurnUsage) -> dict[str, int]:
    uncached = u.input_tokens - u.cached_input_tokens
    return {
        "uncached_input": uncached,
        "cached_input": u.cached_input_tokens,
        "output": u.output_tokens,       # reasoning đã nằm trong đây
    }

def task_totals(turns: list[TurnUsage]) -> dict[str, int]:
    total = {"uncached_input": 0, "cached_input": 0, "output": 0, "reasoning": 0}
    for u in turns:
        parts = split_usage(u)
        for key, value in parts.items():
            total[key] += value
        total["reasoning"] += u.reasoning_tokens
    total["total"] = total["uncached_input"] + total["cached_input"] + total["output"]
    return total

# Một task 8 bước, đo trên usage thật của API:
turns = [
    TurnUsage(input_tokens=9_400, cached_input_tokens=7_000, output_tokens=420, reasoning_tokens=180),
    TurnUsage(input_tokens=13_100, cached_input_tokens=9_000, output_tokens=380, reasoning_tokens=150),
]
print(task_totals(turns))

Hai điều cần chú ý khi đọc kết quả. Thứ nhất, không cộng reasoning token vào output lần nữa nếu API đã báo nó là subset — nếu không bạn sẽ thổi phồng chi phí gấp đôi. Thứ hai, tỷ lệ cached/uncached là chỉ số sức khỏe của prompt: nếu nó tụt xuống gần 0, nghĩa là prefix của bạn không còn ổn định và bạn đang trả giá đầy đủ cho mọi token ở mọi bước.

Bảng: nguồn token và cách cắt

Nguồn Tác động Cách xử lý
System prompt + tool schema Lặp ở mọi bước, khối cố định lớn nhất Giữ byte-stable, cắt mô tả trùng, ít tool hơn
Lịch sử hội thoại Tăng tuyến tính theo lượt Tóm tắt định kỳ, giữ N lượt gần nhất
Kết quả tool Có thể rất lớn và không cần thiết Trả về field tối thiểu, dùng tham chiếu thay vì object đầy đủ
Tài liệu retrieve Chiếm phần lớn context Rerank, giới hạn k, chunk nhỏ hơn có ngữ cảnh
Output + reasoning Hạng mục đắt nhất Schema ngắn, max_output hợp lý, effort thấp cho task đơn giản

Lỗi phổ biến

  • Ước lượng token bằng số ký tự. Với tiếng Việt và JSON, sai số đủ lớn để vỡ ngân sách.
  • Dùng một tokenizer cho mọi model. Con số của GPT-6 không áp dụng cho Claude hay Gemini.
  • Tin rằng JSON schema “không tốn token”. Nó tốn ở mọi request, theo đúng số field bạn khai báo.
  • Bỏ qua cached và reasoning khi tính chi phí. Đây là hai hạng mục làm hóa đơn lệch nhiều nhất so với dự toán.
  • Tối ưu prompt nhưng không nhìn tỷ lệ cached. Cắt 200 token ở phần đầu có thể làm mất cache của 20.000 token phía sau — lỗ ròng.

Checklist

  • Ghi usage mỗi lượt và cộng theo task; lưu cả reasoning token.
  • Đo token của system prompt + toàn bộ tool schema trước khi thêm bất kỳ tool nào.
  • Giữ phần đầu prompt ổn định, đặt nội dung thay đổi (câu hỏi, kết quả tool) ở cuối.
  • Minify mọi JSON gửi vào context; chỉ giữ field agent dùng.
  • Dùng ID ngắn nội bộ; không đưa UUID dài vào prompt nếu không cần.
  • Chuẩn hóa tiếng Việt về NFC khi so sánh, cache hoặc đo.
  • Đặt max_output rõ ràng và xử lý finish reason trước khi parse JSON.

Hướng đi 2027 khá rõ: chi phí sẽ được quản lý theo task và theo tenant, không theo token thô, và các framework sẽ tự báo tỷ lệ cached, số bước, token thừa. Nhưng nền tảng vẫn là thứ trong bài này — số token là kết quả của tokenizer cộng với cách bạn cấu trúc context.

Bài liên quan