Con số 1.05M nghe như lời mời nhét cả bộ tài liệu vào một request. Thực tế nó là giới hạn của cửa sổ, không phải ngân sách bạn nên tiêu. Bài này đi qua bốn thứ quyết định một request dài có hiệu quả hay không: phần vào và phần ra thực sự được phép, cách reasoning token ăn vào ngân sách output, ngưỡng phụ phí 272K, và cách đo chất lượng khi độ dài tăng.
Mục lục
Cập nhật 2026: cửa sổ đã đổi, cách tính tiền thì chưa
- Toàn bộ lineup GPT-6 hiện có cùng cửa sổ 1,050,000 token. Các dòng trước có cửa sổ nhỏ hơn nhiều; những con số đó đã là lịch sử.
- Phần vào tối đa 922K, phần ra tối đa 128K. Hai giới hạn này độc lập; bạn không thể dùng 1.05M cho đầu vào rồi vẫn có 128K cho đầu ra.
- Reasoning token được tính như output. Với model reasoning, “đầu ra” trong hóa đơn có thể lớn hơn nhiều so với phần chữ bạn nhìn thấy.
- Ngưỡng phụ phí 272K vẫn giữ nguyên: vượt ngưỡng, toàn bộ request bị tính gấp đôi input và cached input, gấp 1.5 lần output.
1.05M thực sự nghĩa là gì
Cửa sổ 1,050,000 token là tổng ngân sách cho một lần sinh. Prompt, lịch sử hội thoại, tài liệu đính kèm, tool schema và cả phần model sinh ra đều nằm trong đó. OpenAI tách rõ hai phía: tối đa 922K token đầu vào và tối đa 128K token đầu ra.
Vì vậy một request có 900K token tài liệu vẫn còn chỗ cho khoảng 22K token đầu vào nữa, nhưng chỉ được sinh tối đa 128K token. Nếu bạn đang làm tính năng “tóm tắt toàn bộ hợp đồng 900 trang thành báo cáo 200 trang”, giới hạn thật là 128K output, không phải 1.05M context. Đây là chỗ nhiều người thiết kế sai ngay từ bước đặt yêu cầu.
Một điều nữa: 1.05M là giới hạn kỹ thuật, không phải cam kết chất lượng. Model vẫn xử lý được 900K token, nhưng khả năng tìm đúng một câu trong 900K token phụ thuộc vào vị trí, cấu trúc tài liệu và cách bạn đặt câu hỏi. Phần sau của bài nói về cách đo điều đó thay vì tin vào con số trên trang pricing.
Bốn model, một cửa sổ, bốn mức giá
| Model | Input · cached | Output |
|---|---|---|
| gpt-6-astra | $10 · $1 | $50 |
| gpt-6.1-sol | $2 · $0.10 | $10 |
| gpt-6.1-terra | $1 · $0.05 | $5 |
| gpt-6-luna | $0.10 · $0.01 | $0.50 |
Giá trên là USD cho 1 triệu token, tier chuẩn. Cả bốn model đều nhận text và image, cùng cửa sổ, cùng giới hạn 922K/128K. Khác biệt duy nhất về hình dạng là mức giá và chất lượng suy luận; khác biệt về vận hành là chi phí ghi cache.
Cache write cũng là một dòng tiền thật: $12.50 cho Astra, $2.50 cho Sol, $1.25 cho Terra ở cửa sổ 30 phút và $2.50 ở cửa sổ 12 giờ, $0.125 cho Luna, tính trên 1M token. Nếu bạn có system prompt 40K token lặp lại mỗi request, tiền ghi cache mỗi lần là $0.50 trên Astra nhưng chỉ $0.005 trên Luna. Chọn model rẻ mà vẫn giữ prompt dài là cách giảm chi phí hiệu quả hơn nhiều so với việc cắt bớt nội dung.
Reasoning token nằm trong ngân sách output
Với model reasoning, phần model “nghĩ” trước khi trả lời cũng là token sinh ra, được tính theo giá output và ăn vào giới hạn 128K. Trên dòng GPT-6, `reasoning.effort` nhận `low`, `medium`, `high`, `xhigh`, `max`; Sol mặc định `medium`.
Hệ quả thực hành: khi bạn đặt `max_output_tokens` quá thấp, model có thể tiêu hết ngân sách cho reasoning rồi trả về phần chữ rỗng hoặc bị cắt giữa câu. Đây không phải lỗi API, chỉ là ngân sách đã cạn. Với tác vụ cần reasoning, hãy đặt ngân sách output đủ lớn cho cả phần nghĩ lẫn phần viết, rồi đo tỷ lệ reasoning trên tổng output để biết mình đang trả tiền cho cái gì.
Ví dụ: một request Sol với 2,000 token reasoning và 1,500 token trả lời có chi phí output là 3,500 token × $10/1M, tức $0.035. Nếu bạn tưởng chỉ trả cho 1,500 token chữ, bạn sẽ ước tính thấp hơn một nửa. Đây là lý do mọi bảng dự toán cần lấy số từ `usage` của API, không lấy từ độ dài văn bản bạn thấy.
Ngưỡng 272K: cú nhảy bậc, không phải độ dốc
Khi token đầu vào vượt 272K, toàn bộ request bị tính gấp đôi giá input và cached input, gấp 1.5 lần giá output. Không phải chỉ phần vượt ngưỡng bị tính thêm; cả 300K token đều vào bảng giá cao.
Con số cụ thể trên Sol: 300K token vào và 10K token ra. Dưới ngưỡng là $0.60 cộng $0.10, tức $0.70. Vượt ngưỡng là $1.20 cộng $0.15, tức $1.35. Chỉ 28K token vượt rào làm giá gần gấp đôi. Trên Astra, cùng payload là $3.00 cộng $0.50 dưới ngưỡng, và $6.00 cộng $0.75 khi vượt.
Vì vậy có hai chiến lược rõ ràng. Nếu prompt thường xuyên ở vùng 280K đến 400K, hãy cắt xuống dưới 272K bằng cách bỏ lịch sử cũ, nén tài liệu hoặc chuyển sang retrieval. Nếu bạn thật sự cần 800K token trong một request, hãy so sánh với một nhà cung cấp tính phẳng trên 1M; chênh lệch có thể là gấp đôi chứ không phải vài phần trăm.
Vì sao context dài lại đắt
Hai chi phí vật lý nằm sau hóa đơn. Thứ nhất là attention: mỗi token mới phải so với các token trước đó, nên chi phí tính toán của thành phần attention tăng theo bình phương độ dài chuỗi. Thứ hai là KV cache: mỗi token đã xử lý cần giữ key và value cho mọi layer, nên bộ nhớ tăng tuyến tính theo số token, số layer, số head và độ rộng head.
Một phép tính để thấy quy mô. Giả sử model có 64 layer, 8 KV head, head dimension 128, lưu FP16 (2 byte) cho cả key và value. Với 1 triệu token: 1,000,000 × 64 × 8 × 128 × 2 × 2 byte, tức khoảng 262 tỷ byte, gần 244 GiB chỉ cho KV cache. Con số này phụ thuộc cấu hình thật của model, nhưng bậc độ lớn là đúng: context dài không miễn phí ở tầng phần cứng, và đó là lý do prefill chậm hơn và giá cao hơn.
Hệ quả là hai thứ tăng cùng lúc: thời gian trước khi có token đầu tiên và tiền. Nếu bạn stream, người dùng vẫn phải chờ prefill xong mới thấy chữ đầu tiên. Với 900K token, prefill có thể chiếm phần lớn thời gian của một request, kể cả khi phần trả lời chỉ vài trăm token.
Chunking hay long context
Không có câu trả lời tuyệt đối, nhưng có tiêu chí rõ. Dùng long context khi bạn cần suy luận xuyên tài liệu, thứ tự và vị trí thông tin quan trọng, hoặc khi đây là tác vụ một lần và không lặp lại. Dùng chunking cộng retrieval khi cùng một corpus bị hỏi nhiều lần, khi cần trích dẫn nguồn cho từng câu, khi cần chạy song song, hoặc khi prompt vượt 272K.
So sánh chi phí trên Sol cho một câu hỏi. Cách một: gửi 900K token tài liệu, tốn 900K × $4/1M cho input do vượt ngưỡng, tức $3.60, cộng 5K token output × $15/1M là $0.075, tổng $3.675. Cách hai: retrieve 30K token liên quan, tốn 30K × $2/1M là $0.06, cộng cùng $0.075, tổng $0.135. Chênh khoảng 27 lần trước khi tính chi phí embedding và hạ tầng vector store.
Nhưng rẻ hơn không luôn tốt hơn. Retrieval có thể bỏ sót đoạn quan trọng, và chunking làm mất ngữ cảnh xuyên đoạn. Cách dung hòa đang được dùng nhiều trong production: retrieval để lấy đúng vùng tài liệu, rồi long context để tổng hợp và đối chiếu trong vùng đó. Bạn trả tiền cho phần context thật sự cần, không trả cho toàn bộ corpus.
Đặt max_output_tokens đúng cách
Đây là request tối thiểu cho một lần gọi dài. Chú ý `max_output_tokens` là tổng ngân sách sinh, gồm cả reasoning token.
curl https://api.openai.com/v1/responses \
-H "Authorization: Bearer $OPENAI_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "gpt-6.1-sol",
"instructions": "Trả lời bằng tiếng Việt. Trích số hiệu điều khoản cho mọi kết luận.",
"input": "Dán nội dung tài liệu đã cắt ở đây.",
"max_output_tokens": 4000,
"reasoning": { "effort": "medium" }
}'
Ba quy tắc khi đặt con số này. Đặt theo loại tác vụ, không theo độ dài tài liệu: tóm tắt 900K token vẫn chỉ cần vài nghìn token output. Cộng thêm phần reasoning dự kiến, nhất là khi dùng `high` hoặc `xhigh`. Và đặt trần cứng ở tầng ứng dụng để một prompt lỗi không thể sinh 128K token rồi tính tiền.
Sau khi gọi, đọc `usage` thay vì đoán. Với Responses, phản hồi có `input_tokens` và `output_tokens`; phần reasoning nằm trong output. Ghi lại hai con số này theo từng tác vụ, vì chúng là nguồn duy nhất đáng tin cho bảng chi phí về sau.
{
"usage": {
"input_tokens": 812000,
"output_tokens": 3900
}
}
Với request 812K token vào trên Sol, con số này đã vượt 272K, nên chi phí input thực tế là 812K × $4/1M, khoảng $3.25, cộng output 3,900 × $15/1M, khoảng $0.059. Tổng gần $3.31 cho một lần gọi. Nếu bạn tưởng mình đang trả $2/1M, bạn đã bỏ sót gần một nửa hóa đơn.
Đo suy giảm chất lượng theo độ dài
Chất lượng không giữ nguyên khi độ dài tăng. Cách đo đơn giản: lấy 30 đến 50 câu hỏi có đáp án xác định, rồi chạy cùng bộ câu hỏi với tài liệu ở các mức 10K, 50K, 200K, 600K và 900K token. Với mỗi mức, đặt bằng chứng ở đầu, giữa và cuối tài liệu để kiểm tra vị trí.
Đo ba thứ: tỷ lệ trả lời đúng, tỷ lệ trích dẫn đúng đoạn, và chi phí mỗi câu trả lời đúng. Điểm dừng không phải “khi model bắt đầu sai” mà là “khi cost per success bắt đầu tăng nhanh hơn mức bạn chấp nhận”. Với nhiều bài toán, 200K token đã là điểm tối ưu; phần context thêm vào chỉ làm hóa đơn dài hơn.
Cũng nên đo p95 chứ không chỉ trung bình. Prefill của một request 900K token có thể chậm gấp nhiều lần request 50K, và chỉ một vài request như vậy đã đủ làm hỏng trải nghiệm nếu endpoint của bạn có timeout. Nếu p95 vượt ngân sách, hãy cắt context hoặc chuyển sang xử lý bất đồng bộ qua Batch, nơi giá giảm 50%.
Cạm bẫy thường gặp
- Đồng nhất 1.05M với 1.05M đầu vào. Giới hạn thật là 922K vào và 128K ra; phần ra là ràng buộc với tác vụ sinh dài.
- Quên reasoning token. Chúng tính như output, ăn ngân sách `max_output_tokens` và có thể gấp đôi hóa đơn so với ước tính theo chữ nhìn thấy.
- Đặt max_output_tokens theo độ dài tài liệu. Tài liệu dài không có nghĩa đầu ra dài; đặt theo tác vụ và cộng thêm reasoning.
- Vô tình vượt 272K. Thêm 10K token lịch sử chat có thể đẩy cả request vào bảng giá gấp đôi; hãy log độ dài input trước khi gọi.
- Tin vào một lần test ở 1M token. Chất lượng và độ trễ thay đổi theo vị trí bằng chứng và độ dài; phải đo trên nhiều mức.
Checklist cho tính năng long-context
- Xác định ngân sách vào và ra riêng biệt, không dùng chung con số 1.05M.
- Log `input_tokens`, `output_tokens` và reasoning cho mọi request.
- Đặt cảnh báo khi input vượt 250K, trước khi chạm ngưỡng 272K.
- Chạy eval ở ít nhất ba mức độ dài và ba vị trí bằng chứng.
- So sánh với phương án retrieval trước khi mặc định gửi toàn bộ tài liệu.
- Đặt trần `max_output_tokens` và timeout ở tầng ứng dụng.
Để nối tiếp, đọc So Sánh Các Mô Hình AI Hàng Đầu nếu bạn đang cân nhắc giữa các nhà cung cấp, và Tokens, Cửa Sổ Ngữ Cảnh và Chi Phí API để đi sâu vào phép tính tiền. Nếu bạn chọn giải pháp retrieval thay vì nhồi context, bài RAG là gì và khi nào nên dùng là điểm bắt đầu.
