AI Agent Roadmap: Lựa chọn LLM phù hợp cho các tác vụ Suy luận và Lập kế hoạch

Chọn model theo bảng xếp hạng là cách nhanh nhất để mua nhầm. Bảng xếp hạng đo tác vụ của người khác, trên dữ liệu của người khác, với prompt đã được tối ưu cho benchmark. Agent của bạn thì có tool riêng, ngữ cảnh riêng, và ngân sách riêng. Bài này nói cách chọn model cho hai việc khó nhất trong một agent — suy luận và lập kế hoạch — bằng thang effort, giá thật và eval trên task của bạn.

Cập nhật 2026: cùng model, nhiều mức suy luận

  • OpenAI cho reasoning.effort từ low đến max; gpt-6.1-sol mặc định medium. Đây là núm chính thay cho temperature khi bật reasoning.
  • Claude 4.7+ bỏ budget_tokens: dùng adaptive thinking cộng effort. Opus 5.5 và Haiku 5.5 mặc định medium, các model khác high.
  • Gemini 4 Argon có ba mức thinking, và giá output đã bao gồm thinking token — mọi token sinh ra đều bị tính tiền.
  • Giá khuyến mại có hạn: Argon $2/$10 đến hết 2026-11-30 rồi $4/$20; Gemini 3.8 Flash $0.75/$3.75 đến hết 2026-12-31.

Suy luận và lập kế hoạch là hai tác vụ khác nhau

Suy luận là biến dữ kiện thành kết luận: so sánh, tính toán, loại trừ. Lập kế hoạch là sắp xếp hành động thành chuỗi có thứ tự, có điều kiện, có điểm dừng. Hai việc này thất bại theo hai kiểu khác nhau, nên cần hai bộ kiểm tra khác nhau.

Suy luận sai thường hiện ra ngay: kết quả lệch, số sai, kết luận không khớp dữ kiện. Bạn bắt được bằng một test có đáp án. Lập kế hoạch sai thì khó bắt hơn: kế hoạch đọc vẫn hợp lý, chạy vẫn chạy, nhưng thiếu một bước phụ thuộc hoặc thứ tự sai nên kết quả cuối mới lộ. Loại lỗi này chỉ hiện ra khi bạn chạy thật trong sandbox có tool giả.

Vì vậy đừng chọn một model cho cả hai. Kiến trúc phổ biến và rẻ nhất là tách đôi: một model làm planner, một model làm executor. Planner cần chất lượng suy luận và context dài để thấy toàn bộ trạng thái; executor cần tốc độ, độ bám schema và giá thấp vì nó chạy nhiều lần hơn.

Thang effort: núm thật của model reasoning

Với cùng một model, effort đổi cả chất lượng lẫn chi phí. Ở mức low, model trả lời nhanh, bỏ qua các nhánh kiểm tra, và thường đúng với tác vụ quen. Ở mức high hoặc max, nó dành nhiều token hơn cho việc lập luận trước khi trả lời, bắt được ràng buộc ẩn, nhưng hóa đơn tăng theo cấp số và latency tăng theo.

Điểm quan trọng: reasoning token tính theo giá output. Một request “ngắn” có thể sinh 5.000 token suy luận và 800 token trả lời, tức 86% chi phí nằm ở phần bạn không đọc. Nếu bạn chỉ nhìn độ dài câu trả lời để ước lượng chi phí, bạn sẽ ước lượng thiếu gần một bậc.

Chiến lược thực dụng: đặt effort theo loại quyết định, không theo loại prompt. Quyết định một bước, có thể hoàn tác, có thể kiểm tra bằng tool — dùng low hoặc medium. Quyết định nhiều bước, có tác động tiền hoặc dữ liệu, không hoàn tác được — dùng high. max dành cho tác vụ mà bạn đã chứng minh được bằng eval rằng nó cần, không phải để “cho chắc”.

Ba tầng model và giá niêm yết

Tầng Ví dụ và giá input/output per 1M Dùng cho
Flagship Astra $10/$50; Fable 5.1 $10/$50 Kế hoạch khó, tài liệu dài, quyết định đắt
Mid Sol $2/$10; Sonnet 5.5 $2/$10; Opus 5.5 $4/$20; Argon $2/$10 Planner mặc định, agentic coding
Volume Luna $0.10/$0.50; Haiku 5.5 $0.10/$0.50; Flash $0.75/$3.75 Executor, phân loại, trích xuất

Bảng này đọc theo chiều nào cũng được, nhưng đừng đọc như bảng xếp hạng. Opus 5.5 đắt gấp đôi Sonnet 5.5 không có nghĩa nó gấp đôi chất lượng trên task của bạn. Cùng tầng giá, các model khác nhau ở điểm mạnh: Sol mạnh về agentic coding và tool call qua Responses; Argon mạnh về đọc hiểu multimodal và decode dài tới 1M output; Haiku rẻ cho phân loại nhưng giá nhảy 5 lần khi request vượt 100K input.

Điểm dễ bỏ qua: quy tắc long-context khác nhau. OpenAI tính gấp đôi input và 1,5 lần output khi request vượt 272K, áp cho toàn bộ request. xAI tính gấp đôi khi vượt 200K. Anthropic và Gemini tính phẳng. Với agent nhồi nhiều tài liệu vào context, cùng một prompt có thể đắt gần gấp đôi ở nhà cung cấp này so với nhà cung cấp khác — không phải vì giá niêm yết, mà vì ngưỡng.

Chi phí thật của một kế hoạch

Ví dụ một agent hỗ trợ nội bộ: 200 yêu cầu mỗi ngày, mỗi yêu cầu cần một lần lập kế hoạch và ba lần thực thi. Planner dùng Sol: 15K input và 6K output, trong đó 4K là reasoning token. Theo giá $2/$10, một lượt tốn $0.03 input cộng $0.06 output, tức $0.09; 200 lượt là $18/ngày.

Executor dùng Luna với 8K input và 1K output mỗi lần: $0.0008 cộng $0.0005, làm tròn $0.0013; 600 lần là $0.78/ngày. Tổng khoảng $19/ngày, và 95% nằm ở planner. Kết luận thực dụng: tối ưu planner trước. Giảm 3K reasoning token ở planner tiết kiệm hơn nhiều so với đổi executor sang model rẻ nhất.

Nếu thay planner bằng Astra ở effort max, cùng khối lượng nhưng output 20K token: $0.15 input cộng $1.00 output mỗi lượt, tức $230/ngày. Không sai về kỹ thuật, nhưng bạn phải chứng minh được hơn 10 lần chi phí đó mua lại được gì. Đây là lý do phải có eval trước khi nâng tầng model, không phải sau khi hóa đơn tới.

Chọn theo eval trên task của bạn

Bộ eval tối thiểu cho planner gồm 30–50 tình huống thật, mỗi tình huống có kết quả đúng và tiêu chí chấm. Chấm ba thứ: kế hoạch có chạy được trong sandbox không, số bước có tối thiểu không, và có bước nào vượt quyền hoặc không hoàn tác được không. Chỉ số tổng là tỉ lệ kế hoạch chạy thành công, không phải “kế hoạch hay”.

Với executor, chấm theo tool-call accuracy: chọn đúng tool, truyền đúng tham số, đúng thứ tự. Cộng thêm cost per task và p95 latency. Ba chỉ số này thường xếp hạng model khác với benchmark công khai, vì chúng đo phần “làm việc với máy” chứ không đo phần “trả lời hay”.

Một mẹo giảm chi phí eval: chạy sàng lọc bằng model rẻ trên toàn bộ tập, chỉ đưa các case khó lên model đắt. Nhưng đừng dùng chính model rẻ để chấm model đắt — LLM-as-judge có thiên vị vị trí, thiên vị độ dài và tự ưu tiên họ model của nó. Nếu buộc phải dùng judge, đổi thứ tự cặp so sánh và dùng judge khác họ model được chấm.

Latency: p95 mới là con số phải trả

Agent có nhiều bước, nên độ trễ cộng dồn. Một request p50 1,2 giây nhưng p95 4 giây sẽ tạo ra trải nghiệm tệ hơn một request p50 2 giây nhưng p95 2,5 giây, dù trung bình của cái đầu thấp hơn. Với planner chạy trước executor, p95 của planner nằm trên đường tới hạn của cả yêu cầu.

Reasoning làm p95 tệ hơn p50 nhiều hơn tác vụ thường, vì số token suy luận phụ thuộc độ khó của từng input. Vì vậy hãy đo riêng theo loại input: câu hỏi ngắn, câu hỏi có tool, câu hỏi có tài liệu dài. Nếu bạn chỉ báo cáo một con số trung bình, bạn đang giấu đúng phần người dùng cảm thấy.

Fallback và định tuyến

Định tuyến theo giá là bẫy phổ biến: route sang model rẻ trước, chỉ nâng lên model đắt khi thất bại. Cách này rẻ trên giấy nhưng đắt khi sai, vì lỗi của model rẻ thường không tự báo — nó trả về một kế hoạch nghe hợp lý nhưng sai. Chỉ định tuyến như vậy khi bạn có bộ kiểm tra tự động đáng tin, và không áp cho hành động không hoàn tác được.

Fallback là chuyện khác: model chính lỗi, timeout, hoặc bị rate limit thì chuyển sang model dự phòng. LiteLLM Router 1.108.3 hỗ trợ danh sách deployment có thứ tự, context_window_fallbacks, retry theo loại lỗi, cooldown và rate limit trên Redis. Một điều bắt buộc: test đường fallback. Tool schema, cách đếm token và định dạng reasoning khác nhau giữa các nhà cung cấp, nên fallback có thể “chạy được” mà vẫn sai âm thầm.

# File: route_plan.py — litellm 1.108.3
from litellm import Router

router = Router(model_list=[
    {"model_name": "planner-primary", "litellm_params": {"model": "openai/gpt-6.1-sol",
                                                "reasoning_effort": "high"}},
    {"model_name": "planner-fallback", "litellm_params": {"model": "anthropic/claude-sonnet-5-5"}},
    {"model_name": "executor", "litellm_params": {"model": "openai/gpt-6-luna"}},
], fallbacks=[{"planner-primary": ["planner-fallback"]}])

def plan(task: str) -> str:
    r = router.completion(model="planner-primary",
                          messages=[{"role": "user", "content": task}],
                          metadata={"task_id": task[:8], "tenant": "internal"})
    return r.choices[0].message.content

Trong ví dụ trên, hai deployment tách tên để Router biết đường dự phòng; nếu đặt cùng một model_name thì chúng thành nhóm cân tải, không phải fallback. Đừng dựa vào việc hai model “hiểu nhau” — chúng không chia sẻ cách đếm token, cách đặt tên tool, hay cách trả về reasoning. Log cả model đã phục vụ vào trace, nếu không bạn sẽ không biết vì sao chất lượng tụt trong một ngày nào đó.

Khi nào không cần model đắt

  • Tác vụ đã có đáp án kiểm tra được bằng code — model rẻ cộng verifier thắng model đắt không verifier.
  • Kế hoạch đã cố định theo template; model chỉ điền tham số, không tự quyết định cấu trúc.
  • Đã có RAG tốt: phần lớn lỗi “suy luận” thực chất là thiếu dữ liệu, không phải thiếu trí tuệ.
  • Latency là yêu cầu cứng: model flagship thường không đáp ứng p95 cho tương tác người dùng trực tiếp.

Bảng quyết định nhanh

Nhu cầu Chọn Ghi chú
Planner cho agent nội bộ Sol / Sonnet 5.5, effort high Mid tier, giá $2/$10
Kế hoạch cực khó, tần suất thấp Astra / Fable 5.1 Chỉ sau khi eval chứng minh cần
Executor khối lượng lớn Luna / Haiku 5.5 Kiểm tra tool-call accuracy trước
Đọc tài liệu multimodal Argon hoặc Terra Chú ý ngưỡng giá và ngày hết khuyến mại
Cần độ trễ thấp, chấp nhận đổi chất lượng Flash 3.8 / Haiku Đo p95 theo loại input

Nhìn sang 2027

Effort sẽ ngày càng chi tiết hơn thang 5 mức hiện tại, và giá reasoning token sẽ là đòn bẩy cạnh tranh chính giữa các nhà cung cấp. Dự đoán hợp lý: planner/executor thành mẫu kiến trúc mặc định, còn “một model làm tất cả” thu hẹp vào prototype. Phần khó vẫn là eval, không phải danh sách model.

Checklist

  • Đặt effort theo mức độ không hoàn tác của quyết định, không theo độ dài prompt.
  • Tách planner và executor; đo chi phí từng phần trước khi tối ưu.
  • Chạy eval 30–50 case thật trước khi nâng tầng model.
  • Đo p95 theo loại input, không báo cáo một con số trung bình.
  • Test đường fallback, kể cả tool schema và cách đếm token.
  • Ghi model ID và effort vào trace để truy được hồi quy.

Đọc tiếp: kiến trúc planner-executor và Tree of Thought, temperature, top-p và các hình phạt, đánh giá agent bằng LangSmith, Ragas và DeepEval, và ReAct và Chain of Thought.