“AI agent” là từ bị lạm dụng nhiều nhất trong hai năm qua. Phần lớn sản phẩm dán nhãn đó chỉ là một lần gọi model với prompt dài, hoặc một workflow có một node gọi LLM. Cả hai đều hợp lệ — nhưng nếu bạn không biết mình đang xây loại nào, bạn không thể ước lượng chi phí, không thể gỡ lỗi, và không thể quyết định có nên thêm quyền tự chủ hay không.
Bài này chốt một định nghĩa làm việc được: agent không phải “LLM có cá tính”, mà là một vòng lặp có công cụ, có trạng thái, có ngân sách và có chính sách. Từ đó, mọi quyết định về framework, memory và human-in-the-loop đều trở nên dễ hơn.
Mục lục
Cập nhật 2026
- Framework đã chững lại về API: LangGraph 1.2.20, Microsoft Agent Framework 1.25.0, Google ADK 2.14.0, PydanticAI 2.66.0, CrewAI 1.15.37. OpenAI Agents SDK vẫn ở 0.24.0 nhưng là bản có câu chuyện HITL và MCP sâu nhất.
- OpenAI Assistants API đã bị gỡ (trang tài liệu trả 404). Đường đi hiện tại là Responses API cộng Agents SDK, không còn Thread/Run theo kiểu cũ.
- MCP 2026-07-28 là bản spec hiện hành: stateless, bỏ handshake
initialize, chỉ còn stdio và Streamable HTTP. Agent tra cứu tool qua MCP cần biết điều này trước khi chọn client. - Chi phí vòng lặp là chi phí thật: reasoning token tính như output, và mỗi lượt lặp gửi lại ngữ cảnh đã dài hơn. Cache đọc rẻ nhưng ghi cache vẫn tính tiền.
Một agent gồm năm phần, không phải “LLM cộng prompt”
Định nghĩa làm việc: agent = model + vòng lặp + công cụ + bộ nhớ + chính sách. Năm phần này độc lập, và phần yếu nhất thường là phần cuối.
- Model — bộ phận ra quyết định. Không cần model mạnh nhất; cần model đủ tốt cho bước khó nhất trong vòng lặp, và rẻ cho các bước còn lại.
- Vòng lặp — nơi model nhìn trạng thái, chọn hành động, nhận kết quả, lặp lại. Đây là phần bạn viết, không phải model.
- Công cụ — bề mặt hành động: API, database, shell, trình duyệt, hệ thống nội bộ. Tool là hợp đồng có schema, không phải “cứ cho model chạy code”.
- Bộ nhớ — ngữ cảnh làm việc, lịch sử phiên, kho dài hạn, và bản ghi vận hành. Bốn thứ khác nhau, đừng gộp thành một chữ “memory”.
- Chính sách — ai được duyệt gì, tool nào bị cấm, ngân sách bao nhiêu, dữ liệu nào không được rời hệ thống. Chính sách nằm trong code và cấu hình, không nằm trong system prompt.
Thiếu model thì không có gì cả. Thiếu vòng lặp thì bạn có một chatbot. Thiếu tool thì bạn có một chatbot đọc tài liệu. Thiếu memory thì agent quên giữa các bước. Thiếu policy thì bạn có một lỗ hổng biết nói.
Agent, workflow, chatbot: ba thứ khác nhau
Khác biệt không nằm ở chỗ có LLM hay không, mà ở chỗ ai quyết định bước tiếp theo.
| Loại | Ai quyết định bước kế tiếp | Hợp khi |
|---|---|---|
| Chatbot | Người dùng, qua từng lượt hội thoại | Trả lời câu hỏi, tra cứu, hướng dẫn; luồng ngắn và không có side effect |
| Workflow | Code của bạn, theo đồ thị cố định | Quy trình biết trước thứ tự bước, cần tái lập và kiểm toán |
| Agent | Model, trong giới hạn bạn đặt | Đường đi phụ thuộc dữ liệu, không biết trước số bước, cần thích ứng khi tool lỗi |
Ba loại này không thay thế nhau. Sản phẩm tốt thường là workflow bọc ngoài, agent ở giữa, chatbot ở bề mặt. Nếu bạn không nói được “phần nào là workflow, phần nào là agent” thì bạn chưa thiết kế xong.
Giải phẫu vòng lặp
Một vòng lặp agent tối thiểu có bốn bước, và bước thứ tư là bước người ta hay bỏ:
state = goal + history + tool_results + policy
loop:
decision = model(state) # chọn tool + tham số, hoặc trả lời cuối
if decision.is_final: return decision.answer
result = execute(decision.tool, decision.args) # code của bạn
state = append(state, decision, result) # ghi lại để lần sau thấy
if budget_exceeded(state): return escalate(state)
- Quan sát — model thấy mục tiêu, lịch sử, kết quả tool trước đó và chính sách hiện hành.
- Quyết định — model chọn gọi tool nào với tham số gì, hoặc kết luận đã xong. Đây là output có cấu trúc, không phải văn xuôi.
- Hành động — code của bạn validate tham số, kiểm tra quyền, thực thi, chuẩn hoá kết quả.
- Ghi nhận — kết quả được thêm vào trạng thái kèm định danh cuộc gọi. Không ghi thì lượt sau model sẽ gọi lại đúng tool đó.
Một lượt model có thể trả về nhiều cuộc gọi tool song song. Về mặt kiến trúc, đó vẫn là một bước quyết định, không phải nhiều bước. Đừng đếm số tool call là số bước — bạn sẽ đặt ngân sách sai.
Điều kiện dừng và ngân sách
Agent không dừng vì “đã thông minh”. Nó dừng vì bạn bắt nó dừng. Tối thiểu phải có sáu rào:
- Max steps — số lượt model tối đa, ví dụ 8 cho tác vụ tra cứu, 20–30 cho tác vụ mã. Vượt thì trả về trạng thái một phần kèm lý do, không treo.
- Token budget — tổng input + output + reasoning cho cả tác vụ, không chỉ một lượt. Reasoning token tính vào output.
- Wall clock — timeout cho toàn bộ tác vụ và cho từng tool. Tool treo là nguyên nhân số một của vòng lặp vô hạn.
- Spend cap — hạn mức tiền theo tenant và theo tác vụ. Đây là thứ phải chặn ở tầng hạ tầng, không phải ở prompt.
- Phát hiện không tiến triển — cùng tool, cùng tham số, cùng kết quả rỗng hai lần liên tiếp thì dừng và escalate.
- Dừng chủ động — người dùng hoặc người vận hành bấm huỷ, và huỷ phải thu hồi được quyền của tool, không chỉ kill process.
Về chi phí: mỗi lượt gửi lại toàn bộ ngữ cảnh, nên chi phí tăng theo bình phương số bước trong trường hợp xấu. Prompt caching giúp phần đầu (system prompt, mô tả tool) rẻ đi — với OpenAI, đọc cache khoảng 5–10% giá input — nhưng ghi cache vẫn tính tiền. Vì vậy hãy giữ khối system prompt và tool byte-stable, đặt nội dung thay đổi ở cuối.
Thiết kế tool: đây là API của bạn
Model không thấy code của bạn. Nó chỉ thấy tên, mô tả và schema. Chất lượng tool quyết định chất lượng agent nhiều hơn chất lượng prompt.
- Tên là động từ cụ thể:
search_orders,refund_payment,get_invoice_pdf. Tránhdo_action,process,handle. - Mô tả nói cả khi nào KHÔNG dùng. “Dùng khi khách hỏi trạng thái đơn; không dùng để tra giá.” Câu này giảm chọn sai tool rõ rệt.
- Schema hẹp: enum thay cho chuỗi tự do, định dạng ngày rõ ràng, không nhận object mở. Tham số tuỳ chọn càng ít càng tốt.
- Trả về JSON gọn, có trường
okvàerror, kèm dữ liệu cần cho bước sau. Đừng trả 200 dòng log — model sẽ đọc hết và bạn trả tiền cho từng token. - Ghi có idempotency key cho mọi hành động tạo/sửa. Agent retry là chuyện bình thường; tạo hai vé là chuyện không chấp nhận được.
- Quyền tối thiểu: token theo tenant, theo tác vụ, thời hạn ngắn. Tool đọc không được có quyền ghi.
- Coi output của tool là dữ liệu không tin cậy. Ticket, email, trang web đều có thể chứa chỉ dẫn độc hại.
Bốn phạm vi bộ nhớ
| Phạm vi | Chứa gì | Vòng đời |
|---|---|---|
| Working context | Mục tiêu, các bước gần nhất, kết quả tool đang dùng | Một tác vụ; bị cắt hoặc tóm tắt khi đầy |
| Session | Lịch sử hội thoại giữa các lượt người dùng | Theo phiên; lưu ở SQLite, Redis, SQLAlchemy, Mongo hoặc Dapr nếu dùng Agents SDK |
| Long-term store | Sự kiện, sở thích, tài liệu đã nhúng | Vài tuần đến vĩnh viễn; truy xuất theo ngữ nghĩa |
| Operational record | Ai duyệt gì, tool nào đã chạy, kết quả nào đã trả | Bắt buộc giữ để kiểm toán và chống trùng |
Sai lầm phổ biến là nhét tất cả vào context window rồi gọi đó là memory. Context là bộ nhớ làm việc có hạn; kho dài hạn là hệ thống truy xuất có ngân sách riêng; bản ghi vận hành là database, không phải prompt.
Human-in-the-loop
HITL không phải “để người dùng chat với bot”. Nó là một điểm dừng có cấu trúc: agent chuẩn bị hành động, hệ thống treo lại, người có thẩm quyền xem tham số và quyết định, rồi vòng lặp tiếp tục từ đúng trạng thái đó.
- Ba mức: read-only tự chạy; ghi có thể đảo ngược chạy nhưng phải log; không đảo ngược (tiền, xoá dữ liệu, gửi ra ngoài) bắt buộc duyệt.
- Trạng thái treo phải serialize được: Agents SDK dùng
RunStatedạng JSON, LangGraph dùng interrupt, MAF dùngrequest_info. Nếu không lưu được, bạn không resume được sau khi restart. - Approval không phải idempotency. Người duyệt bấm một lần, nhưng worker có thể chạy lại sau crash. Phải có khoá idempotency ở tầng tool.
- Log đủ: ai duyệt, tham số nào, thời điểm, quyết định. Đây là bằng chứng khi có sự cố, và là dữ liệu để cải thiện agent.
Bảng framework, tháng 11/2026
| Framework | Phiên bản | Chọn khi |
|---|---|---|
| OpenAI Agents SDK | 0.24.0 (Python), 0.21.0 (TS) | Một agent, model OpenAI, cần sẵn loop + session + approval + tracing |
| LangGraph | 1.2.20 (Python), 1.7.2 (TS) | Nhiều nhánh, cần checkpoint, interrupt và resume chính xác |
| Microsoft Agent Framework | 1.25.0, Microsoft.Agents.AI 1.28.0 |
.NET/Azure, cần workflow có kiểu, MCP và A2A chính thức |
| Google ADK | 2.14.0 | Google Cloud, cần Agent Runtime, eval và A2A trong một gói |
| PydanticAI | 2.66.0 | Python có type, output phải validate, cần durable execution |
| CrewAI | 1.15.37 | Mô hình theo vai, dựng nhanh, chấp nhận ít kiểm soát chi tiết |
Đừng chọn theo số sao. Chọn theo ba câu hỏi: trạng thái lưu ở đâu, ai duyệt hành động nguy hiểm, và bạn gỡ lỗi bằng gì. Framework nào trả lời ba câu đó rõ nhất là framework đúng cho dự án này.
Khi nào KHÔNG nên dùng agent
- Bài toán tất định. Trích một trường từ PDF, đổi định dạng, tính thuế — một hàm cộng một lần gọi model là đủ. Agent chỉ thêm bước và thêm giá.
- Một lượt là đủ. Nếu input đã chứa mọi thứ cần thiết, vòng lặp không có gì để làm.
- Latency p95 là ràng buộc cứng. Mỗi vòng lặp là ít nhất một lượt model; ba vòng là gấp ba thời gian.
- Không có tập eval. Không đo được thì không biết agent tốt hơn hay tệ hơn, và không biết khi nào nó hỏng.
- Side effect không giới hạn. Nếu tool có thể xoá, chuyển tiền hoặc gửi email hàng loạt mà chưa có approval, hãy dựng workflow trước.
- Quyết định phải giải thích được cho cơ quan quản lý. Agent có thể hỗ trợ soạn, nhưng người chịu trách nhiệm phải là người ký.
Quy tắc thực dụng: nếu một hàm làm được việc, bỏ agent. Nếu quy trình cố định nhiều bước, dùng workflow. Chỉ dùng agent khi đường đi thật sự phụ thuộc dữ liệu và bạn đã có cách đo.
Nhìn sang 2027
Hướng đi rõ nhất không phải “agent tự chủ hơn”, mà là agent bị ràng buộc chặt hơn: ngân sách theo tác vụ, sandbox cho code, approval mặc định cho hành động ghi, và eval như test hồi quy. MCP stateless và A2A 1.0 sẽ làm việc ghép tool và ghép agent giữa các tổ chức trở nên khả thi hơn — kèm theo đó là bài toán tin cậy dữ liệu đầu vào.
Checklist
- Viết ra một câu: model quyết định gì, code quyết định gì.
- Đặt max steps, token budget, timeout và spend cap trước khi viết prompt.
- Thiết kế tool schema trước, prompt sau.
- Chỉ cho agent quyền đọc ở phiên bản đầu; thêm quyền ghi khi đã có approval và log.
- Dựng 20–50 ca eval, gồm cả ca tool lỗi và ca từ chối.
- Kiểm tra resume sau restart: trạng thái treo có lưu được không.
Đọc tiếp: ReAct prompting giải thích vì sao vòng lặp suy luận–hành động lại hiệu quả; OpenAI Functions và Tools đi vào schema và vòng lặp tool cụ thể; các trường hợp ứng dụng của đặc vụ AI bàn về ROI và mức rủi ro; và RAG hay fine-tuning là bài tiếp theo nếu agent của bạn cần tri thức riêng.
