Vòng lặp agent không phải "cho model suy nghĩ ba lần rồi trả lời". Nó là một state machine có ngân sách: mỗi bước đọc trạng thái, chọn một hành động, thực thi, ghi kết quả, rồi kiểm tra xem có nên dừng. Hiểu sai chỗ này là lý do phổ biến nhất khiến agent lặp, trôi mục tiêu hoặc đốt tiền.
Bản trước của bài này mô tả ba pha Nhận thức – Suy luận – Hành động. Thực tế vận hành cần pha thứ tư: Quan sát. Không có nó, kết quả tool không quay lại state đúng cách, và vòng lặp không thể tự sửa.
Mục lục
Cập nhật 2026
- Context 1M không xóa bỏ bài toán context. Mỗi bước vẫn thêm observation; context dài làm chậm, đắt và loãng. Compaction phải là một bước thiết kế, không phải việc xảy ra khi gặp lỗi.
- State có thể do API giữ, nhưng không nên là nguồn duy nhất. Responses API có
previous_response_idvà encrypted reasoning; framework có checkpoint. Bạn vẫn cần state của mình để audit, resume và đổi provider. - Trace là điều kiện của eval. OTel GenAI vẫn ở trạng thái Development, tên span/attribute còn đổi, nhưng không có trace theo step/tool thì không thể chấm trajectory.
Bốn pha: nhận thức, suy luận, hành động, quan sát
Nhận thức (perceive) là dựng context cho bước hiện tại: mục tiêu, ràng buộc, mô tả tool, lát memory liên quan và các observation gần nhất. Đây không phải "đọc mọi thứ"; đây là chọn lọc. Mọi thứ đi vào context đều phải có nhãn nguồn, vì nội dung từ web hay tài liệu khách hàng là dữ liệu không tin cậy.
Suy luận (reason) là một lời gọi model trả về quyết định: trả lời cuối, gọi tool, hỏi người, hoặc dừng. Model không cần viết kế hoạch dài; nó cần chọn hành động kế tiếp với tham số hợp lệ. Với Claude 5.x, điều khiển độ sâu bằng thinking: adaptive và effort; đừng dùng budget_tokens thủ công vì các bản 4.7+ trả 400.
Hành động (act) gồm ba lớp: validate schema, kiểm tra policy, rồi thực thi. Schema hợp lệ không đủ; một tham số đúng kiểu vẫn có thể trỏ sang tenant khác. Thực thi phải có timeout, idempotency key và error envelope — những thứ thuộc về code, không thuộc về model.
Quan sát (observe) biến kết quả thành context cho bước sau: cắt bớt output lớn, tóm tắt nếu cần, gắn provenance, và ghi vào state theo cách có thể kiểm toán. Đây là pha quyết định chất lượng các bước tiếp theo.
State: thứ duy nhất giữ agent không mất trí
State tối thiểu nên có: mục tiêu và ràng buộc, kế hoạch hiện tại (nếu có), lịch sử tool call, observation đã chuẩn hóa, artifact, ngân sách đã dùng, và phiên bản policy. Tất cả phải serialize được — nếu chỉ nằm trong RAM, agent không resume được sau restart.
Đừng lưu toàn bộ lịch sử thô làm nguồn sự thật duy nhất. Giữ một event log append-only để audit, và một "view" đã nén để đưa vào context. Hai thứ này phục vụ hai mục đích khác nhau: log để điều tra, view để model đọc. Trộn chúng là cách nhanh nhất để vừa đốt token vừa mất chi tiết.
State cũng là ranh giới tenant. Memory của khách A không được xuất hiện trong context của khách B, kể cả khi cùng một process. Nếu state không có tenant_id và kiểm tra quyền khi đọc, bạn đã có một lỗ hổng rò rỉ dữ liệu chờ ngày bùng nổ.
Context tăng sau mỗi bước — và cái giá
Mỗi tool call thêm một observation. Mười bước với 2.000 token output mỗi bước là 20.000 token chỉ riêng quan sát, chưa kể system prompt và lịch sử. Attention và KV-cache tăng theo số token, nên chi phí và độ trễ tăng nhanh hơn số bước. OpenAI còn phụ phí gấp đôi input/cache và 1,5 lần output trên 272K token, tính cho toàn request; xAI phụ phí từ 200K.
Ba cách kiểm soát, dùng cùng lúc: cắt output tool ngay tại nguồn, tóm tắt các observation cũ thành "đã biết gì", và giữ prefix ổn định (system prompt, tool schema) để prompt cache còn tác dụng. Đặt nội dung biến động ở cuối context. Nếu prefix đổi mỗi bước vì bạn chèn timestamp hay UUID, cache read không bao giờ xảy ra và bạn trả full giá cho mọi lời gọi.
Một lưu ý về "context dài": có nhiều token hơn không có nghĩa là model dùng thông tin tốt hơn. Context loãng làm giảm độ chính xác và tăng khả năng bỏ sót ràng buộc. Tóm tắt có chọn lọc thường tốt hơn nhồi toàn bộ lịch sử.
Ngân sách bước: đặt trần trước khi chạy
Mỗi lần chạy phải có năm trần: số bước, số tool call theo từng loại tool, tổng token, thời gian tường, và chi phí. Trần số bước rẻ nhất và dễ hiểu nhất; trần tiền sát với thực tế nhất. Nếu chỉ có một trần, hãy chọn trần tiền.
Ngoài trần, cần phát hiện lặp: cùng một tool với cùng tham số xuất hiện ba lần liên tiếp là dấu hiệu model không tiếp nhận kết quả, hoặc tool luôn trả cùng một lỗi. Đừng để model tự "thử lại thông minh hơn"; hãy dừng, trả lỗi có cấu trúc và cho người hoặc một nhánh fallback xử lý.
Kill switch phải thu hồi credential của tool, không chỉ dừng process. Một orchestrator có thể restart process bị dừng; một token bị revoke thì không. Đây là khác biệt giữa "dừng mềm" và "dừng thật".
Các kiểu thất bại thường gặp
| Triệu chứng | Nguyên nhân | Cách sửa |
|---|---|---|
| Lặp vô hạn | Không có stop, không dedupe tool call | Max steps + phát hiện lặp theo (tool, args) |
| Trôi mục tiêu | Context dài, tóm tắt làm mất ràng buộc | Nhắc lại goal mỗi bước, goal nằm trong state |
| Bịa tool | Schema lỏng, model gọi tool không tồn tại | Schema chặt, từ chối kèm danh sách tool hợp lệ |
| Dừng quá sớm | Model tự tin khi chưa đủ bằng chứng | Rubric, verifier, yêu cầu citation/evidence |
| Đốt tiền | Output tool lớn, reasoning mức max | Cắt output, effort theo bước, budget cap |
| Hành động vượt quyền | Token rộng, không approval | Scope theo tool/tenant, approval gate |
Hai lỗi ít được nói đến nhưng nguy hiểm: context poisoning — nội dung độc hại từ tài liệu, web, kết quả tool chèn chỉ thị vào context; và quan sát sai — agent tin một kết quả tool đã cũ hoặc thuộc tenant khác. Cả hai đều không sửa được bằng prompt; phải sửa bằng provenance, quyền và kiểm tra dữ liệu ở boundary.
Human checkpoint: chỗ agent phải dừng lại
Không phải mọi hành động đều nên tự động. Đặt cổng phê duyệt cho tiền, ghi production, xuất dữ liệu và thay đổi tài khoản. Cổng phải log ai duyệt, duyệt cái gì (tool + tham số), và quyết định gì — để sau này trả lời được "vì sao hệ thống làm vậy".
Approval không phải idempotency. Người duyệt một lần không ngăn được việc tool chạy hai lần do retry; hai cơ chế giải quyết hai rủi ro khác nhau. Và checkpoint phải có timeout: một task chờ duyệt mãi là một task rò rỉ tài nguyên.
Vòng lặp agent tối thiểu
# File: agent/loop.py — pseudocode, khong phu thuoc SDK cu the
MAX_STEPS, BUDGET_USD = 12, 0.50
def run(goal, tools, llm, policy):
state = {"goal": goal, "history": [], "observations": [], "spent_usd": 0.0}
for step in range(1, MAX_STEPS + 1):
context = compact(state) # perceive
decision = llm.next(goal=goal, tools=tools, context=context) # reason
if decision.kind == "final":
return {"ok": True, "answer": decision.text, "steps": step}
if decision.kind == "ask_human":
return {"ok": False, "checkpoint": decision.request, "steps": step}
call = validate_schema(decision.tool_call, tools) # act
if not policy.allows(call, state):
state["observations"].append({"error": "policy_denied", "tool": call.name})
continue
result = execute(call) # timeout + idem key
state["spent_usd"] += decision.cost_usd
state["observations"].append({"tool": call.name, "result": result})
state["history"].append(call) # observe
if repeated(state["history"], window=3):
return {"ok": False, "reason": "loop_detected", "steps": step}
if state["spent_usd"] >= BUDGET_USD:
return {"ok": False, "reason": "budget_exhausted", "steps": step}
return {"ok": False, "reason": "max_steps", "steps": MAX_STEPS}
Điểm cần chú ý trong đoạn giả mã: policy được kiểm tra sau khi model chọn tool nhưng trước khi thực thi; chi phí được cộng vào state chứ không chỉ log; và mọi nhánh thoát đều trả lý do. Một agent không nói được vì sao nó dừng là một agent không thể vận hành.
Eval trajectory, không chỉ đáp án cuối
Task success chỉ là một chỉ số. Một agent có thể đạt kết quả đúng bằng đường đi sai — gọi tool hai lần, đọc dữ liệu không được phép, hoặc may mắn. Vì vậy phải chấm cả đường đi: tool nào được gọi, tham số đúng không, thứ tự có hợp lý, có hành động thừa hay nguy hiểm không.
Bộ metric tối thiểu: task success (nhị phân hoặc rubric), tool-call accuracy (tool + tham số + thứ tự), trajectory score (hiệu quả, dư thừa, hành động không an toàn), cost per task (input + cached + output + reasoning), p50/p95 latency. Với tác vụ có nhiều lần thử, dùng pass@k = 1 - C(n-c,k)/C(n,k); đừng báo cáo một con số trung bình che mất đuôi phân phối.
Tool hỗ trợ: DeepEval 4.3.3 cho test kiểu pytest, promptfoo 0.125.1 cho CI/red team, Inspect AI 0.3.288 cho benchmark agentic. Nếu dùng LLM-as-judge, nhớ các thiên lệch đã biết: vị trí, độ dài, tự ưu tiên model cùng họ. Hoán đổi thứ tự cặp, dùng rubric neo, và hiệu chỉnh bằng nhãn người trước khi tin điểm.
Nhìn tới 2027
Vòng lặp sẽ không đổi về bản chất, nhưng hạ tầng quanh nó đang chuẩn hóa: checkpoint và durable execution thành mặc định, trace agent thành đầu vào bắt buộc của eval, và kill switch/approval thành yêu cầu vận hành. Khi semantic conventions GenAI ổn định, việc so sánh trace giữa framework sẽ dễ hơn — nhưng đừng chờ nó để bắt đầu ghi trace ngay hôm nay.
Checklist
- State serialize được, có
tenant_id, goal và ngân sách đã dùng. - Mỗi bước có validate schema + kiểm tra policy trước khi thực thi.
- Có trần bước, trần tiền, phát hiện lặp và kill switch revoke credential.
- Observation được cắt, tóm tắt và gắn provenance trước khi vào context.
- Approval gate cho hành động không thể hoàn tác; log đủ để audit.
- Eval chấm trajectory, không chỉ câu trả lời cuối.
Bài tiếp theo
Nếu bạn chưa có mô hình tổng thể, đọc lại AI Agent là gì và hoạt động như thế nào. Để đi sâu vào kỹ thuật suy luận, xem ReAct và chain-of-thought. Và trước khi chạy production, đọc kiểm thử agent: unit, tích hợp và con người trong vòng lặp cùng đánh giá agent bằng LangSmith, Ragas và DeepEval.
