ReAct không phải một câu thần chú trong prompt. Nó là một vòng lặp có ba thành phần — suy luận, hành động, quan sát — cộng với một bộ parser, một tập tool, và một điều kiện dừng. Phần lớn “ReAct agent” hỏng trong production không hỏng ở chất lượng suy luận, mà hỏng ở chỗ không ai viết điều kiện dừng đủ chặt.
Bài này giải thích vòng lặp, khi nào nó đáng dùng, cách thiết kế tool và tiêu chí dừng, các failure mode thật, và mối liên hệ với agent SDK hiện đại. Cuối bài có một vòng lặp chạy được bằng Python thuần, không phụ thuộc SDK.
Mục lục
Cập nhật 2026
- Tool calling native đã thay thế giao thức văn bản. Các model hiện tại trả về tool call có cấu trúc; bạn không cần parser
Action: search[...]cho production. Giao thức ReAct dạng văn bản vẫn hữu ích để dạy, để audit, và để chạy trên model không hỗ trợ tool calling. - LangChain 1.x dùng
create_agent(model, tools, middleware);create_react_agentđã bị thay và code cũ nằm tronglangchain-classic. - OpenAI Agents SDK
openai-agents0.24.0 cung cấpAgent+Runner, handoff, guardrail, session; vẫn ở 0.x nhưng là lựa chọn phổ biến khi dùng model OpenAI. - Astra và Sol yêu cầu Responses API cho tool calling; Chat Completions từ GPT-5.4 không gọi tool được trừ khi
reasoning_effortlànone. Đây là ràng buộc kỹ thuật khi chọn nền tảng.
Vòng lặp thực sự chạy như thế nào
câu hỏi
│
├─ Thought (model: cần biết gì, gọi tool nào)
├─ Action (tool + tham số có cấu trúc)
├─ Observe (kết quả tool, kể cả lỗi)
├─ Thought (model: kết quả này đủ chưa, bước tiếp theo)
├─ ...
└─ Final Answer (hoặc dừng vì hết ngân sách)
Điều quan trọng: model không tự thực thi tool. Nó chỉ đề xuất; chương trình của bạn kiểm tra tên tool, validate tham số, chạy tool, rồi đưa kết quả trở lại. Ranh giới này là nơi bạn đặt quyền hạn, ngân sách, và kiểm tra an toàn. Nếu bạn để model tự quyết định cả việc thực thi, bạn đã bỏ qua toàn bộ lớp kiểm soát.
ReAct khác Chain-of-Thought ở chỗ có tương tác với thế giới bên ngoài. CoT chỉ suy luận trong đầu; ReAct buộc model đối mặt với kết quả thật, kể cả kết quả sai hoặc rỗng. Đó là lý do ReAct giảm ảo giác trong tác vụ tra cứu, nhưng cũng là lý do nó đắt hơn: mỗi vòng là một lần gọi model cộng một lần gọi tool.
Khi nào ReAct đáng dùng
| Tình huống | Cách làm | Lý do |
|---|---|---|
| Một câu hỏi, kiến thức nằm trong prompt hoặc một lần retrieve | Trả lời trực tiếp | Vòng lặp chỉ thêm chi phí và độ trễ |
| Tính toán xác định, tra cứu một bảng | Gọi hàm/SQL trực tiếp | Code chính xác hơn model; không cần suy luận |
| Nhiều bước, nguồn thay đổi, cần kiểm chứng chéo | ReAct hoặc agent có tool | Kết quả bước trước quyết định bước sau |
| Cần hành động (gửi, đặt, cập nhật) có kiểm soát | ReAct + approval gate | Tool call là điểm chặn tự nhiên |
| Tác vụ không có tiêu chí “đủ” rõ ràng | Không dùng ReAct | Model sẽ lặp hoặc dừng tùy hứng |
Quy tắc đơn giản: nếu một hàm có thể làm xong, đừng dùng agent. Nếu quy trình cố định nhiều bước, dùng workflow. ReAct chỉ đáng khi số bước và loại tool cần dùng phụ thuộc vào kết quả giữa chừng.
Thiết kế tool cho vòng lặp
- Hẹp và có kiểu. Một tool làm một việc; tham số có schema rõ; trả về object ngắn gọn thay vì dump toàn bộ bảng. Tool trả 10.000 token sẽ đốt ngân sách chỉ sau hai vòng.
- Lỗi là observation, không phải exception ra ngoài. Trả
{"error": "...", "retryable": false}để model biết sửa tham số hay dừng. Nếu chương trình ném lỗi và dừng, bạn không còn vòng lặp. - Tham số nhạy cảm do hệ thống điền.
tenant_id,user_id, phạm vi quyền không bao giờ để model tự điền. Model chỉ chọn tool và tham số nghiệp vụ. - Idempotency. Tool ghi dữ liệu phải nhận idempotency key. Retry sau timeout không được tạo bản ghi thứ hai; phê duyệt không thay thế idempotency.
- Least privilege. Mỗi tool một credential hẹp, ngắn hạn; không đưa khóa toàn quyền vào context. Với tool nguy hiểm, yêu cầu phê duyệt và ghi log người duyệt, tham số, quyết định.
Điều kiện dừng: thứ quyết định thành bại
Một vòng lặp không có ngân sách là một lỗ hổng chi phí. Tối thiểu phải có:
- Max steps — 5–10 cho phần lớn tác vụ tra cứu. Vượt quá thì dừng và trả lời “chưa đủ thông tin”, không cố thêm.
- Ngân sách token và chi phí — đặt trần theo task, không theo tháng. Reasoning token tính như output, nên trần phải tính cả phần đó.
- Phát hiện lặp — cùng tool + cùng tham số xuất hiện hai lần thì cắt; cùng một observation lặp lại thì cắt; cùng một thought diễn đạt lại thì đánh dấu.
- Không tiến triển — nếu hai vòng liên tiếp không thêm thông tin mới, dừng. Đây là điều kiện khó viết nhưng quan trọng hơn max steps.
- Timeout tuyệt đối — theo wall clock, không chỉ theo số bước, vì một tool chậm có thể treo cả request.
- Final Answer tường minh — chỉ chấp nhận dừng khi model phát ra tín hiệu kết thúc; không suy diễn từ việc “không gọi tool nữa”.
Với hành động không thể hoàn tác — gửi email, trả tiền, xoá dữ liệu, đổi quyền — thêm approval gate. Approval không phải là điều kiện dừng; nó là điểm dừng tạm để con người quyết định. Đừng trộn hai thứ này trong code.
Vòng lặp chạy được, không cần SDK
Ví dụ dưới dùng Python 3.12 và stdlib. Model là kịch bản giả lập để bạn thấy rõ parser và ngân sách; thay nó bằng lời gọi API thật khi hiểu luồng.
# File: react_loop.py — Python 3.12, stdlib only
import json, re
from dataclasses import dataclass, field
@dataclass
class Step:
thought: str = ""
action: str | None = None
args: dict = field(default_factory=dict)
observation: str | None = None
def get_metric(name: str, quarter: str) -> dict:
data = {("revenue", "Q3"): 1250, ("cost", "Q3"): 480} # dữ liệu mock
if (name, quarter) not in data:
raise KeyError(f"unknown metric: {name}/{quarter}")
return {"name": name, "quarter": quarter, "value": data[(name, quarter)]}
def add(a: float, b: float) -> dict:
return {"value": a + b}
TOOLS = {"get_metric": get_metric, "add": add}
def run_tool(name: str, args: dict) -> str:
try:
return json.dumps(TOOLS[name](**args), ensure_ascii=False)
except KeyError as e:
return json.dumps({"error": str(e), "retryable": False})
except TypeError as e:
return json.dumps({"error": f"bad arguments: {e}", "retryable": True})
ACTION_RE = re.compile(r"^Action:\s*([a-z_]+)\s*(\{.*\})?$")
def scripted_model(question: str, transcript: list[Step], step: int) -> str:
returns = [
'Thought: Cần doanh thu Q3.\nAction: get_metric {"name": "revenue", "quarter": "Q3"}',
'Thought: Cần chi phí Q3.\nAction: get_metric {"name": "cost", "quarter": "Q3"}',
'Thought: Đã có hai số, cần hiệu số.\nAction: add {"a": 1250, "b": -480}',
"Final Answer: Lợi nhuận Q3 là 770 triệu USD (dữ liệu mock).",
]
return returns[min(step, len(returns) - 1)]
def react(question: str, model, max_steps: int = 6) -> tuple[str, list[Step]]:
transcript: list[Step] = []
for step in range(max_steps):
raw = model(question, transcript, step)
thought, action, args, final = "", None, {}, None
for line in raw.splitlines():
if line.startswith("Thought:"):
thought = line.removeprefix("Thought:").strip()
elif line.startswith("Final Answer:"):
final = line.removeprefix("Final Answer:").strip()
elif line.startswith("Action:"):
m = ACTION_RE.match(line)
if not m:
raise ValueError(f"bad action line: {line!r}")
action, args = m.group(1), json.loads(m.group(2) or "{}")
if final:
return final, transcript
if action is None:
raise ValueError("model produced neither action nor final answer")
transcript.append(Step(thought, action, args, run_tool(action, args)))
raise RuntimeError(f"step budget exhausted after {max_steps} steps")
if __name__ == "__main__":
answer, trace = react("Lợi nhuận Q3 là bao nhiêu?", scripted_model)
for i, s in enumerate(trace, 1):
print(i, s.action, s.args, "->", s.observation)
print(answer)
Chạy file này, bạn sẽ thấy trace ba bước và câu trả lời cuối. Ba điều đáng giữ khi chuyển sang production: parser kiểm tra định dạng thay vì tin model; tool lỗi trả về observation thay vì làm sập vòng lặp; và max_steps là tham số bắt buộc, không phải tùy chọn.
Khi thay model giả lập bằng API thật, đừng bắt model sinh chuỗi Action: .... Hãy dùng tool calling native: model trả về tên tool và JSON arguments, SDK validate theo schema. Giữ parser văn bản chỉ khi bạn cần chạy trên model không hỗ trợ tool calling hoặc cần trace dạng văn bản để audit.
Failure mode hay gặp
| Triệu chứng | Nguyên nhân | Cách sửa |
|---|---|---|
| Lặp cùng một tool | Không có phát hiện trùng; observation không đủ rõ | So sánh (tool, args); trả observation kèm “đã thử” và hướng dẫn |
| Gọi tool không tồn tại | Prompt liệt kê tool mơ hồ; model bịa tên | Validate tên trước khi chạy; trả danh sách tool hợp lệ trong lỗi |
| Tham số sai kiểu | Schema lỏng; model đoán | JSON schema chặt; lỗi có retryable; giới hạn số lần sửa |
| Dừng quá sớm | Không có tiêu chí “đủ”; model tự tin sai | Yêu cầu trích dẫn cho từng khẳng định; kiểm tra tất định trước khi trả |
| Ngữ cảnh phình | Tool trả về quá nhiều; trace không được nén | Giới hạn output tool; tóm tắt các bước cũ; giữ observation gần nhất |
| Chi phí vượt trần | Không đếm token; retry không giới hạn | Ngân sách theo task; đếm cả reasoning token; kill switch thu hồi credential |
| Tool nguy hiểm chạy không kiểm soát | Excessive agency: quá nhiều quyền, không gate | Least privilege; approval cho hành động không hoàn tác; log đầy đủ |
Ba lỗi đầu là lỗi parser và schema, sửa được bằng code. Ba lỗi sau là lỗi thiết kế hệ thống, chỉ sửa được bằng cách đặt ngân sách và quyền hạn trước khi model chạy. Đừng chờ đến khi hóa đơn tăng mới thêm trần.
ReAct và agent SDK hiện đại
Các SDK ngày nay đóng gói chính vòng lặp này. OpenAI Agents SDK có Runner lặp model → tool → model, kèm handoff, guardrail, session, và RunState để resume. LangChain 1.x có create_agent với middleware cho approval, tóm tắt, và che PII. LlamaIndex có FunctionAgent và Workflows cho các bước có kiểu. Điểm chung: bạn vẫn phải tự quyết định tool nào được phép, ngân sách bao nhiêu, ai phê duyệt hành động nguy hiểm.
Vì vậy, học ReAct không phải để viết parser tay. Nó là để hiểu thứ mà SDK đang giấu: mỗi vòng là một lần gọi model có giá, mỗi observation là dữ liệu không tin cậy, và mỗi tool là một quyền hạn. Khi SDK chạy sai, hiểu vòng lặp là cách duy nhất để biết lỗi nằm ở tool, ở schema, hay ở điều kiện dừng.
MCP làm phần tool rõ hơn nhưng không làm phần an toàn dễ hơn. Spec 2026-07-28 là bản stateless: không handshake, mỗi request mang protocolVersion và capability, state đi qua handle do server cấp. Điều này giảm ma sát tích hợp, nhưng cũng có nghĩa tool từ server ngoài càng phải được coi là không tin cậy. Prompt injection gián tiếp qua tool output vẫn là rủi ro chính, và OWASP LLM06 (Excessive Agency) vẫn là failure mode phổ biến nhất của agent.
Đánh giá một trajectory, không chỉ câu trả lời
- Task success — nhị phân hoặc rubric. Đây là metric duy nhất người dùng cảm nhận.
- Tool-call accuracy — đúng tool, đúng tham số, đúng thứ tự. Một câu trả lời đúng nhờ may mắn vẫn là trajectory xấu.
- Trajectory score — hiệu quả (số bước), dư thừa (gọi lặp), hành động không an toàn.
- Cost per task và p95 latency — trung bình che mất đuôi; một task 12 bước làm hỏng trải nghiệm dù median đẹp.
- Grounding — khẳng định có nguồn từ observation không, hay model tự bịa.
Chấm bằng LLM judge có position bias, verbosity bias, và self-preference; điểm không được hiệu chuẩn. Hãy đảo thứ tự khi so sánh cặp, dùng rubric neo cụ thể, và hiệu chuẩn trên một mẫu người chấm. Với quyết định an toàn, không dùng judge làm cổng duy nhất.
Checklist
- Có
max_steps, trần token/chi phí, timeout wall clock, và phát hiện lặp — tất cả là code, không phải prompt. - Mỗi tool có schema chặt, lỗi trả về observation, và credential hẹp.
- Tham số nhạy cảm do hệ thống điền; model không bao giờ chọn tenant hay phạm vi quyền.
- Hành động không hoàn tác có approval gate và idempotency key.
- Trace được lưu đủ để dựng lại từng bước, kể cả tool call và observation.
- Eval theo trajectory: task success, tool accuracy, cost, p95 — không chỉ đọc câu trả lời cuối.
Để đặt ReAct trong bức tranh lớn hơn, đọc AI Agents 101: đặc vụ AI là gì và hoạt động như thế nào, rồi tạo đặc vụ AI với OpenAI Functions và tools. Trước khi mở tool cho dữ liệu bên ngoài, đọc kiểm thử đối kháng cho ứng dụng LLM. Và nếu agent của bạn cần retrieval, nền tảng nằm ở RAG là gì và khi nào nên dùng thay vì fine-tuning.
