“Agent của tôi tốt hơn bản trước” là câu không thể chứng minh bằng cảm giác. Evaluation tồn tại để biến câu đó thành một con số có thể tái lập, có thể chặn merge, và có thể giải thích cho người không đọc code. Điểm số chỉ là phương tiện; quyết định ship mới là mục tiêu.
Bài này chỉ nói về đánh giá agent AI, không nói về chatbot RAG thuần. Khác biệt quan trọng: agent có đường đi, nên bạn phải chấm cả đích lẫn đường, và mỗi lần chấm bằng LLM-judge đều tốn tiền thật.
Mục lục
Cập nhật 2026: phiên bản và vị trí của từng công cụ
- LangSmith 0.14.17 — nền tảng trace + dataset + eval, tích hợp sâu nhất với LangGraph. Biến môi trường đã đổi tên từ
LANGCHAIN_*sangLANGSMITH_TRACING/LANGSMITH_API_KEY; code copy từ tutorial 2024 sẽ không gửi trace. - Ragas 0.4.3 (phát hành 2026-01, nhịp phát hành chậm) — bộ metric cho RAG, không phải cho trajectory của agent. Pin chính xác phiên bản: API metric đã đổi cách khởi tạo giữa các dòng 0.2–0.4.
- DeepEval 4.3.3 — kiểu pytest, hợp nhất với CI, có metric cho tool correctness và task completion. Đây là lựa chọn mặc định nếu team bạn đã sống trong pytest.
- Phần còn lại — Braintrust (Py 0.49.3 / npm 3.43.0) cho mô hình experiment-centric; Arize Phoenix 21.0.0 để self-host trên OTel (license riêng, đọc trước khi dùng thương mại); Inspect AI 0.3.288 (UK AISI, MIT) cho benchmark agentic; promptfoo 0.125.1 cho CLI/CI và red-team, npm là kênh chính thức.
Ba quyết định trước khi đánh giá Agent AI
Dataset nào? Đừng bắt đầu bằng “tất cả câu hỏi người dùng từng hỏi”. Chia ba tập: golden (50–100 case do người trong domain viết, có đáp án và tool call mong đợi), adversarial (prompt xấu, yêu cầu mơ hồ, dữ liệu mâu thuẫn), regression (case thật đã từng fail trong production, lấy từ trace). Mỗi case cần tối thiểu: input, tool kỳ vọng, tiêu chí đúng, và nhãn rủi ro.
Metric nào? Mỗi metric phải trả lời được “nếu metric này tụt, tôi biết phải sửa ở đâu”. Metric không dẫn tới hành động là metric trang trí.
Gate ở đâu? Ngưỡng đặt trên tập nhỏ và ổn định, không đặt trên tập lớn và nhiễu. Và luôn có một cửa thoát: nếu case flaky, đánh dấu và loại khỏi gate thay vì hạ ngưỡng cho cả bộ.
Bốn metric cốt lõi, và lỗi chúng bắt được
| Metric | Đo gì | Bắt lỗi gì |
|---|---|---|
| Task success | Nhị phân hoặc rubric: mục tiêu có đạt | Agent trả lời trôi, không hoàn thành việc |
| Tool accuracy | Tool đúng, tham số đúng, thứ tự đúng | Gọi sai API, thiếu tham số, gọi tool cấm |
| Trajectory score | Số bước, bước dư, hành động không an toàn | Vòng lặp vô hạn, đọc lại cùng tài liệu 5 lần |
| Groundedness | Mỗi khẳng định có nguồn trong context/tool output | Hallucination, trích dẫn sai tài liệu |
Thêm hai chỉ số vận hành mà eval thường bỏ quên: cost per task (input + cached + output + reasoning) và p95 latency. Một cải tiến prompt làm task success tăng 3% nhưng cost tăng gấp đôi là một quyết định kinh doanh, không phải một thắng lợi kỹ thuật. Trung bình che giấu tail latency; luôn báo p95.
LangSmith: nơi dataset và trace gặp nhau
LangSmith mạnh nhất ở chỗ trace và eval dùng chung một hệ toạ độ. Bạn thấy một trace tệ trong production, bấm “add to dataset”, rồi case đó vào bộ regression mà không cần chép tay. Đây là lý do nhiều team chọn nó dù giá không rẻ.
# File: evals/langsmith_eval.py
# pip install "langsmith==0.14.17"
from langsmith import Client, evaluate
client = Client() # đọc LANGSMITH_API_KEY từ môi trường; bật LANGSMITH_TRACING=true
dataset = client.create_dataset("agent-refunds-v1")
client.create_examples(
dataset_id=dataset.id,
examples=[{
"inputs": {"question": "Đơn EV-1234 tới đâu rồi?"},
"outputs": {"expected_tools": ["get_order_status"]},
}],
)
def tool_match(run, example):
called = [c["name"] for c in (run.outputs or {}).get("tool_calls", [])]
return {"key": "tool_match", "score": called == example.outputs["expected_tools"]}
results = evaluate(target=run_agent, data="agent-refunds-v1", evaluators=[tool_match])
Ba lưu ý thực dụng. Thứ nhất, run_agent phải trả về cấu trúc ổn định gồm câu trả lời và danh sách tool call — nếu không, mỗi evaluator phải đoán hình dạng output. Thứ hai, evaluator nhận (run, example), nên nó chấm được cả đường đi lẫn đáp án kỳ vọng. Thứ ba, đặt tên dataset có phiên bản (v1, v2) để so sánh giữa các lần chạy mà không trộn dữ liệu.
Ragas: đúng việc, đúng giới hạn
Ragas 0.4.3 đo bốn thứ của một hệ RAG: faithfulness (câu trả lời có suy ra từ context), answer relevancy, context precision, context recall. Với agent có bước retrieval, đây là cách rẻ nhất để tách lỗi “retriever lấy sai” khỏi lỗi “model viết sai”.
# File: evals/ragas_eval.py
# pip install "ragas==0.4.3"
from ragas import EvaluationDataset, SingleTurnSample, evaluate
from ragas.metrics import Faithfulness, LLMContextRecall
samples = [
SingleTurnSample(
user_input="Chính sách hoàn tiền là gì?",
response=answer,
retrieved_contexts=[doc.page_content for doc in retrieved],
reference="Hoàn tiền trong 7 ngày nếu sản phẩm lỗi.",
)
]
dataset = EvaluationDataset(samples=samples)
# 0.4.x khởi tạo metric với judge; đối chiếu docs 0.4.3 nếu bạn pin bản khác.
faithfulness = Faithfulness(llm=judge)
result = evaluate(dataset=dataset, metrics=[faithfulness, LLMContextRecall()])
Giới hạn phải nói rõ: Ragas chấm một lượt hỏi–đáp với context, không chấm chuỗi 12 bước của agent. Nếu agent của bạn gọi 4 tool rồi mới trả lời, hãy đưa toàn bộ tool output vào retrieved_contexts — hợp lệ về mặt kỹ thuật, nhưng điểm faithfulness sẽ phản ánh hỗn hợp nhiều nguồn, khó quy trách nhiệm. Với agent nhiều bước, trajectory score của framework hoặc bộ chấm tự viết thường trung thực hơn.
DeepEval: biến eval thành test pytest
DeepEval 4.3.3 hợp với team đã có CI dựa trên pytest: mỗi case là một test, fail là đỏ, không cần dashboard riêng. Hai metric đáng dùng nhất cho agent là ToolCorrectnessMetric (so tool call thực tế với expected_tools) và TaskCompletionMetric (mục tiêu có đạt).
# File: tests/test_eval_refund.py
# pip install "deepeval==4.3.3"
from deepeval import assert_test
from deepeval.metrics import TaskCompletionMetric, ToolCorrectnessMetric
from deepeval.test_case import LLMTestCase, ToolCall
def test_refund_needs_status_check():
case = LLMTestCase(
input="Hoàn tiền đơn EV-1234",
actual_output=run_agent("Hoàn tiền đơn EV-1234"),
expected_tools=[ToolCall(name="get_order_status")],
)
assert_test(case, [TaskCompletionMetric(threshold=0.8), ToolCorrectnessMetric()])
Điểm cần cân nhắc: mỗi metric gọi judge ít nhất một lần, nên một suite 100 case với 3 metric là 300 lời gọi LLM mỗi lần chạy. Với judge tầm GPT-6.1 Sol, giả định 2.000 token vào và 300 token ra mỗi lần, chi phí khoảng 100 × 3 × (2.000 × 2 + 300 × 10)/1.000.000 ≈ 2,1 USD — chấp nhận được cho nightly, không chấp nhận được nếu chạy mỗi commit. Hãy tách suite: metric rẻ (deterministic, tool match) cho PR; metric dùng judge cho nightly.
LLM-judge: năm thiên lệch và cách chặn
Judge không phải thước đo trung lập. Nó có thiên lệch vị trí (ưu tiên đáp án đứng trước), thiên lệch độ dài (đáp án dài được điểm cao hơn), self-preference (thích văn phong giống model của nó), sycophancy (chiều theo giả định trong prompt), và nhạy cảm với cách diễn đạt rubric. Điểm thô không hiệu chuẩn thì không so sánh được giữa hai lần chạy.
- Hoán đổi thứ tự khi chấm cặp; nếu điểm đảo ngược, bỏ case đó.
- Rubric neo cụ thể: “có nêu mã đơn hàng và trạng thái” thay vì “câu trả lời tốt”.
- Judge khác họ model với model được chấm, để giảm self-preference.
- Hiệu chuẩn bằng người: lấy 50–100 case, hai người chấm độc lập, tính Cohen’s κ. κ dưới 0,6 nghĩa là rubric chưa đủ rõ, không phải “người chấm sai”.
- Không gate an toàn bằng judge. Quyết định an toàn và quyết định giá trị cao cần người hoặc rule deterministic, không cần một model khác đồng ý.
Regression gating: đặt ngưỡng sao cho không tự lừa mình
Ba lỗi thường gặp khi biến eval thành cổng chặn. Thứ nhất, gate trên chênh lệch 0,02 với 30 case — đó là nhiễu, không phải tín hiệu. Thứ hai, chỉ nhìn điểm trung bình toàn bộ, bỏ qua việc một intent cụ thể tụt 20%. Thứ ba, so sánh giữa hai lần chạy khác dataset.
Cách làm chắc chắn hơn: khoá dataset theo phiên bản, lưu kết quả từng case, gate theo slice (theo intent, theo loại tool, theo mức rủi ro), và dùng ngưỡng tuyệt đối cho case quan trọng thay vì trung bình. Với case không ổn định, chạy 3–5 lần và dùng pass@k = 1 - C(n-c,k)/C(n,k) để biết xác suất có ít nhất một lần đúng; một case pass 2/5 không phải case “gần đạt”.
Đừng quên gate chi phí: một thay đổi làm p95 latency tăng 40% hoặc cost per task tăng 60% nên chặn như một regression, kể cả khi chất lượng tăng nhẹ. Ghi cả hai vào cùng một báo cáo để người review thấy đánh đổi.
Chọn công cụ nào
| Hoàn cảnh | Chọn | Vì sao |
|---|---|---|
| Đã dùng LangChain/LangGraph, cần trace + dataset chung | LangSmith | Trace và eval cùng một nơi, thêm case từ production dễ |
| Hệ RAG là lõi, cần tách lỗi retrieval | Ragas | Metric context precision/recall có sẵn, pin 0.4.3 |
| Team pytest, cần cổng CI đơn giản | DeepEval | Test là code, fail là đỏ, không cần dashboard |
| Cần so sánh nhiều experiment, nhiều người review | Braintrust | Mô hình experiment-centric, so sánh song song |
| Benchmark agentic, cần harness chuẩn | Inspect AI | MIT, hướng benchmark, log đủ để tái lập |
| Muốn red-team và eval bằng CLI trong CI | promptfoo | 0.125.1, cấu hình YAML, chạy được trong pipeline |
Không cần dùng cả sáu. Đa số team ổn với một nền tảng trace/eval (LangSmith hoặc Langfuse), một bộ metric RAG (Ragas) nếu có retrieval, và pytest/DeepEval cho cổng CI. Càng nhiều công cụ, càng nhiều nơi để điểm số không khớp nhau.
Cạm bẫy
Dataset do chính agent sinh ra rồi tự chấm. Vòng lặp tự khen mình: agent tạo câu trả lời, agent tạo đáp án kỳ vọng, judge cùng họ model chấm. Điểm tăng, chất lượng không tăng. Luôn có một phần dataset do người viết.
Đo trung bình, bỏ qua phân phối. Task success 85% có thể là 100% trên 3 intent và 0% trên intent thứ tư — intent thứ tư mới là thứ làm khách hàng bỏ đi.
Đổi dataset giữa hai lần so sánh. Không có gì làm báo cáo vô nghĩa nhanh hơn việc thêm 20 case mới rồi tuyên bố “giảm 4%”.
Chấm bằng model đắt cho mọi thứ. Tool accuracy là việc so khớp chuỗi, không cần judge. Dùng judge cho phần cần phán đoán ngôn ngữ.
Checklist
- Dataset có phiên bản, có ít nhất 50 case golden do người viết, có nhãn rủi ro.
- Mỗi metric gắn với một hành động sửa cụ thể.
- Báo cáo có task success, tool accuracy, trajectory, cost per task, p95 latency.
- Judge được hoán đổi thứ tự và hiệu chuẩn với người; báo cáo Cohen’s κ.
- Gate theo slice, không chỉ theo trung bình; case flaky bị loại chứ không hạ ngưỡng.
- Chi phí eval có trần theo tháng, tách suite PR và nightly.
Để đi tiếp: bài kiểm thử agent AI là tầng dưới của bài này — khẳng định hành vi trước khi đo chất lượng; bài giám sát agent AI giải thích cách lấy dữ liệu production để nuôi dataset; và bài RAG cho người mới bắt đầu giúp bạn hiểu metric retrieval đang đo cái gì.