Các Kỹ Năng Phát Triển Backend Cần Thiết

Một agent chạy được trong notebook là bài tập. Một agent chạy qua đêm, gọi đúng API, không tạo giao dịch trùng, không đốt hết ngân sách và dừng được khi sai — đó là bài toán backend. Phần lớn thời gian chết của agent production không nằm ở prompt mà ở queue, transaction, timeout và quyền truy cập.

Bài này liệt kê những kỹ năng phát triển backend thực sự cần khi xây agent, kèm lỗi cụ thể mà thiếu kỹ năng đó sẽ gây ra. Nếu bạn đến từ frontend hay ML, đây là danh sách để tự kiểm tra trước khi nhận một task "làm agent cho khách hàng".

Cập nhật 2026

  • MCP stateless. Spec 2026-07-28 bỏ session và handshake; mỗi request tự mang metadata. Tool server không còn được ngầm giữ trạng thái giữa các lần gọi — nếu cần state, server phải mint handle và truyền qua tham số.
  • Durable execution thành mặc định. LangGraph, Microsoft Agent Framework, RunState của OpenAI Agents SDK, PydanticAI đều có checkpoint; ngoài ra còn Temporal, DBOS, Restate, Inngest. Agent chạy dài phải sống sót qua restart.
  • Prompt caching là tiền, không phải tối ưu. Giữ system prompt và tool block byte-stable, đặt nội dung biến động ở cuối. Cache write vẫn tốn tiền; cache read mới rẻ.
  • OTel GenAI vẫn là Development. Tên attribute còn đổi; pin version semantic conventions và đừng giả định nó ổn định như HTTP semconv.

HTTP, JSON và hợp đồng lỗi của tool

Tool endpoint là một API công khai cho model — đối tượng khách hàng không đọc tài liệu, không nhớ quy ước, và sẽ gửi đúng những gì schema cho phép. Vì vậy schema phải chặt hơn API cho người: kiểu dữ liệu rõ, enum thay vì chuỗi tự do, giới hạn độ dài, và mô tả nói rõ khi nào dùng tool.

Đừng trả chuỗi "Error". Trả một envelope có cấu trúc, đủ để model sửa và đủ để bạn debug:

{
  "ok": false,
  "error": {
    "code": "rate_limited",
    "message": "Vuot 20 request/phut cho tenant crm-acme",
    "retryable": true,
    "retry_after_s": 12,
    "request_id": "req_01J9Y2K8"
  }
}

Bốn trường code, retryable, retry_after_s, request_id biến lỗi thành hành động. Model biết không nên thử lại khi retryable là false; bạn biết tìm log nào khi khách báo lỗi nhờ request_id. Với tool ghi, thêm dry_run để agent thử cấu trúc request trước khi thực thi, và trả về diff thay vì kết quả.

Ba loại tool cần ba mức kiểm soát khác nhau:

Loại Ví dụ Yêu cầu tối thiểu
Đọc Tìm khách hàng, đọc tài liệu Cache được, phân trang, cắt output
Ghi Tạo ticket, gửi email Idempotency key, timeout, log kết quả
Phá hủy Xóa dữ liệu, hoàn tiền, đổi quyền Approval gate, dry-run, quyền riêng

Một lỗi thiết kế phổ biến là để tool đọc trả về toàn bộ bản ghi. Model không cần 400 trường; nó cần 5 trường liên quan và một cursor. Output tool là context của bước sau, nên mỗi token thừa ở đây làm đắt và loãng mọi bước tiếp theo.

Idempotency và transaction

Như đã nói ở bài Git và REST API, timeout không chứng minh request thất bại. Backend phải có nơi lưu idempotency key và kết quả, để lần gửi lại trả cùng kết quả thay vì chạy lại side effect.

-- File: migrations/002_tool_idempotency.sql
CREATE TABLE tool_idempotency (
  tenant_id     text        NOT NULL,
  idem_key      text        NOT NULL,
  tool_name     text        NOT NULL,
  request_hash  text        NOT NULL,
  response_json jsonb,
  created_at    timestamptz NOT NULL DEFAULT now(),
  PRIMARY KEY (tenant_id, idem_key)
);

INSERT INTO tool_idempotency (tenant_id, idem_key, tool_name, request_hash)
VALUES ($1, $2, $3, $4)
ON CONFLICT (tenant_id, idem_key) DO NOTHING
RETURNING request_hash;

Nếu INSERT không trả về dòng nào, key đã tồn tại. So sánh request_hash: khớp thì trả response_json đã lưu, khác thì trả 409 vì cùng key nhưng khác ý định. Điểm tinh tế: ghi response_json phải nằm trong cùng transaction với side effect nếu side effect là thao tác DB. Nếu side effect là API bên ngoài, không có transaction chung — hãy dùng state machine pending → succeeded/failed và một job reconcile trước khi retry.

Đừng giữ transaction DB mở trong lúc gọi LLM. Một lời gọi model mất vài giây đến vài chục giây; connection pool của bạn sẽ cạn trước khi khách thứ mười đến. Tách "đọc state", "gọi model", "ghi kết quả" thành ba đoạn ngắn, và dùng optimistic concurrency (version hoặc updated_at) để phát hiện ghi đè.

Với side effect liên quan nhiều hệ thống, outbox pattern vẫn là cách rẻ nhất: ghi ý định vào bảng outbox trong transaction nghiệp vụ, một worker riêng phát ra ngoài, có retry và dedupe. Đừng gọi ba API trong một request HTTP rồi hy vọng cả ba cùng thành công.

Queue, async và durable execution

Agent là hệ thống chờ: chờ model, chờ tool, chờ người duyệt. Nếu mỗi bước chiếm một request đồng bộ, bạn không thể scale và không thể resume sau restart. Hãy đưa tác vụ dài vào queue, trả 202 kèm task_id, và cho client poll hoặc nhận webhook.

Queue thường chỉ bảo đảm at-least-once, nên consumer phải idempotent. Dedupe theo bộ ba (task_id, step_id, tool_call_id) — đây là khóa tự nhiên của một lần chạy agent. Ghi trạng thái từng bước, có heartbeat để phát hiện worker chết, và cho phép resume từ checkpoint thay vì chạy lại từ đầu.

Agent chạy dài còn cần kill switch thật: thu hồi credential của tool, không chỉ dừng process. Một process bị dừng có thể được restart bởi orchestrator; một token bị thu hồi thì không.

Cache: hai loại, hai rủi ro khác nhau

Prompt cache là cache prefix của provider. Nó rẻ và an toàn nếu bạn giữ phần đầu prompt ổn định: system prompt, mô tả tool, schema — byte-stable, không thêm timestamp hay UUID vào đầu. Nội dung động như câu hỏi người dùng đặt ở cuối. Cache write tốn thêm tiền, nên cache chỉ đáng khi prefix được tái sử dụng nhiều lần.

Semantic cache là cache câu trả lời theo độ tương đồng query. Nó hấp dẫn với FAQ và bước agent lặp lại, nhưng có hai rủi ro: dữ liệu cũ và rò rỉ giữa tenant. Key phải gồm (tenant, model, prompt hash, tool set), invalidate khi bất kỳ thành phần nào đổi, và tuyệt đối không cache câu trả lời phụ thuộc quyền truy cập. Một câu trả lời đúng cho admin có thể là rò rỉ dữ liệu với nhân viên.

Logging, OTel và chi phí

Một lần chạy agent cần một trace, mỗi bước là một span, mỗi tool call là một span con với tên tool, tham số đã redact, thời gian, mã lỗi và token. Không có trace, bạn chỉ có thể đoán khi agent "hành xử lý".

OTel GenAI hiện ở trạng thái Development: tên attribute còn thay đổi. Hãy pin version semantic conventions trong dependency và viết adapter mỏng, để khi tên đổi bạn sửa một chỗ. Log phải redact PII và secret trước khi ra khỏi process; trace là nơi rò rỉ dữ liệu rất dễ xảy ra.

Token accounting phải tách bốn dòng: input, cached input, output, reasoning. Reasoning token tính như output; cache write tính tiền; long-context có phụ phí khác nhau giữa provider. Nếu chỉ lưu "tổng token", bạn không biết bước nào đắt và không thể đặt ngân sách theo task.

Container, secret và egress

Docker hữu ích để đóng gói nhưng không phải ranh giới bảo mật cho code độc hại: namespace, cgroup và seccomp không đủ khi kẻ tấn công đã có code execution. Khi agent chạy code sinh ra bởi model, dùng E2B, Daytona, Firecracker hoặc gVisor — mỗi lựa chọn có mức cô lập và chi phí khác nhau.

Secret không được nằm trong image, trong prompt hay trong output tool. Inject token ngắn hạn ở boundary, scope theo tenant và task, rotate, và redact log. Egress mặc định deny; allowlist proxy và DNS; chặn cloud metadata endpoint; tách network build và network runtime.

Kiểm thử

Kiểm thử agent gồm ba tầng. Unit test cho hàm thuần: parse response, validate schema, tính budget. Contract test cho tool: gọi endpoint thật trong sandbox, kiểm tra mã lỗi và shape. Eval cho hành vi: chạy một tập case, chấm kết quả và trajectory.

Với eval, chọn công cụ theo nhu cầu: DeepEval 4.3.3 cho pytest-style; promptfoo 0.125.1 cho CLI/CI và red team; Inspect AI 0.3.288 cho benchmark agentic. Deterministic eval chạy trước trong CI; model-based eval chạy theo lô; human eval cho quyết định cao giá trị. Đừng để LLM-as-judge chấm một mình các quyết định an toàn — judge có position bias, verbosity bias và self-preference.

Công cụ không quan trọng bằng bộ dữ liệu. Bắt đầu với 20–50 case thật, có input, tool call mong đợi và tiêu chí đúng. Mỗi lần agent sai trong production, thêm case đó vào bộ eval. Trước khi đổi prompt, model hay tool schema, chạy lại toàn bộ và so sánh với baseline. Không có regression set, bạn đang sửa lỗi này và tạo lỗi khác trong cùng một commit.

Build hay framework?

Nếu agent có một tool, một vòng lặp và ít bước, viết tay rẻ hơn: bạn hiểu mọi nhánh và không phải nâng cấp abstraction. Nếu cần persistence, human-in-the-loop, multi-agent, tracing sẵn, framework tiết kiệm hàng tuần. Quy tắc thực dụng: nếu một hàm thuần có thể làm xong việc, đừng dựng agent; nếu quy trình cố định nhiều bước, dùng workflow; chỉ dùng agent khi bước tiếp theo thực sự phụ thuộc kết quả trước đó.

Khi chọn framework, nhìn bốn thứ trước: ngôn ngữ bạn dùng, cơ chế persistence, approval/HITL, và observability. Đừng chọn theo số sao GitHub. Và đừng để framework che giấu việc bạn chưa hiểu vòng lặp — abstraction không sửa được thiết kế sai.

Lỗi thường gặp khi thiếu kỹ năng phát triển backend

Triệu chứng Nguyên nhân Cách sửa
Tạo giao dịch trùng Retry POST không có key Idempotency key + lưu kết quả
Agent treo, pool cạn Giữ transaction qua lời gọi LLM Tách đọc/gọi/ghi, timeout ngắn
Chi phí tăng vọt Không có budget theo bước Max steps, token, cost cap
Không resume được State chỉ nằm trong RAM Checkpoint/queue, heartbeat
Rò rỉ dữ liệu Semantic cache dùng chung tenant Key theo tenant + invalidate
Không debug được Chỉ log câu trả lời cuối Trace theo run/step/tool

Checklist

  • Mỗi tool ghi có idempotency key và một nơi lưu kết quả.
  • Không giữ transaction DB trong lúc chờ model.
  • Tác vụ dài đi qua queue, có checkpoint và heartbeat.
  • Trace một run, span mỗi bước, redact PII và secret.
  • Budget bốn chiều: số bước, token, thời gian, tiền.
  • Eval chạy trong CI trước khi merge thay đổi prompt hoặc schema.

Bài tiếp theo

Đọc kèm Git và REST API cho nhà phát triển agent để nắm hợp đồng HTTP, và thiết kế công cụ: đầu vào, đầu ra và xử lý lỗi để áp dụng vào schema tool. Khi agent đã chạy, chuyển sang giám sát bằng Langfuse, Helicone và OpenLLMetry.