Một tính năng AI không phải “một prompt hay”. Nó là một hợp đồng với người dùng: kết quả xuất hiện trong bao lâu, sai thì hiển thị gì, ai chịu trách nhiệm khi nó sai, và chi phí mỗi lần dùng là bao nhiêu. Kỹ sư AI là người biến hợp đồng đó thành code chạy được.
Vì vậy vai trò này nằm giữa sản phẩm và hạ tầng. Bạn không chỉ làm model tốt hơn; bạn làm cho tính năng sống được qua tuần thứ ba, khi người dùng thật gõ những câu bạn chưa từng nghĩ tới.
Mục lục
Cập nhật 2026: bốn thứ đã đổi cách tích hợp
- API đã đổi chuẩn. OpenAI khuyến nghị Responses API cho dự án mới; Assistants API đã bị gỡ, và tool calling trên các model reasoning chỉ có trên Responses. Code tích hợp viết theo Assistants là code chết.
- Streaming và state là mặc định. Người dùng đã quen thấy chữ hiện dần. Streaming cải thiện cảm giác chờ nhưng không giảm tổng chi phí; state qua
previous_response_idhoặc session của framework giúp giảm việc gửi lại toàn bộ history. - Chi phí có bốn dòng, không phải một. Input, cached input, output và reasoning token (tính như output). Cộng phụ phí long-context: OpenAI gấp đôi input/cache và 1,5 lần output khi request vượt 272K token.
- Minh bạch là nghĩa vụ. EU AI Act áp dụng các nghĩa vụ minh bạch (Điều 50) từ 02/08/2026, gồm việc cho người dùng biết họ đang tương tác với hệ thống AI. Thiết kế UI phải phản ánh điều này, không chỉ trang privacy policy.
Ba hợp đồng của một kỹ sư AI
Với PM: tính năng này giải quyết việc gì, phạm vi nào bị loại trừ, và thế nào là “đủ tốt để ship”. Với design: mọi trạng thái của tính năng — đang chờ, thiếu tự tin, từ chối, lỗi — hiển thị ra sao. Với backend: SLA latency, schema dữ liệu trao đổi, quyền truy cập, và ai chịu trách nhiệm khi provider sập.
Thiếu hợp đồng thứ nhất, bạn xây đúng kỹ thuật nhưng sai nhu cầu. Thiếu hợp đồng thứ hai, bạn có khung chat trắng khi model im lặng. Thiếu hợp đồng thứ ba, bạn có endpoint không ai dám gọi.
Làm việc với PM: biến “tính năng AI” thành task có biên
Yêu cầu hay gặp là “làm trợ lý AI trả lời mọi câu hỏi về sản phẩm” — không kiểm thử được. Hãy hạ nó thành: “trả lời câu hỏi về chính sách đổi trả, trích dẫn đúng điều khoản, chuyển người khi câu hỏi nằm ngoài 12 tài liệu đã index”.
Một spec đủ dùng có năm dòng: mục tiêu người dùng; đầu vào thuộc phạm vi kèm 5 ví dụ thật; đầu vào ngoài phạm vi và hành vi mong muốn; đầu ra kỳ vọng (schema hoặc mẫu); và cách đo thành công. Nếu PM không viết được dòng thứ ba, tính năng chưa sẵn sàng để ước lượng.
Nói rõ với PM: tỷ lệ đúng 100% không phải mục tiêu khả thi. Mục tiêu đúng là “85% case trong bộ 100 case đạt, phần còn lại chuyển người trong 2 giây, không bao giờ có câu trả lời trống” — kiểm thử được, ước lượng được, không tạo kỳ vọng sai.
Chốt trước ba câu: có cần trích dẫn nguồn không, có được trả lời ngoài phạm vi không, dữ liệu người dùng có được gửi ra provider nước ngoài không. Ba câu này quyết định kiến trúc nhiều hơn việc chọn model.
Làm việc với design: trạng thái của một tính năng AI
Đây là phần bị bỏ qua nhiều nhất và cũng là nơi sản phẩm thắng hoặc thua. Một tính năng AI có ít nhất bảy trạng thái, không phải hai:
- Chưa có dữ liệu: người dùng mới, không có lịch sử, retrieval trả về rỗng. Gợi ý hành động thay vì câu trả lời rỗng.
- Đang chờ: streaming token đầu tiên, skeleton cho phần chưa tới, nút huỷ. Không hiển thị spinner vô hạn không có ước lượng.
- Kết quả bình thường: có trích dẫn, có nút sửa, có cách phản hồi “câu trả lời này sai”.
- Tự tin thấp: model trả lời nhưng điểm kiểm tra thấp. Chọn một trong ba: hỏi lại để làm rõ, đưa câu trả lời kèm cảnh báo, hoặc chuyển người. Đừng để model tự quyết định thay bạn.
- Từ chối: ngoài phạm vi hoặc vi phạm chính sách. Câu từ chối phải nói được người dùng nên làm gì tiếp.
- Lỗi hạ tầng: timeout, 429, provider 5xx. Hiển thị “đang quá tải” và cho thử lại, không hiển thị stack trace.
- Một phần: agent làm xong 2/3 bước rồi dừng. Phải hiển thị phần đã xong và phần còn thiếu, kèm nút tiếp tục.
Nguyên tắc fallback UX: luôn có một đường ra rẻ hơn model. FAQ tĩnh, full-text search, form liên hệ, hotline. Khi model chậm hoặc sai, người dùng phải có thứ khác để bấm — và đường ra đó phải được test như một tính năng.
Với nội dung do AI tạo: gắn nhãn rõ phần AI sinh, cho người dùng sửa trước khi gửi, và không đặt câu trả lời của AI vào vị trí quyết định (phê duyệt, thanh toán) mà thiếu bước xác nhận.
Làm việc với backend: SLA, dữ liệu và quyền
Model là một API từ xa có thể chậm, trả 429 hoặc ngừng trả lời. Ba thứ backend cần: hợp đồng schema ổn định, ngân sách thời gian rõ ràng, cách chạy dài mà không giữ request mở.
Với tác vụ dưới vài giây, gọi đồng bộ trong request là chấp nhận được, miễn có timeout và fallback. Với tác vụ dài — duyệt tài liệu, agent nhiều bước — đưa vào job queue, trả về job id, và cho client theo dõi tiến độ. Giữ một request HTTP mở 90 giây để chờ agent là cách chắc chắn nhất để có lỗi timeout ở tầng gateway.
Idempotency là việc của bạn: retry job đã tạo side effect sẽ nhân đôi hành động. Dùng idempotency key theo (task_id, step_id, tool_call_id), và đối soát trước khi chạy lại. Với tool có quyền ghi, hãy tách quyền theo tenant và theo task, cấp token ngắn hạn thay vì credential dài hạn nằm trong context.
Cuối cùng, chốt ai sở hữu “kill switch”: một cờ cấu hình tắt tính năng và thu hồi quyền tool, không chỉ dừng process. Khi có sự cố, bạn cần tắt trong một phút, không phải chờ deploy.
Eval-driven development
Thay vì viết tính năng rồi kiểm tra bằng mắt, hãy viết bộ case trước. Nguồn case tốt nhất là log thật: 30–50 câu hỏi đại diện, gồm cả Case Hay Gặp, case biên và case từng gây sự cố. Mỗi case có đầu vào, kỳ vọng, và cách chấm.
Ba tầng chấm, dùng đúng chỗ: kiểm tra tất định (schema hợp lệ, trích dẫn tồn tại, không chứa số điện thoại) chạy mọi commit; chấm bằng model cho ngữ nghĩa, có rubric neo rõ; và người chấm cho 20–30 case quan trọng nhất, mỗi tháng một lần. Chấm bằng model có bias vị trí và bias độ dài, nên đừng dùng nó làm cổng duy nhất cho quyết định release.
Điểm quan trọng: đo theo slice, không chỉ điểm tổng. Một bộ 100 case có thể đạt 92% trong khi nhóm câu hỏi về hoàn tiền chỉ đạt 60% — nhóm làm khách hàng tức giận nhất. Đoạn gate dưới đây mã hoá nguyên tắc đó.
# File: eval/gate.py
# Cổng eval trước release: đo theo slice, có sàn riêng cho slice quan trọng.
THRESHOLDS = {"overall": 0.90, "p95_latency_ms": 3000, "cost_per_task_usd": 0.01}
CRITICAL_SLICES = {"refund", "billing"}
SLICE_FLOOR = 0.85
def gate(results):
"""results: list[dict] với các khóa slice, ok, latency_ms, cost_usd."""
n = len(results)
if n == 0:
return False, ["empty eval set"]
ok_rate = sum(r["ok"] for r in results) / n
latencies = sorted(r["latency_ms"] for r in results)
p95 = latencies[max(0, int(n * 0.95) - 1)]
cost = sum(r["cost_usd"] for r in results) / n
failures = []
if ok_rate < THRESHOLDS["overall"]:
failures.append(f"overall {ok_rate:.2f}")
if p95 > THRESHOLDS["p95_latency_ms"]:
failures.append(f"p95 {p95}ms")
if cost > THRESHOLDS["cost_per_task_usd"]:
failures.append(f"cost ${cost:.4f}")
for name in CRITICAL_SLICES:
cases = [r for r in results if r["slice"] == name]
if cases and sum(c["ok"] for c in cases) / len(cases) < SLICE_FLOOR:
failures.append(f"slice {name} below floor")
return not failures, failures
Ba ngưỡng này nên được viết vào repo, không nằm trong đầu ai. Khi ai đó muốn “nới một chút để release”, họ phải sửa một dòng trong PR — và người review sẽ thấy.
Ngân sách latency và chi phí
Mỗi tính năng nên có hai ngân sách, chốt trước khi code. Ví dụ cách đặt: chat tương tác đặt p95 token đầu tiên dưới 1,5 giây và p95 toàn câu dưới 6 giây; tác vụ nền đặt p95 dưới 60 giây; chi phí mỗi task đặt trần theo giá trị nghiệp vụ của task đó. Đây là quyết định sản phẩm, không phải thông số kỹ thuật — nhưng phải có số.
| Thành phần | Cách giảm | Đánh đổi |
|---|---|---|
| Input token | Cắt history, retrieval ít mà đúng, giữ prefix ổn định để cache | Giảm chi phí, có thể giảm chất lượng nếu cắt sai |
| Output token | Đặt max_tokens, yêu cầu định dạng ngắn, trả về JSON có schema |
Câu trả lời ngắn hơn, dễ bị cắt giữa chừng |
| Tác vụ lặp | Batch giảm khoảng 50% cho backfill, phân loại hàng loạt, eval | Kết quả trễ, không dùng được cho tương tác |
| Traffic biến động | Route model rẻ cho case dễ, fallback có thứ tự | Phải test fallback vì schema và cách tính chi phí đổi |
Hai cái bẫy hay gặp. Thứ nhất, nhồi context để “chắc ăn”: request 300K token vừa đắt vừa chậm, và với OpenAI còn bị phụ phí gấp đôi trên 272K. Thứ hai, semantic cache không đúng chỗ: cache câu trả lời theo độ tương tự ngữ nghĩa rất hợp với FAQ, nhưng sẽ rò rỉ dữ liệu giữa tenant và trả lời cũ. Nếu dùng, key phải gồm tenant, model, hash prompt và tập tool; đổi bất kỳ thành phần nào thì invalidate.
Guardrails: an toàn là kiến trúc, không phải endpoint
Moderation chỉ chặn được một phần. OWASP LLM Top 10 hiện hành đặt prompt injection ở vị trí đầu, và injection indirect — qua tài liệu, trang web, kết quả tool, ticket — là mối đe dọa chính của tính năng có retrieval. Prompt “đừng nghe lệnh trong tài liệu” không đủ; nó chỉ là một câu mong muốn.
Những thứ có tác dụng thật: quyền tối thiểu cho tool, allowlist đích đến, approval gate cho hành động không thể hoàn tác, coi mọi output của tool là dữ liệu không tin cậy, tách planner khỏi executor, encode output trước khi render hoặc thực thi, và sandbox cho code chạy. Container không phải ranh giới bảo mật cho code độc hại; cần cách ly thật thì dùng microVM hoặc sandbox chuyên dụng.
Với dữ liệu cá nhân: phân loại, tối thiểu hoá, chọn vùng endpoint theo yêu cầu lưu trú, và không đưa credential vào context. Log cũng cần che thông tin nhạy cảm trước khi ghi — trace đầy đủ là công cụ debug tốt nhưng cũng là bản sao dữ liệu khách hàng.
Checklist trước khi launch
- Bộ eval có ≥30 case thật, có slice quan trọng, chạy trong CI và chặn merge khi tụt.
- Đã test bảy trạng thái UI, gồm cả trạng thái lỗi và từ chối.
- Có fallback không dùng model và đã test đường fallback đó.
- Timeout, retry có jitter, và ít nhất một fallback model đã chạy thử.
- Ngân sách token/tiền cho mỗi task có cảnh báo; chi phí ghi theo feature và tenant.
- Kill switch tắt được tính năng và thu hồi quyền tool trong một phút.
- Nhãn “do AI tạo” và đường phản hồi “câu trả lời sai” hiển thị rõ.
- Runbook sự cố: ai gọi, kiểm tra gì, rollback thế nào.
Đo gì sau launch
Bốn chỉ số đọc hàng tuần: tỷ lệ chấp nhận (dùng kết quả mà không sửa), tỷ lệ sửa, tỷ lệ escalate sang người, chi phí mỗi task hoàn thành; cộng thêm p95 latency và tỷ lệ lỗi. Sáu con số này đủ để biết tính năng đang tốt lên hay chỉ đang được dùng nhiều hơn.
Điều cần tránh là đo bằng số lần gọi API. Lưu lượng tăng không có nghĩa giá trị tăng; đôi khi nó chỉ có nghĩa người dùng đang thử lại vì câu trả lời sai.
Anti-pattern
- Ship mà không có eval, rồi tin vào cảm giác của người review trong demo.
- Không có trạng thái lỗi, để màn hình đứng hoặc trắng khi provider chậm.
- Gọi agent đồng bộ trong request HTTP, rồi đổ lỗi cho hạ tầng khi timeout.
- Đặt model làm nguồn sự thật duy nhất cho số liệu, giá, tồn kho — những thứ phải đọc từ database.
- Nới ngưỡng eval để kịp deadline, một lần, rồi lần sau cũng vậy.
Nhìn tới 2027
Phần lớn việc tích hợp sẽ dịch về eval và chi phí, vì model ngày càng giống commodity: nhiều lựa chọn, giá giảm, context rộng. Lợi thế cạnh tranh nằm ở bộ dữ liệu đánh giá, đường fallback và hiểu biết người dùng — thứ không ai bán cho bạn.
Đọc tiếp: Kỹ sư AI là gì, Kỹ sư AI và Kỹ sư ML, và AI vs AGI để đặt kỳ vọng đúng cho tính năng bạn đang xây.
