Trách Nhiệm Cốt Lõi Của Một Kỹ Sư AI Năm 2026

Một tính năng AI không được đánh giá bằng câu trả lời đẹp trong buổi demo. Nó được đánh giá vào tuần thứ ba, khi người dùng thật gõ những câu bạn chưa từng nghĩ tới, chi phí vẫn nằm trong ngân sách, và không ai phải gọi bạn lúc 2 giờ sáng vì một prompt vừa được sửa. Kỹ sư AI là người chịu trách nhiệm cho toàn bộ vòng đời đó, không chỉ phần model.

Nếu bạn vẫn nghĩ công việc của kỹ sư AI là “train model” hoặc “viết prompt hay hơn”, bài này được viết để sửa lại định nghĩa đó. Trong năm 2026, trách nhiệm cốt lõi là sở hữu một tính năng AI từ đầu đến cuối: bộ eval, version prompt và context, nâng cấp model, ngân sách chi phí và latency, review an toàn, xử lý sự cố, on-call, tài liệu và quyền riêng tư dữ liệu.

Cập nhật 2026: bốn thứ đã đổi trọng tâm

  • Model đổi nhanh hơn nhịp release của bạn. Dòng GPT-6 có bốn mức (Astra, Sol, Terra, Luna), Claude 5.x và Gemini 4 cùng tồn tại. Nâng cấp model là việc lặp lại hàng tháng, không phải một dự án một lần.
  • API cũ đã chết. OpenAI khuyến nghị Responses API cho dự án mới; Assistants API đã bị gỡ, và tool calling trên Astra và Sol chỉ có trên Responses. Code tích hợp viết theo Assistants là code phải viết lại.
  • Chi phí có bốn dòng, không phải một. Input, cached input, output và reasoning token (tính như output). Thêm ngưỡng 272K: vượt ngưỡng, toàn bộ request bị tính gấp đôi input/cache và 1,5 lần output.
  • Fine-tuning không còn là lối tắt. OpenAI đã đóng fine-tuning với người dùng mới; năng lực phải đến từ prompt, context và RAG, không từ “train lại model”.

“Sở hữu” nghĩa là gì trong thực tế

Sở hữu một tính năng AI có nghĩa là tên bạn nằm trong rotation on-call, và bốn artifact sau nằm trong repo chứ không nằm trong đầu bạn: bộ eval đã đóng băng, manifest của prompt và context, file ngân sách chi phí/latency, và runbook xử lý sự cố. Nếu không ai trả lời được câu “eval của tính năng này ở đâu”, bạn chưa sở hữu nó.

Bốn artifact này là thứ phân biệt một kỹ sư AI với một người biết gọi API. Chúng cũng là thứ giữ cho tính năng sống qua các đợt nâng cấp model mà bạn không kiểm soát được.

Eval dataset: hợp đồng thay cho cảm giác

Điểm khởi đầu không phải prompt, mà là bộ case. Nguồn tốt nhất là log thật: 50–100 câu đại diện, gồm case hay gặp, case biên, case từng gây sự cố, và case ngoài phạm vi. Mỗi case có đầu vào, kỳ vọng, và cách chấm. Đóng băng bộ này thành một version có ngày; muốn thêm case thì tạo version mới, không sửa version cũ để test xanh.

Đừng chấm bằng một con số trung bình. Chia thành các slice và đặt ngưỡng riêng cho từng slice, vì trung bình 92% có thể che một slice 60% — thường đúng là slice người dùng thật quan tâm.

# File: evals/slices.py
SLICES = {
    "happy_path": 40,
    "out_of_scope": 20,
    "ambiguous": 15,
    "angry_customer": 15,
    "previous_incident": 10,
}

def gate(results):
    # results: list of {"slice": str, "passed": bool}
    for name, minimum in SLICES.items():
        rows = [r for r in results if r["slice"] == name]
        rate = sum(r["passed"] for r in rows) / len(rows)
        if rate < 0.90:
            raise SystemExit(f"gate failed: {name} = {rate:.0%}")
    return "pass"

Với case mở, dùng model làm giám khảo nhưng đừng tin điểm tuyệt đối. Judge có position bias, verbosity bias và self-preference; hãy đổi thứ tự cặp so sánh, dùng rubric neo rõ, và hiệu chuẩn bằng một tập nhỏ do người chấm. Không bao giờ để judge một mình quyết định gate an toàn.

Version prompt và context như version code

Prompt không phải văn bản trong dashboard. Nó là code: nằm trong git, có id, có người review, có rollback. Cùng với prompt, manifest phải ghi model id chính xác, tham số decode, phiên bản tool schema, và cấu hình retrieval nếu có — chunk size, embedding model, top_k, reranker.

{
  "feature": "policy-answer",
  "prompt_id": "policy-answer@2026-11-03",
  "model": "gpt-6.1-sol",
  "reasoning_effort": "medium",
  "max_output_tokens": 900,
  "tool_schema_version": "refund-tools@3",
  "eval_dataset": "policy-answer-eval@2026-10-28",
  "owner": "ai-oncall@evotek"
}

Hai lợi ích đến ngay. Thứ nhất, rollback là deploy manifest cũ, không phải viết lại prompt từ ký ức. Thứ hai, prompt caching chỉ hiệu quả khi phần prefix — system prompt và tool block — byte-stable; nội dung thay đổi phải nằm cuối. Nếu bạn sửa một dấu phẩy trong system prompt mỗi lần release, cache vỡ và hóa đơn tăng.

Context cũng cần version. Cùng một prompt nhưng retrieval đổi từ top_k 5 lên 20 sẽ đổi hành vi nhiều hơn bạn tưởng. Ghi cấu hình retrieval vào manifest để lần sau tái lập được.

Nâng cấp model: một quy trình, không phải một buổi chiều

Provider phát hành model mới và ngừng model cũ theo lịch của họ. Ba loại thay đổi bạn phải theo dõi: model mới, giá mới, và ngày deprecate. Ví dụ cụ thể trong quý này: Gemini 4 Argon giữ giá $2/$10 đến 30/11/2026 rồi chuyển $4/$20; Gemini 3.8 Flash giữ $0,75/$3,75 đến 31/12/2026; từ 01/12/2026, request tới gemini-2.5-flash tự động được route sang gemini-3.5-flash-lite.

Quy trình nâng cấp có năm bước: chạy shadow eval trên bộ case đóng băng; so sánh theo từng slice, không chỉ tổng; đo lại chi phí mỗi request và p95 latency; canary 5% traffic với kill switch; rồi mới rollout. Không pin “latest” ở bất kỳ đâu trong code — pin đúng model id, và ghi ngày bạn pin.

Một chi tiết dễ bỏ: đổi model có thể làm hỏng prompt caching vì prefix không còn khớp, và làm đổi cách tính token. Hãy chạy lại bài đo chi phí sau mỗi lần đổi, kể cả khi giá niêm yết không đổi.

Ngân sách chi phí và latency

Mỗi tính năng cần một ngân sách bằng số, được review như SLA: chi phí mỗi request, token vào/ra, p95 latency, và tỷ lệ fallback. Đặt alert ở 70% ngân sách để còn thời gian xử lý trước khi hóa đơn cuối tháng tới.

Bốn dòng chi phí phải tách riêng khi log. Reasoning token tính như output và ăn vào giới hạn output; một request “trả lời ngắn” vẫn có thể tốn 2.000 token reasoning. Cached input rẻ hơn nhiều so với input mới, nhưng cache write cũng có giá. Và Batch/Flex giảm khoảng 50%, phù hợp cho backfill và eval, không phù hợp cho request đồng bộ của người dùng.

# File: budgets/check_request_cost.py
INPUT_USD_PER_M = 2.00       # gpt-6.1-sol
CACHED_USD_PER_M = 0.10
OUTPUT_USD_PER_M = 10.00

def request_cost(input_tokens, cached_tokens, output_tokens):
    fresh = input_tokens - cached_tokens
    return (
        fresh / 1_000_000 * INPUT_USD_PER_M
        + cached_tokens / 1_000_000 * CACHED_USD_PER_M
        + output_tokens / 1_000_000 * OUTPUT_USD_PER_M
    )

cost = request_cost(1800, 1200, 600)
print(f"{cost:.5f} USD/request")      # 0.00732 USD/request
print(f"{cost * 10_000:.2f} USD/ngày")  # 73.20 USD/ngày ở 10k request

Latency cũng chia hai con số: thời gian tới token đầu tiên và tổng thời gian. Streaming cải thiện cảm giác chờ nhưng không giảm tổng chi phí. Với tác vụ dài — duyệt tài liệu, agent nhiều bước — đưa vào job queue và trả job id; giữ request HTTP mở 90 giây để chờ là cách chắc chắn nhất để gặp timeout ở gateway.

Review an toàn trước khi ship

Đây là gate trong PR, không phải một cuộc họp. Checklist tối thiểu: prompt injection trực tiếp và gián tiếp qua tài liệu, tool output và MCP server; quyền tối thiểu cho từng tool; mã hóa output trước khi render; và một đường fallback khi model từ chối hoặc lỗi.

Bộ tham chiếu là OWASP LLM Top 10 — bản 2025 vẫn là bản hiện hành. Hai mục hay bị bỏ nhất là LLM02 (lộ thông tin nhạy cảm) và LLM06 (quyền hạn quá mức của agent). Với nội dung do AI tạo, minh bạch là nghĩa vụ: EU AI Act áp dụng các yêu cầu minh bạch của Điều 50 từ 02/08/2026, gồm việc cho người dùng biết họ đang tương tác với hệ thống AI.

Moderation không thay thế kiểm tra của bạn. omni-moderation-latest của OpenAI miễn phí và trả về điểm theo category, nhưng ngưỡng là do bạn đặt; filter không bảo đảm an toàn cho quyền truy cập, dữ liệu hay hành động ghi.

Incident response và on-call

Phân loại sự cố theo tác động, không theo cảm xúc: SEV1 là output sai hoặc không an toàn ở quy mô lớn; SEV2 là suy giảm chất lượng hoặc latency; SEV3 là chi phí tăng bất thường. Mỗi mức có người gọi, thời hạn phản hồi, và người được thông báo.

Runbook phải có năm hành động cụ thể: tắt tính năng bằng kill switch (cờ cấu hình, không phải deploy); rollback manifest prompt; thu hồi quyền tool; replay các input đã log để khoanh vùng; và thông báo cho người dùng nếu cần. Kill switch phải tắt được trong một phút và phải thu hồi credential của tool, không chỉ dừng process.

On-call chỉ nên bị đánh thức vì vi phạm SLO hoặc tín hiệu an toàn, không vì một lỗi 500 lẻ. Alert phải kèm link runbook và dashboard chi phí. Sau mỗi sự cố, việc bắt buộc là thêm case tái hiện vào eval — nếu không, sự cố đó sẽ quay lại sau lần nâng cấp model tiếp theo.

Tài liệu: thứ còn lại khi bạn đi nghỉ

Một feature card đủ dùng có tám dòng: mục đích, phạm vi, model và prompt id, eval version, ngân sách, owner, giới hạn đã biết, và cách xử lý dữ liệu. Thêm decision log ngắn: vì sao chọn model này, vì sao dùng RAG thay vì fine-tune, phương án nào đã bị loại. Người tiếp theo không cần đoán ý bạn.

Tài liệu không phải để đọc một lần. Nó là thứ được cập nhật trong cùng PR với thay đổi prompt hoặc model. Nếu manifest đổi mà feature card không đổi, tài liệu đã sai.

Quyền riêng tư dữ liệu

Ba quy tắc: tối thiểu hóa trước khi gửi, che dấu trước khi log, và giữ đúng thời hạn. Không đưa secret, khóa API hay toàn bộ bản ghi khách hàng vào context. Nếu cần dữ liệu thật để debug, dùng tập đã redact và che các trường định danh.

Chọn endpoint theo yêu cầu cư trú dữ liệu của khách hàng, và ghi rõ dữ liệu đi qua provider nào. Với tool có quyền đọc, cấp token ngắn hạn theo tenant và task thay vì credential dài hạn nằm trong prompt. Đây vừa là yêu cầu bảo mật vừa là yêu cầu tuân thủ.

Bảng quyết định nhanh

Tình huống Hành động Bằng chứng phải có
Thêm một loại câu hỏi mới Thêm case vào eval trước, sửa prompt sau Version eval mới và kết quả theo slice
Provider ra model mới Shadow eval, canary 5%, rồi rollout So sánh slice, chi phí/request, p95
Chi phí tăng bất thường Kiểm tra độ dài input, reasoning token, cache hit Log bốn dòng chi phí theo feature
Sự cố an toàn Kill switch, rollback, thu hồi tool, replay Postmortem và case eval mới

Nhìn tới 2027

Chu kỳ nâng cấp model sẽ còn ngắn hơn, nên giá trị của bạn nằm ở quy trình chứ không ở kiến thức về một model cụ thể. Eval sẽ dịch gần hơn vào CI, và quyền hạn của agent sẽ là phần được review kỹ nhất — vì LLM06 là lỗi phổ biến nhất khi agent có thêm tool. Các nghĩa vụ minh bạch của EU AI Act sẽ siết thêm vào cuối 2026 và 2027.

Checklist trước khi nhận sở hữu

  • Bộ eval đã đóng băng, có version và ngưỡng theo từng slice.
  • Prompt và context nằm trong git với manifest đầy đủ, có đường rollback.
  • Ngân sách chi phí/latency bằng số, có alert ở 70%.
  • Checklist an toàn là gate trong PR, không phải tài liệu tham khảo.
  • Runbook, kill switch và rotation on-call đã được diễn tập một lần.
  • Feature card và decision log cập nhật trong cùng PR với thay đổi.

Đọc tiếp: vai trò của kỹ sư AI trong phát triển sản phẩm, tokens, cửa sổ ngữ cảnh và chi phí API, và kiểm thử đối kháng cho ứng dụng LLM.