AI Engineer Roadmap: Kỹ sư AI và Kỹ sư ML: Vai trò, Kỹ năng và Tư duy

Ranh giới giữa kỹ sư AI và kỹ sư ML đã dịch chuyển rõ rệt trong hai năm qua. Trước đây, người làm AI thường phải tự train model; nay phần lớn tính năng dùng model do người khác huấn luyện, nên giá trị nằm ở việc chọn, ghép và đo — không phải ở vòng lặp huấn luyện.

Hai vai trò vẫn cần nhau, nhưng nhầm lẫn chúng sẽ khiến bạn tuyển sai người, giao sai việc và đặt sai chỉ số thành công. Bài này vạch ra ranh giới đó bằng công việc cụ thể, không bằng chức danh.

Cập nhật 2026: bốn thay đổi làm ranh giới rõ hơn

  • Fine-tuning trên API đã thu hẹp. OpenAI đóng fine-tuning với người dùng mới, chỉ còn gpt-4.1/-mini/-nano và gpt-4o vision cho người dùng cũ. Con đường tinh chỉnh thực tế chuyển sang LoRA/QLoRA trên model open-weight, với PEFT 0.21.2, TRL 1.17.1, Unsloth 2026.11.3 hoặc Axolotl 0.21.1.
  • Model nền đã đủ tốt cho phần lớn bài toán sản phẩm. GPT-6 Sol, Claude Sonnet 5.5, Gemini 3.8 Flash hay Grok 4.7 đều nằm trong dải $0,75–$2 mỗi 1M token input. Khi baseline rẻ như vậy, việc tự train một model chỉ để “tiết kiệm” thường không có hồi vốn.
  • Context 1 triệu token làm đổi bài toán “model riêng”. Nhiều ca trước đây phải custom model để nhớ tri thức nay giải được bằng retrieval hoặc nhồi tài liệu — dù chi phí long-context vẫn là bẫy (OpenAI gấp đôi input/cache trên 272K token).
  • Eval trở thành tài sản chung. LangSmith, Langfuse, DeepEval, promptfoo, Ragas cùng tồn tại vì hai vai trò cần cùng một ngôn ngữ: một bộ case, một rubric, một ngưỡng regression.

Kỹ sư ML làm gì: quản lý vòng đời model

Đơn vị công việc của kỹ sư ML là model và phân phối dữ liệu. Câu hỏi trung tâm: model này có học đúng thứ cần học, chạy ổn định ở lưu lượng thật, và có tự biết khi nào nó sai không?

Các việc điển hình: xây pipeline đặc trưng và nhãn; chọn kiến trúc và hàm mất mát; chạy thí nghiệm có kiểm soát; đánh giá bằng metric phù hợp (precision/recall theo từng lớp, calibration, chứ không chỉ accuracy gộp); nén model bằng quantization để vừa ngân sách GPU; phục vụ model qua vLLM 0.33.0 hoặc endpoint tự viết; theo dõi drift và quyết định khi nào retrain.

Với LLM, kỹ sư ML là người xử lý phần khó nhất của tinh chỉnh: chuẩn bị dữ liệu SFT/DPO, chọn rank LoRA, chống overfit trên tập nhỏ, và chứng minh bản fine-tuned thắng baseline trên eval chung. Họ cũng là người nói “không” khi yêu cầu fine-tune thực chất là thiếu dữ liệu hoặc thiếu retrieval.

Chỉ số họ bị đánh giá: chất lượng trên tập held-out, độ ổn định theo thời gian, p95 latency, chi phí mỗi 1.000 inference, và tỷ lệ sự cố do drift. Đây là những con số sống trong dashboard, không trong slide.

Kỹ sư AI làm gì: quản lý vòng đời tính năng

Đơn vị công việc của kỹ sư AI là tính năng và hợp đồng với người dùng. Câu hỏi trung tâm: người dùng nhận được kết quả đúng trong thời gian chấp nhận được, với chi phí chấp nhận được, và khi model sai thì sản phẩm xử lý thế nào?

Các việc điển hình: chọn model theo ràng buộc (giá, latency, residency, license); thiết kế context và prompt có version; dựng retrieval với chunking, hybrid search và rerank; viết tool schema và biên cho agent; làm fallback UX; đặt ngân sách token/tiền cho mỗi task; chạy eval trong CI và theo dõi chi phí theo tenant.

Họ thường không sở hữu model, nhưng sở hữu quyết định model nào chạy ở đâu. Một kỹ sư AI giỏi có thể giải thích vì sao chọn Gemini 3.8 Flash cho phân loại hàng loạt và GPT-6 Astra cho ca khó, kèm con số: giá, p95, và tỷ lệ case phải escalate.

Chỉ số họ bị đánh giá: task success trên bộ eval sản phẩm, tỷ lệ người dùng chấp nhận kết quả, chi phí mỗi task, p95 end-to-end, và số sự cố an toàn. Chú ý chữ “end-to-end”: nếu retrieval chậm 300ms, đó là vấn đề của tính năng, không phải của model.

Bảng so sánh theo trục công việc

Trục Kỹ sư ML Kỹ sư AI
Sản phẩm bàn giao Model + pipeline train + endpoint serve Tính năng end-to-end + eval suite
Dữ liệu Dataset, nhãn, feature, phân phối Corpus, chunk, query log, feedback
Thước đo chính Metric trên held-out, drift, chi phí inference Task success, chi phí/task, p95, an toàn
Rủi ro điển hình Overfit, leakage, drift, thiếu nhãn Context thiếu, retrieval sai, chi phí nổ, injection
Công cụ nặng PyTorch, PEFT/TRL, vLLM, feature store SDK provider, vector DB, eval/tracing, gateway

Bàn giao: hợp đồng thay vì niềm tin

Điểm đau thật của hai vai trò không phải khái niệm mà là bàn giao. Kỹ sư ML nói “model mới tốt hơn 2 điểm F1”; kỹ sư AI thấy p95 tăng 40ms và chi phí gấp ba. Không ai sai, nhưng thiếu hợp đồng.

Hợp đồng tối thiểu nên có: bộ eval chung do cả hai cùng sở hữu; ngưỡng regression đã thống nhất; SLA latency và chi phí; baseline drift; và một đường rollback đã test. Dưới đây là đoạn gate nhỏ, chạy được, đặt đúng chỗ giao nhau giữa hai vai trò.

# File: app/ai/handoff.py
from dataclasses import dataclass


@dataclass(frozen=True)
class ModelArtifact:
    name: str                    # ví dụ: "intent-v3-lora"
    eval_score: float            # chấm trên bộ eval chung, không phải tập của ML
    p95_latency_ms: int
    cost_per_1k_requests: float


def accept(candidate: ModelArtifact, baseline: ModelArtifact,
           max_p95_ms: int, max_cost: float, min_delta: float = 0.01):
    """True nếu model mới được phép lên production."""
    reasons = []
    if candidate.eval_score < baseline.eval_score - min_delta:
        reasons.append("eval regression")
    if candidate.p95_latency_ms > max_p95_ms:
        reasons.append("latency over budget")
    if candidate.cost_per_1k_requests > max_cost:
        reasons.append("cost over budget")
    return not reasons, reasons

Ba tham số cuối chính là phần dễ cãi nhất, nên chốt chúng trước khi train, không phải sau. Nếu kỹ sư ML không biết ngân sách latency, họ sẽ tối ưu chất lượng vô hạn; nếu kỹ sư AI không biết điểm baseline, họ sẽ không phân biệt được cải thiện thật với nhiễu.

Khi nào dự án cần vai nào

  • Cần kỹ sư ML khi: tín hiệu nằm trong dữ liệu riêng của bạn và không viết được bằng lời (dự đoán churn, xếp hạng, phát hiện bất thường, OCR chuyên ngành); hoặc cần latency rất thấp, chạy trên thiết bị, hoặc chi phí mỗi request phải ở mức vài phần nghìn cent; hoặc cần một format đầu ra ổn định đến mức prompt không giữ được.
  • Cần kỹ sư AI khi: tri thức thay đổi và cần trích dẫn; luồng làm việc nhiều bước có tool; cần ra mắt trong vài tuần; hoặc chất lượng phụ thuộc vào cách đặt vấn đề và lắp context nhiều hơn vào trọng số model.
  • Cần cả hai: mô hình phân loại nhỏ lọc 80% lưu lượng rẻ, LLM xử lý phần còn lại. Đây là kiến trúc cascade phổ biến vì nó tối ưu cả chi phí lẫn chất lượng.
  • Không cần ai: nếu một bảng rule hoặc full-text search đã đạt yêu cầu. Thêm model vào chỉ để có “AI” là cách tốt nhất để tăng chi phí mà không tăng giá trị.

Team topology: ba cách tổ chức thực tế

Một người làm cả hai — phổ biến ở startup dưới 30 người. Ưu điểm là không có chi phí bàn giao; rủi ro là eval bị bỏ vì không ai bắt buộc. Cách giảm rủi ro: viết bộ eval trước khi viết tính năng.

Đội model nền tảng + đội tính năng — doanh nghiệp có nhiều sản phẩm dùng chung hạ tầng. Đội platform sở hữu gateway, quota, routing, eval harness và bộ dữ liệu chuẩn; đội tính năng sở hữu use case và UX. Ranh giới rõ, nhưng cần một người chịu trách nhiệm về chi phí tổng.

Embedded — một kỹ sư AI hoặc ML ngồi trong đội sản phẩm, báo cáo cho PM kỹ thuật. Cách này giảm thời gian ra quyết định, đổi lại khó chuẩn hóa hạ tầng. Hợp với tổ chức đang mở rộng nhanh số lượng tính năng AI.

Dù chọn cách nào, hãy giữ một quy tắc: không ai sở hữu cả model lẫn eval của chính mình mà không có người thứ hai xem. Tự chấm bài của mình là nguồn gốc của mọi con số đẹp mà vô nghĩa.

Hai kiểu tư duy

Tư duy ML là tư duy phân phối. Bạn giả định dữ liệu tương lai giống dữ liệu quá khứ, rồi tìm cách tối ưu kỳ vọng trên phân phối đó. Thành công được đo bằng khoảng cách giữa model và trần lý thuyết, và thất bại thường im lặng: model vẫn trả lời, chỉ là tệ dần.

Tư duy AI là tư duy hợp đồng. Bạn giả định model sẽ sai theo những cách chưa biết, rồi thiết kế hệ thống để người dùng vẫn nhận được giá trị khi điều đó xảy ra. Thành công được đo bằng tỷ lệ task hoàn thành và chi phí, và thất bại thường ồn ào: người dùng thấy câu trả lời vô nghĩa ngay.

Hai tư duy này bổ sung chứ không thay thế nhau. Kỹ sư ML giỏi nhất vẫn cần biết chi phí mỗi request; kỹ sư AI giỏi nhất vẫn cần hiểu precision/recall để đọc đúng báo cáo của người kia.

Anti-pattern hay gặp

  • “Train trước, hỏi sau.” Dành 6 tuần cho một model trong khi baseline API đã đạt 90% yêu cầu. Hãy chạy baseline trước, luôn luôn.
  • Fine-tune để nhét kiến thức. Kiến thức thay đổi thì fine-tune sẽ cũ; RAG sinh ra cho việc đó. Fine-tune hợp với format, giọng điệu và hành vi ổn định.
  • Kỹ sư AI tự viết eval rồi tự đánh giá. Thiếu người thứ hai, ngưỡng regression sẽ bị nới cho pass.
  • Đo trung bình, bỏ đôi đuôi. p95 và tỷ lệ case xấu nghiêm trọng quan trọng hơn mean; người dùng nhớ lần tệ nhất.
  • Đổi model mà không đổi eval. Mỗi lần đổi model hoặc prompt là một lần chạy lại toàn bộ suite, kể cả khi “chỉ đổi một câu”.

Nhìn tới 2027

Hai vai trò đang tiến gần nhau ở tầng eval và hạ tầng, nhưng xa nhau ở tầng kỹ năng. Kỹ sư ML sẽ dành nhiều thời gian hơn cho dữ liệu tinh chỉnh và serving tối ưu; kỹ sư AI sẽ dành nhiều thời gian hơn cho context, agent và chi phí. Người đứng giữa hai vùng — hiểu cả metric lẫn hợp đồng sản phẩm — là người khó thay thế nhất trong đội.

Checklist phân vai cho dự án mới

  1. Viết một trang mô tả task, đầu ra và tiêu chí đúng/sai; nếu không viết được, chưa nên chọn model.
  2. Chạy baseline bằng API trước khi cam kết train bất cứ thứ gì.
  3. Chốt bộ eval chung và ngưỡng regression trước sprint đầu tiên.
  4. Ghi rõ ai sở hữu latency, ai sở hữu chi phí, ai có quyền rollback.
  5. Đặt lịch rà soát drift và chi phí hàng tháng, có người chịu trách nhiệm.

Đọc tiếp: Kỹ sư AI là gì để có định nghĩa nền, RAG hay fine-tuning để chọn đúng bậc thang kỹ thuật, và vai trò của kỹ sư AI trong sản phẩm để thấy hai vai trò phối hợp trong từng giai đoạn.