AI Engineer Roadmap: AI Đa Phương Thức Là Gì Và Tại Sao Nó Quan Trọng?

Rất nhiều đội ngũ nói “ứng dụng của chúng tôi đã đa phương thức” khi thực chất họ chỉ gắn thêm một ảnh vào prompt văn bản. Điều đó không sai, nhưng nó không nói lên gì về kiến trúc: bạn vẫn phải quyết định phương thức nào do model xử lý, phương thức nào do pipeline của bạn xử lý, ai trả tiền token và ai chịu trách nhiệm khi kết quả sai.

AI đa phương thức, vì vậy, trước hết là bài toán phân công. Hiểu đúng ranh giới đó, bạn chọn model theo phương thức thay vì theo bảng xếp hạng, và biết trước chỗ nào sẽ vỡ khi lưu lượng tăng.

Cập nhật 2026

  • GPT-6 (cả năm biến thể: Astra, Sol, Terra, Luna) nhận text + image, trả text. Context 1.050.000 token, tối đa 922K input và 128K output.
  • Gemini 4 Argon nhận text, image, video, audio và PDF trong cùng một cửa sổ 1.048.576 token dùng chung cho cả input lẫn output.
  • Claude 5.x (Fable 5.1, Opus 5.5, Sonnet 5.5, Haiku 5.5) giữ context 1M, output 128K và có vision.
  • DALL·E không còn là đường hiện tại. Sinh ảnh chuyển sang gpt-image-2.6-sunburst (ưu tiên chi tiết) và gpt-image-2.6-flare (ưu tiên tốc độ).

Đa phương thức nghĩa là gì, chính xác

Một hệ thống đa phương thức nhận nhiều hơn một loại tín hiệu và liên kết chúng trong cùng một lần suy luận. “Liên kết” mới là từ khóa. Nếu bạn chạy OCR rồi đưa text vào LLM, bạn đang làm pipeline nhiều bước chứ không phải suy luận đa phương thức: model chưa từng thấy pixel, và mọi thứ OCR bỏ sót sẽ biến mất vĩnh viễn.

Đầu vào Đầu ra Ví dụ tác vụ
Image + text Text Mô tả ảnh, hỏi đáp thị giác, đọc bảng biểu
Text Image Sinh ảnh minh họa, mockup, biến thể thiết kế
Audio Text Phiên âm, dịch, tóm tắt cuộc họp
Video + text Text Phân tích cảnh, kiểm duyệt, tìm khoảnh khắc

Với kỹ sư ứng dụng, ba cột quyết định là input, output và cách tính tiền; kiến trúc bên trong là chuyện của nhà cung cấp, trừ khi hành vi quan sát được khác nhau — và nó thường khác nhau.

Vì sao “liên kết” quan trọng hơn “nhiều input”: câu hỏi “biên độ tăng bao nhiêu giữa tháng 7 và tháng 9” chỉ trả lời được nếu model nhìn thấy đường đồ thị và nhãn trục cùng lúc với câu hỏi. Pipeline OCR + text chỉ chuyển được con số nếu OCR đọc đúng mọi nhãn và giữ đúng thứ tự dòng; model đa phương thức vẫn có thể sai — ví dụ nhầm đơn vị — nhưng nó không làm mất cấu trúc thị giác trước khi suy luận.

Bên trong: ba cách hợp nhất

Các phương thức khác nhau về bản chất dữ liệu: ảnh là ma trận pixel, audio là chuỗi mẫu sóng, text là chuỗi token. Muốn một model xử lý chung, phải có bước đưa chúng về cùng một dạng biểu diễn. Có ba cách phổ biến, và cách nào cũng để lại dấu vết trong hành vi mà bạn quan sát được.

1. Không gian embedding chung

Mỗi phương thức có encoder riêng, huấn luyện để ánh xạ vào cùng một không gian vector. Vector của ảnh con mèo nằm gần vector của câu “một con mèo đang ngủ”. Đây là nền của tìm kiếm ảnh bằng văn bản, và là lý do các embedding đa phương thức như Gemini Embedding 2 (text/image/audio/video/PDF, 128–3072 chiều) hay Cohere Embed v5.0 (text + image/PDF, input 128K) tồn tại.

Kiểu hợp nhất này không cho bạn suy luận sâu trên ảnh, chỉ cho bạn so khớp: embedding đa phương thức trả lời “ảnh nào giống mô tả này”, model vision trả lời “trong ảnh này có gì sai”.

2. Hợp nhất sớm, muộn, trung gian

Sớm — nối vector đặc trưng ngay ở lớp vào: rẻ, nhưng khó học tương tác phức tạp. Muộn — xử lý riêng từng phương thức đến gần đầu ra rồi gộp dự đoán: giữ đặc trưng riêng, không học được tương tác sâu. Trung gian — gộp ở các lớp ẩn giữa qua attention; đây là cách các model lớn hiện nay dùng, và là lý do chúng “hiểu” được quan hệ giữa vùng ảnh và cụm từ trong câu hỏi.

3. Attention đa phương thức

Attention cho phép model dồn trọng số vào phần dữ liệu liên quan: khi bạn hỏi “biển số xe ghi gì”, attention của text gắn với vùng pixel của biển số. Biểu hiện thực tế là model trả lời đúng hơn khi vùng đó rõ và bịa khi vùng đó mờ hoặc bị cắt. Hệ quả: chất lượng phụ thuộc độ phân giải vùng quan tâm, không phải toàn ảnh — một ảnh 4000×3000 bị downscale có thể mất hẳn chữ nhỏ ở góc.

Nhà cung cấp nào nhận được gì (11/2026)

Model Phương thức vào Ghi chú vận hành
GPT-6 Astra / Sol / Terra / Luna text + image 1.05M context; $10/$50, $2/$10, $1/$5, $0.10/$0.50
Claude Fable 5.1 / Opus 5.5 / Sonnet 5.5 / Haiku 5.5 text + image 1M context, 128K output, giá phẳng theo context
Gemini 4 Argon text + image + video + audio + PDF 1.048.576 token dùng chung; output mặc định 65.536
Gemini Embedding 2 text/image/audio/video/PDF (embedding) 128–3072 chiều, input 8.192
Cohere Embed v5.0 text + image/PDF (embedding) input 128K, 100+ ngôn ngữ

Điểm cần nhớ: chỉ Gemini 4 Argon nhận video, audio và PDF trực tiếp. GPT-6 và Claude nhận ảnh. Nếu bài toán có video, bạn hoặc dùng Gemini, hoặc tự trích frame và audio rồi gửi ảnh — và tự chịu trách nhiệm về việc chọn frame nào.

Đừng suy diễn từ tên model. Gemini 3.8 Flash có context 1.048.576 và giá $0.75/$3.75 đến 31/12/2026, nhưng fact base không xác nhận danh sách phương thức của nó. Cùng lý do, giá $2/$10 của Gemini 4 Argon chỉ còn đến 30/11/2026; sau đó là $4/$20, nên mọi bài toán chi phí phải tính bằng giá sau khuyến mãi.

Token, độ trễ và ba cái bẫy chi phí

Ảnh được tính như token vào. Số token phụ thuộc kích thước và cách chia tile của từng provider; đơn giá ảnh riêng không có trong fact base. Đừng chốt ngân sách bằng con số nhớ từ blog cũ — đo bằng usage của một request thật rồi nhân lên.

Bẫy 1 — ngưỡng 272K của OpenAI. Trên toàn bộ request, vượt 272K input token thì input và cache tính gấp đôi, output gấp 1,5. Một hợp đồng 300 trang kèm 20 ảnh dễ vượt ngưỡng, và giá đơn vị đột nhiên khác hẳn bảng giá. Gemini và Anthropic giữ giá phẳng ở 1M; xAI gấp đôi từ 200K (grok-4.7).

Bẫy 2 — output tính cả thinking token. Với Gemini, mọi token sinh ra đều bị tính, kể cả phần suy luận. Với OpenAI, reasoning token tính như output. Một prompt “chỉ cần câu trả lời ngắn” vẫn có thể tốn hàng nghìn token output nếu bạn để mức suy luận cao.

Bẫy 3 — độ trễ prefill. Request đa phương thức nặng ở phần đọc đầu vào: 30 ảnh trang cộng 50K token text làm thời gian tới token đầu tiên dài, trong khi câu trả lời rất ngắn. Streaming chỉ cải thiện cảm giác chờ; muốn giảm thật thì phải giảm số ảnh hoặc chia lô. Với trích xuất hàng loạt, Batch/Flex giảm khoảng 50% ở các provider lớn.

Giới hạn thật của đa phương thức

  • Độ phân giải bị chuẩn hoá. Provider downscale ảnh trước khi đưa vào model; ngưỡng cụ thể theo từng model và không có trong fact base. Cách xử lý không phải “đoán ngưỡng” mà là chủ động cắt vùng: gửi tile của bảng cần đọc thay vì cả trang.
  • Video không phải “một input”. Nó là hàng trăm frame cộng track audio. Chi phí tăng theo số frame, nên chọn mẫu theo cảnh (scene detection) thay vì lấy mỗi giây một frame.
  • Audio native chỉ có ở Gemini trong fact base này. Với OpenAI, đường audio là realtime model (gpt-realtime-2.1), không phải model chat thường; còn phiên âm dài nên tách thành bài toán riêng.
  • Moderation không phủ audio. omni-moderation-latest nhận text và image, không nhận audio; ngưỡng phân loại do bạn đặt.

Đánh giá: chỗ đa phương thức làm khó bạn nhất

Metric của từng phương thức không cộng lại thành metric của hệ thống. OCR đạt 98% ký tự vẫn có thể sai 30% trường dữ liệu vì một ô sai làm lệch cả bản ghi. Vì vậy bộ kiểm thử phải chia ba lớp:

  • Lớp chỉ text — câu trả lời lấy được từ hướng dẫn và ngữ cảnh, không cần ảnh. Dùng để bắt lỗi prompt.
  • Lớp một phương thức — chỉ trả lời được nếu nhìn ảnh/nghe audio. Đây là lớp đo giá trị thật của đa phương thức.
  • Lớp liên phương thức — cần ghép ảnh với tài liệu, hoặc audio với bảng số. Đây là lớp dễ bịa nhất, và cũng là lớp người dùng thật sự hỏi.

Một phép thử rẻ và hiệu quả: chạy lại đúng bộ câu hỏi với ảnh bị bỏ đi. Nếu điểm không đổi, prompt chưa hề dùng ảnh — model trả lời từ text. “Modality ablation” phát hiện nhiều bài test đa phương thức giả.

Với chấm điểm tự động, đừng chỉ dùng LLM-as-judge: judge thiên lệch vị trí, độ dài và tự ưu tiên model của chính nó, điểm không được hiệu chuẩn. Cách chấp nhận được: hoán đổi thứ tự cặp so sánh, rubric neo theo tiêu chí cụ thể, judge khác họ model, và một tập nhỏ do người gán nhãn kèm Cohen’s κ. Công cụ: DeepEval 4.3.3, Ragas 0.4.3, promptfoo 0.125.1.

Code: định tuyến theo phương thức

Đoạn trên không gọi API — nó là tầng quyết định mà nhiều dự án thiếu, nơi tập trung mọi giả định về giá và khả năng của model. Nó cũng từ chối modality lạ thay vì âm thầm gửi text; im lặng chấp nhận đầu vào không xử lý được là cách nhanh nhất để có một hệ thống “đa phương thức” chỉ trên giấy.

# File: app/modality_router.py
from dataclasses import dataclass

SUPPORTED = {"text", "image", "audio", "video", "pdf"}

@dataclass(frozen=True)
class Route:
    model: str
    reason: str

def route(modalities: set[str], input_tokens: int) -> Route:
    unknown = modalities - SUPPORTED
    if unknown:
        raise ValueError(f"modality chưa hỗ trợ: {sorted(unknown)}")

    # Chỉ Gemini 4 Argon nhận audio/video/PDF trực tiếp trong fact base
    if modalities & {"audio", "video", "pdf"}:
        return Route("gemini-4-argon", "native audio/video/PDF, giá phẳng 1M")

    # Trên 272K token, OpenAI tính 2x input và 1.5x output cho toàn request
    if input_tokens > 272_000:
        return Route("gemini-4-argon", "tránh ngưỡng 272K của OpenAI")

    # Ảnh + text, tác vụ thị giác thông thường
    return Route("gpt-6.1-terra", "text+image, $1/$5, nhanh")

Hai điều đáng chú ý. Thứ nhất, không có nhánh “model tốt nhất” — chỉ có nhánh theo phương thức và ngưỡng giá. Thứ hai, việc từ chối modality lạ là quyết định thiết kế, không phải lỗi cấu hình.

Anti-pattern thường gặp

  • Gắn ảnh vào mọi request. Chi phí tăng theo số ảnh, lợi ích thì chưa đo. Chứng minh bằng modality ablation trước khi bật mặc định.
  • OCR trước rồi mới hỏi model. Với bảng biểu, biểu mẫu và ảnh chụp màn hình, bước OCR phá cấu trúc; gửi ảnh trực tiếp thường đúng hơn.
  • Một model cho mọi phương thức. Model rẻ nhất xử lý được ảnh không có nghĩa nó nên xử lý video.
  • Bỏ qua thời hạn lưu ảnh. Ảnh người dùng tải lên là dữ liệu cá nhân; chính sách lưu trữ phải thiết kế trước khi bật tính năng.

Khi nào dùng gì

Nhu cầu Chọn Lý do
Ảnh sản phẩm + hỏi đáp ngắn gpt-6.1-terra text+image, $1/$5, độ trễ thấp
Hợp đồng scan, bảng biểu dày Gemini 4 Argon (PDF native) không phải tự render trang
Video, audio gốc Gemini 4 Argon phương thức native duy nhất trong fact base
Suy luận khó trên tài liệu gpt-6-astra hoặc Claude Fable 5.1 chất lượng cao nhất, giá $10/$50
Phân loại khối lượng lớn gpt-6-luna $0.10/$0.50, đủ cho tác vụ hẹp
Tìm ảnh theo mô tả Gemini Embedding 2 / Cohere Embed v5.0 embedding đa phương thức, không phải suy luận

Nhìn trước 2027

Hai hướng đang rõ. Ranh giới giữa “model nhận ảnh” và “model nhận mọi thứ” mờ dần khi Gemini gộp video, audio, PDF vào một cửa sổ; áp lực cạnh tranh sẽ kéo các provider khác theo. Và giá khuyến mãi sẽ hết — Gemini 4 Argon về $4/$20 từ 01/12/2026 — nên kiến trúc phụ thuộc giá $2/$10 cần sẵn đường lui, tốt nhất là đặt ngưỡng giá thành tham số cấu hình.

Checklist

  • Liệt kê chính xác phương thức vào/ra của từng tác vụ, không gộp thành “multimodal”.
  • Đo token ảnh/audio bằng usage thật; kiểm tra ngưỡng 272K (OpenAI) và 200K (xAI) trước khi thiết kế lô.
  • Chạy modality ablation trên bộ test trước khi bật ảnh mặc định.
  • Tính giá bằng mức sau khuyến mãi, ghi ngày hết hạn vào code.
  • Chốt chính sách lưu trữ, xoá và kiểm duyệt ảnh trước khi ra production.

Bài tiếp theo trong series