Rất nhiều đội ngũ nói “ứng dụng của chúng tôi đã đa phương thức” khi thực chất họ chỉ gắn thêm một ảnh vào prompt văn bản. Điều đó không sai, nhưng nó không nói lên gì về kiến trúc: bạn vẫn phải quyết định phương thức nào do model xử lý, phương thức nào do pipeline của bạn xử lý, ai trả tiền token và ai chịu trách nhiệm khi kết quả sai.
AI đa phương thức, vì vậy, trước hết là bài toán phân công. Hiểu đúng ranh giới đó, bạn chọn model theo phương thức thay vì theo bảng xếp hạng, và biết trước chỗ nào sẽ vỡ khi lưu lượng tăng.
Mục lục
Cập nhật 2026
- GPT-6 (cả năm biến thể: Astra, Sol, Terra, Luna) nhận text + image, trả text. Context 1.050.000 token, tối đa 922K input và 128K output.
- Gemini 4 Argon nhận text, image, video, audio và PDF trong cùng một cửa sổ 1.048.576 token dùng chung cho cả input lẫn output.
- Claude 5.x (Fable 5.1, Opus 5.5, Sonnet 5.5, Haiku 5.5) giữ context 1M, output 128K và có vision.
- DALL·E không còn là đường hiện tại. Sinh ảnh chuyển sang
gpt-image-2.6-sunburst(ưu tiên chi tiết) vàgpt-image-2.6-flare(ưu tiên tốc độ).
Đa phương thức nghĩa là gì, chính xác
Một hệ thống đa phương thức nhận nhiều hơn một loại tín hiệu và liên kết chúng trong cùng một lần suy luận. “Liên kết” mới là từ khóa. Nếu bạn chạy OCR rồi đưa text vào LLM, bạn đang làm pipeline nhiều bước chứ không phải suy luận đa phương thức: model chưa từng thấy pixel, và mọi thứ OCR bỏ sót sẽ biến mất vĩnh viễn.
| Đầu vào | Đầu ra | Ví dụ tác vụ |
|---|---|---|
| Image + text | Text | Mô tả ảnh, hỏi đáp thị giác, đọc bảng biểu |
| Text | Image | Sinh ảnh minh họa, mockup, biến thể thiết kế |
| Audio | Text | Phiên âm, dịch, tóm tắt cuộc họp |
| Video + text | Text | Phân tích cảnh, kiểm duyệt, tìm khoảnh khắc |
Với kỹ sư ứng dụng, ba cột quyết định là input, output và cách tính tiền; kiến trúc bên trong là chuyện của nhà cung cấp, trừ khi hành vi quan sát được khác nhau — và nó thường khác nhau.
Vì sao “liên kết” quan trọng hơn “nhiều input”: câu hỏi “biên độ tăng bao nhiêu giữa tháng 7 và tháng 9” chỉ trả lời được nếu model nhìn thấy đường đồ thị và nhãn trục cùng lúc với câu hỏi. Pipeline OCR + text chỉ chuyển được con số nếu OCR đọc đúng mọi nhãn và giữ đúng thứ tự dòng; model đa phương thức vẫn có thể sai — ví dụ nhầm đơn vị — nhưng nó không làm mất cấu trúc thị giác trước khi suy luận.
Bên trong: ba cách hợp nhất
Các phương thức khác nhau về bản chất dữ liệu: ảnh là ma trận pixel, audio là chuỗi mẫu sóng, text là chuỗi token. Muốn một model xử lý chung, phải có bước đưa chúng về cùng một dạng biểu diễn. Có ba cách phổ biến, và cách nào cũng để lại dấu vết trong hành vi mà bạn quan sát được.
1. Không gian embedding chung
Mỗi phương thức có encoder riêng, huấn luyện để ánh xạ vào cùng một không gian vector. Vector của ảnh con mèo nằm gần vector của câu “một con mèo đang ngủ”. Đây là nền của tìm kiếm ảnh bằng văn bản, và là lý do các embedding đa phương thức như Gemini Embedding 2 (text/image/audio/video/PDF, 128–3072 chiều) hay Cohere Embed v5.0 (text + image/PDF, input 128K) tồn tại.
Kiểu hợp nhất này không cho bạn suy luận sâu trên ảnh, chỉ cho bạn so khớp: embedding đa phương thức trả lời “ảnh nào giống mô tả này”, model vision trả lời “trong ảnh này có gì sai”.
2. Hợp nhất sớm, muộn, trung gian
Sớm — nối vector đặc trưng ngay ở lớp vào: rẻ, nhưng khó học tương tác phức tạp. Muộn — xử lý riêng từng phương thức đến gần đầu ra rồi gộp dự đoán: giữ đặc trưng riêng, không học được tương tác sâu. Trung gian — gộp ở các lớp ẩn giữa qua attention; đây là cách các model lớn hiện nay dùng, và là lý do chúng “hiểu” được quan hệ giữa vùng ảnh và cụm từ trong câu hỏi.
3. Attention đa phương thức
Attention cho phép model dồn trọng số vào phần dữ liệu liên quan: khi bạn hỏi “biển số xe ghi gì”, attention của text gắn với vùng pixel của biển số. Biểu hiện thực tế là model trả lời đúng hơn khi vùng đó rõ và bịa khi vùng đó mờ hoặc bị cắt. Hệ quả: chất lượng phụ thuộc độ phân giải vùng quan tâm, không phải toàn ảnh — một ảnh 4000×3000 bị downscale có thể mất hẳn chữ nhỏ ở góc.
Nhà cung cấp nào nhận được gì (11/2026)
| Model | Phương thức vào | Ghi chú vận hành |
|---|---|---|
| GPT-6 Astra / Sol / Terra / Luna | text + image | 1.05M context; $10/$50, $2/$10, $1/$5, $0.10/$0.50 |
| Claude Fable 5.1 / Opus 5.5 / Sonnet 5.5 / Haiku 5.5 | text + image | 1M context, 128K output, giá phẳng theo context |
| Gemini 4 Argon | text + image + video + audio + PDF | 1.048.576 token dùng chung; output mặc định 65.536 |
| Gemini Embedding 2 | text/image/audio/video/PDF (embedding) | 128–3072 chiều, input 8.192 |
| Cohere Embed v5.0 | text + image/PDF (embedding) | input 128K, 100+ ngôn ngữ |
Điểm cần nhớ: chỉ Gemini 4 Argon nhận video, audio và PDF trực tiếp. GPT-6 và Claude nhận ảnh. Nếu bài toán có video, bạn hoặc dùng Gemini, hoặc tự trích frame và audio rồi gửi ảnh — và tự chịu trách nhiệm về việc chọn frame nào.
Đừng suy diễn từ tên model. Gemini 3.8 Flash có context 1.048.576 và giá $0.75/$3.75 đến 31/12/2026, nhưng fact base không xác nhận danh sách phương thức của nó. Cùng lý do, giá $2/$10 của Gemini 4 Argon chỉ còn đến 30/11/2026; sau đó là $4/$20, nên mọi bài toán chi phí phải tính bằng giá sau khuyến mãi.
Token, độ trễ và ba cái bẫy chi phí
Ảnh được tính như token vào. Số token phụ thuộc kích thước và cách chia tile của từng provider; đơn giá ảnh riêng không có trong fact base. Đừng chốt ngân sách bằng con số nhớ từ blog cũ — đo bằng usage của một request thật rồi nhân lên.
Bẫy 1 — ngưỡng 272K của OpenAI. Trên toàn bộ request, vượt 272K input token thì input và cache tính gấp đôi, output gấp 1,5. Một hợp đồng 300 trang kèm 20 ảnh dễ vượt ngưỡng, và giá đơn vị đột nhiên khác hẳn bảng giá. Gemini và Anthropic giữ giá phẳng ở 1M; xAI gấp đôi từ 200K (grok-4.7).
Bẫy 2 — output tính cả thinking token. Với Gemini, mọi token sinh ra đều bị tính, kể cả phần suy luận. Với OpenAI, reasoning token tính như output. Một prompt “chỉ cần câu trả lời ngắn” vẫn có thể tốn hàng nghìn token output nếu bạn để mức suy luận cao.
Bẫy 3 — độ trễ prefill. Request đa phương thức nặng ở phần đọc đầu vào: 30 ảnh trang cộng 50K token text làm thời gian tới token đầu tiên dài, trong khi câu trả lời rất ngắn. Streaming chỉ cải thiện cảm giác chờ; muốn giảm thật thì phải giảm số ảnh hoặc chia lô. Với trích xuất hàng loạt, Batch/Flex giảm khoảng 50% ở các provider lớn.
Giới hạn thật của đa phương thức
- Độ phân giải bị chuẩn hoá. Provider downscale ảnh trước khi đưa vào model; ngưỡng cụ thể theo từng model và không có trong fact base. Cách xử lý không phải “đoán ngưỡng” mà là chủ động cắt vùng: gửi tile của bảng cần đọc thay vì cả trang.
- Video không phải “một input”. Nó là hàng trăm frame cộng track audio. Chi phí tăng theo số frame, nên chọn mẫu theo cảnh (scene detection) thay vì lấy mỗi giây một frame.
- Audio native chỉ có ở Gemini trong fact base này. Với OpenAI, đường audio là realtime model (
gpt-realtime-2.1), không phải model chat thường; còn phiên âm dài nên tách thành bài toán riêng. - Moderation không phủ audio.
omni-moderation-latestnhận text và image, không nhận audio; ngưỡng phân loại do bạn đặt.
Đánh giá: chỗ đa phương thức làm khó bạn nhất
Metric của từng phương thức không cộng lại thành metric của hệ thống. OCR đạt 98% ký tự vẫn có thể sai 30% trường dữ liệu vì một ô sai làm lệch cả bản ghi. Vì vậy bộ kiểm thử phải chia ba lớp:
- Lớp chỉ text — câu trả lời lấy được từ hướng dẫn và ngữ cảnh, không cần ảnh. Dùng để bắt lỗi prompt.
- Lớp một phương thức — chỉ trả lời được nếu nhìn ảnh/nghe audio. Đây là lớp đo giá trị thật của đa phương thức.
- Lớp liên phương thức — cần ghép ảnh với tài liệu, hoặc audio với bảng số. Đây là lớp dễ bịa nhất, và cũng là lớp người dùng thật sự hỏi.
Một phép thử rẻ và hiệu quả: chạy lại đúng bộ câu hỏi với ảnh bị bỏ đi. Nếu điểm không đổi, prompt chưa hề dùng ảnh — model trả lời từ text. “Modality ablation” phát hiện nhiều bài test đa phương thức giả.
Với chấm điểm tự động, đừng chỉ dùng LLM-as-judge: judge thiên lệch vị trí, độ dài và tự ưu tiên model của chính nó, điểm không được hiệu chuẩn. Cách chấp nhận được: hoán đổi thứ tự cặp so sánh, rubric neo theo tiêu chí cụ thể, judge khác họ model, và một tập nhỏ do người gán nhãn kèm Cohen’s κ. Công cụ: DeepEval 4.3.3, Ragas 0.4.3, promptfoo 0.125.1.
Code: định tuyến theo phương thức
Đoạn trên không gọi API — nó là tầng quyết định mà nhiều dự án thiếu, nơi tập trung mọi giả định về giá và khả năng của model. Nó cũng từ chối modality lạ thay vì âm thầm gửi text; im lặng chấp nhận đầu vào không xử lý được là cách nhanh nhất để có một hệ thống “đa phương thức” chỉ trên giấy.
# File: app/modality_router.py
from dataclasses import dataclass
SUPPORTED = {"text", "image", "audio", "video", "pdf"}
@dataclass(frozen=True)
class Route:
model: str
reason: str
def route(modalities: set[str], input_tokens: int) -> Route:
unknown = modalities - SUPPORTED
if unknown:
raise ValueError(f"modality chưa hỗ trợ: {sorted(unknown)}")
# Chỉ Gemini 4 Argon nhận audio/video/PDF trực tiếp trong fact base
if modalities & {"audio", "video", "pdf"}:
return Route("gemini-4-argon", "native audio/video/PDF, giá phẳng 1M")
# Trên 272K token, OpenAI tính 2x input và 1.5x output cho toàn request
if input_tokens > 272_000:
return Route("gemini-4-argon", "tránh ngưỡng 272K của OpenAI")
# Ảnh + text, tác vụ thị giác thông thường
return Route("gpt-6.1-terra", "text+image, $1/$5, nhanh")
Hai điều đáng chú ý. Thứ nhất, không có nhánh “model tốt nhất” — chỉ có nhánh theo phương thức và ngưỡng giá. Thứ hai, việc từ chối modality lạ là quyết định thiết kế, không phải lỗi cấu hình.
Anti-pattern thường gặp
- Gắn ảnh vào mọi request. Chi phí tăng theo số ảnh, lợi ích thì chưa đo. Chứng minh bằng modality ablation trước khi bật mặc định.
- OCR trước rồi mới hỏi model. Với bảng biểu, biểu mẫu và ảnh chụp màn hình, bước OCR phá cấu trúc; gửi ảnh trực tiếp thường đúng hơn.
- Một model cho mọi phương thức. Model rẻ nhất xử lý được ảnh không có nghĩa nó nên xử lý video.
- Bỏ qua thời hạn lưu ảnh. Ảnh người dùng tải lên là dữ liệu cá nhân; chính sách lưu trữ phải thiết kế trước khi bật tính năng.
Khi nào dùng gì
| Nhu cầu | Chọn | Lý do |
|---|---|---|
| Ảnh sản phẩm + hỏi đáp ngắn | gpt-6.1-terra |
text+image, $1/$5, độ trễ thấp |
| Hợp đồng scan, bảng biểu dày | Gemini 4 Argon (PDF native) | không phải tự render trang |
| Video, audio gốc | Gemini 4 Argon | phương thức native duy nhất trong fact base |
| Suy luận khó trên tài liệu | gpt-6-astra hoặc Claude Fable 5.1 |
chất lượng cao nhất, giá $10/$50 |
| Phân loại khối lượng lớn | gpt-6-luna |
$0.10/$0.50, đủ cho tác vụ hẹp |
| Tìm ảnh theo mô tả | Gemini Embedding 2 / Cohere Embed v5.0 | embedding đa phương thức, không phải suy luận |
Nhìn trước 2027
Hai hướng đang rõ. Ranh giới giữa “model nhận ảnh” và “model nhận mọi thứ” mờ dần khi Gemini gộp video, audio, PDF vào một cửa sổ; áp lực cạnh tranh sẽ kéo các provider khác theo. Và giá khuyến mãi sẽ hết — Gemini 4 Argon về $4/$20 từ 01/12/2026 — nên kiến trúc phụ thuộc giá $2/$10 cần sẵn đường lui, tốt nhất là đặt ngưỡng giá thành tham số cấu hình.
Checklist
- Liệt kê chính xác phương thức vào/ra của từng tác vụ, không gộp thành “multimodal”.
- Đo token ảnh/audio bằng usage thật; kiểm tra ngưỡng 272K (OpenAI) và 200K (xAI) trước khi thiết kế lô.
- Chạy modality ablation trên bộ test trước khi bật ảnh mặc định.
- Tính giá bằng mức sau khuyến mãi, ghi ngày hết hạn vào code.
- Chốt chính sách lưu trữ, xoá và kiểm duyệt ảnh trước khi ra production.
