Danh sách “10 ứng dụng của AI đa phương thức” không giúp bạn ra quyết định. Thứ giúp bạn ra quyết định là: model nằm ở đâu trong vòng xử lý, sai thì ai phát hiện, và một lần sai giá bao nhiêu. Cùng một model vision có thể là ý tồi với hoá đơn và ý tốt với ảnh sản phẩm, chỉ vì hậu quả sai khác nhau.
Bảy use case dưới đây, mỗi cái kèm điểm gãy, cách chặn lỗi và cách đo. Không có khách hàng hư cấu; các ví dụ là tình huống bạn có thể tự kiểm chứng trong sản phẩm của mình.
Mục lục
Cập nhật 2026
- Gemini 4 Argon nhận text, image, video, audio và PDF trong một cửa sổ 1.048.576 token, nên lần đầu tiên “phân tích video” và “đọc PDF gốc” là một lời gọi API chứ không phải pipeline tự dựng.
- GPT-6 (Astra, Sol, Terra, Luna) nhận text + image, context 1.05M;
gpt-6.1-terraở mức $1/$5 là lựa chọn mặc định cho tác vụ thị giác khối lượng lớn. - Sinh ảnh chuyển sang
gpt-image-2.6-sunburst/-flare; DALL·E không còn là đường hiện tại. - Kiểm duyệt miễn phí qua
omni-moderation-latest: text + image, trả điểm theo từng hạng mục, ngưỡng do bạn đặt; không có audio.
1. OCR và trích xuất tài liệu
Đây là use case được dùng nhiều nhất và cũng bị đánh giá thấp nhất. Công việc thật không phải “đọc chữ” mà là “đưa ra một bản ghi có cấu trúc đúng”. Hoá đơn có ba cột tiền tệ, hợp đồng có điều khoản tham chiếu chéo, bảng lương có ô gộp — model vision xử lý cấu trúc tốt hơn OCR dòng-theo-dòng, nhưng vẫn sai theo cách riêng của nó.
Ví dụ cụ thể: trích invoice_number, issue_date, total_amount, tax_amount từ ảnh hoá đơn chụp bằng điện thoại. Điểm gãy không phải chữ mờ mà là tổng tiền bị tính hai lần khi hoá đơn có trang phụ, hoặc ngày theo định dạng dd/mm bị đọc thành mm/dd. Cả hai đều qua được kiểm tra “có trường này không”.
Cách chặn: ràng buộc schema, kiểm tra số học (total = subtotal + tax), kiểm tra ngày hợp lệ, so khớp chéo giữa các trường. Một phép kiểm tra thất bại thì đẩy sang người, không tự sửa — với tác vụ này, “tự sửa” là nguồn gốc của dữ liệu sai lan truyền.
2. Hỏi đáp thị giác (visual QA)
Người dùng chụp ảnh và hỏi. Khác với OCR ở chỗ câu trả lời không nằm sẵn trong ảnh: nó cần suy luận. “Cái ghế này chịu được 100 kg không” không trả lời được bằng cách đọc nhãn; model phải nhận diện loại ghế, vật liệu, kết cấu rồi mới suy ra.
Điểm gãy của visual QA là trả lời tự tin khi ảnh không đủ thông tin. Ảnh chụp góc khuất, thiếu tỉ lệ, ánh sáng vàng — model vẫn kết luận. Với tác vụ thương mại, sai gây thiệt hại thật. Cách chặn: đưa vào prompt một nhánh “không đủ thông tin để kết luận”, và đo tỉ lệ model chọn nhánh đó trên tập ảnh xấu. Nếu tỉ lệ bằng 0, prompt đang ép model đoán.
3. Khả năng tiếp cận (accessibility)
Đây là use case hoàn vốn cao nhất và ít rủi ro nhất: mô tả ảnh, tạo alt text, đọc bảng biểu thành lời, tóm tắt biểu đồ. Sản phẩm của bạn có thể đã có hàng nghìn ảnh không có alt text; đó là khoảng trống dễ lấp.
Nhưng alt text tự động không miễn phí về chất lượng: mô tả chung chung (“một người đang làm việc”) không giúp người dùng screen reader phân biệt ảnh này với ảnh kia. Tiêu chuẩn thực dụng: alt text phải nói ảnh này truyền tải thông tin gì mà text xung quanh không có. Với ảnh trang trí, alt rỗng là câu trả lời đúng, và model thường không tự biết — bạn phải phân loại trước.
Chi phí thấp và chạy một lần rồi lưu: dùng gpt-6.1-terra hoặc Batch xử lý nền, ghi kết quả vào CMS, đánh dấu ảnh cần người viết lại. Đo bằng tỉ lệ alt text hữu ích, không phải tỉ lệ ảnh có alt text.
4. Phiên âm và tóm tắt audio
Hai bước khác nhau, đừng gộp: phiên âm là bài toán ASR (xem bài Whisper trong series), tóm tắt là bài toán LLM trên văn bản kết quả. Gộp vào một lời gọi model audio là cách nhanh nhất để mất dấu vết khi tóm tắt sai — bạn không biết sai ở bước nghe hay bước hiểu.
Ví dụ: cuộc họp 45 phút, cần ba quyết định và năm việc cần làm. Điểm gãy: tên riêng và số liệu bị phiên âm sai, rồi bị tóm tắt thành “một số thay đổi”. Cách chặn: giữ transcript có timestamp làm nguồn sự thật, buộc bản tóm tắt trích mốc thời gian, và cho người dùng bấm vào mốc để nghe lại.
5. Phân tích video
Trong fact base hiện tại, chỉ Gemini 4 Argon nhận video trực tiếp. Điều đó đơn giản hoá pipeline nhưng không giải quyết bài toán chọn cảnh: 60 phút video vẫn là hàng nghìn frame tiềm năng, và bạn phải quyết định frame nào đưa vào.
Ví dụ dùng thật: tìm khoảnh khắc một sản phẩm xuất hiện trong video hướng dẫn, hoặc kiểm tra video người bán tải lên có chứa thông tin liên hệ ngoài sàn. Điểm gãy: hành động quan trọng diễn ra trong 2 giây giữa hai lần lấy mẫu. Cách chặn: lấy mẫu theo thay đổi cảnh thay vì theo giây, và ghi lại cửa sổ thời gian model đã xem để người duyệt biết chỗ nào chưa kiểm tra.
Đây là use case cần ngân sách token rõ trước khi viết code: video đắt nhất theo độ dài, và “phân tích cả video” hiếm khi là yêu cầu thật — thường chỉ là “tìm một thứ trong video”.
6. Kiểm duyệt nội dung
Kiểm duyệt ảnh và văn bản có sẵn công cụ miễn phí: omni-moderation-latest qua endpoint /v1/moderations, nhận text + image, trả điểm theo hạng mục. Nhưng điểm số không phải quyết định: ngưỡng là của bạn, và ngưỡng đúng khác nhau theo từng bề mặt sản phẩm.
Điểm gãy phổ biến nhất là dùng một ngưỡng cho mọi thứ. Bình luận cộng đồng cần ngưỡng chặt hơn ảnh đại diện; nội dung giáo dục cần ngưỡng lỏng hơn quảng cáo. Cách chặn: tách ngưỡng theo bề mặt, ghi lại quyết định và lý do, có hàng đợi duyệt cho vùng xám thay vì chặn cứng.
Lưu ý hai giới hạn thật. Moderation không có audio, nên video có lời nói cần đường riêng. Và bộ lọc không phải bảo đảm an toàn: bạn vẫn phải tự xử lý output, phân quyền và prompt injection. OWASP LLM Top 10 bản 2025 vẫn là bản hiện hành; LLM05 (Improper Output Handling) và LLM01 (Prompt Injection) liên quan trực tiếp ở đây.
7. Multimodal RAG
RAG đa phương thức không phải “RAG nhưng có ảnh”. Nó là bài toán lập chỉ mục: bạn phải quyết định lưu gì trong vector store — mô tả văn bản của ảnh, embedding của chính ảnh, hay cả hai. Quyết định này xác định loại câu hỏi bạn trả lời được.
Ba cấu hình thực dụng:
- Caption + text — model mô tả ảnh một lần khi ingest, lưu caption vào index text. Rẻ, dễ vận hành, nhưng mất chi tiết mà caption bỏ qua.
- Embedding đa phương thức — dùng Gemini Embedding 2 (text/image/audio/video/PDF, 128–3072 chiều) hoặc Cohere Embed v5.0 (text + image/PDF) để đưa ảnh và câu hỏi vào cùng không gian. Tốt cho tìm kiếm, không đủ cho suy luận.
- Hai tầng — retrieve bằng embedding để lấy ứng viên, rồi gửi ảnh gốc cho model vision trả lời. Đắt hơn ở bước trả lời, nhưng giữ được chi tiết.
Điểm gãy: chunking ảnh theo trang. Một bảng trải hai trang bị cắt làm đôi thì không cấu hình nào cứu được. Với PDF, cắt theo cấu trúc (mục, bảng, hình) thay vì theo số trang, và giữ liên kết từ chunk về ảnh gốc để người dùng kiểm chứng.
Bảng chọn nhanh
| Use case | Model / công cụ | Điểm gãy chính |
|---|---|---|
| Trích xuất hoá đơn, hợp đồng | Gemini 4 Argon (PDF native) hoặc GPT-6 + ảnh trang | Tổng/ngày sai nhưng vẫn đúng schema |
| Hỏi đáp ảnh sản phẩm | gpt-6.1-terra |
Đoán khi ảnh thiếu thông tin |
| Alt text, mô tả ảnh | gpt-6.1-terra + Batch |
Mô tả chung chung, vô dụng |
| Phiên âm cuộc họp | Whisper (tự host hoặc hosted STT) | Tên riêng, số liệu |
| Phân tích video | Gemini 4 Argon | Bỏ lỡ hành động ngắn |
| Kiểm duyệt | omni-moderation-latest |
Một ngưỡng cho mọi bề mặt |
| RAG tài liệu có ảnh | Gemini Embedding 2 / Cohere Embed v5.0 + model vision | Chunk cắt ngang bảng |
ROI: tính bằng mẫu số của bạn
Đừng dùng con số ROI từ bài viết khác. Công thức đúng chỉ có bốn thành phần, và ba trong bốn là số của bạn:
- Chi phí mỗi đơn vị — token vào (gồm ảnh), token ra (gồm reasoning), cộng chi phí lưu trữ và duyệt. Đơn giá ảnh và audio riêng không có trong fact base; phải đọc trang giá của provider đang dùng.
- Thời gian người làm thủ công — đo trên 20–30 mẫu thật, không ước lượng.
- Tỉ lệ cần duyệt — phần trăm kết quả phải có người xem lại. Đây là biến quyết định, không phải chi phí token.
- Chi phí một lần sai — hoàn tiền, sửa dữ liệu, mất khách. Với trích xuất tài chính, con số này thường lớn hơn toàn bộ chi phí API.
Hệ quả: use case có ROI tốt thường là use case sai thì rẻ và duyệt thì nhanh — alt text, phân loại ảnh, tìm kiếm. ROI xấu thường là use case mà một lần sai phá huỷ niềm tin, bất kể tiết kiệm bao nhiêu giờ.
Xử lý lỗi và duyệt người
Ba tầng, theo thứ tự từ rẻ đến đắt:
- Kiểm tra tất định trước khi gọi model — ảnh có đúng định dạng, kích thước tối thiểu, không phải ảnh trắng; audio có track tiếng nói. Chặn ở đây rẻ hơn mọi thứ phía sau.
- Kiểm tra sau khi model trả lời — schema, miền giá trị, số học, tham chiếu chéo. Đây là chỗ bắt được phần lớn lỗi “trông có vẻ đúng”.
- Duyệt người theo mẫu và theo rủi ro — mọi trường hợp rơi vào vùng xám, cộng một mẫu ngẫu nhiên của phần “tự tin” để đo tỉ lệ sai thật. Không có mẫu ngẫu nhiên này, bạn chỉ đo được lỗi mà bạn đã biết cách tìm.
Hàng đợi duyệt phải lưu ảnh gốc, output của model, output đã sửa và ai sửa — vừa là dữ liệu huấn luyện tương lai, vừa là bằng chứng tuân thủ. Với nội dung AI tạo hoặc chỉnh sửa, lưu ý EU AI Act: phần lớn nghĩa vụ (gồm Điều 50) áp dụng từ 02/08/2026, riêng đánh dấu nội dung tổng hợp hoãn đến 02/12/2026.
Code: cổng kiểm tra trước khi trả kết quả
# File: app/extraction_gate.py
from datetime import date
from decimal import Decimal
from pydantic import BaseModel, ValidationError
class Invoice(BaseModel):
invoice_number: str
issue_date: date
subtotal: Decimal
tax: Decimal
total: Decimal
def gate(raw: dict) -> tuple[Invoice | None, list[str]]:
try:
inv = Invoice.model_validate(raw)
except ValidationError as exc:
return None, [f"schema: {e['loc']} {e['msg']}" for e in exc.errors()]
problems: list[str] = []
if inv.total != inv.subtotal + inv.tax:
problems.append("total != subtotal + tax")
if inv.issue_date > date.today():
problems.append("issue_date ở tương lai")
if inv.total <= 0:
problems.append("total không dương")
return (None, problems) if problems else (inv, [])
Hàm này không gọi model. Nó là ranh giới giữa “model nói” và “hệ thống chấp nhận”. Mọi trường hợp problems khác rỗng đều vào hàng đợi duyệt, kèm ảnh gốc — không tự sửa, không gọi lại model với prompt “hãy sửa cho đúng”.
Anti-pattern
- Đo bằng cảm giác trên 5 mẫu. Chọn 30 mẫu khó nhất bạn tìm được; nếu model qua được, mới mở rộng.
- Gộp phiên âm và tóm tắt. Mất khả năng truy vết khi sai.
- Tự động sửa output sai. Sửa mà không có kiểm tra là tạo dữ liệu sai có hệ thống.
- Không có mẫu duyệt ngẫu nhiên. Bạn chỉ thấy loại lỗi mình đã nghĩ tới.
Nhìn trước 2027
Hai thay đổi sẽ ảnh hưởng trực tiếp đến danh mục use case. Khi video và audio native thành tiêu chuẩn, “phân tích video” tách khỏi “phân tích ảnh” và cần ngân sách riêng. Và nghĩa vụ minh bạch của EU AI Act từ 02/08/2026 biến việc ghi log “ai tạo ra nội dung này” từ tuỳ chọn thành yêu cầu thiết kế.
Checklist
- Chọn một use case có lỗi rẻ trước, không chọn cái oai nhất.
- Viết schema và kiểm tra tất định trước khi viết prompt.
- Đo chi phí mỗi đơn vị trên 30 mẫu thật, gồm cả duyệt người.
- Đặt ngưỡng và hàng đợi duyệt trước khi mở cho người dùng thật.
- Ghi log ảnh gốc, output, người sửa và lý do.
- Chạy mẫu duyệt ngẫu nhiên hàng tuần và báo cáo tỉ lệ sai.
