AI Engineer Roadmap: Khám Phá Các Mô Hình Embeddings Mã Nguồn Mở

Embedding là thứ quyết định chất lượng của toàn bộ hệ retrieval: chunk đúng, index đúng, reranker tốt đến mấy cũng không cứu được vector sinh ra từ một mô hình không hiểu tiếng Việt và không hiểu miền dữ liệu của bạn. Chọn mô hình embedding mã nguồn mở là quyết định kiến trúc, không phải một dòng cấu hình.

Bài này so sánh những lựa chọn đang dùng thật vào tháng 11/2026, cách chạy chúng bằng sentence-transformers 6.2.0, chi phí self-host, và những chỗ điểm benchmark đánh lừa bạn.

Cập nhật 2026

  • sentence-transformers nay là 6.2.0, chạy trên transformers 5.22.2 và huggingface_hub 2.4.0 — cùng bộ thư viện cho mọi model bên dưới.
  • BGE-M3 (MIT) là mô hình đa ngôn ngữ thực dụng nhất: một lần encode cho ra dense, sparse và ColBERT, đầu vào tới 8.192 token.
  • Qwen3-Embedding 0.6B/4B/8B (Apache 2.0) hỗ trợ Matryoshka: một vector 4.096 chiều có thể cắt xuống 32–1.024 chiều mà vẫn dùng được, đổi lại phải chuẩn hóa lại.
  • Các mô hình 2024 như all-MiniLM-L6-v2 vẫn chạy, nhưng đừng chọn chúng cho dữ liệu tiếng Việt mới chỉ vì “nhẹ và quen thuộc”.

Vì sao vẫn nên có một mô hình self-host

API embedding rất tiện. text-embedding-3-small cho 1.536 chiều với 8.192 token đầu vào, giá tham chiếu khoảng 0,02 USD mỗi triệu token; bản large là 3.072 chiều, khoảng 0,13 USD mỗi triệu token. Với vài chục nghìn chunk thì chi phí gần như không đáng kể. Vậy self-host để làm gì?

Bốn lý do thực tế:

  • Dữ liệu không được ra ngoài. Hợp đồng, hồ sơ nhân sự, log sự cố, mã nguồn chưa phát hành. Gửi toàn bộ corpus qua API bên thứ ba là một quyết định pháp lý, không chỉ là quyết định kỹ thuật.
  • Chi phí ở quy mô lớn. Re-index toàn bộ khi đổi chunking hoặc đổi model là việc bình thường. Với 50 triệu chunk, mỗi lần re-index qua API là một hoá đơn thật; trên GPU của bạn, nó là vài giờ máy.
  • Kiểm soát phiên bản. Bạn cần biết chính xác vector trong index được sinh bởi model nào, revision nào. API đổi model sau lưng bạn là ác mộng của retrieval.
  • Fine-tune. Không ai cho bạn fine-tune embedding API trên dữ liệu riêng. Với trọng số mở, bạn có thể train tiếp bằng cặp query-document của chính mình.

Điều bạn phải trả: GPU, thời gian vận hành, và trách nhiệm về chất lượng. Không có bữa trưa miễn phí, chỉ có hoá đơn chuyển từ API sang hạ tầng.

Ba mô hình đáng chọn nhất hiện tại

BGE-M3: một model, ba loại biểu diễn

BAAI/bge-m3 là mô hình 1024 chiều, nhận tới 8.192 token, phủ hơn 100 ngôn ngữ, giấy phép MIT. Điểm hay không nằm ở con số chiều mà ở chỗ nó xuất ra ba thứ từ cùng một lần encode:

  • Dense vector — dùng cho ANN như bình thường.
  • Sparse vector — trọng số từ vựng, gần với BM25 nhưng học được, tốt cho tên riêng, mã sản phẩm, số hiệu.
  • ColBERT multi-vector — một vector cho mỗi token, chấm điểm ở mức token, chính xác hơn nhưng nặng hơn khi lưu trữ.

Nếu bạn đang xây hybrid search và muốn một mô hình làm cả hai nhánh dense lẫn lexical, BGE-M3 là lựa chọn mặc định hợp lý. Nhược điểm: sparse và ColBERT cần tooling riêng của họ model, không có trong sentence-transformers; nếu chỉ cần dense, thư viện này là đủ.

Qwen3-Embedding: 0.6B, 4B, 8B và Matryoshka

Qwen3-Embedding có ba kích thước 0.6B, 4B, 8B, giấy phép Apache 2.0, đầu vào 32K token, và hỗ trợ Matryoshka Representation Learning (MRL) trong khoảng 32–4.096 chiều. MRL nghĩa là mô hình được huấn luyện sao cho các chiều đầu vẫn mang thông tin chính; bạn có thể cắt vector và chuẩn hóa lại, đổi dung lượng lưu trữ lấy một chút recall.

Mô hình này còn instruction-aware: cùng một câu, encode kèm chỉ dẫn cho truy vấn và encode trần cho tài liệu sẽ cho kết quả tốt hơn. Đây là điểm dễ làm hỏng nhất khi chuyển từ model khác sang: nếu bạn quên chèn instruction cho query, chất lượng tụt mà không có lỗi nào hiện ra.

Các lựa chọn khác, phân theo nhu cầu

Mô hình Chiều / đầu vào Dùng khi
Cohere Embed v5.0 pro/fast 256–2.048 (mặc định 2.048) / 128K Hơn 100 ngôn ngữ, cần cả text lẫn image/PDF; là API, không self-host
Voyage voyage-4-large / 4 / 4-lite 1.024 (cắt được 256/512/2.048) / 32K Retrieval chất lượng cao; vector giữa các model 4-series tương thích; voyage-4-nano mở
Gemini Embedding 2 128–3.072 (dùng 768/1.536/3.072) / 8.192 Đa phương thức text, image, audio, video, PDF

Ba dòng trên đều là dịch vụ hoặc model lai, không phải trọng số mở thuần. Chúng đáng dùng khi bạn cần đa phương thức hoặc multilingual chất lượng cao và chấp nhận gọi API. Còn nếu tiêu chí là “chạy được trên máy mình”, danh sách rút gọn lại còn BGE-M3 và Qwen3-Embedding.

Chạy bằng sentence-transformers 6.2.0

# File: embed.py
# pip install sentence-transformers==6.2.0
from sentence_transformers import SentenceTransformer

# BGE-M3: 1024 chiều, tối đa 8.192 token
model = SentenceTransformer("BAAI/bge-m3")

texts = [
    "Chính sách hoàn tiền trong 30 ngày áp dụng thế nào?",
    "Khách hàng có thể đổi size trong vòng 14 ngày.",
]
vectors = model.encode(
    texts,
    normalize_embeddings=True,   # cosine = dot product sau khi chuẩn hóa
    batch_size=32,
    convert_to_numpy=True,
)

print(vectors.shape)   # (2, 1024)
print(vectors[0][:5])

Hai chi tiết trong đoạn trên quan trọng hơn vẻ ngoài của nó:

  • normalize_embeddings=True phải khớp với metric bạn khai báo trong vector database. Nếu index dùng cosine nhưng vector không được chuẩn hóa, bạn đang trộn hai không gian khác nhau. Nếu index dùng inner product, chuẩn hóa lại là bắt buộc để thứ tự xếp hạng có nghĩa.
  • batch_size là tham số ảnh hưởng trực tiếp tới throughput trên GPU. Đo trên dữ liệu thật, đừng copy một con số từ blog.

Với Qwen3-Embedding, khai báo số chiều ngay từ constructor để vector lưu xuống đã đúng kích thước:

# File: embed_qwen.py
from sentence_transformers import SentenceTransformer
import numpy as np

# Cắt Matryoshka xuống 1.024 chiều ngay khi load
model = SentenceTransformer("Qwen/Qwen3-Embedding-4B", truncate_dim=1024)

query_vec = model.encode(
    ["Làm sao để xuất hoá đơn điện tử?"],
    prompt="Given a web search query, retrieve relevant passages that answer the query",
    normalize_embeddings=True,
)[0]

# Nếu cắt vector thủ công ở nơi khác, chuẩn hóa lại sau khi cắt
# v = query_vec[:1024]; v = v / np.linalg.norm(v)

Đổi truncate_dim không miễn phí: 4.096 chiều giữ nhiều thông tin hơn 1.024, nhưng chi phí lưu trữ và tính khoảng cách tăng tuyến tính. Với 1 triệu chunk, float32 1.024 chiều đã là khoảng 4,1 GB chỉ riêng vector; 384 chiều là khoảng 1,5 GB. Đó là chưa tính metadata và cấu trúc index. Quantize int8 có thể giảm khoảng 4 lần dung lượng, đổi lại một chút recall — đo trước khi bật.

Chi phí self-host, nói bằng số bạn tự đo được

Không có bảng giá GPU cố định đúng cho mọi nơi. Cách tính trung thực là ba bước:

  • VRAM cho trọng số. Float16 cần xấp xỉ 2 byte mỗi tham số: 0.6B ≈ 1,2 GB, 4B ≈ 8 GB, 8B ≈ 16 GB, chưa kể activation và batch. Một GPU 16 GB chạy được 4B thoải mái, 8B thì phải giảm batch hoặc lượng tử hoá.
  • Throughput. Đo số token/giây ở batch size bạn định dùng. Embedding là bài toán throughput, không phải latency: index một lần, query hàng triệu lần.
  • Chi phí mỗi lần re-index. Nhân số chunk với throughput, rồi nhân với giá giờ GPU của bạn. Đây là con số quyết định giữa API và self-host.

So sánh công bằng phải cùng chất lượng, không cùng chi phí. Một mô hình 0.6B rẻ hơn nhiều so với API, nhưng nếu recall@10 thấp hơn 5 điểm trên dữ liệu của bạn thì tiền tiết kiệm đã mua một hệ thống tệ hơn.

MTEB: dùng đúng cách

MTEB là nơi mọi người tra điểm, và cũng là nơi mọi người bị lừa. Ba cảnh báo:

  • Điểm tổng hợp trộn nhiều tác vụ. Một mô hình dẫn đầu ở classification có thể chỉ ở giữa bảng ở retrieval. Bạn cần cột điểm retrieval, không phải điểm trung bình.
  • Ngôn ngữ và miền khác nhau. Điểm tiếng Anh không dự báo được tiếng Việt, và điểm tiếng Việt phổ thông không dự báo được văn bản pháp lý hoặc log kỹ thuật.
  • Ô nhiễm dữ liệu. Không loại trừ khả năng mô hình đã thấy dữ liệu benchmark trong lúc huấn luyện. Điểm cao trên bảng là tín hiệu, không phải bằng chứng.

Cách dùng đúng: lọc 5–8 ứng viên từ MTEB, rồi tự chấm trên 100–300 cặp query-document lấy từ chính hệ thống của bạn. Đo recall@10 và MRR. Chọn theo kết quả đó, không theo thứ hạng công khai.

Fine-tune embedding cho miền của bạn

Khi mô hình đa năng đã tốt nhưng vẫn hụt ở thuật ngữ nội bộ, fine-tune là bước tiếp theo hợp lý. Với sentence-transformers, bạn cần dữ liệu dạng cặp hoặc bộ ba:

  • Cặp positive — query thật và chunk thật sự trả lời nó.
  • Hard negative — chunk trông giống nhưng không trả lời. Đây là phần quyết định chất lượng; negative lấy ngẫu nhiên dạy mô hình rất ít.
  • Tập held-out — tách hẳn theo tài liệu hoặc theo thời gian, không tách ngẫu nhiên theo chunk, nếu không bạn đo trí nhớ chứ không đo tổng quát hoá.

Rủi ro thực tế: fine-tune trên ít dữ liệu làm mô hình tốt hơn trên tập đó và tệ đi ở phần còn lại của corpus. Luôn giữ một tập đánh giá rộng và so sánh trước/sau. Nếu bạn không có ít nhất vài nghìn cặp sạch, cải thiện chunking và thêm hybrid search thường rẻ hơn.

Những lỗi hay gặp

  • Đổi model mà không re-index. Vector cũ và vector mới không cùng không gian. Query bằng model mới trên index cũ trả về rác, và không có exception nào báo. Luôn lưu tên model cùng revision vào metadata của collection.
  • Quên chuẩn hóa. Cosine trên vector chưa chuẩn hóa vẫn chạy, vẫn ra điểm số, và vẫn xếp hạng sai một cách khó hiểu.
  • Dùng chung một kiểu encode cho query và document. Với model instruction-aware, query cần instruction, document thì không. Đối xứng hoá sai làm giảm chất lượng đáng kể.
  • Chọn theo chiều lớn. 4.096 chiều không tự động tốt hơn 1.024. Nhiều model lớn chỉ nhỉnh hơn vài phần trăm recall trong khi chi phí lưu trữ gấp bốn.
  • Bỏ qua ngôn ngữ. Một mô hình “multilingual” vẫn có thể yếu tiếng Việt. Kiểm tra bằng query tiếng Việt thật, có dấu, có viết tắt, có lẫn tiếng Anh.

Bảng quyết định

Tình huống Chọn Vì sao
Corpus đa ngôn ngữ, cần hybrid dense + lexical BGE-M3 Một model, ba biểu diễn, MIT, 8.192 token
Cần xoay chiều 32–4.096 để tối ưu lưu trữ Qwen3-Embedding MRL, instruction-aware, Apache 2.0
Chỉ có CPU, prototype nhỏ Model 384–768 chiều cũ Đủ nhanh, nhưng phải đo lại trên tiếng Việt
Cần đa phương thức, không muốn tự vận hành GPU Gemini Embedding 2 hoặc Cohere Embed v5.0 API, phủ image/PDF/audio, đổi lại phụ thuộc nhà cung cấp
Đã có GPU và dữ liệu chuyên ngành lớn BGE-M3 hoặc Qwen3-Embedding + fine-tune Tận dụng hard negative từ log truy vấn thật

Nhìn về 2027

Xu hướng rõ nhất là model embedding ngày càng “đa năng theo hướng nặng”: một model phục vụ dense, sparse, multi-vector và đa phương thức, thay vì ba pipeline riêng. Đi kèm là MRL trở thành mặc định, vì hạ tầng lưu trữ chứ không phải chất lượng là ràng buộc thật ở quy mô lớn. Và chiều ngược lại cũng đang diễn ra: các model nhỏ 0.6B–1B đủ tốt cho phần lớn tác vụ, khiến self-host trên một GPU duy nhất trở nên hợp lý về chi phí.

Checklist trước khi chốt model

  • Chốt metric sẽ dùng trong vector database (cosine hay inner product) và bật chuẩn hóa tương ứng.
  • Lọc 5–8 ứng viên từ MTEB theo đúng cột retrieval, rồi tự đo trên 100–300 cặp query-document của bạn.
  • Ghi model name + revision vào metadata collection để lần re-index sau không lẫn vector.
  • Tính dung lượng thật: số chunk × chiều × 4 byte, cộng metadata và index, trước khi chọn 4.096 chiều.
  • Chuẩn bị sẵn một tập hard negative từ log truy vấn để dùng khi cần fine-tune.

Bài tiếp theo đi vào nơi lưu các vector này và cách chọn giữa các vector database: Giới thiệu về cơ sở dữ liệu vector. Nếu bạn cần nhắc lại khái niệm nền, đọc Embeddings là gì và vì sao chúng là nòng cốt của AI search, và bài OpenAI Embedding API để so sánh với lựa chọn API đóng. Khi đã có vector, bước kế tiếp là triển khai tìm kiếm ngữ nghĩa với index vector.