Người dùng gõ “làm sao để đổi trả hàng đã mua”, tài liệu của bạn viết “chính sách hoàn tiền”. Keyword search trả về rỗng. Đó không phải lỗi của người dùng, cũng không phải lỗi của tài liệu — đó là lỗi của cách bạn biểu diễn văn bản để tìm kiếm.
Embeddings là thứ sửa lỗi đó. Bài này giải thích vector là gì, cosine và dot product khác nhau ở đâu, chunk hay document, chọn model nào trong danh sách hiện hành, và phần lớn người mới bỏ qua: chi phí nhúng lại khi đổi model.
Mục lục
Cập nhật 2026
- OpenAI vẫn chỉ có
text-embedding-3-small(1536 chiều) vàtext-embedding-3-large(3072 chiều), input tối đa 8.192 token, giá tham khảo ~$0.02 và ~$0.13 cho 1M token. Không cótext-embedding-4; đừng chờ nó. - Dòng model đã rộng hơn nhiều: Cohere Embed v5.0 (256–2048 chiều, 128K token), Voyage 4 (1024 chiều, 32K), BGE-M3 (1024, 8.192), Qwen3-Embedding (32–4096, MRL), Gemini Embedding 2 (128–3072, đa phương thức).
- Vector database không còn là điều kiện tiên quyết: pgvector 0.8.7 đủ cho hàng triệu vector nếu bạn biết đánh index; Chroma 1.5.9 vẫn không có BM25 thật.
- Reranker là lớp bắt buộc trong RAG nghiêm túc: Cohere
rerank-v5.0-pro/-fastvà Voyagererank-3nhận 32K token query+document. Rerank tăng precision, không cứu recall.
Vector là gì, và không phải là gì
Một embedding model ánh xạ văn bản thành một vector số thực, ví dụ 1.536 hoặc 3.072 chiều. Mỗi chiều không có nghĩa đặt tên được như “trang trọng” hay “phủ định”; chúng là các hướng trong một không gian mà model tự học. Điều bạn quan tâm không phải ý nghĩa từng chiều, mà là quan hệ khoảng cách giữa các vector.
Ba tính chất cần nhớ:
- Không có phép cộng từ. Embedding của cả câu không phải trung bình embedding của các từ theo nghĩa bạn có thể suy luận thủ công. Đừng thiết kế logic dựa trên “cộng trừ vector”.
- Cùng model, cùng không gian. Vector từ hai model khác nhau — dù cùng số chiều — không so sánh được. 1536 chiều của
text-embedding-3-smallvà 1536 chiều của Cohere là hai không gian khác nhau. - Vector là thống kê của dữ liệu huấn luyện. Nó mã hóa cả bias trong corpus. Với tác vụ phân loại nhạy cảm, hãy kiểm tra phân bố theo nhóm trước khi tin vào khoảng cách.
Cosine, dot product và chuyện chuẩn hóa
Cosine similarity đo góc giữa hai vector: gần 1 là cùng hướng, gần 0 là vuông góc, âm là ngược hướng. Dot product đo cả góc lẫn độ lớn: vector dài hơn có thể thắng dù hướng kém phù hợp hơn. Euclidean đo khoảng cách tuyệt đối.
Với vector đã chuẩn hóa L2 (độ dài bằng 1), cosine và dot product cho cùng thứ hạng. Đây là lý do các thư viện như sentence-transformers có tùy chọn normalize_embeddings=True, và các vector database thường mặc định dùng dot product hoặc cosine trên vector chuẩn hóa. Nếu bạn trộn vector chuẩn hóa với vector chưa chuẩn hóa, ngưỡng similarity sẽ vô nghĩa.
Một cảnh báo thực dụng: đừng dùng ngưỡng cosine lấy từ blog. “0.8 là trùng lặp” chỉ đúng với một model và một phân bố dữ liệu. Hãy lấy một mẫu 200–500 cặp đã gán nhãn, vẽ phân bố score của cặp liên quan và cặp không liên quan, rồi chọn ngưỡng nằm giữa hai phân bố đó. Với bài toán dedup, precision sai một chút là mất dữ liệu thật; với search, recall sai một chút là người dùng không thấy kết quả.
Vì sao đây là nòng cốt của AI search
Keyword search khớp chuỗi. Semantic search khớp ý. Sự khác biệt không nằm ở “thông minh hơn”, mà ở loại truy vấn nào được phục vụ:
| Truy vấn | Keyword | Semantic (embeddings) |
|---|---|---|
| “hoàn tiền” vs tài liệu “refund” | Trượt nếu không có từ điển đồng nghĩa | Tìm được nếu model đa ngữ hoặc đã học cặp này |
| “ERR_4012” | Chính xác, nhanh, rẻ | Có thể trượt hoặc trả về lỗi gần giống — nguy hiểm |
| “điện thoại dưới 5 triệu” | Tốt với filter số | Không hiểu phép so sánh số |
| “tôi muốn hủy đơn vì đổi ý” | Trượt nếu tài liệu không chứa đúng cụm | Tìm được chunk nói về quyền hủy đơn |
Kết luận: semantic search không thay thế keyword, nó bổ sung. Hệ thống production thường chạy hybrid: dense retrieval lấy 20–100 ứng viên, lexical retrieval (BM25) bắt các truy vấn exact, hợp nhất bằng RRF, rồi rerank. Chroma 1.5.9 chỉ có substring/regex nên không phù hợp cho nhánh lexical; Qdrant 1.20.0, Weaviate 1.40.4 và Elasticsearch 9.5.x có fusion thật.
Chunk-level hay document-level
Model embedding có giới hạn input: OpenAI 8.192 token, BGE-M3 8.192, Voyage 32K, Cohere 128K. Nhưng “nhét vừa” không có nghĩa là “nhúng tốt”. Một vector cho cả tài liệu 5.000 token là trung bình cộng của nhiều chủ đề, và trong tìm kiếm nó sẽ khớp mờ với tất cả, rõ với không ai.
Thực tế phổ biến là chunk 200–800 token, có overlap, rồi lưu metadata. Chunk nhỏ tăng độ phân giải nhưng mất ngữ cảnh; chunk lớn giữ ngữ cảnh nhưng làm vector loãng. Cách xử lý tốt hơn việc chỉnh kích thước: contextual retrieval — thêm một câu mô tả vị trí của chunk trong tài liệu trước khi nhúng. Anthropic công bố ngày 2024-09-19 kết quả giảm 35% lỗi top-20, 49% khi thêm contextual BM25 và 67% khi có rerank. Đây là kỹ thuật đáng thử trước khi mua model đắt hơn.
Với truy vấn, nhiều model được huấn luyện không đối xứng: query ngắn và document dài. Hãy dùng đúng hướng dẫn của model (prefix như query: hoặc instruction) thay vì nhúng query bằng cùng hàm với document. Qwen3-Embedding được thiết kế instruction-aware; bỏ instruction là tự giảm chất lượng.
Chọn model nào
| Model | Chiều / input | Dùng khi |
|---|---|---|
text-embedding-3-small |
1536, 8.192 | Mặc định rẻ, API ổn định, tiếng Việt chấp nhận được |
text-embedding-3-large |
3072, 8.192 | Cần chất lượng cao hơn, ngân sách thoải mái |
| Cohere Embed v5.0 pro/fast | 256–2048, 128K | Đa ngữ 100+, có cả text và image/PDF |
Voyage voyage-4-large/4/4-lite |
1024 (256/512/2048), 32K | Vector 4-series tương thích; voyage-4-nano mở |
| BGE-M3 | 1024, 8.192 | Tự host, MIT, dense + sparse + ColBERT, 100+ ngôn ngữ |
| Qwen3-Embedding 0.6B/4B/8B | 32–4096 MRL, 32K | Apache 2.0, instruction-aware, tự host |
| Gemini Embedding 2 | 128–3072, 8.192 | Đa phương thức: text, image, audio, video, PDF |
Bốn câu hỏi quyết định: ngôn ngữ (tiếng Việt + tiếng Anh trong cùng corpus thì cần model đa ngữ thật), domain (code, pháp lý, y tế thường cần model hoặc fine-tune riêng), giới hạn input so với kích thước chunk, và ngân sách cho cả lúc nhúng lẫn lúc query. Đừng chọn theo bảng xếp hạng chung: một model thắng benchmark tiếng Anh có thể kém trên dữ liệu song ngữ Việt–Anh của bạn.
Chi phí và phép tính bị bỏ quên
Giá API chỉ là một phần. Mỗi vector 1536 chiều ở float32 tốn 1.536 × 4 byte = 6 KB; 3072 chiều tốn 12 KB. Một triệu chunk 1536 chiều là khoảng 6 GB chỉ cho vector, chưa tính metadata và index. Đây là lý do dimensions và Matryoshka (MRL) tồn tại: cắt xuống 512 chiều giảm 3 lần dung lượng, đổi lại một ít recall — phải đo, không phải giả định.
Chi phí nhúng lại là khoản lớn nhất và hay bị quên. Đổi từ 3-small sang 3-large, hoặc từ 1024 sang 3072 chiều, làm toàn bộ index cũ không dùng được. Với 50 triệu chunk, đó là một hóa đơn API cộng một chiến dịch backfill. Hai biện pháp: giữ cột model và dims trong schema ngay từ đầu, và thiết kế index theo kiểu blue/green — index mới chạy song song, đánh giá, rồi chuyển traffic.
Với khối lượng lớn, batch API của các nhà cung cấp thường giảm khoảng 50% và chạy bất đồng bộ. Với dữ liệu tĩnh, đây là cách rẻ nhất để backfill mà không chặn pipeline. Với dữ liệu thay đổi liên tục, hãy nhúng lại theo sự kiện thay đổi thay vì quét toàn bộ.
Một lưu ý về hạ tầng: nếu corpus dưới vài trăm nghìn chunk và traffic thấp, bạn có thể bắt đầu bằng pgvector 0.8.7 với index HNSW thay vì dựng một vector database riêng. Bạn đã có backup, migration, quyền truy cập và monitoring của Postgres; thêm một hệ thống nữa chỉ đáng khi số vector hoặc yêu cầu lọc/hybrid vượt khả năng của extension. Đừng chọn hệ thống theo độ nổi tiếng, hãy chọn theo khối lượng và độ phức tạp truy vấn thực tế.
Ví dụ: kiểm tra một cặp trước khi xây index
# File: check_pair.py — chạy với openai 3.46.0
import os
from openai import OpenAI
client = OpenAI(api_key=os.environ["OPENAI_API_KEY"])
def embed(texts, model="text-embedding-3-small", dimensions=1536):
res = client.embeddings.create(input=texts, model=model, dimensions=dimensions)
return [item.embedding for item in res.data]
query = "làm sao để đổi trả hàng đã mua"
docs = [
"Chính sách hoàn tiền: khách hàng có thể yêu cầu trong 30 ngày.",
"Hướng dẫn cài đặt ứng dụng trên điện thoại Android.",
]
q_vec, *doc_vecs = embed([query] + docs)
def dot(a, b):
return sum(x * y for x, y in zip(a, b))
# Vector của 3-series đã chuẩn hóa L2, nên dot product ~ cosine
for doc, vec in zip(docs, doc_vecs):
print(round(dot(q_vec, vec), 4), doc[:60])
Đoạn code này cố tình không dùng numpy để bạn thấy rõ phép toán. Trong production, hãy dùng numpy hoặc thư viện của vector database. Việc cần làm trước khi xây index là chạy vài trăm cặp như thế này, xem phân bố score, rồi mới chốt ngưỡng và model.
Lỗi thường gặp
- Nhúng document bằng hàm dành cho query. Model bất đối xứng sẽ cho kết quả tệ. Sửa: đọc model card, dùng đúng prefix/instruction.
- Đổi model mà không đổi index. Kết quả ngẫu nhiên. Sửa: một index cho mỗi cặp model + dims.
- Dùng cosine threshold phỏng đoán. Sửa: hiệu chuẩn trên dữ liệu gán nhãn.
- Bỏ qua lexical search. Truy vấn mã lỗi, tên riêng, SKU sẽ trượt. Sửa: hybrid + RRF.
- Nhúng cả tài liệu dài thành một vector. Sửa: chunk + metadata + contextual prefix.
- Lưu vector ở float64. Tốn gấp đôi dung lượng mà không tăng chất lượng. Sửa: float32, hoặc int8 nếu đã đo recall.
- Không version schema. Không thể rollback khi model mới tệ hơn. Sửa: cột version, index riêng, đổi traffic có kiểm soát.
Nhìn tới 2027
Hai hướng đáng theo dõi: model embedding ngày càng đa phương thức (Gemini Embedding 2 đã nhận cả audio và video), và chiều vector tiếp tục co lại nhờ MRL mà gần như không mất chất lượng. Hệ quả là chi phí lưu trữ giảm, nhưng áp lực chuyển sang quản lý phiên bản vector — thứ mà nhiều pipeline hiện nay vẫn làm sai.
Checklist
- Chốt model theo dữ liệu của bạn, không theo benchmark chung.
- Chuẩn hóa vector nếu dùng dot product; ghi rõ trong schema.
- Chunk 200–800 token, thêm contextual prefix trước khi nhúng.
- Đo recall@10 trên 100–300 truy vấn thật trước khi tối ưu tốc độ.
- Lưu
model,dims,version,hashcủa text nguồn. - Tính trước chi phí nhúng lại toàn bộ và có kế hoạch blue/green index.
Đọc tiếp trong series
- So sánh Transformers.js và Python SDK trong suy luận — chạy model nhúng ở đâu.
- Các trường hợp sử dụng hàng đầu cho embeddings — từ search đến clustering, dedup, RAG.
- Các mô hình embeddings mã nguồn mở — lựa chọn tự host.
- Cơ sở dữ liệu vector — nơi lưu và tìm các vector này.
