Vector search không “hiểu” nghĩa của văn bản. Nó chỉ so sánh những dãy số do một model cụ thể sinh ra, và chất lượng tụt ngay khi bạn trộn vector từ hai model khác nhau, cắt chunk ở giữa một bảng, hoặc tin rằng điểm cosine cao đồng nghĩa với câu trả lời đúng.
Bài này xem embedding như một hợp đồng kỹ thuật: cùng model, cùng số chiều, cùng cách chuẩn hóa, cùng một không gian. Hiểu hợp đồng đó trước khi chọn vector database hay viết pipeline RAG.
Mục lục
Cập nhật 2026: các model embedding đang dùng
| Model | Số chiều / input | Ghi chú |
|---|---|---|
text-embedding-3-small |
1536, tối đa 8.192 token | ~$0,02/1M token; tham số dimensions cho phép rút ngắn vector |
text-embedding-3-large |
3072, tối đa 8.192 token | ~$0,13/1M token; vẫn là bản lớn nhất của OpenAI, không có text-embedding-4 |
| Cohere Embed v5.0 pro/fast | 256–2048, mặc định 2048; 128K | 100+ ngôn ngữ, nhận cả text, ảnh và PDF; v4.0 vẫn được phục vụ |
Voyage voyage-4-large/4/4-lite |
1024 (tùy chọn 256/512/2048); 32K | Vector giữa các model trong dòng 4 tương thích nhau; voyage-4-nano mở |
| BGE-M3 | 1024; 8.192 | 100+ ngôn ngữ, dense + sparse + ColBERT trong một model, license MIT |
| Qwen3-Embedding 0.6B/4B/8B | 32–4096 (MRL); 32K | Instruction-aware, Apache 2.0 |
| Gemini Embedding 2 | 128–3072 (nên dùng 768/1536/3072); 8.192 | Đa phương thức: text, ảnh, audio, video, PDF |
Không có model nào tốt nhất cho mọi ngôn ngữ và mọi miền dữ liệu. Với tiếng Việt, danh sách đáng thử là BGE-M3, Qwen3-Embedding, Cohere Embed v5 và Gemini Embedding 2 — tất cả đều đa ngôn ngữ. Nhưng thứ tự đó không phải kết luận: bạn phải đo trên 100–300 cặp query–chunk lấy từ chính tài liệu của mình. Một model thắng trên benchmark tiếng Anh có thể thua trên tên viết tắt nội bộ và cách người dùng Việt đặt câu hỏi.
Embedding là gì, theo nghĩa kỹ thuật
Embedding là ánh xạ một đoạn văn bản (hoặc ảnh, audio, PDF) sang vector có số chiều cố định. Mỗi chiều không mang nghĩa đọc được; toàn bộ vector mã hóa phân bố thống kê mà model đã học. Hai đoạn văn gần nhau trong không gian đó thường có nghĩa gần nhau, nhưng “gần” là sản phẩm của dữ liệu huấn luyện, không phải một định nghĩa triết học về ý nghĩa.
Ba hệ quả thực tế:
- Không so sánh được giữa các model. Cùng một câu,
text-embedding-3-smallvà BGE-M3 cho hai vector khác số chiều, khác hệ tọa độ. Chấm điểm chéo giữa chúng là vô nghĩa. Lưu tên model, phiên bản và số chiều trong config của collection, và coi đó là một phần của schema. - Embedding không phải bản nén lossless. Bạn không thể tái tạo văn bản từ vector. Luôn lưu nội dung gốc cạnh vector; vector chỉ là khóa tìm kiếm.
- Ngữ cảnh nằm trong model, không nằm trong vector đơn lẻ. “Apple” trong câu nói về trái cây và “Apple” trong câu nói về công ty sẽ ra vector khác nhau vì model đã đọc cả câu. Đó là lý do chunk phải đủ ngữ cảnh, không phải một cụm từ rời.
Cosine, dot product và khoảng cách
Cosine similarity đo góc giữa hai vector: cos(a,b) = (a·b) / (|a| |b|). Với embedding văn bản, giá trị thực tế thường nằm trong khoảng 0–1. Nếu bạn chuẩn hóa mọi vector về độ dài 1, cosine bằng dot product, và đó là mẹo giảm một phép chia trên mỗi cặp — đáng làm khi so hàng triệu vector.
Euclidean distance trên vector đã chuẩn hóa cho cùng thứ hạng với cosine, nên chọn độ đo theo cái database hỗ trợ và đừng trộn hai độ đo trong cùng một chỉ mục. pgvector đặt tên toán tử riêng cho từng độ đo; dùng sai toán tử với sai loại index là lỗi im lặng, không phải lỗi compile.
# File: vector_math.py
import numpy as np
def normalize(v: np.ndarray) -> np.ndarray:
n = np.linalg.norm(v, axis=-1, keepdims=True)
return v / np.maximum(n, 1e-12)
def cosine(a: np.ndarray, b: np.ndarray) -> float:
a, b = normalize(a), normalize(b)
return float(a @ b)
# chunk_matrix: (n, d), mọi vector sinh bởi CÙNG một model + cùng version
# query_vec: (d,) sinh bởi đúng model đó
scores = chunk_matrix @ normalize(query_vec)
top = np.argsort(-scores)[:5]
print(scores[top])
Với model hỗ trợ Matryoshka (MRL) — text-embedding-3-large, Qwen3-Embedding, Gemini Embedding 2 — bạn có thể cắt vector dài xuống ngắn hơn để tiết kiệm bộ nhớ. Cắt xong phải chuẩn hóa lại. Không phải model nào cũng hỗ trợ; cắt vector của một model không huấn luyện MRL sẽ làm hỏng thứ hạng một cách khó phát hiện.
Đừng đặt ngưỡng “similarity > 0,8 là liên quan” rồi dùng cho mọi model và mọi miền. Ngưỡng phụ thuộc model, độ dài chunk và cả cách bạn viết query. Cách duy nhất để chọn ngưỡng là vẽ phân bố điểm trên tập eval có nhãn relevance.
Semantic và keyword không phải cuộc thi
| Loại truy vấn | Keyword (BM25) | Vector |
|---|---|---|
Mã lỗi ERR-1042, SKU, số hiệu phiên bản |
Thắng: khớp chính xác | Yếu: token hiếm, model chưa thấy |
| Câu hỏi diễn đạt lại, đồng nghĩa | Yếu: bỏ lỡ nếu khác từ | Thắng: bám theo ngữ nghĩa |
| Tài liệu tiếng Anh, query tiếng Việt | Không khớp | Thắng nếu model đa ngôn ngữ |
| Tên riêng, viết tắt nội bộ | Thắng nếu có trong index | Phụ thuộc model và ngữ cảnh chunk |
| Câu hỏi dài, nhiều ràng buộc | Nhiễu vì khớp rời rạc | Tốt hơn, nhưng vẫn cần lọc metadata |
Trong production, cấu hình phổ biến là hybrid: chạy dense và lexical song song, fuse bằng Reciprocal Rank Fusion, rồi rerank. Vector một mình bỏ lỡ mã lỗi và tên riêng; keyword một mình bỏ lỡ cách người dùng diễn đạt. Bài RAG cho người mới bắt đầu đi sâu vào cách ghép hai nguồn này.
Chọn model theo bốn tiêu chí
- Ngôn ngữ và miền. Tài liệu tiếng Việt lẫn tiếng Anh, nhiều viết tắt nội bộ: ưu tiên model đa ngôn ngữ và đo lại. Nếu corpus là code, Voyage có
voyage-code-4; nếu có ảnh và PDF scan, Gemini Embedding 2 hoặc Cohere v5 xử lý trực tiếp. - Số chiều so với chi phí lưu trữ. 1 triệu chunk × 1536 chiều × 4 byte ≈ 6,1 GB vector thô; 3072 chiều ≈ 12,3 GB, chưa tính index HNSW và bản sao. Đây thường là chi phí lớn hơn tiền gọi API embedding.
- Độ dài input so với chunk. Input 8.192 token không có nghĩa là nên nhét 8.192 token vào một chunk. Chunk 300–800 token thường cho retrieval tốt hơn, và model có input dài vẫn cần chunk nhỏ để tìm đúng chỗ.
- Nơi dữ liệu được phép đi. BGE-M3 (MIT) và Qwen3-Embedding (Apache 2.0) tự host được, phù hợp khi tài liệu không được ra ngoài. API của OpenAI, Cohere, Voyage, Gemini tiện hơn nhưng cần kiểm tra yêu cầu lưu trữ và vùng dữ liệu của tổ chức.
Chi phí embedding một lần thường nhỏ: 10 triệu token tài liệu với text-embedding-3-small vào khoảng $0,20; với -large khoảng $1,30. Nhưng mỗi query cũng phải embed, và đổi model nghĩa là embed lại toàn bộ corpus. Hãy tính cả chi phí re-index vào quyết định, vì nó xảy ra thường xuyên hơn bạn tưởng.
Chunking: nơi phần lớn lỗi bắt đầu
Baseline là chunk đệ quy theo cấu trúc tài liệu (heading, đoạn, bảng), kích thước 300–800 token, overlap 10–20%. Chỉnh hai tham số này bằng eval retrieval, không bằng cảm giác. Semantic chunking — cắt tại chỗ embedding của các câu giảm đột ngột — cần thêm một lượt embedding toàn bộ tài liệu, nên chỉ đáng dùng khi corpus đủ lớn và baseline đã ổn định.
Mỗi chunk phải đứng một mình được. Nếu chunk bắt đầu bằng “Như đã nói ở trên” mà phần “trên” nằm ở chunk khác, retrieval sẽ trả về một mẩu vô nghĩa. Giữ tiêu đề mục trong chunk, giữ header của bảng, và thêm metadata: doc_id, section, source, updated_at, tenant, language.
Kỹ thuật đáng thử tiếp theo là contextual retrieval: trước khi embed, prepend một đoạn ngắn mô tả chunk đó nằm ở đâu trong tài liệu. Anthropic công bố kết quả ngày 19-09-2024: giảm 35% lỗi top-20, 49% khi thêm contextual BM25, 67% khi thêm rerank. Đây là con số của một nghiên cứu cụ thể, không phải cam kết cho corpus của bạn — nhưng nó cho thấy phần lớn cải thiện nằm ở retrieval, không ở model sinh.
Vector database: chọn theo thứ bạn đã có
| Store | Phiên bản | Lưu ý |
|---|---|---|
| pgvector | extension 0.8.7 | Đã có Postgres thì đây là lựa chọn rẻ nhất về vận hành; không có fusion native, phải RRF phía ứng dụng với tsvector/BM25 |
| Qdrant | 1.20.0 | Hybrid native: prefetch + RRF/DBSF, dense + sparse + BM25 |
| Weaviate | 1.40.4 | BM25F + vector trong một query, tham số alpha |
| Pinecone | Python SDK 10.3.0 | Hosted, dense + sparse, lọc full-text; RRF phía client |
| Chroma | 1.5.9 | Nhẹ cho prototype; “full-text search” chỉ là substring/regex, không có BM25 |
| Milvus | 3.0.5 | Self-host hoặc Zilliz; multi-vector hybrid, chi tiết BM25 chưa được xác minh |
Bên trong, các store dùng ANN — HNSW, IVF — để đổi một phần recall lấy tốc độ. Hãy đo recall@k so với brute force trên một mẫu vài nghìn vector trước khi tin vào chỉ mục. Với filter metadata, nhớ rằng lọc mạnh có thể làm HNSW trả về ít hơn k kết quả hoặc bỏ sót hàng xóm đúng; kiểm tra hành vi này trên phiên bản bạn dùng thay vì giả định.
Schema tối thiểu trên pgvector trông như sau:
-- pgvector 0.8.7
CREATE TABLE chunks (
id bigserial PRIMARY KEY,
doc_id text NOT NULL,
tenant text NOT NULL,
section text,
content text NOT NULL,
embedding vector(1536) NOT NULL,
updated_at timestamptz NOT NULL DEFAULT now()
);
CREATE INDEX ON chunks USING hnsw (embedding vector_cosine_ops);
SELECT id, content, 1 - (embedding <=> $1) AS cosine_similarity
FROM chunks
WHERE tenant = $2
ORDER BY embedding <=> $1
LIMIT 5;
<=> là cosine distance, nên 1 - distance mới ra similarity. Đây là chi tiết dễ sai nhất khi chuyển từ công thức sang SQL, và sai dấu sẽ đảo toàn bộ thứ hạng.
Lỗi phổ biến
- Embed query bằng model khác model đã index. Không lỗi, không cảnh báo, chỉ giảm chất lượng. Ghi model + version vào config và kiểm tra lúc khởi động.
- Cắt chiều vector mà không chuẩn hóa lại. Cosine vẫn chạy, nhưng thứ hạng đã lệch.
- Chunk theo ký tự. Cắt giữa bảng, giữa code block, giữa câu. Dùng tokenizer và cấu trúc tài liệu.
- Chỉ dùng vector. Mã lỗi, SKU và tên riêng sẽ bị bỏ lỡ. Thêm lexical và fusion.
- Không lưu nội dung gốc. Vector không tái tạo được văn bản, và bạn sẽ cần trích dẫn nguồn.
- Đổi model mà không re-index. Đây là lý do phổ biến khiến một hệ thống đang tốt đột nhiên trả lời sai sau khi “nâng cấp”.
Checklist
- Chốt một model embedding, ghi version và số chiều vào config collection.
- Chuẩn hóa vector nếu dùng cosine hoặc dot product; thống nhất một độ đo.
- Chunk 300–800 token theo cấu trúc, có metadata và tiêu đề mục.
- Dựng bộ eval 100–300 cặp query–chunk trước khi đổi model hay tham số.
- Bật hybrid nếu corpus có mã, tên riêng hoặc song ngữ.
- Đo recall@k trên mẫu nhỏ so với brute force sau khi bật ANN và filter.
Hướng 2027: embedding đa phương thức đang trở thành mặc định ở các model lớn, và MRL cho phép một vector phục vụ nhiều mức chi phí. Nhưng hai việc không đổi: vector chỉ so sánh được trong cùng một không gian, và retrieval vẫn phải được đo trên dữ liệu của bạn.
Bài liên quan
- RAG cho người mới bắt đầu — ghép chunk, embed, retrieve, rerank thành pipeline.
- Ảnh hưởng của tokenization — vì sao kích thước chunk tính bằng token, không bằng ký tự.
- Cửa sổ ngữ cảnh và độ dài tối đa — ngân sách token khi đưa chunk vào prompt.
