Bài viết gốc của chủ đề này so sánh “OpenAI Assistants API vs. Manual RAG”. Đến tháng 11/2026, vế đầu đã không còn: trang tài liệu Assistants API trả về 404, và không có endpoint nào để bạn tạo Assistant, Thread hay Run. Lựa chọn thật sự bây giờ là hosted file search trên Responses API so với pipeline RAG tự xây. Câu hỏi vẫn có giá trị, nhưng danh sách ưu nhược điểm phải viết lại.
Bài này nói rõ cái gì được quản lý, cái gì bị mất khi dùng hosted, chi phí và lock-in thực tế, và khi nào tự xây là quyết định đúng. Những con số chưa xác minh được sẽ được đánh dấu, không đoán.
Mục lục
Cập nhật 2026
- Assistants API đã biến mất: trang docs 404. Ngày gỡ chính xác chưa xác minh được; đừng viết “vừa bị gỡ” như thể đó là tin tuần này.
- Responses API là lựa chọn được khuyến nghị cho dự án mới. Hosted tools, state qua
previous_response_id, và encrypted reasoning chỉ có trên Responses. - Từ GPT-5.4, Chat Completions không gọi tool được trừ khi
reasoning_effortlànone; Astra và Sol bắt buộc dùng Responses nếu cần tool calling. Đây là lý do kỹ thuật, không phải khuyến nghị marketing. - Giá file search theo đơn vị chưa xác minh (bảng giá không hiển thị đầy đủ tại thời điểm đọc). Mọi con số chi phí hosted trong bài này chỉ là cấu trúc, không phải báo giá.
Hosted file search thực sự làm gì
Mô hình rất đơn giản: bạn tải file lên kho của OpenAI, gắn nó vào một tool tìm kiếm, rồi gọi Responses với tool đó. Về mặt vận hành, bạn không phải chạy parse, chunk, nhúng, dựng index hay truy xuất; provider làm phần đó bên trong. Bạn nhận câu trả lời, thường kèm trích dẫn — hãy kiểm tra cấu trúc output thực tế trước khi hiển thị cho người dùng.
Bốn bước bạn không phải viết:
- Chunking và chọn kích thước đoạn.
- Chọn model embedding và quản lý số chiều.
- Dựng vector store, index, và re-index khi file đổi.
- Chèn đoạn truy xuất vào prompt đúng vị trí.
Đó là lý do hosted thắng ở giai đoạn PoC. Một buổi chiều là có câu trả lời trên bộ PDF của bạn, trong khi pipeline tự xây cần ít nhất một tuần để có chunking, index, prompt, và eval tối thiểu. Nhưng “không phải viết” không có nghĩa là “không phải hiểu”: mọi lỗi chất lượng vẫn quy về chunking và retrieval, chỉ là bạn không có nút vặn.
# KHUNG KHÁI NIỆM — không phải code chạy ngay.
# Tên tool, field và cách gắn file phải đối chiếu docs Responses tại thời điểm đọc.
from openai import OpenAI
client = OpenAI()
response = client.responses.create(
model="gpt-6.1-sol",
input="Chính sách hoàn tiền áp dụng trong bao lâu?",
tools=[FILE_SEARCH], # hosted file search; cấu hình kho file ở đây
previous_response_id=prev_id, # giữ state giữa các lượt
)
print(response.output_text)
# Trích dẫn nằm trong output của response; kiểm tra cấu trúc thực tế
# trước khi hiển thị cho người dùng.
Điểm cần chú ý trong khung trên: previous_response_id giữ state hội thoại ở phía OpenAI, nên bạn không phải tự ghép lịch sử. Đổi lại, state đó gắn với provider và với chính response chain; di chuyển sang nhà cung cấp khác là mất.
Những giới hạn bạn phải chấp nhận
Hosted file search không phải RAG tùy biến. Cụ thể:
- Không chọn được embedding model. Bạn không biết họ dùng model nào, số chiều bao nhiêu, và không thể đổi sang
text-embedding-3-largehay BGE-M3. - Không kiểm soát chunking. Bạn không đặt được kích thước chunk, overlap, hay contextual prefix. Với tài liệu pháp lý hoặc hợp đồng, đây là mất mát lớn: một điều khoản bị cắt giữa hai chunk là lỗi bạn không sửa được.
- Không có hybrid retrieval do bạn cấu hình. Bạn không tự thêm nhánh BM25, không chọn RRF với
k, không rerank bằng cross-encoder. Nếu hosted có làm, nó là hộp đen. - Metadata filter và ACL chưa được xác minh đầy đủ. Khả năng lọc theo thuộc tính, theo tenant, và cách cô lập file giữa các tenant phải được kiểm tra trên tài khoản thật trước khi dùng cho dữ liệu nhạy cảm. Đừng giả định rằng tải file lên là đã cách ly.
- Giới hạn định dạng và kích thước file có tồn tại, nhưng con số cụ thể thay đổi và không được xác minh trong bài này. Hãy đọc trang giới hạn của provider trước khi thiết kế ingestion.
- Độ trễ và rate limit do provider quyết định; bạn không đặt được timeout cho từng bước retrieval, không thấy score, không biết vì sao một đoạn được chọn.
Hệ quả debug: khi câu trả lời sai, bạn chỉ có hai đòn bẩy — nội dung file và câu hỏi. Không có recall@k để đọc, không có source score để so, không có chunk để xem. Với ứng dụng nội bộ đơn giản thì đủ; với hệ thống phải giải thích lỗi cho khách hàng hoặc cơ quan quản lý thì không.
Chi phí: so cấu trúc, đừng so con số không có
| Khoản | Hosted file search | Manual RAG |
|---|---|---|
| Truy xuất | Phí theo đơn vị file search + token ngữ cảnh; đơn giá chưa xác minh | Embedding query + DB; text-embedding-3-small ~$0,02/1M token vào, -large ~$0,13/1M |
| Index | Phí lưu trữ file/index do provider đặt; chưa xác minh | Storage + compute của vector DB; pgvector/Qdrant/Weaviate tự host hoặc cloud |
| Rerank | Không cấu hình được; nếu có thì nằm trong hộp đen | Cohere rerank-v5.0-pro/Voyage rerank-3 hoặc self-host; giá chưa xác minh |
| Người | Gần như không có hạ tầng; vẫn cần eval và kiểm duyệt nội dung | 1–2 tuần dựng pipeline + thời gian bảo trì re-index, ACL, alert |
| Rời provider | Viết lại toàn bộ retrieval | Đổi LLM/embedding sau interface mỏng |
Đừng tính chi phí hosted bằng cách nhân số file với một đơn giá bạn đoán. Cấu trúc phí gồm ít nhất ba phần: lưu trữ, truy xuất theo đơn vị, và token của ngữ cảnh đưa vào model. Phần thứ ba thường lớn hơn hai phần đầu khi lưu lượng câu hỏi cao, vì mỗi lần retrieval đều đưa thêm token vào prompt. Với manual RAG, bạn kiểm soát phần thứ ba bằng số chunk và kích thước chunk.
Một phép so sánh công bằng phải cùng tập câu hỏi, cùng chất lượng trả lời. Nếu hosted đạt 80% độ chính xác với 5.000 token/lượt còn manual đạt 88% với 2.500 token/lượt, manual có thể rẻ hơn dù bạn phải trả tiền hạ tầng. Ngược lại, nếu manual chỉ đạt 70% và cần thêm người vận hành, hosted thắng rõ.
Lock-in: mất gì khi rời đi
Hosted file search khóa bạn ở ba tầng: kho file, index, và state hội thoại. Index không xuất được dưới dạng vector/embedding gốc, vì bạn không biết embedding model và cấu trúc chunk. State qua previous_response_id cũng không chuyển được sang Anthropic hay Gemini. Nếu sản phẩm của bạn cần đa provider hoặc có kế hoạch dùng model rẻ hơn cho khối lượng lớn, đây là chi phí thật, không phải chi phí lý thuyết.
Manual RAG cho bạn một interface mỏng — search(query, tenant_id, k) — và phía sau có thể là pgvector, Qdrant, hoặc hosted khác. Bạn vẫn có thể route LLM bằng LiteLLM Router 1.108.3 với fallback theo context_window_fallbacks và retry policy. Nhưng hãy nhớ: fallback đổi tool schema và cách tính token, nên phải test đường fallback chứ không chỉ test đường chính.
Kiểm soát chất lượng: những thứ chỉ manual RAG cho bạn
- Contextual retrieval — chèn ngữ cảnh tài liệu vào trước chunk trước khi nhúng. Anthropic công bố giảm 35% lỗi top-20, 49% với contextual BM25, 67% khi thêm rerank. Hosted không cho bạn bật tính năng này.
- Hybrid + RRF — thêm nhánh lexical cho mã sản phẩm, tên riêng, số hiệu văn bản. Qdrant 1.20.0 có prefetch + RRF/DBSF; Weaviate 1.40.4 trộn BM25F với vector; Elasticsearch 9.5.x có RRF; pgvector 0.8.7 phải fuse ở application; Chroma 1.5.9 không có BM25.
- Rerank — Cohere
rerank-v5.0-protrên 20–50 ứng viên. Rerank sửa precision, không sửa recall; đo recall@50 trước. - Metadata và ACL — filter tenant, quyền đọc, ngày hiệu lực ngay trong truy vấn. Đây là yêu cầu bảo mật, không phải tính năng.
- Re-index gia tăng — hash nội dung, upsert id tất định, xoá chunk cũ. Hosted tự làm nhưng bạn không kiểm soát thời điểm và tính đúng đắn.
- Eval — recall@k, groundedness, và tập vàng. Ragas 0.4.3 và DeepEval 4.3.3 dùng được cho cả hai, nhưng chỉ manual mới cho bạn ID chunk để chấm recall.
Một điểm bảo mật cần nói rõ: cả hai cách đều dễ bị prompt injection gián tiếp qua tài liệu. Với hosted, bạn còn ít khả năng cách ly và kiểm tra nguồn hơn. OWASP LLM08 (Vector and Embedding Weaknesses) và LLM01 (Prompt Injection) vẫn là rủi ro sống, không phải lý thuyết. Nếu tài liệu đến từ người dùng bên ngoài, hãy coi nội dung retrieve được là dữ liệu không tin cậy, bất kể hosted hay tự xây.
Quyết định
| Tình huống | Chọn | Vì sao |
|---|---|---|
| PoC trong vài ngày, tài liệu công khai hoặc ít nhạy cảm | Hosted file search | Không phải dựng index; đo nhu cầu thật trước khi đầu tư |
| Chat nội bộ một tenant, ít tài liệu, không cần trích dẫn pháp lý | Hosted | Đơn giản, ít hạ tầng, chấp nhận hộp đen |
| Cần ACL theo người dùng, hybrid, rerank, hoặc trích dẫn kiểm chứng được | Manual | Hosted không cho quyền kiểm soát này |
| Khối lượng query lớn, cần tối ưu token/chunk | Manual | Kiểm soát số chunk và ngữ cảnh; chi phí dự đoán được |
| Đa provider hoặc có kế hoạch rời OpenAI | Manual | Index và state không di chuyển được |
| Chưa biết, cần dữ liệu để quyết định | Hosted trước, đo, rồi migrate | Giữ eval set và interface mỏng ngay từ đầu |
Chiến lược hợp lý cho phần lớn đội là chạy hosted để có baseline trong một tuần, đồng thời viết 50–100 câu hỏi vàng và đo recall@k trên một pipeline manual tối giản. Nếu hosted đạt ngưỡng chất lượng của bạn, dừng ở đó và ghi lại giới hạn. Nếu không, bạn đã có số liệu để biện minh cho chi phí tự xây, thay vì tranh luận bằng cảm giác.
Checklist trước khi chọn
- Xác minh trạng thái Assistants API trong tài liệu hiện hành; đừng dựa vào bài viết cũ hoặc code mẫu 2024.
- Đọc lại giới hạn file, giá file search, và cách tính token ngữ cảnh trên trang chính thức tại thời điểm triển khai.
- Test cách ly tenant và quyền truy cập trên tài khoản thật, không chỉ trên kiến trúc giấy.
- Viết tập vàng 50–100 câu hỏi trước khi so sánh hai cách; cùng tập, cùng tiêu chí.
- Đặt retrieval sau một interface mỏng để có đường rời provider mà không viết lại ứng dụng.
- Kiểm tra trích dẫn sau khi sinh; không hiển thị nguồn mà code chưa xác nhận.
Nếu bạn chọn tự xây, đi tiếp ở xây dựng pipeline RAG: phân đoạn, nhúng, truy xuất và triển khai RAG với LangChain hoặc LlamaIndex. Nếu vẫn đang cân nhắc RAG có đúng là công cụ cần không, đọc RAG là gì và khi nào nên dùng thay vì fine-tuning. Và trước khi đưa tài liệu bên ngoài vào index, đọc tấn công prompt injection và cách phòng thủ.
