Câu hỏi thật sự không phải “mã nguồn mở hay đóng”. Với agent, câu hỏi là: bạn có đội vận hành GPU, có yêu cầu giữ dữ liệu trong nhà, và có khối lượng request đủ lớn để chi phí tự host rẻ hơn API? Ba câu trả lời đó quyết định, không phải nhãn “open-weight” trên model card. Bài này điểm lại các họ trọng số mở đang dùng được trong tháng 11/2026, bẫy giấy phép, và cách so sánh chi phí thật giữa GPU và API.
Mục lục
Cập nhật 2026: danh sách đã đổi gần như hoàn toàn
- gpt-oss (120b/20b) và Gemma 4 là Apache 2.0 thuần, dùng thương mại không phải xin phép.
- Qwen3.8 có 27B Apache 2.0 nhưng bản 2.4T-A95B và Flash-Next dùng giấy phép riêng — đừng giả định cả họ cùng một license.
- Mistral Large 4 theo modified-MIT: chạy, sửa, phân phối được, nhưng bán dịch vụ MaaS cần hợp đồng thương mại.
- Meta không ra thêm Llama sau Llama 4 (5/2025); dòng hiện tại là Muse (Glimmer, Spark, Spark Open).
- Fine-tuning của OpenAI đã đóng với người dùng mới, nên đường LoRA thực tế là trọng số mở trên GPU của bạn.
Open-weight nghĩa là gì, và không nghĩa là gì
Trọng số mở nghĩa là bạn tải được file tham số đã huấn luyện và chạy nó trên phần cứng của mình. Nó không có nghĩa là có dữ liệu huấn luyện, có mã huấn luyện, hay được phép làm bất cứ điều gì. Ba thứ đó là ba câu chuyện riêng: weights, license, và data.
Điều này quan trọng với agent vì agent không chỉ “đọc văn bản”. Nó giữ dữ liệu khách hàng trong context, gọi tool nội bộ, và thường xuyên chạy hàng nghìn request mỗi ngày. Trọng số mở cho bạn quyền kiểm soát tầng vật lý — dữ liệu không rời khỏi DC — nhưng không cho bạn quyền miễn trừ trách nhiệm về giấy phép hay về chất lượng đầu ra.
Cũng cần phân biệt “chạy được” và “chạy tốt”. Một model 27B chạy trên một GPU workstation là thật; cùng model đó phục vụ 50 request đồng thời với p95 dưới 2 giây thì cần engine có continuous batching, chứ không phải một script Python gọi generate().
Các họ trọng số mở đang có mặt
| Họ | Kích thước / context | Giấy phép |
|---|---|---|
| gpt-oss | 117B (5.1B active); 21B (3.6B active); ctx 131K | Apache 2.0 |
| Qwen3.8 | 27B dense; 2.4T-A95B; Flash-Next ~180B; 262K→1M | Apache 2.0 / custom |
| DeepSeek V4.1 | V4.1-Flash 763B, 1M ctx | MIT |
| Gemma 4 | E2B/E4B/12B/26B-A4B/31B; 128K–256K | Apache 2.0 |
| Mistral | Large 4 (1.05T/52B, 1M); Small 4 119B; Ministral 3 3–14B | modified-MIT |
| Meta Muse | Glimmer 30B; Spark Open 816B/42B (gated) | Apache 2.0 / gated |
| Llama 4 | Scout 109B; Maverick 400B | Llama 4 Community |
Điểm đáng chú ý về mặt vận hành: gpt-oss và Qwen3.8 2.4T đều là MoE, nên số tham số active nhỏ hơn nhiều so với tổng. Đó là lý do chúng chạy được trên một node trong khi vẫn giữ chất lượng của model lớn — nhưng VRAM vẫn phải chứa toàn bộ trọng số. Với gpt-oss-120b ở 4-bit, riêng trọng số đã chiếm cỡ 60 GB; con số này là ước lượng từ 117B tham số, không phải đo thực tế.
Giấy phép: ba bẫy thực tế
Bẫy một: “Apache 2.0” không phải nhãn dán cho cả họ. Qwen3.8-27B là Apache 2.0, nhưng bản 2.4T-A95B dùng license qwen3.8-max và Flash-Next dùng qwen-community-1.0. Nếu bạn chọn model theo tên họ rồi đưa vào kế hoạch thương mại, bạn có thể đang đọc sai giấy phép.
Bẫy hai: modified-MIT không phải MIT. Mistral Large 4 cho phép dùng, sửa, phân phối, nhưng cấm cung cấp dịch vụ model-as-a-service mà không có hợp đồng riêng. Nếu sản phẩm của bạn là API bán lại cho khách, đây là điều khoản chặn đường, không phải chi tiết pháp lý nhỏ.
Bẫy ba: gated không phải open. Muse Spark Open cần được cấp quyền truy cập trên Hugging Face. Quyền đó có thể bị thu hồi, và điều khoản đi kèm có thể thay đổi. Với Llama 4, giấy phép cộng đồng có điều khoản bổ sung và Meta đã ngừng ra bản mới — dùng nó là dùng một dòng đang đóng băng, không phải một lựa chọn đang tiến hoá.
Quy tắc: đọc file LICENSE trong repo model, không đọc mô tả trên blog. Lưu bản sao giấy phép vào hồ sơ tuân thủ của bạn cùng ngày tải model, vì giấy phép có thể được sửa cho các bản phát hành sau.
Chất lượng: khoảng cách đã hẹp, nhưng không biến mất
Không có bảng benchmark nào trả lời được câu hỏi của bạn, vì agent của bạn không chạy benchmark. Cách đúng là lấy 30–50 task thật, chạy song song một model mở và một model frontier, chấm bằng tiêu chí của bạn. Con số bạn cần là tỉ lệ task thành công và cost per task, không phải điểm MMLU.
Kinh nghiệm phổ biến tháng 11/2026: với phân loại, trích xuất, tóm tắt có nguồn, và phần lớn vòng lặp tool đơn giản, model mở 27B–120B đủ tốt sau khi prompt được chỉnh. Với lập kế hoạch nhiều bước, gỡ lỗi phức tạp, và tác vụ cần đọc hiểu tài liệu dài, model frontier vẫn giữ lợi thế rõ — và lợi thế đó thường nằm ở “không bịa” chứ không ở “thông minh hơn”.
Đừng quên yếu tố huấn luyện: model mở thường cần chat template đúng, hệ thống stop token đúng, và định dạng tool call đúng như model card quy định. Ba lỗi cấu hình này tạo ra khoảng cách chất lượng giả tạo lớn hơn nhiều so với khoảng cách thật giữa các họ model.
Quyền riêng tư và self-host
Self-host giải quyết được ba việc mà API không giải quyết: dữ liệu không rời khỏi hạ tầng của bạn, bạn kiểm soát được log và retention, và bạn không phụ thuộc vào thay đổi điều khoản của nhà cung cấp. Với agent xử lý hồ sơ nhân sự, dữ liệu y tế, hoặc hợp đồng khách hàng, đây thường là yêu cầu cứng chứ không phải sở thích.
Nhưng self-host không tự động là “riêng tư”. Bạn vẫn phải kiểm soát egress của sandbox, vẫn phải xoá dữ liệu khỏi prompt log, vẫn phải quản lý quyền của tool. Một model chạy trong DC mà agent của bạn gọi API bên thứ ba để lấy dữ liệu thì dữ liệu vẫn ra ngoài. Kiểm soát dữ liệu là thiết kế hệ thống, không phải thuộc tính của model.
Ngược lại, API có những thứ self-host khó có: hạ tầng đã tối ưu, cập nhật model, và trách nhiệm vận hành nằm ở nhà cung cấp. Nếu dữ liệu không nhạy cảm, phần “riêng tư” này thường không đáng đổi lấy gánh nặng GPU.
Chi phí: GPU hay API, tính bằng bài toán cụ thể
API tính theo token, nên chi phí co giãn theo lưu lượng. Ví dụ với gpt-6.1-sol giá $2 input / $10 output mỗi 1M token: 10 triệu input và 2 triệu output mỗi ngày là $20 + $20 = $40/ngày, khoảng $1.200/tháng. Con số này chưa gồm reasoning token — chúng tính theo giá output, nên khi agent suy luận nhiều, phần output có thể vượt xa phần bạn thực sự đọc.
Self-host có ba khoản: GPU (mua hoặc thuê), điện và làm mát, người vận hành. Hai khoản đầu bạn tính được từ hợp đồng. Khoản thứ ba hay bị bỏ qua nhất và cũng khó ước lượng nhất. Một kỹ sư vận hành GPU cluster là chi phí thường xuyên, không phải chi phí một lần.
Điểm hoà vốn không nằm ở số request mỗi ngày mà ở mức độ ổn định của lưu lượng. Lưu lượng đều đặn 24/7 tận dụng được GPU; lưu lượng nhảy theo giờ hành chính thì phần lớn thời gian GPU ngồi không, và API thắng. Nếu lưu lượng của bạn có đỉnh gấp 10 lần đáy, hãy tính theo đỉnh cho self-host và theo trung bình cho API — hai con số sẽ chênh nhau nhiều hơn bạn tưởng.
Gánh nặng vận hành ít người nói tới
- Chọn engine: Ollama 0.40.15 cho laptop và demo; vLLM 0.33.0 khi cần throughput và multi-GPU (yêu cầu CUDA 13.0, PyTorch 2.14); SGLang 0.5.23 khi agent lặp prefix nhiều; llama.cpp b12200 cho edge, chưa phải bản ổn định theo semver.
- Quantization: mỗi mức 4-bit/8-bit đổi chất lượng theo cách riêng, và bạn phải eval lại sau khi đổi — không chuyển nguyên bộ test của bản bf16.
- Cập nhật: model mới ra mỗi tháng; bạn phải quyết định nâng hay không, và nâng thì phải chạy lại eval cùng bộ task.
- On-call: GPU chết, OOM, driver lệch phiên bản, CUDA 13.0 so với 12.9. API không có những việc này.
Đây là lý do nhiều team chọn phương án lai: model mở cho tác vụ khối lượng lớn, dữ liệu nhạy cảm; model frontier cho phần khó và phần đang thay đổi. Cùng một interface, route theo tác vụ — cách này thường rẻ hơn cả hai đầu cực.
Nhu cầu riêng của agent: ba thứ phải kiểm tra trước
Tool calling. Không phải model nào cũng có tool call ổn định. Kiểm tra bằng cách cho nó gọi ba tool có tham số gần giống nhau và xem nó có chọn đúng, truyền đúng kiểu, và không bịa tham số. Model mở thường cần chat template có sẵn slot cho tool, không phải tự chế format.
Long context. Context 1M trên model card không có nghĩa chất lượng giữ nguyên ở 1M. Đo riêng: nhét 200K token tài liệu rồi hỏi một chi tiết nằm ở giữa. Nếu model tụt mạnh, hoặc cắt context xuống, hoặc thêm RAG — đừng tin con số tối đa.
Latency. Agent có nhiều bước, nên p95 của một request nhân với số bước. Self-host có lợi thế latency mạng (không qua internet) nhưng có thể thua ở throughput nếu engine cấu hình sai. Đo p50/p95 trên chính workload của bạn, không lấy số từ blog.
Code: cùng một client, hai backend
# File: llm_client.py — openai 3.46.0, vLLM 0.33.0 phục vụ endpoint OpenAI-compatible
import os
from openai import OpenAI
FRONTIER = OpenAI(api_key=os.environ["OPENAI_API_KEY"])
LOCAL = OpenAI(
base_url="http://gpu-node:8000/v1", # vLLM serve Qwen/Qwen3.8-27B
api_key="not-needed", # vLLM không bắt buộc key nội bộ
)
def ask(client: OpenAI, model: str, prompt: str, effort: str | None = None) -> str:
kwargs = {}
if effort:
kwargs["reasoning_effort"] = effort # chỉ gửi khi backend hiểu
r = client.chat.completions.create(
model=model,
messages=[{"role": "user", "content": prompt}],
temperature=0.2,
**kwargs,
)
return r.choices[0].message.content
plan = ask(FRONTIER, "gpt-6.1-sol", "Lập kế hoạch 5 bước cho yêu cầu sau: ...", "high")
draft = ask(LOCAL, "qwen3.8-27b", "Viết lại đoạn văn sau theo giọng trang trọng: ...")
print(plan[:200], draft[:200])
Lợi ích của interface chung là bạn đổi backend bằng một biến môi trường, không viết lại agent. Giới hạn là các tham số không tương đương: reasoning_effort là khái niệm của OpenAI, còn engine tự host có thể bỏ qua hoặc lỗi nếu gửi. Hãy kiểm tra theo từng backend và log lại tham số nào thực sự được áp.
Bảng quyết định
| Tình huống | Chọn | Lý do |
|---|---|---|
| Prototype, chưa biết lưu lượng | API frontier | Không cần GPU, đổi model bằng một dòng |
| Dữ liệu không được rời DC | Trọng số mở | Kiểm soát vật lý dữ liệu và log |
| Khối lượng lớn, lưu lượng đều | Trọng số mở + vLLM | Chi phí biên thấp, throughput cao |
| Tác vụ khó, đang thay đổi | API frontier | Chất lượng và cập nhật do nhà cung cấp lo |
| Cần fine-tune định kỳ | Trọng số mở + PEFT | OpenAI FT đã đóng với người dùng mới |
Nhìn sang 2027
Hai xu hướng đang chạy song song: model mở ngày càng tốt ở tác vụ hẹp, và chi phí API tiếp tục giảm ở tầng volume. Điều đó làm bài toán “mở hay đóng” trở thành bài toán định tuyến theo từng tác vụ, chứ không còn là một quyết định kiến trúc duy nhất cho cả hệ thống. Giấy phép sẽ là biến số khó lường hơn chất lượng.
Checklist trước khi chọn
- Đọc LICENSE trong repo model, ghi lại ngày và phiên bản.
- Chạy 30–50 task thật trên cả hai lựa chọn, chấm bằng tiêu chí của bạn.
- Đo tool-call accuracy và p95 latency, không chỉ chất lượng văn bản.
- Tính chi phí theo đỉnh lưu lượng, không theo trung bình.
- Kiểm tra engine phù hợp: Ollama cho demo, vLLM/SGLang cho production.
- Viết sẵn đường fallback giữa hai backend trước khi chốt.
Đọc tiếp: chọn LLM cho suy luận và lập kế hoạch, fine-tuning so với prompt engineering, xây dựng agent chỉ với API LLM, và định giá theo token.
