Ollama biến việc chạy một LLM thành một lệnh. Nhưng một lệnh không biến laptop của bạn thành inference server: nó chỉ làm cho vòng lặp thử nghiệm đủ nhanh để bạn học. Hiểu rõ ranh giới đó là điều kiện để không mang Ollama vào production rồi thất vọng.
Bài này đi qua Ollama 0.40.15: cài và chạy, GGUF và quantization, API cục bộ, cách tính phần cứng, độ trễ và throughput, giới hạn thật, và khi nào nên chuyển sang vLLM hoặc SGLang.
Mục lục
Cập nhật 2026
- Ollama hiện là 0.40.15 (2026-11-03). Đây là bản dùng cho laptop, demo và dev loop, không phải server đa tenant.
- Các họ model đã đổi:
gpt-oss(20B/120B, Apache 2.0), Gemma 4 (E2B đến 31B), Qwen3.8-27B, DeepSeek V4.1, Mistral Small 4, Muse Glimmer 30B. Llama 2, Mistral 7B v0.2 và Phi-3 trong bài cũ không còn là lựa chọn mặc định. - llama.cpp là build b12200 (pre-release, 2026-11-08); vLLM 0.33.0 yêu cầu CUDA 13.0; SGLang 0.5.23. Các engine này không cùng phân khúc với Ollama.
- Quy tắc vẫn đúng: Ollama/llama.cpp cho một người trên một máy; vLLM hoặc SGLang khi cần concurrency, continuous batching hoặc multi-GPU.
Ollama là gì, và không là gì
Ollama là một runtime đóng gói model GGUF, tải trọng số bằng lệnh, giữ model trong bộ nhớ và mở một API cục bộ. Nó xử lý việc tải file, chọn quantization, đặt layer trên GPU hoặc CPU, và cho bạn một endpoint HTTP để nói chuyện với model. Bạn không phải cài CUDA toolkit, không phải tự convert trọng số, không phải viết server.
Nó không phải một inference server cho nhiều tenant. Không có auth tích hợp, không có quota theo người dùng, không có continuous batching, không có HA. Nó cũng không phải công cụ fine-tuning; việc huấn luyện nằm ở PEFT, TRL, Unsloth hoặc Axolotl. Coi Ollama là môi trường chạy và thử nghiệm, không phải hạ tầng phục vụ.
Cài và chạy trong vài phút
Cài từ trang chính thức của Ollama cho macOS, Windows hoặc Linux. Kiểm tra version trước khi làm theo bất kỳ hướng dẫn nào:
ollama --version
# 0.40.15
ollama pull gpt-oss:20b
ollama run gpt-oss:20b
ollama list
ollama rm gpt-oss:20b
pull tải trọng số; run mở phiên tương tác. Lần chạy đầu có thể mất vài chục giây để load model; các lần sau nhanh hơn nếu model còn trong bộ nhớ. list cho biết bạn đang giữ gì trên đĩa; rm xóa bản không dùng. Đừng để hàng chục model 4-bit chiếm hết ổ; mỗi bản có thể vài GB đến vài chục GB.
Với model khác, chọn tag theo kích thước trong thư viện Ollama, ví dụ một tag 12B hoặc 27B của Gemma 4 hoặc Qwen3.8. Đừng giả định tag cũ còn tồn tại; kiểm tra ollama list và trang model trước khi đưa vào script.
GGUF và quantization: đổi bộ nhớ lấy chất lượng
GGUF là định dạng đóng gói trọng số và metadata cho inference. Quantization giảm số bit trên mỗi trọng số: 4-bit cần khoảng một nửa bộ nhớ so với 8-bit, 8-bit cần một nửa so với fp16. Đổi lại, chất lượng giảm — ít rõ ở model lớn, rõ hơn ở model nhỏ. Một model 3B lượng tử quá mạnh có thể tệ hơn model 12B ít lượng tử hơn dù cùng dung lượng đĩa.
Ước lượng nhanh: trọng số 4-bit xấp xỉ 0,5 GB mỗi tỷ tham số. Model 8B khoảng 4 GB, 27B khoảng 13–14 GB, 120B khoảng 60 GB. Cộng thêm 15–25% cho KV cache, buffer và overhead; cộng thêm nếu context dài. Đây là số để lập kế hoạch, không phải benchmark: hãy đo trên máy thật với prompt thật.
KV cache sống riêng với trọng số và tăng theo context. Một model 27B vừa 24 GB ở context ngắn có thể không vừa ở context rất dài. Gemma 4 có bản 128K và 256K; Qwen3.8 có 262K đến 1M; gpt-oss ghi 131.072 nhưng fact base đánh dấu là chưa xác thực. Đừng đọc context tối đa trên model card rồi giả định VRAM của bạn chịu được.
Phần cứng: tính theo trọng số, không theo lời đồn
VRAM phải chứa trọng số, KV cache và buffer tính toán. Nếu không đủ, Ollama đẩy một phần layer sang RAM; decode chậm đi rõ rệt vì mỗi token phải đi qua PCIe. Apple Silicon dùng bộ nhớ hợp nhất nên “VRAM” là phần bạn cấp cho GPU; GPU rời có giới hạn cứng; CPU-only vẫn chạy được model nhỏ nhưng không phù hợp để chat dài.
| Kích thước model | Trọng số 4-bit (ước lượng) | Bộ nhớ thực tế nên có |
|---|---|---|
| 3–4B (Ministral 3 3B, Gemma 4 E2B/E4B) | 2–3 GB | 8 GB; CPU cũng chạy được |
| 12–14B (Gemma 4 12B, Ministral 3 14B) | 7–9 GB | 16 GB |
| 27–31B (Qwen3.8-27B, Gemma 4 31B, Glimmer 30B) | 14–18 GB | 24 GB, context ngắn |
| 120B (gpt-oss 120b) | ~60 GB | 64–80 GB hoặc multi-GPU |
| 119B/6,5B active (Mistral Small 4) | ~60 GB | 64 GB+; active nhỏ giúp compute, không giúp bộ nhớ |
Dòng MoE là cái bẫy: Mistral Small 4 có 119B tổng nhưng chỉ 6,5B active. Compute mỗi token nhẹ hơn, nhưng toàn bộ expert vẫn phải nằm trong bộ nhớ. Đừng đọc “6,5B active” rồi mua GPU 16 GB.
API cục bộ ở cổng 11434
Ollama mở API HTTP mặc định trên 127.0.0.1:11434. Hai endpoint hay dùng là /api/generate cho completion và /api/chat cho hội thoại có role. Ví dụ:
curl http://localhost:11434/api/generate -d '{
"model": "gpt-oss:20b",
"prompt": "Giải thích ngắn gọn PagedAttention là gì.",
"stream": false
}'
Với stream: false, response là một JSON và bạn đọc trường response. Với stream: true, server trả nhiều dòng JSON, mỗi dòng một phần token; client phải đọc từng dòng và ghép lại. Chế độ stream hợp cho chat UI; chế độ không stream hợp cho job batch nhỏ và test.
Mặc định chỉ bind localhost, đúng cho dev. Nếu cần gọi từ máy khác trong LAN, đổi bind address qua biến môi trường (ví dụ OLLAMA_HOST), nhưng đặt sau proxy có auth và giới hạn mạng. Đừng bao giờ mở cổng 11434 trực tiếp ra internet: không có auth, không có phân quyền, không có rate limit theo tenant.
Độ trễ và throughput: hai thứ khác nhau
Thời gian chờ first token chủ yếu là prefill: model đọc prompt và xây KV cache. Tốc độ sau đó là decode: sinh từng token. Prompt dài làm prefill nặng; output dài làm decode lâu; context dài làm cả hai chậm hơn vì KV cache lớn. Vì vậy “model này nhanh hay chậm” không có nghĩa nếu không nói prompt bao nhiêu token, output bao nhiêu token, context bao nhiêu.
Ollama xử lý request theo kiểu một người dùng: khi có nhiều request đồng thời, chúng xếp hàng hoặc chia sẻ GPU, và p95 tăng nhanh. Nó không có continuous batching như vLLM, nên throughput tổng không tăng theo số request. Đo p50 và p95 với concurrency bạn thực sự có, đừng đo một request rồi suy ra cho 20 người.
Vài tham số ảnh hưởng trực tiếp: num_ctx càng lớn càng tốn bộ nhớ; giữ ở mức bạn cần, đừng để mặc định rất lớn. temperature và top_p đổi hành vi sampling, không đổi tốc độ đáng kể. Nếu output lặp hoặc dừng sai, kiểm tra template chat của model trước khi đổi tham số.
Giới hạn thật của Ollama
- Không đa tenant: không auth, không quota, không cách ly người dùng. Muốn chia sẻ nội bộ, phải tự dựng proxy và policy.
- Không continuous batching: nhiều request đồng thời làm latency xấu; đây là lý do chính để chuyển engine.
- Chất lượng model nhỏ: 12–27B chạy tốt cho tóm tắt, phân loại, viết ngắn; không ngang frontier model ở suy luận phức tạp. Hãy đo trên eval của bạn, đừng so cảm giác.
- Quantization là đổi chất lượng: 4-bit tiết kiệm bộ nhớ nhưng có thể làm hỏng tool calling hoặc format JSON ở model nhỏ.
- Tool calling không đồng đều: phụ thuộc model và template; test schema thật trước khi tích hợp.
- Vận hành đơn giản nhưng không HA: một process, model load/unload, không có failover. Không phù hợp SLA 24/7 nếu không có người trực.
Ollama không fine-tune. Nếu bạn cần LoRA/QLoRA, dùng PEFT 0.21.2, TRL 1.17.1, Unsloth 2026.11.3 hoặc Axolotl 0.21.1, rồi mang adapter hoặc model đã merge sang runtime phù hợp.
Ollama so với llama.cpp, vLLM, SGLang
| Engine | Version | Dùng khi |
|---|---|---|
| Ollama | 0.40.15 | Laptop/demo, một người dùng, GGUF, một lệnh |
| llama.cpp | b12200 (pre-release) | Edge/embedded, GBNF grammar, quant nặng, kiểm soát sampling |
| vLLM | 0.33.0 | Throughput GPU, PagedAttention, multi-GPU; cần CUDA 13.0 |
| SGLang | 0.5.23 | Agent loop lặp prefix, structured output |
| LM Studio | Bionic 1.2.0 | GUI cho người không phải dev; GGUF/MLX |
llama.cpp không có semver; hãy trích build tag như b12200, đừng viết “v0.9”. vLLM 0.33.0 yêu cầu CUDA 13.0 (12.9 đã bị bỏ) và PyTorch 2.14; kiểm tra driver trước khi nâng. SGLang thắng khi prefix lặp nhiều — ví dụ agent có system prompt và tool schema cố định — vì nó tận dụng prefix cache tốt hơn. vLLM là mặc định an toàn hơn cho API serving; SGLang là lựa chọn khi workload của bạn đúng hình dạng của nó.
Nếu bạn chỉ cần nhúng inference vào một app desktop hoặc edge device, llama.cpp cho bạn kiểm soát sát hơn và không cần server. Nếu bạn cần một endpoint cho nhiều người, đừng bắt đầu bằng Ollama rồi vá dần; bắt đầu bằng vLLM.
Khi nào local là đúng, khi nào không
Đúng khi dữ liệu không được rời khỏi máy: bản nháp nội bộ, tài liệu chưa công bố, thử nghiệm trên dữ liệu khách hàng. Đúng khi cần offline hoặc edge: máy bay, nhà máy, chi nhánh mạng yếu. Đúng cho dev loop: không tốn phí API, không phụ thuộc mạng, lặp prompt nhanh. Đúng khi bạn đã có GPU và lưu lượng thấp, hoặc khi muốn so sánh nhiều model trước khi trả tiền cho API.
Không đúng khi có nhiều người dùng đồng thời và cần p95 ổn định; khi cần chất lượng frontier cho suy luận phức tạp; khi context rất dài và cần tốc độ; khi không có người vận hành 24/7; hoặc khi cần SLA và support từ nhà cung cấp.
Chi phí đúng là chi phí tổng: GPU capex hoặc thuê GPU theo giờ, điện, thời gian vận hành, thời gian debug chất lượng. API cloud có thể đắt theo token nhưng rẻ hơn ở lưu lượng thấp vì bạn không trả tiền cho GPU ngồi không. Local thắng khi utilization cao và ổn định, không phải khi thỉnh thoảng có một request.
Mô hình hybrid hợp lý: local cho dev, xử lý trước PII, hoặc tác vụ phân loại đơn giản; cloud cho suy luận khó và lưu lượng lớn. Route theo task, và test fallback thật vì schema tool có thể khác.
Lỗi hay gặp
- Kỳ vọng chất lượng ChatGPT từ model 7B rồi kết luận “local không dùng được”.
- Mở cổng 11434 ra ngoài mà không có auth.
- Để
num_ctxmặc định rất lớn rồi hết VRAM, tưởng model hỏng. - Lượng tử quá tay ở model nhỏ, làm hỏng JSON hoặc tool call.
- Benchmark một prompt ngắn rồi suy ra throughput cho prompt 10K token.
- Dùng Ollama làm server đa tenant rồi tự viết auth, quota, queue — đó là làm lại vLLM một cách tệ hơn.
Checklist
- Pin Ollama 0.40.15 và model tag trong script; ghi lại version đã test.
- Đo VRAM thực tế với context và concurrency bạn cần, không chỉ load model.
- Đặt
num_ctxtheo nhu cầu; theo dõi KV cache khi tăng context. - Đặt API sau localhost hoặc proxy có auth; không mở trực tiếp.
- Có eval nhỏ trên dữ liệu của bạn trước khi tin chất lượng model local.
- Chốt ngưỡng chuyển engine: concurrent request, p95, hoặc multi-GPU.
Nhìn tới 2027
Các họ model mở sẽ tiếp tục mạnh lên, nhưng khoảng cách với frontier không biến mất; đừng lập kế hoạch dựa trên giả định “năm sau model 8B bằng GPT”. Ollama sẽ vẫn là công cụ tốt nhất để bắt đầu, còn vLLM/SGLang sẽ tiếp tục là nơi production sống. Điều đáng làm ngay là tách lớp gọi model khỏi phần còn lại của app, để đổi runtime không phải viết lại business logic.
Đọc tiếp
Để chọn giữa model mở và model đóng, đọc AI mã nguồn mở so với đóng. Cách tìm và tải model trên Hub nằm ở bài Hugging Face. Nếu bạn đang so sánh runtime JavaScript và Python, xem Transformers.js và Python SDK. Và bài token, context và chi phí API giải thích vì sao context dài đánh đổi trực tiếp bằng bộ nhớ.
