Sau khi đã chọn model, câu hỏi tiếp theo là làm sao gọi nó mà không phải dựng GPU ngay. Hugging Face có hai con đường trả tiền: Inference Providers (serverless, request được route tới provider) và Inference Endpoints (GPU riêng do bạn thuê). Ngoài ra bạn có thể tự host. Cả ba khác nhau ở việc ai giữ GPU và ai chịu cold start.
Tên phương thức của InferenceClient có thể đã đổi giữa các phiên bản. Code dưới đây dùng các tên phổ biến; trước khi chạy, kiểm tra docstring hoặc help(client) trên đúng phiên bản bạn cài.
Mục lục
Cập nhật 2026: từ SDK cũ sang InferenceClient
- Bài cũ dùng package
inference-sdkvà endpointapi-inference.huggingface.co. Hướng hiện tại làInferenceClienttronghuggingface_hub2.4.0, dùng chung token và cùng lớp HTTP với phần còn lại của Hub. - Hub tách rõ Inference Providers (serverless, routed tới đối tác) và Inference Endpoints (dedicated GPU). Đây là hai sản phẩm khác nhau, không phải hai tên gọi của một dịch vụ.
- Cold start, rate limit và giới hạn input vẫn tồn tại ở serverless. Dedicated Endpoints giải quyết cold start nhưng bạn trả tiền GPU theo giờ, kể cả lúc không có request.
- Giá và danh sách provider thay đổi thường xuyên; hãy đọc trang pricing trước khi lập ngân sách, đừng dựa vào tutorial cũ.
Ba cách triển khai
| Cách | Ai giữ GPU | Dùng khi |
|---|---|---|
| Inference Providers (serverless) | Provider đối tác | Prototype, lưu lượng thấp hoặc bursty, model có provider hỗ trợ |
| Inference Endpoints (dedicated) | Bạn thuê GPU trên HF | Cần latency ổn định, private, model không có provider |
| Self-host (vLLM, Ollama) | Bạn | Compliance, tải cao ổn định, model riêng hoặc fine-tune |
Thứ tự thử hợp lý là serverless trước để validate output, dedicated khi cần SLA, self-host khi chi phí hoặc compliance buộc bạn tự vận hành. Đừng bắt đầu bằng self-host chỉ vì “kiểm soát”; hãy đo xem bạn có đủ tải để biện minh cho chi phí cố định không.
Inference Providers: serverless và routed
Với Inference Providers, bạn gửi request tới Hub và Hub chọn một provider có model đó. Bạn không quản lý GPU, không cài CUDA, không lo autoscaling. Đổi lại, model khả dụng phụ thuộc provider, chất lượng output có thể khác nhau giữa các provider dù cùng trọng số, và latency phụ thuộc queue.
Đây là lựa chọn tốt cho smoke test, demo nội bộ, workload nhỏ hoặc lưu lượng tăng giảm thất thường. Nó không phù hợp nếu bạn cần p95 latency cố định, cần region cụ thể, hoặc cần model không nằm trong danh sách provider. Cũng đừng giả định mọi model trên Hub đều gọi được: nhiều model chỉ tải về được, không có provider phục vụ.
Cùng một model nhưng hai provider có thể dùng chat template, mức quantization hoặc giới hạn context khác nhau. Vì vậy hãy test prompt trên đúng provider bạn sẽ dùng, không test một provider rồi deploy provider khác. Nếu output khác lạ, kiểm tra model ID, provider và tham số sinh trước khi kết luận model kém.
Giá serverless thường tính theo token hoặc theo compute, tùy provider. Fact base không xác nhận bảng giá cụ thể, nên hãy đọc trang pricing của provider trước khi lập ngân sách. Đừng dựa vào “free tier” trong tutorial cũ; hạn mức và điều kiện có thể đã đổi.
Inference Endpoints: GPU riêng
Endpoint là một deployment dedicated: bạn chọn GPU, image (vLLM, TGI hoặc custom container), min/max replica và cấu hình autoscale. Model được tải sẵn trên máy, nên request đầu tiên không phải chờ load trọng số nếu bạn giữ ít nhất một replica nóng.
Cái giá của “không cold start” là bạn trả cho GPU kể cả khi không có traffic. Nếu bật scale-to-zero, bạn tiết kiệm tiền nhưng cold start quay lại. Endpoint hợp cho ứng dụng có lưu lượng ổn định, cần private networking, hoặc model không được provider serverless hỗ trợ. Với model lớn, thời gian tải trọng số và khởi động container có thể tính bằng phút, nên hãy thiết kế health check và warmup trước khi mở traffic.
Khi đổi image, đổi phiên bản engine hoặc cập nhật trọng số, đừng ghi đè endpoint đang chạy. Tạo endpoint mới, chạy canary với một phần traffic, so p95 và tỷ lệ lỗi, rồi mới chuyển toàn bộ. Endpoint cũ nên giữ đủ lâu để rollback nếu chất lượng giảm.
Token: quyền nhỏ nhất
Token vẫn là Authorization: Bearer ...; SDK đọc HF_TOKEN từ môi trường nếu bạn không truyền tham số. Tạo token fine-grained với quyền đọc/inference, không dùng token có quyền ghi cho ứng dụng chỉ gọi model. Với model gated, tài khoản phải chấp nhận điều khoản trước; nếu không, bạn nhận 401 hoặc 403 dù token hợp lệ.
Không đưa token xuống browser hoặc mobile app. Mọi request nên đi qua backend của bạn, nơi token được giữ kín và có thể xoay vòng. Nếu nhiều tenant dùng chung một token, bạn không có cách nào giới hạn quyền theo tenant; hãy tách token theo môi trường hoặc theo tenant nếu sản phẩm yêu cầu.
Gọi model bằng InferenceClient
Ví dụ tối thiểu cho một model phân loại văn bản. Tên method có thể khác trên phiên bản bạn cài; hãy xác nhận trước khi đưa vào production.
import os
from huggingface_hub import InferenceClient
client = InferenceClient(
model="distilbert-base-uncased-finetuned-sst-2-english",
token=os.environ["HF_TOKEN"],
)
result = client.text_classification("I love this product!")
print(result)
Với model chat, dùng method chat completion và truyền messages theo chuẩn role/content. Đây là phần dễ lệch nhất giữa các phiên bản SDK, vì API đã trải qua nhiều lần đổi tên và gộp method.
response = client.chat_completion(
messages=[
{"role": "system", "content": "Trả lời ngắn gọn bằng tiếng Việt."},
{"role": "user", "content": "Giải thích inference endpoint là gì trong hai câu."},
],
max_tokens=256,
)
print(response.choices[0].message.content)
Nếu text_classification hoặc chat_completion không tồn tại trên bản bạn cài, đừng đoán tên khác. Mở docstring của InferenceClient, xem danh sách method, rồi chọn method khớp task. Với provider cụ thể, tham số provider có thể cần đặt tường minh; kiểm tra chữ ký hàm thay vì copy từ blog cũ.
Cold start và độ trễ
Serverless có thể phải load model nếu chưa có instance nóng. Request đầu tiên vì thế chậm hơn nhiều so với các request sau. Một số provider trả 503 kèm thời gian ước lượng, số khác xếp request vào queue. Đừng đặt timeout bằng latency trung bình; đặt timeout đủ lớn cho cold start, và đo p95 thay vì p50.
Ba cách giảm cold start: warmup sau khi deploy, giữ một lượng request nhỏ đều đặn nếu lưu lượng thấp, hoặc chuyển sang dedicated endpoint có min replica. Cách thứ ba tốn tiền nhưng ổn định nhất. Với serverless, hãy cache kết quả cho input lặp lại, nhưng nhớ rằng cache có thể lỗi thời và rò rỉ dữ liệu giữa tenant nếu key không đúng.
Streaming không làm tổng thời gian nhanh hơn, nó chỉ giảm thời gian người dùng thấy chữ đầu tiên. Với chat, bật stream nếu SDK và provider hỗ trợ; với tool call, đừng stream và parse từng mảnh nếu bạn cần nguyên một JSON hợp lệ. Hãy đo riêng time-to-first-token và tổng thời gian hoàn thành, vì hai con số này trả lời hai câu hỏi khác nhau.
Rate limit và chi phí
Rate limit có thể áp theo token, theo tài khoản hoặc theo provider. Khi nhận 429, đọc header Retry-After rồi backoff có jitter; đừng retry ngay lập tức. Chỉ retry các thao tác idempotent; không retry 400, 401, 403 vì chúng là lỗi cấu hình hoặc quyền, retry không sửa được.
Chi phí có ba tầng: serverless tính theo lượng token hoặc compute; dedicated tính theo GPU-hour và số replica; self-host tính theo GPU, điện, người trực và thời gian kỹ sư. Để so sánh, đừng nhìn giá mỗi 1.000 request; hãy tính cost per successful task, gồm cả retry và tỷ lệ lỗi. Một provider rẻ nhưng timeout 5% sẽ đắt hơn provider ổn định.
Token accounting cần tách input, cached input, output và reasoning. Reasoning token thường tính như output. Với workload lớn, batch và cache giảm chi phí đáng kể, nhưng batch làm tăng latency; chỉ dùng khi người dùng không chờ trực tiếp.
Log tối thiểu cho mỗi request gồm model, provider, trạng thái, latency, số token vào/ra và một request id. Theo dõi p95 latency và tỷ lệ 429/5xx theo provider; đặt alert khi tỷ lệ lỗi vượt ngưỡng bạn chấp nhận. Không log nguyên văn prompt nếu dữ liệu nhạy cảm; log hash hoặc độ dài để vẫn debug được mà không lưu nội dung.
Khi nào tự host
Tự host đáng cân nhắc khi dữ liệu không được rời khỏi hạ tầng, khi bạn cần model hoặc bản fine-tune không có trên provider, khi tải đủ cao và ổn định để chia chi phí GPU, hoặc khi cần kiểm soát phiên bản và quantization. Nếu chỉ cần một endpoint cho demo, self-host gần như luôn đắt hơn về tổng chi phí sở hữu.
Nếu tự host, hãy bắt đầu bằng Ollama hoặc vLLM tùy tải, và đo utilization thật trong ít nhất một tuần trước khi mua GPU. Bài Giới thiệu về Ollama phù hợp cho bước thử local; bài AI mã nguồn mở so với đóng đi sâu vào bài toán chi phí.
Một lớp proxy backend tối thiểu
Đừng gọi Inference API trực tiếp từ frontend. Một hàm backend nhỏ đã đủ để giữ token kín, thêm timeout và chuyển lỗi thành response có kiểm soát:
import os
from huggingface_hub import InferenceClient
client = InferenceClient(token=os.environ["HF_TOKEN"])
def classify(text: str) -> dict:
if not text.strip():
raise ValueError("empty input")
try:
out = client.text_classification(
text,
model="distilbert-base-uncased-finetuned-sst-2-english",
)
item = out[0]
return {"label": item["label"], "score": float(item["score"])}
except Exception as exc:
raise RuntimeError("inference provider failed") from exc
Trong production, thay except Exception bằng exception cụ thể của SDK nếu bạn biết chắc loại lỗi, thêm timeout, retry có giới hạn và log request id. Đừng log nguyên văn input nếu dữ liệu nhạy cảm; log hash hoặc độ dài.
Checklist trước khi dùng dịch vụ
- Xác nhận model có provider serverless không; nếu không, tính đường dedicated hoặc self-host.
- Kiểm tra license và điều khoản của provider, không chỉ license trên model card.
- Đo cold start và p95 latency bằng workload thật, không bằng một request đơn lẻ.
- Đặt timeout, retry có jitter và xử lý 429/503 rõ ràng.
- Tính cost per successful task, gồm retry và tỷ lệ lỗi.
- Giữ token ở backend, tách theo môi trường và có kế hoạch xoay vòng.
Kết luận
Inference Providers là cách nhanh nhất để đưa model từ Hub vào ứng dụng mà không dựng GPU. Inference Endpoints là bước tiếp theo khi bạn cần latency ổn định hoặc private. Self-host là quyết định vận hành, không phải quyết định kỹ thuật đơn thuần: nó chỉ thắng khi utilization đủ cao hoặc compliance buộc bạn giữ dữ liệu.
Trước khi gọi API, hãy chắc bạn đã chọn đúng model và đọc đúng model card: Cách tìm và sử dụng mô hình trên Hugging Face. Nếu cần chạy thử local trước, xem Bắt đầu với các mô hình Hugging Face.
