Whisper không phải sản phẩm mới, và đó chính là lý do nó vẫn là lựa chọn mặc định cho ASR tự host. Nhưng phần lớn hướng dẫn về nó bỏ qua ba thứ quyết định chất lượng thật: tiền xử lý âm thanh, cách cắt đoạn, và hành vi của model khi gặp im lặng. Bài này đi vào cả ba, đồng thời nói rõ chỗ nào fact base của series không đủ để bạn chốt quyết định.
Một lưu ý ngay từ đầu: Whisper là mô hình mã nguồn mở, không phải một API. Tên model phiên âm của từng nhà cung cấp dịch vụ hosted thay đổi theo thời gian và không nằm trong fact base này. Nếu bạn dùng dịch vụ hosted, hãy đọc trang model của nhà cung cấp đó trước khi viết code; đừng giả định tên model cũ vẫn còn hiệu lực.
Mục lục
Cập nhật 2026
transformers5.22.2 (phát hành 06/11/2026). Bản 5.0.0 ra 26/01/2026 đã chuyển sang PyTorch-only và một backend tokenizer duy nhất — code cũ dựa trên TensorFlow hoặc tokenizer riêng cần sửa.- Whisper vẫn là mô hình mở với các kích thước
tiny,base,small,medium,large-v3; không có bản “2026” mới. - Nhiều provider đã có mô hình audio realtime riêng (ví dụ
gpt-realtime-2.1của OpenAI, audio $32/1M token vào và $64/1M token ra). Đây là mô hình hội thoại realtime, không phải API phiên âm lô — đừng dùng nó cho bài toán phụ đề dài. - Hạ tầng chạy local đã ổn định: vLLM 0.33.0 (yêu cầu CUDA 13.0) và Ollama 0.40.15 là hai lựa chọn phổ biến khi cần phục vụ nhiều request.
Whisper là gì
Whisper là mô hình nhận dạng giọng nói tự động dạng encoder-decoder Transformer, huấn luyện trên khoảng 680.000 giờ audio đa ngôn ngữ thu từ web, theo công bố của OpenAI năm 2022. Đầu vào là mel spectrogram của 30 giây audio; đầu ra là token văn bản, kèm token đặc biệt chỉ ngôn ngữ và tác vụ.
Ba khả năng bạn cần phân biệt rõ:
- Phiên âm — audio → văn bản cùng ngôn ngữ. Đây là đường chính.
- Nhận diện ngôn ngữ — model tự đoán ngôn ngữ; bạn cũng có thể ép bằng tham số.
- Dịch — audio ngôn ngữ bất kỳ → văn bản tiếng Anh. Chỉ một chiều. Đây là chỗ nhiều người hiểu sai và kỳ vọng có thể dịch sang tiếng Việt.
Whisper mạnh ở khả năng chịu tiếng ồn và giọng vùng miền vì dữ liệu huấn luyện rất bẩn và đa dạng. Đó cũng là lý do nó không phải công cụ tốt nhất cho audio sạch, chuyên ngành hẹp — nơi một model fine-tune nhỏ thường thắng.
Tự host hay dùng dịch vụ hosted
Đây là quyết định về vận hành, không phải về chất lượng. Cả hai đường dùng cùng kiến trúc model; khác nhau ở ai giữ audio, ai trả tiền GPU, và ai chịu trách nhiệm khi model phiên âm sai.
| Tiêu chí | Tự host | Hosted |
|---|---|---|
| Dữ liệu audio | Không rời hạ tầng của bạn | Gửi ra ngoài; kiểm tra điều khoản lưu trữ |
| Chi phí biên | Gần như cố định theo GPU | Tuyến tính theo phút hoặc token |
| Độ trễ | Phụ thuộc GPU và hàng đợi của bạn | Phụ thuộc mạng và giới hạn rate |
| Quy mô nhỏ, thất thường | Lãng phí GPU | Phù hợp |
| Khối lượng lớn, đều | Rẻ hơn sau điểm hoà vốn | Chi phí tăng tuyến tính |
Điểm hoà vốn bạn phải tự tính, không có con số chung. Công thức thực dụng: giờ GPU khả dụng mỗi tháng × giá giờ GPU so với số phút audio × đơn giá mỗi phút. Nếu bạn không biết thông lượng thật của mình, hãy chạy 30 phút audio đại diện trên phần cứng mục tiêu và đo — đừng dùng con số “nhanh gấp N lần” từ blog.
Trường hợp thứ ba: self-host nhưng qua API nội bộ
Đây thường là cấu hình tốt nhất cho doanh nghiệp: một service nhỏ bọc Whisper, expose endpoint riêng, các ứng dụng khác gọi vào. Bạn giữ được dữ liệu, vẫn có ranh giới API rõ, và có thể thay model phía sau mà không sửa client. Nhớ đặt giới hạn kích thước file, timeout và hàng đợi — thiếu ba thứ đó, một file 3 giờ sẽ treo worker.
Tiền xử lý và cắt đoạn
Whisper nhận cửa sổ 30 giây. Với file dài, thư viện tự chia và ghép, nhưng cách chia ảnh hưởng trực tiếp đến chất lượng và chi phí. Ba việc nên làm trước khi gọi model:
- Chuẩn hoá định dạng — giải mã về PCM 16 kHz mono. ffmpeg làm được, và gần như mọi lỗi “model nghe kém” bắt đầu từ bước này.
- Cắt theo khoảng lặng (VAD) — chia ở chỗ không có tiếng nói thay vì chia theo phút cố định. Đoạn cắt giữa từ làm model mất ngữ cảnh và tăng khả năng bịa.
- Bỏ đoạn im lặng dài — vì bạn không nên trả tiền cho im lặng, và vì đây là nguồn hallucination lớn nhất.
Về hallucination: Whisper được huấn luyện trên dữ liệu có phụ đề, nên khi gặp im lặng, nhạc nền hoặc tiếng ồn không có lời, nó có thể sinh ra câu văn trôi chảy không hề tồn tại — các câu kết thúc kiểu “cảm ơn đã xem”, hoặc lặp lại đoạn trước. Đây là hành vi đã được ghi nhận rộng rãi, không phải lỗi hiếm.
Cách chặn thực dụng: bật VAD để loại đoạn không có tiếng nói trước khi đưa vào model; tắt cơ chế dùng văn bản đoạn trước làm ngữ cảnh cho đoạn sau (condition_on_previous_text=False trong openai-whisper); và loại bỏ các đoạn có tỉ lệ nén bất thường. Không có cách nào loại bỏ hoàn toàn, nên luôn có bước hậu kiểm: đối chiếu độ dài văn bản với độ dài audio và gắn cờ các đoạn lệch lớn.
Timestamp và nhận diện người nói
Whisper trả timestamp theo segment, không theo từ. Với phụ đề, segment thường đủ. Với tính năng “bấm vào câu để nghe lại”, segment cũng đủ. Với word-level timestamp, bạn cần bước cộng thêm (alignment) hoặc dùng tham số trả word timestamps của thư viện — mức hỗ trợ khác nhau giữa các phiên bản, nên kiểm tra tài liệu của đúng phiên bản bạn pin trước khi thiết kế UI quanh nó.
Speaker diarization là việc riêng. Whisper không phân biệt ai nói gì. Nếu bạn cần “ai nói câu này”, phải chạy một pipeline diarization (ví dụ pyannote.audio) trên cùng audio rồi ghép kết quả theo mốc thời gian. Hai điểm dễ sai khi ghép: diarization và phiên âm có biên đoạn khác nhau, và khi hai người nói chồng tiếng, cả hai đều kém chính xác. Hãy chấp nhận một tỉ lệ gán nhãn sai và cho người dùng sửa được.
Chi phí, độ trễ và quyền riêng tư
Với tự host, chi phí không phải “miễn phí” — nó là GPU, điện, thời gian vận hành. Với hosted, chi phí theo phút hoặc theo token; đơn giá cụ thể phụ thuộc nhà cung cấp và không có trong fact base này. Điều quan trọng là chi phí biên khác nhau: tự host có chi phí cố định cao và biên thấp; hosted có biên cao và cố định thấp. Chọn theo hình dạng lưu lượng của bạn, không theo bảng giá đơn vị.
Độ trễ cũng khác nhau về bản chất. Tự host: độ trễ do hàng đợi của bạn quyết định, và bạn thấy được nó. Hosted: độ trễ gồm mạng, rate limit và thời gian xếp hàng của provider. Với phụ đề gần thời gian thực, cả hai đều cần cắt audio thành đoạn ngắn và chấp nhận sai số; với phiên âm lô (podcast, cuộc họp), độ trễ ít quan trọng hơn nhiều so với chi phí và độ chính xác.
Quyền riêng tư là lý do nhiều đội chọn tự host: audio cuộc họp, cuộc gọi khách hàng, tư vấn y tế không nên rời hạ tầng. Nếu dùng hosted, câu hỏi cần trả lời trước khi ký là: audio lưu bao lâu, có dùng để cải thiện model không, và nhà cung cấp đặt server ở đâu. Các điều khoản này thay đổi theo hợp đồng, nên đừng suy ra từ tên dịch vụ.
Code: hai đường chạy
Đường thứ nhất dùng gói openai-whisper (repo openai/whisper), phù hợp khi bạn muốn kiểm soát tham số và chạy trên một máy:
# File: transcribe_cli.py
import whisper
model = whisper.load_model("large-v3", device="cuda")
result = model.transcribe(
"meeting.mp3",
language="vi", # ép ngôn ngữ, tránh đoán sai
task="transcribe", # "translate" chỉ dịch sang tiếng Anh
condition_on_previous_text=False, # giảm vòng lặp hallucination
verbose=False,
)
for seg in result["segments"]:
print(f"{seg['start']:.2f}-{seg['end']:.2f} {seg['text'].strip()}")
Đường thứ hai dùng transformers, phù hợp khi bạn đã có pipeline Hugging Face hoặc cần đổi model ASR thường xuyên:
# File: transcribe_hf.py
# transformers==5.22.2
from transformers import pipeline
asr = pipeline(
"automatic-speech-recognition",
model="openai/whisper-large-v3",
device=0,
)
result = asr(
"meeting.wav",
generate_kwargs={"language": "vi", "task": "transcribe"},
return_timestamps=True,
)
print(result["text"])
Ba lưu ý về hai đoạn trên. device="cuda" và device=0 giả định có GPU; không có GPU thì vẫn chạy được nhưng chậm hơn nhiều lần. return_timestamps trả mốc theo segment; dạng word-level có thể cần tham số khác và không phải mọi phiên bản đều hỗ trợ giống nhau. Và language="vi" nên ép khi bạn biết ngôn ngữ — bước nhận diện ngôn ngữ tự động là nguồn sai thầm lặng với audio ngắn hoặc có tiếng Anh xen kẽ.
Pitfall
- Đưa file nén trực tiếp vào model. Giải mã và resample trước; bỏ bước này là lãng phí toàn bộ phần sau.
- Chia audio theo phút cố định. Cắt giữa từ, mất ngữ cảnh, tăng hallucination.
- Tin tưởng văn bản khi không có VAD. Đoạn im lặng có thể trả về câu không tồn tại.
- Kỳ vọng dịch sang tiếng Việt. Whisper chỉ dịch sang tiếng Anh; muốn chiều khác thì phiên âm rồi dịch bằng model văn bản.
- Dùng Whisper cho realtime hội thoại. Cần model streaming chuyên dụng và cắt đoạn nhỏ hơn 30 giây.
- Giả định tên model hosted là cố định. Kiểm tra lại trước khi publish; fact base này không có tên model phiên âm hosted.
Khi nào dùng gì
| Nhu cầu | Chọn | Lý do |
|---|---|---|
| Phiên âm lô, dữ liệu nhạy cảm | Whisper tự host (large-v3) |
audio không rời hạ tầng |
| Khối lượng nhỏ, thất thường | Dịch vụ hosted | không phải giữ GPU nhàn rỗi |
| Phụ đề có timestamp | Whisper + segment timestamp | đủ cho UI bấm nghe lại |
| Ai nói gì | Whisper + diarization riêng | Whisper không làm được |
| Hội thoại realtime | Model streaming chuyên dụng | Whisper không thiết kế cho việc này |
| Dịch sang tiếng Việt | Phiên âm + model dịch văn bản | Whisper chỉ dịch sang tiếng Anh |
Nhìn trước 2027
Hai hướng đáng theo dõi. Thứ nhất, ASR streaming ngày càng tách khỏi ASR lô: model hội thoại realtime đang được bán như sản phẩm riêng, với đơn giá theo token audio, nên kiến trúc “một model cho mọi thứ” sẽ khó duy trì. Thứ hai, diarization và word-level alignment đang được đóng gói dần vào pipeline thay vì là bước tự ghép — nghĩa là bạn nên giữ interface rõ giữa “phiên âm” và “gán người nói” ngay từ hôm nay để thay thành phần sau này.
Checklist
- Chuẩn hoá 16 kHz mono trước mọi thứ khác.
- Bật VAD và bỏ đoạn im lặng dài.
- Ép
languagekhi biết ngôn ngữ; ghi lại ngôn ngữ đã ép. - Tắt ngữ cảnh đoạn trước, hoặc giới hạn nó, để giảm vòng lặp.
- Kiểm tra hậu kỳ: độ dài văn bản so với độ dài audio, gắn cờ đoạn lệch.
- Nếu cần “ai nói gì”, tách diarization thành bước riêng có kiểm thử.
