Bạn hạ temperature xuống 0, chạy cùng một prompt mười lần, và vẫn nhận mười câu trả lời hơi khác nhau. Không phải API hỏng: temperature chỉ là một núm chỉnh trên phân phối xác suất, không phải công tắc biến mô hình thành hàm tất định. Bài này nói rõ ba nhóm tham số hay bị chỉnh lẫn nhau — temperature, top-p và các hình phạt lặp — thực sự làm gì, khi nào phải hạ chúng cho agent, và phần nào chúng không kiểm soát được.
Mục lục
Cập nhật 2026: phần điều khiển đã chuyển sang effort
- Mô hình reasoning có thang riêng: OpenAI
reasoning.effortnhậnlow|medium|high|xhigh|max(Sol mặc địnhmedium); Gemini 4 Argon nhậnlow|medium|high. - Claude 4.7 trở lên bỏ
budget_tokensthủ công: gửi tham số đó bị trả 400. Dùngthinking:{"type":"adaptive"}cộngoutput_config:{"effort":...}. - Reasoning token được tính theo giá output. Chỉnh temperature không làm hóa đơn nhỏ đi; giảm effort thì có.
- Astra và Sol chỉ gọi tool qua Responses API. Chat Completions vẫn dùng được cho việc sinh văn bản không tool.
Một bước sinh token diễn ra như thế nào
Mô hình không “viết câu”. Mỗi bước nó nhận toàn bộ token đã có và trả về một vector logit cho mọi token trong từ vựng — vài chục nghìn đến vài trăm nghìn chiều. Softmax biến vector đó thành phân phối xác suất, một token được bốc ra, nối vào chuỗi, và vòng lặp chạy tiếp đến token kết thúc.
Ba nhóm tham số can thiệp vào đúng ba chỗ: hình dạng phân phối (temperature), tập token được phép bốc (top-p), và logit của token đã xuất hiện (frequency/presence penalty). Mọi thứ còn lại — kiến thức, khả năng suy luận, độ bám hướng dẫn — đến từ prompt, tool và mô hình, không từ ba con số này.
Một điểm dễ bỏ qua: một lượt xử lý của agent có thể là ba request nối tiếp — planner, tool call, tổng hợp. Temperature áp cho từng bước sinh, không áp cho cả bài, nên cùng một cấu hình có thể cho kế hoạch ổn nhưng câu trả lời cuối lại lệch.
Temperature: làm phẳng hay làm nhọn phân phối
Temperature chia logit cho T trước khi qua softmax: P(i) = exp(l_i / T) / Σ exp(l_j / T). Với T < 1, chênh lệch giữa logit cao và thấp bị khuếch đại, phân phối nhọn lại, token đứng đầu gần như chắc chắn thắng. Với T > 1, phân phối phẳng ra, các token hạng hai hạng ba có cơ hội thật. Với T = 0, hầu hết implementation trượt sang argmax, tức luôn lấy token có logit cao nhất.
Không cần nhớ công thức, chỉ cần nhớ chiều: T thấp là ít lựa chọn, T cao là nhiều lựa chọn.
Cho agent, mặc định nên là vùng thấp — không phải vì “agent cần chính xác” một cách cảm tính, mà vì vòng lặp khuếch đại sai số. Một bước có 2% khả năng chọn token sai nghe nhỏ; qua hai mươi bước, xác suất ít nhất một bước lệch đủ lớn để kéo cả trajectory đi sai hướng. Ở tác vụ một lượt như tóm tắt, sai số đó chìm đi; ở tác vụ mười bước có gọi tool, nó thành lỗi nhìn thấy được.
Top-p: cắt đuôi phân phối
Top-p (nucleus sampling) không co giãn phân phối. Nó sắp xếp token theo xác suất giảm dần, cộng dồn cho đến khi đạt ngưỡng p, rồi chỉ bốc trong tập đó và chuẩn hoá lại. top_p = 0.9 nghĩa là giữ nhóm token nhỏ nhất mà tổng xác suất phủ 90%, bỏ phần đuôi còn lại. top_p = 1.0 nghĩa là giữ toàn bộ từ vựng, tức không can thiệp.
Điểm mạnh của top-p là kích thước tập lấy mẫu tự co theo độ bất định của bước. Ngay sau dấu { trong JSON, một token chiếm gần hết xác suất và nucleus thu lại còn vài token; ở câu mở đầu đoạn văn, nucleus rộng ra. Temperature không có tính chất này: nó phóng đại hoặc thu nhỏ toàn bộ phân phối như nhau ở mọi bước.
Vì vậy nhiều người thấy top-p “dễ chịu” hơn temperature khi viết văn bản dài: nó tự siết ở chỗ cần siết. Nhưng với agent, top-p thấp cũng hại như temperature thấp: nó cắt mất token hiếm mà schema hoặc tên tool đôi khi cần, và một tên field không phổ biến vẫn có thể nằm ngoài nucleus nếu p quá chặt.
Top-p và temperature: chọn một, đừng chỉnh cả hai
Hai tham số không loại trừ nhau về toán học nhưng chồng lên nhau về vận hành: phần lớn API áp temperature trước rồi lọc top-p (hoặc ngược lại), nên đặt cả hai ở giá trị “có tác dụng” sẽ khiến bạn không biết cái nào gây ra thay đổi.
Quy tắc thực dụng: giữ top-p ở 1.0 và chỉnh temperature, hoặc giữ temperature ở mặc định của model và chỉnh top-p. Đừng đặt temperature=0.7 cộng top_p=0.8 rồi tự hỏi vì sao đầu ra khó tái lập. Với agent, tôi khuyên mặc định top_p = 1.0, temperature thấp, và ghi cả hai vào log cấu hình để lần sau còn đối chiếu.
Top-k (giữ đúng k token) là họ hàng thứ ba của top-p và thường có trong engine tự host như vLLM hay llama.cpp, không có trong API của các nhà cung cấp lớn. Đổi từ API sang self-host là đổi luôn bộ tham số sampling, nên phải có eval riêng cho từng môi trường.
Frequency và presence penalty: khi nào chúng phá agent
Frequency penalty trừ logit của một token tỉ lệ với số lần nó đã xuất hiện. Presence penalty trừ một lượng cố định ngay khi token đã xuất hiện ít nhất một lần. Cả hai nhận giá trị quanh 0 đến 2; 0 là tắt. Về trực giác: frequency chống lặp từ, presence chống quay lại chủ đề đã nói.
Với văn bản quảng cáo hoặc brainstorm, presence penalty 0.3–0.5 giúp agent không quẩn quanh một ý. Với agent làm việc với máy, chúng thường gây hại nhiều hơn giúp: cấu trúc lặp là đặc điểm của output máy đọc được. Một object JSON mười field thì tên field, dấu ngoặc, các khoá "type" và "arguments" lặp lại liên tục; penalty làm giảm xác suất của chính những token mà schema cần, và mô hình bắt đầu bịa khoá mới hoặc đóng ngoặc sớm.
Code cũng vậy: i, return, self lặp lại là bình thường và đúng. Đặt frequency penalty 0.5 ở tác vụ sinh code là tự tay tạo lỗi. Với tác vụ suy luận, mô hình có thể lặp một cụm như “kiểm tra lại” như phần của quy trình; phạt nó có thể làm đứt mạch lập luận.
Nếu agent kẹt trong vòng lặp từ, nguyên nhân thường là context bị nhồi cùng nội dung hoặc stop condition sai, không phải thiếu penalty. Sửa đúng chỗ: stop sequence, giới hạn số bước, phát hiện lặp ở tầng ứng dụng, nén context. Bật penalty để che triệu chứng chỉ đổi kiểu lỗi từ “lặp” sang “sai schema”.
Bảng cấu hình khởi điểm cho tác vụ agent
| Tác vụ | Temperature / top-p | Penalty |
|---|---|---|
| Trích xuất, điền form, chuẩn hoá dữ liệu | 0–0.2 / 1.0 | 0 |
| Gọi tool, lập kế hoạch, chọn route | 0–0.2 / 1.0 | 0 |
| Tóm tắt có dữ liệu nguồn | 0.2–0.4 / 1.0 | 0 |
| Viết nội dung, email, mô tả sản phẩm | 0.6–0.8 / 0.95 | 0 |
| Brainstorm ý tưởng, đặt tên | 0.9–1.0 / 0.95–1.0 | presence 0.3–0.5 |
Đây là điểm khởi đầu để chạy eval, không phải chân lý. Mỗi model phản ứng khác nhau, và cùng một model có thể đổi hành vi sau một bản cập nhật phía nhà cung cấp mà ID model không đổi.
Code: quét tham số và ghi lại những gì thực sự chạy
# File: eval_sampling.py — openai 3.46.0
from openai import OpenAI
client = OpenAI()
def run(prompt: str, temperature: float, top_p: float = 1.0, freq: float = 0.0) -> str:
r = client.chat.completions.create(
model="gpt-6-luna", # $0.10/$0.50 per 1M — đủ rẻ để quét nhiều lần
messages=[{"role": "user", "content": prompt}],
temperature=temperature,
top_p=top_p,
frequency_penalty=freq,
)
print({"t": temperature, "top_p": top_p, "out_tokens": r.usage.completion_tokens})
return r.choices[0].message.content
prompt = "Liệt kê 5 cách đặt tên cho hàm parse_config, mỗi cách một dòng."
for t in (0.0, 0.2, 0.7, 1.0):
print(f"--- T={t} ---")
print(run(prompt, t)[:300])
Chạy lặp mỗi cấu hình năm lần và đếm số biến thể khác nhau ở đầu ra. Nếu T = 0 vẫn ra năm kết quả khác nhau, bạn đang thấy giới hạn tất định của hạ tầng, không phải lỗi cấu hình. Nếu T = 0.7 ra kết quả gần như trùng nhau, model đang bỏ qua tham số — chuyện thường gặp với model reasoning.
Mô hình reasoning: tham số sampling không còn là nơi điều khiển
Với model reasoning, phần lớn “suy nghĩ” diễn ra trong token suy luận, và những token đó cũng được sinh theo phân phối. Nhiều API vì vậy giảm vai trò của temperature/top-p, hoặc bỏ qua chúng khi reasoning bật. Bạn nên kiểm tra bằng thực nghiệm thay vì tin vào tài liệu: chạy mười lần ở T = 0 và T = 1, so sánh độ tản của kết quả cuối.
Núm điều khiển thật ở đây là effort và ngân sách suy luận. OpenAI cho low đến max; Gemini 4 Argon cho ba mức; Claude 5.x dùng adaptive thinking kèm effort. Hạ effort thường làm đầu ra ngắn và rẻ hơn rõ rệt, trong khi hạ temperature có thể không thay đổi gì về chi phí. Với agent có ngân sách, effort là biến cần đưa vào eval đầu tiên.
Effort thấp cũng đổi kiểu lỗi: cùng một prompt, high có thể sai vì tính nhầm ở bước cuối, còn low sai vì bỏ qua một ràng buộc — đo trên bộ task thật, đừng đánh giá bằng vài ví dụ.
Structured output vẫn phải validate
Schema-constrained decoding bảo đảm cú pháp, không bảo đảm ngữ nghĩa: enum đúng nhưng chọn sai giá trị, field đủ nhưng rỗng, ngày đúng định dạng nhưng sai ngày. Agent tiêu thụ output đó rồi gọi tool thật, nên validate không phải thủ tục cho đẹp.
# File: validate_route.py — openai 3.46.0, pydantic 2.x
from pydantic import BaseModel, Field, ValidationError
from openai import OpenAI
class Route(BaseModel):
tool: str
args: dict[str, str] = Field(default_factory=dict)
confidence: float
client = OpenAI()
def plan(question: str) -> Route | None:
r = client.responses.create(
model="gpt-6.1-sol",
input=[{"role": "user", "content": question}],
text={"format": {"type": "json_schema", "name": "route",
"schema": Route.model_json_schema()}},
)
raw = r.output_text
try:
return Route.model_validate_json(raw)
except ValidationError as err:
log_rejected(question, raw, err) # log rồi mới quyết định retry
return None
Đừng retry mù khi schema fail. Phân loại lỗi trước: sai cú pháp, thiếu field bắt buộc, giá trị ngoài enum, hay số liệu không khớp nguồn. Ba loại đầu có thể retry một lần với thông điệp sửa lỗi; loại cuối phải chặn và chuyển cho người hoặc tool kiểm tra lại.
Giới hạn của tính tái lập
Tất định là mục tiêu, không phải thuộc tính sẵn có. Bốn nguồn phi tất định: sampling (bạn chỉnh được), phép toán song song trên GPU (bạn không chỉnh được từ API), nhà cung cấp cập nhật trọng số sau cùng một model ID, và prompt cache làm đổi đường tính toán.
Muốn so sánh được, cố định những gì cố định được: model ID đầy đủ, temperature, top-p, effort, seed nếu API hỗ trợ, phiên bản SDK và ngày chạy — tất cả vào metadata của lần eval. Khi kết quả nhảy, bạn cần biết nó nhảy vì prompt mới hay vì model phía sau đã đổi.
Với agent, đo phân bố chứ đừng đo một lần chạy: 20 lần cùng task, báo cáo tỉ lệ thành công, p50/p95 latency và cost per task.
Anti-pattern thường gặp
- Đặt temperature 0 rồi kỳ vọng tất định tuyệt đối. Hạ T giúp giảm tản, nhưng không xoá phi tất định của hạ tầng và của model reasoning.
- Chỉnh cả temperature và top-p cùng lúc. Không tách được biến, không biết cái nào có tác dụng.
- Bật penalty để chữa lặp. Thường làm hỏng JSON hoặc code; sửa bằng stop sequence và loop detection.
- Copy cấu hình sampling của API sang self-host. Engine tự host có thêm top-k, min-p, repetition penalty với ngữ nghĩa khác.
- Không log tham số. Ba tháng sau bạn không tái lập được thí nghiệm, và không quy được lỗi cho cấu hình nào.
Nhìn sang 2027
Hướng đi khá rõ: với model reasoning, effort và ngân sách suy luận là núm chính; temperature thu hẹp thành tham số cho tác vụ sáng tạo thuần. Còn tất định vẫn là bài toán hạ tầng, không phải bài toán tham số.
Checklist trước khi chốt cấu hình
- Chọn một tham số để chỉnh (temperature hoặc top-p), tham số kia để mặc định.
- Chạy 5–20 lần mỗi cấu hình trên task thật, so sánh tản đầu ra chứ không chỉ một ví dụ.
- Kiểm tra model có thực sự phản ứng với tham số hay đang bỏ qua khi reasoning bật.
- Đặt frequency/presence penalty về 0 cho mọi tác vụ sinh JSON hoặc code.
- Validate output bằng schema ở tầng ứng dụng trước khi tool được gọi.
- Log model ID, tham số, effort, SDK version và ngày chạy vào metadata eval.
Đọc tiếp: cách chọn LLM cho suy luận và lập kế hoạch, viết prompt hiệu quả cho tác vụ agent, và định giá theo token để biết phần nào của cấu hình này thực sự đắt.
