Rào chắn đạo đức không phải một bộ lọc đặt trước cửa ra. Nó là ba lớp khác nhau: dữ liệu bạn cho agent đọc, quyền bạn cho agent hành động, và cách bạn hiển thị hoặc thực thi đầu ra. Gộp cả ba thành một “moderation API” là cách nhanh nhất để vừa rò rỉ dữ liệu vừa giữ nguyên lỗ hổng leo thang quyền.
Cập nhật 2026.
- Từ 2/8/2026, phần lớn nghĩa vụ của EU AI Act đã áp dụng, gồm Điều 50 về minh bạch; một số nghĩa vụ đánh dấu nội dung tổng hợp bị lùi tới 2/12/2026.
- OpenAI có
omni-moderation-latestmiễn phí, nhận text và image, không nhận audio; ngưỡng vẫn do bạn đặt. - OWASP xếp rò rỉ thông tin nhạy cảm ở LLM02 và xử lý đầu ra sai ở LLM05 — hai lỗi thường gặp ở agent có tool.
- Redaction phải chạy ở cả input, trace và bộ nhớ; che dữ liệu lúc đọc log là quá muộn.
Mục lục
Thiên vị đến từ đâu
Với một chatbot, thiên vị biểu hiện trong văn bản. Với agent, thiên vị biểu hiện trong hành động: ai được xếp hạng cao hơn, ticket nào được ưu tiên, ứng viên nào bị loại, giao dịch nào bị giữ lại để kiểm tra. Hậu quả không dừng ở câu trả lời.
Có bốn nguồn chính:
- Dữ liệu huấn luyện: mô hình học các định kiến xã hội có trong văn bản, rồi tái tạo chúng khi sinh.
- Corpus truy xuất: RAG chỉ tốt bằng tài liệu bạn nạp. Nếu knowledge base nghiêng về một nhóm, agent sẽ trích dẫn và hành động theo hướng đó.
- Cách đặt prompt và ví dụ: few-shot examples, thứ tự lựa chọn, và tiêu chí xếp hạng đều mang thiên vị của người viết.
- Vòng phản hồi: agent đề xuất, con người duyệt, kết quả quay lại làm dữ liệu huấn luyện. Sai lệch nhỏ được khuếch đại theo thời gian.
Cách kiểm tra thực dụng là cặp đối chứng: giữ nguyên yêu cầu, chỉ đổi một thuộc tính không liên quan (tên, giới tính, vùng miền), rồi đo chênh lệch trong kết quả hoặc hành động. Chạy trên nhiều lát cắt nhân khẩu học và báo cáo cả chênh lệch trung bình lẫn đuôi. Một con số trung bình đẹp có thể che một nhóm bị đối xử tệ.
Rò rỉ dữ liệu: năm điểm chảy
Agent chạm vào nhiều lớp dữ liệu hơn chatbot. Mỗi lớp cần một biện pháp riêng, và biện pháp phải nằm ở nơi dữ liệu thực sự đi qua.
| Điểm chảy | Rủi ro | Kiểm soát |
|---|---|---|
| Input | Người dùng dán PII hoặc secret vào chat | Redact trước khi gọi model; giới hạn trường |
| Truy xuất | Chunk thuộc tenant khác lọt vào context | Lọc ACL/metadata ở query, không lọc sau |
| Tool args | Agent gửi dữ liệu nhạy cảm ra ngoài | Allowlist đích, tối thiểu hóa tham số |
| Bộ nhớ | Ký ức cũ bị đọc lại bởi phiên khác | Namespace theo tenant, TTL, xóa theo yêu cầu |
| Trace/log | Prompt và tool output chứa PII/secret | Redact lúc ghi, không lúc đọc |
Hai điểm hay bị bỏ sót. Thứ nhất, kiểm soát truy cập retrieval phải chạy ở tầng query: nếu vector database trả về mọi chunk rồi mới lọc trong prompt, dữ liệu đã đi vào context và có thể bị model lặp lại. Thứ hai, log là nơi dữ liệu sống lâu nhất. Một trace đầy đủ giúp debug, nhưng nếu chứa nguyên văn email và số điện thoại thì nó là một bản sao rủi ro. Hãy redact trước khi ghi và giữ khóa ánh xạ ở nơi có kiểm soát truy cập.
Semantic cache thêm một điểm chảy thứ sáu: nếu cache khóa theo câu hỏi mà không theo tenant, một câu trả lời có thể bị phục vụ cho người khác. Khóa phải gồm tenant, model, phiên bản prompt và tập tool; và không bao giờ cache câu trả lời phụ thuộc quyền hoặc dữ liệu cá nhân.
Đầu ra không an toàn: nội dung và hành động
Đầu ra của agent là đầu vào của một hệ thống khác. Đây là lỗi LLM05: xử lý đầu ra sai. Có hai nhánh.
Nhánh hiển thị. Nếu bạn render markdown hoặc HTML do model sinh ra, hãy escape trước khi render. Một thẻ hay một liên kết do model tạo ra không được chạy với quyền của ứng dụng. Dùng sanitizer cho markdown, không cho phép HTML thô, và đặt CSP như một lớp phòng thủ thứ hai. Đừng “xóa thẻ” bằng regex; đó là trò chơi thua.
Nhánh thực thi. Nếu đầu ra đi vào SQL, shell, URL fetch, hoặc template, hãy dùng API an toàn thay vì nối chuỗi: tham số hóa query, truyền argv thay vì shell, allowlist scheme và host cho URL, và không bao giờ gọi eval trên văn bản model. Encode trước khi render hoặc execute, đúng thứ tự đó.
Một điểm tinh tế: “an toàn” không đồng nghĩa với “đúng”. Một câu trả lời không xúc phạm vẫn có thể là thông tin sai (LLM09). Với agent, sai sự thật cộng với quyền hành động là tổ hợp tệ nhất. Hãy yêu cầu trích dẫn nguồn cho các quyết định có hậu quả, và kiểm tra nguồn đó có thật sự tồn tại.
Moderation không phải authorization
Đây là lẫn lộn phổ biến nhất khi thiết kế guardrail. Moderation trả lời câu hỏi “nội dung này có được phép không?”. Authorization trả lời “người hoặc agent này có được phép làm hành động này không?”. Hai câu hỏi khác nhau, hai bộ máy khác nhau.
| Câu hỏi | Moderation | Authorization |
|---|---|---|
| Bản chất | Phân loại nội dung theo hạng mục | Kiểm tra quyền và phạm vi |
| Đầu vào | Text/image, điểm số theo category | Danh tính, vai trò, tenant, tài nguyên |
| Thất bại điển hình | False negative, ngưỡng sai | Leo thang quyền, nhầm tenant |
Moderation không được cấp quyền cho tool. Authorization không đánh giá được giọng điệu hay nội dung. Bạn cần cả hai, và cần biết lớp nào đang từ chối vì lý do gì. Một lỗi moderation bị báo thành lỗi authorization sẽ khiến người vận hành sửa sai chỗ.
Giám sát của con người
Với quyết định ảnh hưởng đến quyền lợi của người khác — tuyển dụng, tín dụng, bảo hiểm, y tế, xử lý khiếu nại — cần một người có thẩm quyền, có đủ ngữ cảnh, và có khả năng đảo ngược quyết định. Một nút “Approve” không đáp ứng được ba điều đó. Hãy thiết kế hàng đợi review, hiển thị lý do và bằng chứng, cho phép sửa, và ghi lại ai đã quyết định.
Với tác vụ rủi ro thấp, không cần duyệt từng case. Hãy lấy mẫu ngẫu nhiên và mẫu theo rủi ro, đo tỷ lệ sai, và đặt ngưỡng dừng tự động khi tỷ lệ vượt mức. Con người không cần có mặt ở mọi bước, nhưng phải có đường leo thang rõ ràng và kill switch.
EU AI Act: những mốc cần biết
Đây là tóm tắt, không phải tư vấn pháp lý. AI Act có hiệu lực từ 8/2024. Đến 8/2026, phần lớn nghĩa vụ đã áp dụng, trong đó có Điều 50 về minh bạch: người dùng phải biết mình đang tương tác với AI, và nội dung tổng hợp phải được đánh dấu. Một số nghĩa vụ đánh dấu (Điều 50(2)) và các điều cấm liên quan nội dung lạm dụng bị lùi tới 2/12/2026.
Hệ thống rủi ro cao theo Phụ lục III có nghĩa vụ từ 2/12/2027; theo Phụ lục I từ 8/2028. Với agent, điểm cần chú ý không phải nhãn “high-risk” mà là các nghĩa vụ đi kèm: quản lý rủi ro, chất lượng dữ liệu, tài liệu kỹ thuật, logging, giám sát của con người, và minh bạch. Nếu bạn không biết sản phẩm của mình thuộc nhóm nào, hãy hỏi pháp chế trước khi thiết kế kiến trúc dữ liệu.
Một pipeline guardrail tối thiểu
Đoạn mã sau minh họa thứ tự đúng: redact trước khi gọi model, moderate trước khi hiển thị, encode trước khi render. Nó không phải thư viện hoàn chỉnh; nó là khung để bạn thay bằng classifier và policy engine thật.
# File: guardrails.py — redact, moderate, encode
import html, json, os, re, urllib.request
KEY = os.environ["OPENAI_API_KEY"]
PII = [
(re.compile(r"\b[\w.+-]+@[\w-]+\.[\w.]+\b"), "[EMAIL]"),
(re.compile(r"\b0\d{9,10}\b"), "[PHONE]"),
(re.compile(r"\b\d{12}\b"), "[ID]"),
]
def redact(text):
for pattern, tag in PII:
text = pattern.sub(tag, text)
return text
def moderate(text):
body = json.dumps({"model": "omni-moderation-latest", "input": text}).encode()
req = urllib.request.Request(
"https://api.openai.com/v1/moderations",
data=body,
headers={"Authorization": "Bearer " + KEY, "Content-Type": "application/json"},
)
with urllib.request.urlopen(req, timeout=20) as r:
score = max(json.loads(r.read())["results"][0]["category_scores"].values())
return score < 0.2 # ngưỡng do bạn chọn, không phải mặc định của nhà cung cấp
def render(text):
return html.escape(text, quote=True)
Ba lưu ý khi dùng thật. Regex PII chỉ bắt mẫu rõ ràng; tên người, địa chỉ, và mã nội bộ cần NER hoặc classifier. Moderation của OpenAI không nhận audio, nên luồng voice cần lớp riêng. Và ngưỡng 0,2 trong ví dụ là lựa chọn của bạn, không phải khuyến nghị chính thức; hãy hiệu chuẩn trên dữ liệu của bạn và đo cả false positive.
Đánh giá và kiểm toán
Một guardrail không có eval là một niềm tin. Tối thiểu, hãy đo bốn thứ: tỷ lệ chặn đúng, tỷ lệ chặn nhầm, tỷ lệ lọt, và tác động lên độ trễ. Với thiên vị, dùng cặp đối chứng và báo cáo theo lát cắt. Với rò rỉ, chạy bộ test chứa PII tổng hợp và kiểm tra nó có xuất hiện trong output, trace, và cache hay không.
Các công cụ hiện có: Ragas 0.4.3 cho metric RAG, DeepEval 4.3.3 cho test kiểu pytest, promptfoo 0.125.1 cho eval và red team trong CI, Langfuse 5.2.0 cho trace và đánh giá. Nếu dùng LLM làm giám khảo, nhớ các thiên lệch vị trí, độ dài, tự ưu tiên, và độ nhạy prompt; hiệu chuẩn trên người chấm và báo cáo độ đồng thuận. Không dùng judge làm cổng duy nhất cho quyết định an toàn.
Kiểm toán không chỉ là xem log. Hãy chọn một mẫu quyết định, dựng lại đường đi từ input đến tool call đến output, và kiểm tra ba câu: dữ liệu nào đã được đọc, quyền nào đã được dùng, và ai đã duyệt. Nếu không dựng lại được, bạn chưa có audit trail.
Checklist
- Redact PII ở input, tool args, bộ nhớ và trace — trước khi ghi, không sau.
- Lọc quyền truy cập retrieval ở query, không trong prompt.
- Escape trước khi render; tham số hóa trước khi execute.
- Moderation và authorization là hai lớp riêng, có log lý do riêng.
- Quyết định ảnh hưởng quyền lợi phải có người có thẩm quyền review và đảo ngược được.
- Đo chặn đúng, chặn nhầm, lọt, và độ trễ; chạy red team trong CI.
Đọc tiếp: Bảo mật Agent AI: Prompt Injection và Sandboxing, Giám sát Agent AI với Langfuse, Helicone và OpenLLMetry, Kiểm thử Agent AI: Unit, Tích hợp và Con người trong Vòng lặp, và Đánh giá Agent AI bằng LangSmith, Ragas và DeepEval.
