AI Engineer Roadmap: Thiên vị, Công bằng và Quyền riêng tư trong AI – Tại Sao Mọi Kỹ Sư Nên Quan Tâm

Một model đạt 95% accuracy toàn bộ vẫn có thể sai 40% trên một nhóm người dùng cụ thể. Đó không phải chuyện đạo đức trừu tượng; đó là bug chất lượng dữ liệu và chất lượng đánh giá. Thiên vị, công bằng và quyền riêng tư là ba ràng buộc kỹ thuật mà kỹ sư AI phải đo, giống như latency hay error rate.

Bài này đi từ nguồn gốc thiên vị đến cách đo, cách giảm thiểu, rồi sang quyền riêng tư trong thời đại prompt và agent. Cuối bài có checklist và code audit nhóm tối thiểu. Mục tiêu là thực dụng: biết chỗ nào có thể sai, cách chứng minh, và khi nào phải để con người quyết định.

Cập nhật 2026: tuân thủ đã có mốc thời gian cụ thể

  • EU AI Act: Điều 50 (minh bạch) áp dụng từ 2026-08-02. Nghĩa vụ công bố việc dùng AI, gắn nhãn nội dung tổng hợp và một số yêu cầu minh bạch khác bắt đầu có hiệu lực. Mốc đánh dấu bổ sung bị lùi tới 2026-12-02.
  • High-risk: Annex III từ 2027-12-02, Annex I từ 2028-08-02. Thời gian chuẩn bị dài hơn nhưng không vô hạn.
  • Agent làm dữ liệu cá nhân đi xa hơn. Prompt, tool result, trace và cache đều có thể chứa PII; quyền riêng tư không còn chỉ là chuyện database.
  • OWASP LLM02 và LLM09 vẫn là rủi ro chính. Sensitive Information Disclosure và Misinformation là hai mặt của cùng một vấn đề: model nói quá tự tin về thứ nó không được phép hoặc không nên biết.

1. Thiên vị đến từ đâu?

Thiên vị không phải một lỗi duy nhất. Nó vào hệ thống qua bốn cửa chính, và mỗi cửa cần một cách kiểm tra khác nhau.

1.1. Dữ liệu

Dữ liệu lịch sử phản ánh bất bình đẳng của quá khứ. Một mô hình tuyển dụng học từ hồ sơ của ngành do một giới chiếm ưu thế sẽ tái tạo ưu thế đó, ngay cả khi đã bỏ cột giới tính. Các biến thay thế như tên, trường học, mã vùng mang thông tin về nhóm nhạy cảm. Thêm vào đó là selection bias, reporting bias và historical bias — nhãn cũ khóa cứng định kiến cũ.

1.2. Nhãn

Nhãn là quyết định của con người, không phải chân lý. Định nghĩa mơ hồ, annotator khác nhau, hoặc gộp ý kiến thiểu số thành một nhãn đều tạo thiên vị. Nhãn do LLM sinh ra còn nguy hiểm hơn vì sai số teacher được khuếch đại. Trước khi train, kiểm tra tỷ lệ đồng thuận và định nghĩa từng lớp bằng ví dụ.

1.3. Mô hình và mục tiêu

Một mô hình tối ưu accuracy tổng thể có thể hy sinh nhóm nhỏ. Ngưỡng quyết định đặt theo toàn bộ dân số tạo ra TPR/FPR khác nhau giữa các nhóm. Cách mã hóa feature, xử lý missing value và chọn loss đều tạo khác biệt, nên phải đo theo nhóm.

1.4. Prompt và cách dùng

Với LLM, thiên vị còn đến từ prompt: ngôn ngữ, ví dụ few-shot, thứ tự lựa chọn, cách đặt câu hỏi. Một prompt tiếng Anh với ví dụ toàn tên phương Tây có thể kém với tên Việt hoặc tiếng Việt không dấu. Một rubric ưu tiên văn phong trang trọng có thể phạt phương ngữ. Prompt không trung lập.

1.5. Vòng phản hồi

Khi hệ thống đề xuất nội dung và người dùng chỉ tương tác với nội dung đó, dữ liệu mới bị thiên lệch theo chính mô hình. Feedback loop này khiến model ngày càng giống đề xuất ban đầu. Giữ một mẫu ngẫu nhiên và một mẫu đối chứng để đo dịch chuyển.

2. Công bằng: chọn định nghĩa trước khi chọn metric

“Công bằng” không có một định nghĩa duy nhất. Bốn định nghĩa thường gặp, và chúng không tương đương:

  • Demographic parity: tỷ lệ được chấp nhận giống nhau giữa các nhóm: P(Ŷ=1 | A=a) = P(Ŷ=1 | A=b). Phù hợp khi cơ hội tiếp cận là mục tiêu, nhưng có thể buộc thay đổi quyết định cá nhân.
  • Equal opportunity: trong số người thực sự đủ điều kiện, tỷ lệ được chấp nhận giống nhau: P(Ŷ=1 | Y=1, A=a) = P(Ŷ=1 | Y=1, A=b). Quan tâm false negative của nhóm yếu thế.
  • Equalized odds: cả TPR và FPR giống nhau giữa các nhóm; chặt hơn vì yêu cầu cân bằng cả hai loại lỗi.
  • Calibration: nếu model nói xác suất 0,8 thì tỷ lệ đúng thực tế xấp xỉ 0,8 trong từng nhóm. Quan trọng khi điểm số được dùng như xác suất.
  • Individual fairness: hai cá nhân tương tự nhận quyết định tương tự. Khó đo vì “tương tự” phụ thuộc metric bạn chọn.

Khi tỷ lệ nền của các nhóm khác nhau, không thể đồng thời đạt demographic parity, equal opportunity và calibration một cách hoàn hảo (trừ trường hợp tầm thường). Đây là trade-off toán học, không phải lỗi triển khai. Việc của kỹ sư là làm rõ trade-off với người sở hữu sản phẩm và người chịu ảnh hưởng, rồi chọn metric phù hợp với loại quyết định.

Ví dụ: hệ thống duyệt tín dụng ưu tiên equal opportunity hoặc equalized odds để tránh từ chối oan một nhóm; hệ thống quảng cáo tuyển dụng có thể quan tâm demographic parity ở mức hiển thị; hệ thống chấm điểm rủi ro nên kiểm tra calibration trước khi dùng điểm như xác suất.

3. Đo thế nào để không tự lừa mình

Đo công bằng là đo trên các nhóm con, với đủ mẫu và khoảng tin cậy. Ba lỗi thường gặp: gộp nhóm để có mẫu lớn, bỏ qua khoảng tin cậy, và so sánh quá nhiều lát cắt mà không điều chỉnh multiple comparisons.

  • Chia lát theo tiêu chí có ý nghĩa nghiệp vụ. Nhóm nhạy cảm, ngôn ngữ, vùng, loại hồ sơ, kênh đến. Đừng chia tràn lan đến mức mỗi ô còn vài mẫu.
  • Báo khoảng tin cậy. Một gap 3% trên 20 mẫu là nhiễu, không phải bất công. Dùng bootstrap hoặc công thức cho tỷ lệ.
  • Đo cả lỗi và quyết định. TPR, FPR, precision, selection rate, calibration. Một metric đẹp không che được metric khác xấu.
  • Đo trên dữ liệu đại diện cho triển khai. Test set lịch sử có thể không đại diện cho người dùng hiện tại; theo dõi drift sau khi ship.
  • Bảo vệ nhóm nhỏ. Báo cáo nhóm quá nhỏ có thể tái định danh người; dùng ngưỡng tối thiểu và tổng hợp an toàn.

4. Giảm thiểu: trước, trong, sau

Ba thời điểm can thiệp, mỗi thời điểm có đánh đổi riêng:

  • Pre-processing: làm sạch, tái cân bằng, bỏ proxy, hoặc thêm dữ liệu cho nhóm thiếu. Rẻ và dễ hiểu, nhưng có thể làm mất thông tin thật và không sửa được thiên vị trong mục tiêu.
  • In-processing: thêm ràng buộc công bằng vào loss hoặc tối ưu đa mục tiêu. Hiệu quả hơn nhưng phức tạp, khó debug, và có thể giảm accuracy tổng.
  • Post-processing: điều chỉnh ngưỡng theo nhóm hoặc hiệu chỉnh xác suất. Nhanh, nhưng có thể vi phạm quy định nếu ngưỡng khác nhau bị coi là phân biệt đối xử; cần kiểm tra pháp lý.

Với LLM, thêm ba cách thực dụng: chọn few-shot cân bằng và đa ngôn ngữ; viết rubric rõ thay vì để model tự đoán tiêu chí; và bắt buộc trích dẫn nguồn cho câu trả lời có tính quyết định. Human review là lớp cuối, nhưng phải thiết kế để reviewer thấy bằng chứng, không chỉ thấy kết luận.

5. Quyền riêng tư: prompt và trace cũng là dữ liệu

Một hệ thống AI thu PII ở nhiều nơi: input người dùng, tài liệu tải lên, kết quả tool, log, trace, cache, và đôi khi cả prompt system chứa dữ liệu mẫu. Nếu bạn chỉ bảo vệ database mà không bảo vệ log, bạn vẫn rò rỉ.

  • Tối thiểu hóa: chỉ gửi trường cần thiết cho model; ẩn danh trước khi gửi provider nếu tác vụ không cần danh tính. Không đưa toàn bộ hồ sơ vào prompt chỉ vì context còn chỗ.
  • Mục đích và thời hạn: PII dùng cho tác vụ nào, giữ bao lâu, ai đọc. Đặt TTL cho log/trace; xóa raw prompt sau khi trích xuất tính năng; không giữ “để sau này train” nếu chưa có cơ sở.
  • Vị trí lưu trữ: chọn endpoint region theo yêu cầu residency; kiểm tra nơi provider lưu log và thời hạn. Self-host kiểm soát hơn nhưng phải cấu hình đúng.
  • Cô lập tenant: cache và retrieval phải key theo tenant; không bao giờ trả câu trả lời cache của tenant A cho tenant B. Semantic cache nguy hiểm vì nó khớp “gần đúng”.
  • Không log bí mật: API key, token, số tài khoản không được vào prompt; dùng placeholder và inject ở boundary.
  • Ẩn danh không đủ: re-identification và membership inference vẫn xảy ra với dữ liệu “đã ẩn danh”; tổng hợp, thêm nhiễu hoặc differential privacy khi phù hợp.

OWASP LLM02 Sensitive Information Disclosure bao gồm việc model tiết lộ PII trong context hoặc học thuộc từ training data. LLM07 System Prompt Leakage là đường rò rỉ khác: prompt chứa thông tin nội bộ, endpoint hoặc logic kiểm soát. Cả hai nhắc cùng một nguyên tắc: đừng đặt thứ bạn không muốn lộ vào nơi model có thể nói ra.

6. OWASP LLM09: misinformation không chỉ là hallucination

Misinformation là khi hệ thống đưa ra thông tin sai hoặc không có căn cứ với giọng tự tin. Trong miền có hậu quả (y tế, pháp lý, tài chính, tuyển dụng), đây là rủi ro công bằng: nhóm yếu thế ít có khả năng kiểm chứng hơn nên chịu tác hại nhiều hơn. Giảm thiểu bằng grounding + citation, hiển thị độ bất định, từ chối khi thiếu nguồn và người review cho quyết định quan trọng.

7. EU AI Act: mốc nào ảnh hưởng đến bạn?

Điều 50 áp dụng từ 2026-08-02. Nếu hệ thống tương tác trực tiếp với người dùng, tạo nội dung tổng hợp hoặc deepfake, bạn cần cơ chế công bố và gắn nhãn phù hợp. Mốc đánh dấu bổ sung bị lùi tới 2026-12-02; đừng giả định ngày cũ vẫn đúng.

High-risk Annex III áp dụng từ 2027-12-02, Annex I từ 2028-08-02. Nhóm high-risk có nghĩa vụ quản lý rủi ro, dữ liệu, tài liệu kỹ thuật, giám sát của con người và đánh giá sau triển khai. Bài này chỉ tóm tắt mốc thời gian, không phải tư vấn pháp lý; hãy kiểm tra với bộ phận pháp chế và văn bản hiện hành.

Điều thực dụng: lưu bằng chứng ngay từ bây giờ. Phiên bản model, prompt, dữ liệu eval, kết quả audit công bằng, log người review — nếu không có, bạn không thể chứng minh tuân thủ khi bị hỏi.

8. Human review: thiết kế để không thành rubber stamp

Đưa con người vào vòng quyết định không tự động làm hệ thống công bằng. Reviewer có thể bị automation bias, quá tải, hoặc chỉ thấy kết luận của model. Thiết kế tối thiểu: reviewer thấy input gốc, bằng chứng model dùng, điểm bất định và tiêu chí quyết định; có nút override, lý do override, kênh khiếu nại. Đo tỷ lệ override và disagreement; nếu gần bằng 0, reviewer có thể đang không thực sự kiểm tra.

9. Audit nhóm tối thiểu

# File: audits/fairness.py
from collections import defaultdict

def group_metrics(y_true: list[int], y_pred: list[int], group: list[str]) -> dict:
    buckets = defaultdict(list)
    for truth, pred, name in zip(y_true, y_pred, group):
        buckets[name].append((truth, pred))

    out = {}
    for name, rows in buckets.items():
        n = len(rows)
        selected = sum(pred for _, pred in rows) / n
        positives = [pred for truth, pred in rows if truth == 1]
        tpr = sum(positives) / len(positives) if positives else None
        out[name] = {"n": n, "selection_rate": selected, "tpr": tpr}
    return out

rows = group_metrics(y_true, y_pred, groups)
for name, m in rows.items():
    print(name, m["n"], round(m["selection_rate"], 3), m["tpr"])

Đoạn code chỉ là điểm khởi đầu. Báo cáo phải kèm khoảng tin cậy, định nghĩa nhóm và baseline trước khi kết luận có thiên vị. Gap nhỏ trên mẫu nhỏ chưa chứng minh gì; gap lớn trên mẫu đủ lớn là tín hiệu phải điều tra.

Checklist thực dụng

  • Định nghĩa nhóm nhạy cảm và metric công bằng trước khi train, có người sở hữu sản phẩm đồng ý.
  • Audit dữ liệu: nguồn, thời điểm, selection bias, proxy, tỷ lệ đồng thuận nhãn.
  • Báo cáo metric theo nhóm kèm khoảng tin cậy và ngưỡng mẫu tối thiểu.
  • PII inventory cho input, prompt, log, trace, cache; TTL và access control cho từng nơi.
  • Không cache câu trả lời phụ thuộc quyền hoặc cá nhân hóa; key cache theo tenant.
  • Có human review thật, kênh khiếu nại, log override và đánh giá lại sau drift.

Hướng tới 2027

Quy định sẽ siết dần theo các mốc high-risk, còn kỳ vọng của người dùng sẽ tăng nhanh hơn văn bản pháp luật. Các đội AI sẽ phải coi fairness audit và privacy inventory là một phần của release checklist, giống như test và monitoring. Kỹ sư không cần trở thành luật sư, nhưng cần biết hệ thống của mình thuộc nhóm nào và bằng chứng nào phải lưu.

Bài tiếp theo trong series