Tìm hiểu về Bộ nhớ của Agent AI: Ngắn Hạn và Dài Hạn

Bộ nhớ không làm agent thông minh hơn. Nó làm agent nhất quán hơn — và nếu thiếu scope, TTL và thứ tự ưu tiên, nó làm agent sai một cách nhất quán. Đây là lý do nhiều agent “có memory” trông ấn tượng trong demo nhưng tệ hơn agent không memory khi chạy thật vài tuần.

Bài này tách bộ nhớ thành hai tầng — cửa sổ ngữ cảnh và kho ngoài — rồi đi vào phần khó: ghi gì, đọc thế nào, quên khi nào, và cô lập theo tenant ra sao.

Cập nhật 2026: bộ nhớ đã thành API, nhưng chính sách vẫn của bạn

  • Cửa sổ ngữ cảnh lớn hơn, nhưng working set vẫn phải nhỏ. Các model frontier đều ở mức 1M token; dù vậy, dùng 5–15% cửa sổ vẫn thường cho kết quả tốt hơn và rẻ hơn. OpenAI tính 2x input và 1,5x output trên 272K token, xAI 2x từ 200K — xem bài cửa sổ ngữ cảnh.
  • Framework đã có memory như một primitive. CrewAI 1.15.37 gộp thành một class Memory với scope/slice, mặc định LanceDB và embedding 3072 chiều; LangGraph 1.2.20 có checkpointer + store; OpenAI Agents SDK 0.24.0 có session backend SQLite, Redis, SQLAlchemy, Mongo, Dapr. Bạn không còn phải tự viết tầng lưu, nhưng vẫn phải tự quyết định chính sách.
  • Rủi ro riêng tư là rủi ro hạng nhất. OWASP LLM Top 10 hiện hành xếp rò rỉ thông tin nhạy cảm (LLM02) và điểm yếu vector/embedding (LLM08) ngay trong danh sách; memory là nơi cả hai dễ xảy ra nhất.

Hai tầng, một ranh giới mờ

Ngắn hạn: context window Dài hạn: kho ngoài
Vai trò Bộ nhớ làm việc cho một request hoặc một task Kho bền vững qua nhiều phiên, nhiều task
Dung lượng Trần cứng theo model (500K–1M, thực dùng nhỏ hơn nhiều) GB–TB, giới hạn bởi ngân sách và chính sách xóa
Độ trễ 0, vì đã nằm trong prompt Thêm một lượt embed + query; phụ thuộc mạng và index
Chi phí Trả mỗi request theo token, gồm cả phần lặp lại Trả cho lưu trữ, index và truy vấn
Cách hỏng Tràn, pha loãng, mất thông tin giữa task Truy xuất sai, dữ liệu cũ, rò rỉ chéo tenant

Ranh giới không tuyệt đối: mọi thứ trong kho ngoài chỉ có tác dụng khi được đưa vào context. Nói cách khác, “bộ nhớ dài hạn” là một quy trình chọn lọc và chèn, không phải một database tự động.

Ngắn hạn: context là RAM, không phải ổ cứng

Context của một agent gồm bốn vùng: system prompt và tool schema, các lượt gần nhất, trạng thái task (kế hoạch, bước đã xong, kết quả tool), và memory được truy xuất. Mỗi vùng có tốc độ thay đổi khác nhau. System prompt và tool schema phải byte-stable để cache prefix không vỡ; memory và kết quả tool thay đổi liên tục nên đặt ở cuối.

Bốn kỹ thuật nén, rẻ đến đắt:

  • Bỏ thứ không bao giờ cần lại. Log debug, lời chào, kết quả tool đã xử lý xong. Miễn phí và hiệu quả nhất.
  • Tóm tắt lịch sử theo cửa sổ trượt. Giữ N lượt gần nhất nguyên văn; các lượt cũ thay bằng bản tóm tắt có cấu trúc: quyết định, dữ kiện, việc còn mở. Tóm tắt phải ổn định, nếu không cache lại vỡ.
  • Đưa state ra ngoài. Ghi kế hoạch và kết quả trung gian vào file/DB, retrieve khi cần. Đây chính là bộ nhớ dài hạn làm đúng việc của nó.
  • Cô lập theo nhánh. Subagent nhận context riêng và trả về kết quả đã nén, thay vì mang cả transcript về context chính.

Điểm cần nhấn: context không phải nơi lưu sự thật lâu dài. Nếu một dữ kiện phải sống qua nhiều phiên, nó phải nằm trong kho ngoài có schema và TTL, không phải trong một chuỗi tin nhắn may mắn còn sót lại.

Dài hạn: ba loại ký ức, ba cách lưu

Loại Ví dụ Cách lưu và truy xuất
Episodic (sự kiện) “Ngày 12-03, người dùng đổi địa chỉ giao hàng sang quận 7 sau khi đơn bị hoàn” Bản ghi có thời gian, actor, hành động, kết quả; truy vấn theo thời gian + ngữ nghĩa
Semantic (dữ kiện) “Khách ưu tiên giao buổi sáng”, “tài khoản thuộc gói Enterprise” Key–value hoặc vector; đọc theo tenant/user; cần timestamp và nguồn
Procedural (quy trình) “Cách xử lý hoàn tiền”, “quy tắc escalate lên người thật” File, prompt, skill; không nên nhét vào vector search

Ba loại này có tốc độ ghi và tần suất đọc rất khác nhau. Episodic tăng mỗi bước agent chạy; semantic thay đổi vài lần một tháng; procedural gần như cố định. Trộn cả ba vào một collection là lý do phổ biến khiến retrieval trả về một sự kiện cũ lẫn với một quy trình, rồi model trả lời như thể sự kiện đó là quy tắc.

Procedural memory hay bị gọi nhầm là “memory” khi thực chất nó là context tĩnh: system prompt, tool schema, skill file. Nó không cần embedding, không cần TTL, và nên được version hóa như code. Đưa nó vào vector DB chỉ làm tăng nhiễu.

Scope, TTL và cô lập tenant

Mọi bản ghi memory cần một khóa phạm vi rõ ràng: (tenant, user, agent, kind). Thiếu một thành phần là mở đường cho rò rỉ. Query phải luôn kèm tenant và user ở tầng ứng dụng, không chỉ dựa vào filter trong vector DB — filter là công cụ lọc, không phải biên giới an ninh.

TTL nên đặt theo loại, không theo mặc định chung:

  • Session/task state: vài giờ đến vài ngày, xóa khi task đóng.
  • Sở thích và dữ kiện người dùng: vài tháng, làm mới khi có xác nhận mới.
  • Sự kiện: 30–180 ngày tùy mục đích; sau đó tổng hợp thành semantic hoặc xóa.
  • Dữ liệu nhạy cảm: TTL ngắn nhất có thể, mã hóa, và có đường xóa theo yêu cầu người dùng.

Xóa phải là xóa thật hoặc tombstone có kiểm soát, và phải xóa cả vector lẫn bản ghi nguồn lẫn bản tóm tắt đã sinh ra từ nó. Một bản tóm tắt không được phép sống lâu hơn dữ liệu gốc mà nó tổng hợp.

Đường ghi: trích xuất, không dump transcript

Sai lầm phổ biến nhất là lưu toàn bộ hội thoại vào vector DB rồi gọi đó là memory. Kết quả là hàng nghìn chunk gần giống nhau, chi phí tăng, và retrieval chọn đúng “một đoạn chat” thay vì đúng sự thật.

Đường ghi đúng là trích xuất có schema: một model rẻ đọc lượt hội thoại và trả về các bản ghi ứng viên, mỗi bản ghi có kind, content, source_turn, confidence, valid_from. Chỉ ghi khi vượt ngưỡng confidence và khi chưa có bản ghi tương đương. Bản ghi mới mâu thuẫn bản cũ thì đánh dấu supersedes, không ghi đè mất lịch sử.

# File: memory_policy.py
from dataclasses import dataclass
from datetime import datetime, timedelta

@dataclass
class MemoryRecord:
    tenant: str
    user: str
    agent: str
    kind: str          # "episodic" | "semantic" | "procedural"
    content: str
    source: str        # turn id, doc id, tool call id
    confidence: float
    created_at: datetime
    expires_at: datetime | None

def should_store(rec: MemoryRecord) -> bool:
    if rec.confidence < 0.6:
        return False
    if not rec.content.strip():
        return False
    if rec.kind == "procedural":
        return False          # quy trình thuộc về code/prompt, không phải memory
    return True

def default_ttl(kind: str) -> timedelta | None:
    return {
        "episodic": timedelta(days=90),
        "semantic": timedelta(days=180),
        "procedural": None,
    }[kind]

Hai hàm nhỏ này làm rõ một điều: quyết định ghi là quyết định sản phẩm, không phải quyết định hạ tầng. Nếu bạn không định nghĩa được “cái gì đáng nhớ”, thêm vector DB chỉ làm chi phí cao hơn.

Đường đọc: truy vấn từ trạng thái hiện tại

Query memory không nên là câu hỏi thô của người dùng. Nó nên là tổng hợp của: ý định hiện tại, thực thể đang nhắc (đơn hàng, khách, sản phẩm), và loại memory cần. “Khách hỏi về đơn 123” cần episodic của đơn đó và semantic về khách đó, không cần toàn bộ lịch sử chat.

Ba tín hiệu xếp hạng nên dùng cùng lúc: độ tương đồng ngữ nghĩa, độ mới, và mức quan trọng. Chỉ dùng cosine sẽ trả về sự kiện giống nhất về mặt từ ngữ nhưng có thể đã cũ hoặc đã bị sửa. Hãy chèn kèm nhãn thời gian và nguồn vào prompt, để model biết bản nào mới hơn khi có xung đột.

Top-k nên nhỏ: 3–8 bản ghi. Memory là context bổ sung, không phải nguồn tri thức chính — phần đó là RAG. Nhồi 30 ký ức vào prompt làm agent “nhớ” nhiều nhưng hành xử kém nhất quán hơn.

Quên: một tính năng, không phải tai nạn

Có bốn cơ chế quên, dùng đồng thời:

  • TTL: hết hạn thì không truy xuất được nữa, kể cả khi vẫn còn trong DB.
  • Giảm dần: giảm trọng số theo tuổi trong công thức xếp hạng, để ký ức cũ chỉ xuất hiện khi thật liên quan.
  • Tổng hợp: gộp nhiều sự kiện cùng chủ đề thành một bản ghi semantic, xóa bản gốc sau khi xác nhận bản tổng hợp đúng.
  • Xóa theo yêu cầu: người dùng phải xóa được, và việc xóa phải lan tới vector, cache và bản tóm tắt.

Đừng mô tả cơ chế này là “agent quên như con người”. Nó là chính sách lưu trữ có thời hạn. Cách mô tả đó quan trọng vì nó quyết định bạn có viết test cho việc xóa hay không.

Vì sao memory không đồng nghĩa với thông minh hơn

  • Truy xuất sai làm hại nhiều hơn không nhớ. Một ký ức không liên quan được chèn vào prompt sẽ bị model dùng như sự thật.
  • Dữ liệu cũ vẫn “đúng” theo cách nói. “Khách thích giao buổi sáng” có thể đã sai sau khi khách đổi ca làm. Không có timestamp và supersedes, agent không biết.
  • Rò rỉ chéo tenant là lỗi bảo mật. Một filter quên trong query memory là đủ để agent trả lời bằng dữ liệu của khách khác.
  • Memory làm pha loãng context. Mỗi ký ức thêm vào là token cạnh tranh với thông tin đúng, và có thể phá cache prefix.
  • Chi phí tăng theo cả hai đầu. Ghi cần model trích xuất, đọc cần embed + query, và context dài hơn cần nhiều input token hơn.

Vì vậy phép đo bắt buộc là ablation: chạy cùng bộ task với memory bật và tắt. Nếu task success không tăng, hoặc tăng không đủ bù chi phí và độ trễ, memory đang là trang trí.

Đo lường memory

  • Precision@k: trong k ký ức trả về, bao nhiêu thực sự liên quan. Đo trên bộ tình huống có nhãn, không phải cảm giác.
  • Tỷ lệ cũ: bao nhiêu lần retrieval trả về bản ghi đã bị supersede hoặc quá TTL. Mục tiêu là 0.
  • Leakage test: chạy query của tenant A và khẳng định không có bản ghi nào của tenant B, kể cả khi filter bị bỏ quên.
  • Delta task success: so sánh memory on/off trên cùng một bộ task; kèm p50/p95 latency và cost per task.

Checklist

  • Định nghĩa ba loại memory và nơi lưu từng loại trước khi viết code.
  • Mọi bản ghi có tenant, user, source, created_at, expires_at.
  • Query luôn lọc tenant/user ở tầng ứng dụng, không chỉ trong vector DB.
  • Ghi bằng trích xuất có schema; không dump transcript.
  • Có TTL, có supersedes, có đường xóa lan tới bản tóm tắt.
  • Chạy ablation memory on/off trước khi bật cho người dùng thật.

Hướng 2027: memory sẽ tiếp tục được đẩy vào framework dưới dạng API thống nhất, nhưng chính sách — ghi gì, giữ bao lâu, ai được đọc — vẫn là của ứng dụng. Không có framework nào biết dữ liệu của bạn nhạy cảm đến mức nào.

Bài liên quan