Quản lý Bộ nhớ Agent: Nén, Tóm tắt và Quên

Giới thiệu về Thách thức Bộ nhớ Agent

Chào mừng trở lại với loạt bài “AI Agent Roadmap”! Sau khi tìm hiểu AI Agent là gì và Chúng Hoạt Động Như Thế Nào?, khám phá Vòng Lặp Agent Được Giải Thích, và đào sâu vào các thành phần cốt lõi như LLM, Embeddings và Tìm kiếm Vector, cũng như cách RAG giúp agent truy xuất thông tin, chúng ta đã chạm đến một khía cạnh cực kỳ quan trọng: bộ nhớ.

Như chúng ta đã thảo luận trong các bài viết trước về Bộ nhớ Ngắn Hạn và Dài Hạn và Sử Dụng Cơ Sở Dữ Liệu Vector và Bộ Nhớ Theo Giai Đoạn, khả năng ghi nhớ thông tin là yếu tố sống còn giúp agent duy trì ngữ cảnh, học hỏi từ kinh nghiệm và thực hiện các tác vụ phức tạp qua nhiều bước. Tuy nhiên, việc quản lý bộ nhớ không hề đơn giản. Các cửa sổ ngữ cảnh (context window) có giới hạn của các LLM đặt ra thách thức lớn. Chúng ta không thể nhồi nhét toàn bộ lịch sử tương tác và thông tin liên quan vào mỗi prompt. Việc làm vậy không chỉ vượt quá giới hạn token mà còn làm tăng chi phí tính toán và API, đồng thời làm loãng khả năng suy luận của LLM bằng cách đưa vào quá nhiều thông tin nhiễu.

Để xây dựng các agent mạnh mẽ và hiệu quả, chúng ta cần các chiến lược thông minh để quản lý luồng thông tin vào và ra khỏi bộ nhớ của agent. Ba kỹ thuật chính thường được sử dụng là **Nén (Compression)**, **Tóm tắt (Summarization)** và **Lãng quên (Forgetting)**.

Nén Bộ nhớ: Giữ lại tinh túy

Nén bộ nhớ là quá trình giảm kích thước hoặc số lượng dữ liệu biểu diễn thông tin trong bộ nhớ của agent mà vẫn cố gắng giữ lại ý nghĩa cốt lõi. Mục tiêu là để lưu trữ hoặc truyền tải thông tin hiệu quả hơn, đặc biệt là để đưa vào cửa sổ ngữ cảnh của LLM.

Tại sao cần nén?

1. Giới hạn Cửa sổ Ngữ cảnh: Như đã đề cập, LLM chỉ xử lý được một lượng token nhất định. Nén giúp đưa nhiều thông tin hơn vào giới hạn này.
2. Giảm Chi phí: Chi phí API thường được tính dựa trên số lượng token đầu vào và đầu ra. Nén giúp giảm số lượng token cần xử lý.
3. Tăng Tốc độ: Xử lý ít token hơn thường dẫn đến thời gian phản hồi nhanh hơn.
4. Giảm Nhiễu: Nén có thể giúp lọc bỏ các chi tiết không quan trọng, chỉ tập trung vào thông tin cốt lõi, giúp LLM suy luận hiệu quả hơn.

Có nhiều cách tiếp cận để nén bộ nhớ trong bối cảnh agent:

a) Nén Dựa trên Embedding và Truy vấn (Semantic Compression)

Đây là một trong những kỹ thuật phổ biến nhất, thường được sử dụng kết hợp với Retrieval Augmented Generation (RAG). Thay vì lưu trữ toàn bộ văn bản, chúng ta tạo các vector biểu diễn ngữ nghĩa (embeddings) cho các đoạn thông tin (tìm hiểu thêm về embeddings). Các vector này có kích thước cố định, bất kể độ dài của văn bản gốc.

Khi cần truy xuất thông tin liên quan đến ngữ cảnh hiện tại, agent tạo embedding cho truy vấn hoặc ngữ cảnh hiện tại và tìm kiếm các vector tương đồng nhất trong cơ sở dữ liệu vector. Chỉ những đoạn văn bản tương ứng với các vector có độ tương đồng cao mới được truy xuất và đưa vào cửa sổ ngữ cảnh của LLM.

Kỹ thuật này không thực sự “nén” văn bản gốc theo nghĩa truyền thống, nhưng nó nén *khả năng truy xuất* thông tin liên quan bằng cách biểu diễn chúng dưới dạng vector dày đặc và cho phép truy xuất có chọn lọc. Nó hiệu quả trong việc quản lý bộ nhớ dài hạn chứa lượng lớn dữ liệu.

b) Nén Nội dung Thông qua Mô tả Ngắn gọn

Trong một số trường hợp, thay vì giữ lại chi tiết từng sự kiện, agent có thể nén thông tin bằng cách lưu trữ một mô tả ngắn gọn hoặc metadata về sự kiện đó. Ví dụ, thay vì lưu toàn bộ transcript của một cuộc gọi điện, agent có thể lưu: “Cuộc gọi với khách hàng X về vấn đề Y, đã hứa sẽ gửi email giải pháp vào thứ Ba”.

c) Nén Dựa trên Tóm tắt (Kết hợp với Kỹ thuật Tóm tắt)

Một dạng nén hiệu quả khác là tóm tắt. Thay vì giữ lại toàn bộ lịch sử hội thoại, agent có thể định kỳ tóm tắt các phần trước đó của cuộc trò chuyện. Bản tóm tắt này ngắn gọn hơn nhiều so với bản gốc nhưng vẫn chứa đựng thông tin quan trọng. Kỹ thuật này sẽ được thảo luận chi tiết hơn trong phần tiếp theo.

Tóm tắt Bộ nhớ: Chưng cất Thông tin Quan trọng

Tóm tắt là kỹ thuật tạo ra một phiên bản ngắn gọn của một hoặc nhiều mục trong bộ nhớ, chứa đựng các điểm hoặc ý chính. Đây là kỹ thuật đặc biệt hữu ích để quản lý bộ nhớ ngắn hạn hoặc bộ nhớ theo giai đoạn (episodic memory) – ví dụ, lịch sử của một cuộc trò chuyện đang diễn ra.

Tại sao cần tóm tắt?

• Giảm Độ dài: Trực tiếp giảm số lượng token cần đưa vào cửa sổ ngữ cảnh cho các lần gọi LLM tiếp theo.
• Duy trì Ngữ cảnh Dài hạn: Cho phép agent “nhớ” lại ngữ cảnh của cuộc trò chuyện hoặc tác vụ kéo dài mà không cần tải lại toàn bộ lịch sử.
• Cải thiện Sự Tập trung của LLM: Bằng cách loại bỏ các chi tiết lặp lại hoặc ít quan trọng, bản tóm tắt giúp LLM tập trung vào các thông tin cốt lõi cần thiết cho tác vụ hiện tại.

Có hai loại tóm tắt chính:

a) Tóm tắt Trích xuất (Extractive Summarization)

Kỹ thuật này chọn ra các câu hoặc cụm từ quan trọng nhất từ văn bản gốc và ghép chúng lại để tạo thành bản tóm tắt. Bản tóm tắt chỉ bao gồm các câu từ văn bản gốc.

b) Tóm tắt Trừu tượng (Abstractive Summarization)

Kỹ thuật này tạo ra các câu hoặc cụm từ mới để diễn đạt ý chính của văn bản gốc. Bản tóm tắt trừu tượng có thể sử dụng từ ngữ không có trong bản gốc, giống như cách con người tóm tắt thông tin. Các LLM hiện đại rất giỏi trong việc thực hiện tóm tắt trừu tượng.

Triển khai Tóm tắt trong Agent

Cách phổ biến để triển khai tóm tắt cho bộ nhớ hội thoại là định kỳ (ví dụ, sau mỗi N lượt hoặc khi tổng số token vượt quá ngưỡng M) gửi lịch sử hội thoại hiện tại (hoặc một phần của lịch sử) đến LLM với một prompt yêu cầu tóm tắt.

Ví dụ prompt:

Bạn là một AI assistant giúp quản lý bộ nhớ.
Dưới đây là lịch sử hội thoại gần đây giữa Người dùng và Agent.
Hãy tóm tắt cuộc hội thoại này một cách súc tích, chỉ tập trung vào các chủ đề chính, quyết định đã đưa ra, và các hành động cần thực hiện.
Sử dụng ngôn ngữ ngắn gọn và khách quan.
--------------------
Lịch sử hội thoại:
Người dùng: Xin chào, tôi muốn hỏi về đơn hàng số #12345.
Agent: Chào bạn, đơn hàng #12345 của bạn đang được xử lý. Bạn có muốn kiểm tra trạng thái chi tiết hơn không?
Người dùng: Vâng, làm ơn. Nó đã được gửi đi chưa?
Agent: Đơn hàng của bạn đã được gửi đi vào ngày 15/5/2024 thông qua dịch vụ giao hàng nhanh. Dự kiến nhận được vào ngày 17/5/2024.
Người dùng: Tuyệt vời! Cảm ơn bạn. À, còn một câu hỏi nữa. Tôi có thể thay đổi địa chỉ giao hàng cho đơn hàng tiếp theo không?
Agent: Vâng, bạn hoàn toàn có thể thay đổi địa chỉ giao hàng cho đơn hàng tiếp theo. Bạn có thể cập nhật thông tin trong phần cài đặt tài khoản hoặc cung cấp địa chỉ mới khi đặt hàng.
Người dùng: Ok, tôi hiểu rồi. Cảm ơn nhiều nhé.
Agent: Rất vui được giúp đỡ bạn. Còn gì nữa không ạ?
Người dùng: Hiện tại thì không.
--------------------
Tóm tắt cuộc hội thoại trên:

LLM sẽ tạo ra bản tóm tắt, ví dụ:

Khách hàng hỏi về trạng thái đơn hàng #12345. Agent xác nhận đơn hàng đã gửi ngày 15/5, dự kiến nhận 17/5. Khách hàng cũng hỏi về việc thay đổi địa chỉ giao hàng cho đơn hàng sau; Agent hướng dẫn cách cập nhật trong cài đặt hoặc lúc đặt hàng.

Bản tóm tắt này ngắn gọn hơn nhiều so với lịch sử đầy đủ và có thể được lưu trữ để cung cấp ngữ cảnh cho các tương tác sau này, hoặc kết hợp với các tin nhắn gần nhất để đưa vào cửa sổ ngữ cảnh.

Lãng quên: Nghệ thuật Buông bỏ

Trong bộ nhớ của agent, việc lãng quên không phải là mất mát, mà là một kỹ thuật quản lý cần thiết. Agent không cần (và không nên) nhớ mọi thứ mãi mãi. Thông tin cũ, không còn liên quan hoặc ít quan trọng cần được loại bỏ để giải phóng tài nguyên và giữ cho bộ nhớ “sạch sẽ”, chỉ tập trung vào những gì thực sự có giá trị.

Tại sao cần lãng quên?

1. Giới hạn Dung lượng: Bộ nhớ, đặc biệt là bộ nhớ dài hạn (như cơ sở dữ liệu vector), có dung lượng hữu hạn hoặc chi phí tăng theo kích thước.
2. Giảm Nhiễu Truy xuất: Khi bộ nhớ dài hạn quá lớn với thông tin cũ hoặc không liên quan, các kỹ thuật truy xuất (như tìm kiếm vector) có thể trả về kết quả kém chính xác hơn.
3. Tăng Hiệu quả Tính toán: Xử lý hoặc tìm kiếm trên tập dữ liệu nhỏ hơn sẽ nhanh hơn và tốn ít tài nguyên hơn.
4. Duy trì Sự Liên quan: Thông tin cũ có thể trở nên lỗi thời hoặc không còn phù hợp với mục tiêu hiện tại của agent.

Các chiến lược lãng quên phổ biến:

a) Lãng quên Dựa trên Thời gian (Recency-Based Forgetting)

Đây là chiến lược đơn giản nhất: thông tin sẽ bị loại bỏ sau một khoảng thời gian nhất định. Ví dụ, lịch sử hội thoại ngắn hạn thường chỉ giữ lại một số lượng tin nhắn gần nhất hoặc trong một khoảng thời gian ngắn. Các mục trong bộ nhớ dài hạn có thể được gắn nhãn thời gian và bị xóa nếu quá cũ.

b) Lãng quên Dựa trên Tầm quan trọng (Importance-Based Forgetting)

Chiến lược này cố gắng đánh giá mức độ quan trọng của từng mục trong bộ nhớ và chỉ giữ lại những mục được đánh giá cao. Mức độ quan trọng có thể được xác định bằng nhiều cách:

• Tần suất tương tác: Thông tin được truy xuất hoặc tham chiếu thường xuyên hơn có thể được coi là quan trọng hơn.
• Đánh giá của LLM: Agent có thể sử dụng LLM để đánh giá tầm quan trọng của một thông tin mới hoặc hiện có đối với mục tiêu của agent. Ví dụ, sau một cuộc hội thoại, LLM có thể đánh giá những điểm nào là “đột phá” hoặc “mục tiêu chính”.
• Tính mới lạ (Novelty): Thông tin mới, độc đáo, chưa từng thấy trước đây có thể được coi là quan trọng.

c) Lãng quên Dựa trên Số lượng (Capacity-Based Forgetting)

Khi bộ nhớ đạt đến một giới hạn kích thước nhất định, agent sẽ loại bỏ các mục dựa trên một tiêu chí phụ trợ (thường là thời gian hoặc tầm quan trọng thấp nhất) cho đến khi dung lượng trở lại dưới ngưỡng.

d) Lãng quên Dựa trên Ngữ cảnh/Giai đoạn

Bộ nhớ theo giai đoạn có thể được lãng quên hoàn toàn khi giai đoạn (ví dụ: một cuộc trò chuyện cụ thể, một nhiệm vụ cụ thể) kết thúc, hoặc chỉ giữ lại bản tóm tắt (kết hợp với tóm tắt).

Kết hợp các Kỹ thuật Quản lý Bộ nhớ

Trong thực tế, các agent thường sử dụng kết hợp cả ba kỹ thuật này để xây dựng một hệ thống bộ nhớ phân cấp và linh hoạt.

Ví dụ:

1. **Bộ nhớ Ngắn hạn (Conversation Buffer):** Lưu trữ các lượt hội thoại gần nhất. Kích thước buffer bị giới hạn (ví dụ: 10-20 lượt). Khi buffer đầy, các lượt cũ nhất bị loại bỏ (lãng quên dựa trên thời gian/số lượng).
2. **Bộ nhớ Giai đoạn (Episodic Memory):** Sau khi buffer hội thoại đạt đến ngưỡng hoặc cuộc hội thoại tạm dừng, toàn bộ lịch sử hội thoại có thể được tóm tắt (tóm tắt trừu tượng bởi LLM). Bản tóm tắt này được lưu trữ cùng với metadata về thời gian, chủ đề, người tham gia (nén thông qua tóm tắt). Các bản tóm tắt rất cũ hoặc không liên quan có thể bị loại bỏ theo thời gian hoặc mức độ quan trọng (lãng quên).
3. **Bộ nhớ Dài hạn (Semantic Memory):** Chứa các thông tin quan trọng, sự kiện đáng nhớ, mục tiêu, kế hoạch dài hạn, kiến thức tổng quát, v.v., thường được biểu diễn dưới dạng embeddings và lưu trữ trong cơ sở dữ liệu vector. Thông tin mới được thêm vào dưới dạng embedding (nén). Khi truy vấn, tìm kiếm vector được sử dụng để nén không gian tìm kiếm và chỉ truy xuất các mục có liên quan ngữ nghĩa cao nhất (nén và truy xuất). Các mục trong bộ nhớ dài hạn có thể bị loại bỏ nếu quá cũ, không được truy xuất trong thời gian dài, hoặc được đánh giá là không còn quan trọng (lãng quên dựa trên thời gian và/hoặc tầm quan trọng).

Bảng dưới đây tóm tắt các kỹ thuật chính:

Việc kết hợp khéo léo các kỹ thuật này giúp agent duy trì một bộ nhớ linh hoạt, có khả năng truy cập nhanh vào thông tin gần nhất, hiểu rõ bối cảnh của các tương tác gần đây thông qua tóm tắt, và khai thác kiến thức sâu rộng từ bộ nhớ dài hạn được nén hiệu quả.

Những Cân nhắc Khi Triển khai

* **Chi phí vs. Hiệu năng:** Việc tóm tắt thường tốn kém vì yêu cầu gọi LLM. Cần cân bằng tần suất tóm tắt với nhu cầu duy trì ngữ cảnh và chi phí.
* **Nguy cơ Mất mát Thông tin:** Nén và tóm tắt chắc chắn sẽ làm mất đi một số chi tiết của bản gốc. Việc lãng quên có thể loại bỏ hoàn toàn thông tin. Cần thiết kế các tiêu chí và ngưỡng sao cho agent không quên mất những gì thực sự quan trọng.
* **Đánh giá Tầm quan trọng:** Làm thế nào để agent tự đánh giá được thông tin nào là quan trọng để giữ lại hoặc đưa vào bản tóm tắt là một thách thức phức tạp, thường yêu cầu các kỹ thuật prompt engineering nâng cao hoặc các mô hình phụ trợ.
* **Cấu trúc Bộ nhớ:** Việc tổ chức bộ nhớ thành các lớp (ngắn hạn, giai đoạn, dài hạn) với các kỹ thuật quản lý khác nhau là chìa khóa để hệ thống hoạt động hiệu quả.

Kết luận

Quản lý bộ nhớ là một khía cạnh nền tảng nhưng thường bị đánh giá thấp khi xây dựng các AI Agent tiên tiến. Bằng cách áp dụng các kỹ thuật Nén, Tóm tắt và Lãng quên một cách chiến lược, chúng ta có thể vượt qua giới hạn của cửa sổ ngữ cảnh LLM, giảm chi phí, tăng tốc độ và giúp agent tập trung vào những thông tin thực sự quan trọng.

Hiểu rõ và thành thạo các kỹ thuật này sẽ trang bị cho bạn khả năng xây dựng các agent không chỉ thông minh hơn trong từng lượt phản hồi, mà còn duy trì được sự liên tục, học hỏi và thực hiện các tác vụ phức tạp trong thời gian dài. Hãy bắt đầu thử nghiệm với các kỹ thuật này trong các dự án agent của bạn để thấy sự khác biệt!

Trong các bài viết tiếp theo của “AI Agent Roadmap”, chúng ta sẽ tiếp tục khám phá các chủ đề chuyên sâu khác trên con đường trở thành nhà phát triển AI Agent giỏi. Hẹn gặp lại!