这是什么
2023 年 10 月,LLM 上下文窗口普遍还在 8k-32k,长对话和长文档任务一超窗就只能靠截断或摘要硬扛。UC Berkeley 的 Packer 等人提出了一个不改模型、纯系统层面的解法:把上下文窗口当成 OS 里的物理内存(main context),把窗口外的数据库当成磁盘(external context),让 LLM 自己通过 function call 在两层之间换页——他们称之为 virtual context management,整个系统叫 MemGPT。
这篇论文的真正遗产不在实验数字,而在于它定义了 'agent 记忆管理' 这个工程方向:working context / recall storage / archival storage 的三层划分、memory pressure 警告、自我编辑记忆等设计,被后来几乎所有 agent 记忆系统(Zep、Mem0、A-MEM 等)沿用或对标。项目本身也从研究原型演化为公司 Letta(letta-ai/letta,24.5k stars,Apache-2.0,至今活跃开发),论文的 DMR 任务成了这个领域的事实标准 benchmark 之一。
机制与做法
两层内存:main context 与 external context
Main context 就是 prompt tokens,分三段:只读的 system instructions(告诉模型这套内存体系怎么用、有哪些函数)、定长可读写的 working context(存用户关键事实、偏好、persona,只能通过函数写入)、以及 FIFO queue(滚动的消息历史,队首永远是一条被逐出消息的递归摘要)。External context 分两块:recall storage 存完整消息历史(数据库),archival storage 存任意长度的文本对象(默认 PostgreSQL + pgvector 向量检索)。窗口外的数据必须显式搬进 main context 才能被模型看到。
Queue Manager:用 memory pressure 触发换页
Queue manager 负责消息进出和逐出策略:prompt tokens 超过 warning token count(如窗口的 70%)时,往队列里插一条 'memory pressure' 系统警告,提示模型趁早把重要信息用函数写进 working context 或 archival storage;超过 flush token count(100%)时强制清队——逐出约半个窗口的消息,用旧摘要加被逐出消息生成新的递归摘要。被逐出的消息不会丢,永久存在 recall storage 里,随时可以搜回来。
Function executor:模型自己编辑自己的记忆
所有记忆读写都由 LLM 生成的 function call 驱动,完全自主:何时把对话要点存档、何时搜索历史、何时修正 working context 里过时的信息(比如用户说分手了就把 'Boyfriend named James' 改成 'Ex-boyfriend'),都是模型自己决定的。MemGPT 解析输出、校验参数、执行函数,并把结果(包括运行时错误,比如 working context 写满了)回喂给模型,形成反馈循环。检索函数都带分页,避免搜索结果本身撑爆窗口。
事件驱动与 function chaining
系统由事件触发推理:用户消息、系统警告、定时器等都是事件,这让 agent 可以'无人提示'地自主运行。函数调用可以带一个 request_heartbeat=true 标志,要求执行完立刻把控制权还给模型继续推理——这就是 function chaining,靠它才能做多步检索(比如翻好几页搜索结果、跨文档收集信息)后再回复用户。这个 heartbeat 设计后来成了很多 agent 框架里 'agentic loop' 的原型。
关键结果
- Deep Memory Retrieval(DMR,自建任务,问 5 个 session 之前聊过的细节):MemGPT + GPT-4 Turbo 准确率 93.4%、ROUGE-L(R) 0.827,对应固定上下文 baseline(递归摘要)只有 35.3% / 0.359;GPT-4 上是 92.5% vs 32.1%。
- Conversation opener(用积累的用户信息开启新对话):MemGPT 的开场白与 persona 的相似度(SIM-1 最高 0.868,GPT-4)超过人类手写开场白的 0.800。
- 多文档 QA(NaturalQuestions-Open,50 题):固定上下文 baseline 随检索文档数增加先升后降(GPT-4 峰值 0.70,塞到 200 篇文档时因截断跌到 0.12),MemGPT 通过分页查询 archival storage 保持约 0.72 不随文档数变化。
- Nested KV 多跳检索(140 对 UUID,0-4 层嵌套):MemGPT + GPT-4 在所有嵌套层数上保持 100%,而 GPT-4 baseline 到 3 层嵌套时降到 0%。
- 方法强依赖底层模型的 function calling 能力:换用 GPT-3.5,MemGPT 在 doc QA 上掉到约 0.40(还不如 GPT-4 Turbo baseline 的峰值),nested KV 从 2 层嵌套开始崩;nested KV 上 MemGPT(GPT-4 Turbo) 反而不如 MemGPT(GPT-4)。
- 论文附带发布了扩充版 MSC 数据集(加了第 6 个 session 的 QA 对)、nested KV 数据集和 2000 万条 Wikipedia 文章 embeddings。
实证核查
与我们方向的关系
对 continual-learning 方向,MemGPT 是 'agent 记忆管理' 这条线绕不开的起点:它把'学习新知识'重新表述为'管理有限工作记忆 + 无限外部存储'的系统问题,不动模型权重就能让 agent 跨 session 积累和修正知识。working context 的自我编辑(可看作显式的、可解释的在线知识更新)与 memory pressure 触发的主动固化,和我们关心的灾难性遗忘/知识保持问题是同一个问题的工程化表述,值得作为无参数更新的 baseline 纳入对比。
可直接借鉴的资产:扩充版 MSC / DMR 任务设计(考察跨 session 一致性,虽然要注意 Zep 指出的'塞满上下文即可解'的缺陷,评测时务必加 full-context 对照)、nested KV 多跳检索任务(合成、可控、便宜,适合快速验证记忆检索能力)、以及 request_heartbeat 式的 function chaining 控制流设计。教训也很清楚:做记忆系统评测,baseline 必须包含'整段历史直接进上下文',否则结果没有说服力。