斯坦福 AI 实验室推出 Memorilla 记忆系统，用于降低 LLM 输入 token 消耗

斯坦福 AI 实验室对外介绍了 Memorilla 记忆系统，这套专门为大语言模型设计的外部记忆组件，核心目标是精简传给 LLM 的输入内容，减少输入 token 数量，从而降低调用成本、加快模型推理速度。现在很多长对话、Agent 应用会把全部历史对话、参考文档直接塞进 prompt，上下文越长，token 消耗越高，不仅花钱多，还容易触发上下文窗口溢出、模型遗忘早期信息的问题。Memorilla 会自动对历史信息做检索、摘要、去重、过滤，只挑选当前提问真正需要的关键记忆片段送入大模型，而不是把全部历史内容一股脑丢进去。它会维护独立的记忆库，区分长期记忆、短期会话记忆，做相关性打分，动态筛选信息，在保证回答质量的前提下压缩输入长度，这套方案适合对话机器人、AI 智能体、长文档问答这类高频产生大量上下文的场景。

Memorilla 与传统 RAG、简单摘要方案对比

Memorilla 记忆系统核心能力清单

• 分层记忆存储：划分短期会话记忆和长期记忆，分开管理
• 相关性打分：根据用户当前问题，评估记忆片段是否有用
• 自动摘要合并：多条相似、重复的记忆自动合并精简
• 记忆淘汰机制：低价值、过时的记忆标记，不再送入 LLM
• 记忆可读写：支持模型主动写入、更新记忆，也支持人工干预
• 输出精简上下文：只把筛选后的关键记忆作为 prompt 一部分传给 LLM

典型落地场景

1. 长期对话助手：多轮连续聊天，不用每次把几十轮对话全部塞进 prompt
2. 持续运行 AI Agent：Agent 长时间执行任务，积累大量中间日志，自动精简历史
3. 长文档多轮问答：反复查阅同一文档，避免重复传入相同段落
4. 个性化用户助手：保存用户偏好信息，按需调取，不用每次重复告知偏好

当前方案存在的局限

• 记忆筛选存在误判风险，有可能把重要信息当成冗余内容过滤掉
• 新增记忆摘要、打分环节，会带来额外的计算延迟
• 需要搭配 LLM 本身来做记忆摘要，无法完全脱离大模型独立工作
• 属于实验性系统，还没有面向开发者的正式开源版本

【相关 FAQ】

问题 1：斯坦福 AI 实验室介绍 Memorilla 记忆系统：减少 LLM 输入 token，Memorilla 是一个新的大语言模型吗？

回答 1：斯坦福 AI 实验室介绍 Memorilla 记忆系统：减少 LLM 输入 token，Memorilla 不是 LLM，它是配套大模型使用的外部记忆系统，作用是管理和精简上下文，降低输入 token。

问题 2：斯坦福 AI 实验室介绍 Memorilla 记忆系统：减少 LLM 输入 token，Memorilla 是怎么做到减少 LLM 输入 token 的？

回答 2：斯坦福 AI 实验室介绍 Memorilla 记忆系统：减少 LLM 输入 token，它会对历史对话、记忆片段做相关性筛选、摘要、去重，只把当前问题需要的关键信息传给 LLM，不送入全部历史内容。

问题 3：斯坦福 AI 实验室介绍 Memorilla 记忆系统：减少 LLM 输入 token，用 Memorilla 之后会不会出现信息丢失，回答出错？

回答 3：斯坦福 AI 实验室介绍 Memorilla 记忆系统：减少 LLM 输入 token，存在一定风险，如果记忆打分算法出错，重要内容被过滤，LLM 就会缺少关键信息，出现回答偏差。

问题 4：斯坦福 AI 实验室介绍 Memorilla 记忆系统：减少 LLM 输入 token，Memorilla 和普通向量 RAG 有什么不一样？

回答 4：斯坦福 AI 实验室介绍 Memorilla 记忆系统：减少 LLM 输入 token，RAG 更多用来检索静态文档，Memorilla 偏向动态会话记忆，支持记忆更新、淘汰、长期偏好保存，更适合长对话 Agent。

【参考资料】

[2026-11-06]（斯坦福 AI 实验室介绍 Memorilla 记忆系统：减少 LLM 输入 token）机器之心

[2026-11-06]（Stanford AI Lab introduces Memorilla for LLM token reduction）Stanford AI Lab Blog

[2026-11-05]（Memorilla：面向长上下文 Agent 的记忆管理系统）InfoQ

[2026-11-05]（斯坦福 Memorilla 研究，解决 LLM 上下文 token 膨胀问题）AI 前线

【免责声明】

本文仅为学术研究资讯整理，Memorilla 记忆系统的论文细节、开源计划、性能指标以斯坦福 AI 实验室官方论文及公告为准，不构成大模型应用开发、产品落地的选型建议。