Letta AI 正式推出 FrontierMemory，打造 AI 智能体长期记忆能力基准测试集

Letta AI 对外正式发布 FrontierMemory 记忆能力基准，这是一套专门面向长生命周期 AI 智能体设计的标准化评测体系，核心用来衡量智能体能否持续存储、自主提炼、跨会话复用过往经验，区别于传统只测试单次信息召回的评测数据集，这套基准重点考核持续学习能力，能够给所有记忆框架、大模型智能体提供统一的量化打分标准，开发者可以用它横向对比不同记忆架构的优劣，快速验证记忆模块迭代带来的效果提升，填补了行业里缺少面向持续学习场景的记忆评测工具的空白。当下市面上绝大多数记忆评测基准，只考核模型能不能把历史对话内容重新检索出来，只看重信息召回准确率，完全忽略了智能体在长期交互里的经验提炼、知识精简、时序信息梳理、避免记忆冗余等核心能力；当智能体连续运行数十轮任务之后，记忆存储会持续膨胀，很多记忆框架只会简单堆砌历史文本，无法自动提炼关键经验，最终造成上下文超限、检索效率下滑、智能体行为前后矛盾，但是没有统一基准来量化这类问题。FrontierMemory 针对性解决这一行业痛点，跳出单纯文本召回的评测逻辑，把评测重心放在经验学习、记忆精简、时序事实维护、长期任务一致性四大维度，同时配套标准化任务数据集、统一打分规则、开源评测脚本，不管是自研记忆系统，还是选用现成智能体框架，都可以在完全一致的条件下完成测试，得到可横向对比的量化分数。想要完整落地这套基准开展测试，需要先吃透整套评测任务分类、分层打分指标、标准化实验环境，再严格按照数据加载、任务运行、结果统计、指标核算的完整流程执行，最后结合得分数据优化智能体的双层记忆架构，持续提升长期运行稳定性。

一、FrontierMemory 基准整体架构清单

1. 基础核心参数

表格

2. 四大评测维度拆解

1）经验习得能力：考核智能体能不能从多轮历史交互里总结操作经验，后续同类任务自动复用过往技巧，不用重复试错；

2）长期事实留存能力：测试跨数十轮对话之后，智能体依然能够精准记住长期角色设定、历史事件、实体信息，不会发生事实遗忘；

3）记忆精简管控能力：衡量系统自动压缩冗余对话、剔除无效信息、提炼核心事实的水平，控制记忆总量不会无限膨胀；

4）时序一致性能力：验证智能体可以区分事件发生先后顺序，不会混淆新旧信息，避免出现前后矛盾的行为输出。

3. 15 项测试任务分类列表

• 多轮角色扮演长对话任务（5 项）：长期保持人设，记忆多轮对话里的个人信息、历史约定；
• 连续迭代工具执行任务（4 项）：反复执行同类工具操作，自主总结操作技巧，优化后续执行步骤；
• 多阶段项目长期推进任务（3 项）：分几十轮逐步完成完整项目，全程保留项目进度、阶段性结论；
• 动态事实更新任务（3 项）：信息随会话不断更新，智能体要自动覆盖旧信息、记住最新事实，规避新旧内容冲突。

二、标准化打分规则与量化指标

1. 总分构成

综合总分 100 分，由四大分项加权计算得出：经验习得 30 分、长期事实留存 30 分、记忆精简管控 20 分、时序一致性 20 分，同时附带两项附加量化指标：记忆 token 膨胀速率、单次记忆读写调用开销。

2. 两级评分机制

1）任务完成度打分：判断智能体最终有没有完成全部任务目标，是否出现行为矛盾、事实记错；

2）记忆质量打分：统计记忆库冗余内容占比、关键信息留存率、无效文本堆积程度，评估记忆管理效率。

3. 公开实测参考得分

在统一实验环境下，不同智能体框架跑出基准分数：Letta Dream 框架达到 73.3 分，OpenAI Agents SDK 取得 40 分，Claude 托管智能体拿到 33.3 分，同一款大模型更换记忆框架之后分数会出现明显浮动，直观证明记忆架构对长期智能体表现影响极大。

三、FrontierMemory 完整测试实施步骤

1. 部署标准化实验环境：固定大模型版本、上下文窗口大小、向量检索参数，保证所有待测记忆系统运行条件完全一致，排除环境变量干扰；
2. 导入完整测试数据集：加载 15 项长周期任务的原始会话脚本，严格按照轮次顺序执行交互，不打乱任务时序；
3. 接入待测记忆系统：把 FrontierMemory 评测脚本对接自研记忆模块或者第三方智能体框架，开启完整会话日志记录；
4. 全自动运行闭环任务：脚本自动逐轮发起交互，智能体自主读写记忆内容，全程人工不介入，保证测试客观性；
5. 自动核算分项得分：脚本自动抓取会话日志，分别计算四大维度分数，同时统计记忆总量增长速度、工具调用 token 消耗；
6. 横向对比迭代优化：对比多套记忆架构的总分与分项短板，针对性优化分层记忆、自动摘要、事实提纯模块，再次复测验证优化效果。

四、FrontierMemory 带来的核心行业价值

1. 建立统一衡量标尺：结束当前记忆能力只能靠主观体验评判的现状，用标准化任务与量化分数，客观对比不同记忆方案的优劣；
2. 聚焦持续学习核心能力：跳出简单召回测试，重点考核长期经验沉淀与记忆膨胀管控，贴合线上长期运行智能体的真实生产场景；
3. 大幅降低迭代试错成本：开发者每次修改记忆策略之后，一键运行整套基准，快速量化性能提升，不用依靠人工大批量标注测试；
4. 做到模型与框架解耦：基准不受底层大模型限制，不管接入闭源大模型还是开源模型，都可以在同一套标准下完成横向评测。

【相关 FAQ】

问题 1：Letta AI 发布 FrontierMemory 记忆能力基准，这套基准和传统记忆评测数据集最大区别是什么？

回答 1：Letta AI 发布的 FrontierMemory 记忆能力基准，区别于传统只测试文本召回准确率的评测集，它不再只考核信息能不能检索出来，重点衡量 AI 智能体持续学习、经验提炼、记忆精简、长期时序一致性，专门针对数十轮长周期任务，量化记忆无限膨胀、事实遗忘、前后行为矛盾等生产环境痛点，更加贴合长期运行智能体的真实业务场景。

问题 2：使用 Letta AI 推出的 FrontierMemory 基准，能够评测智能体记忆系统的哪些核心指标？

回答 2：FrontierMemory 基准可以评测四大核心指标：第一是经验习得水平，看智能体能否复用历史操作经验；第二是长期事实留存能力，考核跨多轮会话的信息记忆效果；第三是记忆精简管控能力，量化冗余信息堆积与 token 膨胀速度；第四是时序一致性，避免新旧信息混淆；同时还可以统计记忆读写开销，全方位评估整套记忆系统的综合性能。

问题 3：开发者如何借助 Letta AI 的 FrontierMemory 基准优化自家智能体记忆模块？

回答 3：首先在 FrontierMemory 统一实验环境下跑完 15 项标准任务，拿到四大维度分项得分，定位记忆短板；接着针对性优化双层记忆架构、自动摘要、事实提纯功能；优化完成后再次运行整套基准，对比前后分数变化，量化迭代收益；同时对照公开榜单，横向对标主流智能体框架，持续优化长期记忆管理能力。

问题 4：Letta AI 发布的 FrontierMemory 基准，包含多少项标准测试任务，覆盖哪些业务场景？

回答 4：FrontierMemory 基准 1.0 版本一共包含 15 项闭环长周期任务，覆盖四大场景：长期角色扮演对话、连续迭代工具执行、多阶段项目长期推进、动态事实更新交互，完整覆盖线上智能助手、自动化作业 Agent、长期项目运维智能体等主流落地场景。

【参考资料】

[2026-10-22]（New FrontierMemory Benchmark Evaluates AI Agent Learning）

[2026-10-23]（FrontierMemory teste la mémoire des agents IA）

[2026-10-22]（Letta AI Releases FrontierMemory Agent Memory Benchmark）Letta AI 官方研究博客

[2026-10-23]（FrontierMemory：面向持续学习的智能体记忆评测新标准）Open Source AI Review

[2026-10-20]（AI Agent 长周期记忆评测的行业现状与技术缺口）智源社区技术专栏

免责声明

本文所有任务配置、打分指标、实测分数均来自 Letta AI 官方发布内容与海外科技媒体公开报道，仅作为技术研发与方案选型参考；FrontierMemory 基准最终测试结果会受底层大模型版本、上下文参数、记忆存储配置影响；开源评测脚本与数据集的最终版本以项目 GitHub 仓库为准；开发者在生产环境开展记忆模块优化时，需要结合自身业务场景补充定制化测试用例；本文不构成任何智能体技术方案采购、自研开发的决策依据，因基准测试结果带来的技术迭代风险由使用者自行承担。