LangChain 为 LangSmith 上线智能体缓存命中率追踪功能

LangChain 正式给 LangSmith 平台新增智能体缓存命中率追踪能力，开发人员可以实时查看每一条智能体调用的缓存命中情况，精准统计缓存读取 token 数量、未命中重新请求的 token 数量，把缓存带来的成本节约、响应提速效果量化出来，补齐了智能体缓存优化的数据观测短板。本次新增能力依托 LangSmith 原有链路追踪体系，先在智能体调用链路里自动采集缓存命中标记，再自动汇总单条会话、单项目、全量智能体的命中率数据，最后在可视化仪表盘生成统计报表，整个流程无需额外开发埋点代码，开启缓存中间件之后就能自动采集数据。整套功能覆盖单条调用明细、多维度统计看板、批量导出原始数据三大模块，既能用来排查缓存失效问题，也能持续优化缓存策略，稳步提升整体缓存命中率，降低 LLM 调用开销。

一、新增功能核心能力清单

1. 调用级明细追踪：自动记录每一次智能体 LLM 请求是否命中缓存，单独拆分缓存读取 token 与全新生成 token，展示单次调用的缓存节省额度。
2. 多维度命中率统计：支持按智能体项目、对话会话、模型类型、调用时段分组，自动计算整体缓存命中率，形成趋势曲线。
3. 成本数据联动：把缓存命中数据和 API 计费数据打通，自动统计缓存带来的月度费用缩减额度。
4. 一键导出原始数据：可把全量缓存命中日志导出为表格文件，用于线下做缓存策略迭代分析。

二、开启智能体缓存命中率追踪的操作步骤

步骤 1：开启 LangChain 缓存中间件

在智能体代码中接入 prompt 缓存中间件，开启本地或者云端提示词缓存，开启后会自动生成缓存命中标记。

步骤 2：开启 LangSmith 链路追踪

在项目配置中开启 LangSmith 跟踪，智能体所有调用链路会自动上传到平台，同步携带缓存命中字段。

步骤 3：查看缓存命中率看板

登录 LangSmith 控制台，进入对应项目的监控页面，打开缓存指标板块，即可查看实时命中率、token 节约量、耗时优化数据。

步骤 4：导出数据优化缓存策略

下载全量缓存日志，分析高频未命中的请求，调整缓存过期时间、缓存键规则，持续拉高整体命中率。

三、缓存追踪指标说明表

表格

四、功能落地带来的业务价值

1. 量化优化效果：把缓存优化从定性调整变成数据驱动，直观看到每一次规则调整带来的命中率提升。
2. 快速定位问题：通过明细日志快速找到缓存键冲突、过期时间过短等造成命中率偏低的原因。
3. 严控调用成本：依靠统计数据持续迭代缓存策略，减少重复 LLM 请求，有效降低智能体项目的 API 开销。

【相关 FAQ】

问题 1：LangChain 在 LangSmith 里新增的智能体缓存命中率追踪，主要可以采集哪些数据？

回答 1：LangChain 在 LangSmith 里新增的智能体缓存命中率追踪，可以采集单次调用缓存命中状态、缓存读取 token、未命中重新请求 token，同时自动汇总项目整体缓存命中率、成本节省数据，支持多维度分组统计。

问题 2：想要启用 LangSmith 智能体缓存命中率追踪，需要额外编写埋点代码吗？

回答 2：不需要额外编写埋点代码，只需要在智能体项目中开启 LangChain 缓存中间件，同时开启 LangSmith 链路追踪，系统就会自动采集缓存命中信息，直接在控制台查看命中率数据。

问题 3：借助 LangSmith 智能体缓存命中率追踪，能够怎么优化智能体的缓存策略？

回答 3：借助 LangSmith 智能体缓存命中率追踪，先查看整体命中率趋势，再导出全量调用日志，筛选高频缓存未命中的请求，针对性调整缓存键、缓存有效期，持续提升整体缓存命中率，减少重复的大模型调用。

【数据来源】

[2026-10-28]（LangSmith 新增智能体缓存命中率追踪能力）LangChain 官方博客

[2026-06-26]（LangSmith 上线 Prompt 缓存观测指标）LangChain 技术文档LangChain

[2026-09-25]（LangSmith 完善智能体全链路可观测能力）AI 开发资讯平台LangChain

[2026-10-15]（LangChain 更新 LangSmith 监控指标合集）开发者社区周刊LangChain

免责声明：本文仅客观介绍 LangSmith 智能体缓存命中率追踪功能的技术能力与使用流程；缓存命中率提升效果受缓存规则、请求内容、模型调用场景等多重条件影响；本文内容仅作技术开发参考，不构成项目成本优化的硬性实施方案。