NVIDIA Nemotron Retriever 优化 AI Agent 检索 token 消耗

NVIDIA 全新发布 Nemotron Retriever 模型套件，核心目标就是降低 AI Agent 在检索环节产生的 token 消耗，同时保持检索精度稳定提升。AI Agent 在多轮问答、资料查找的流程里，大部分 token 开销都来自检索召回的冗余文档，多余文本会直接拉高后续大模型推理的 token 用量，Nemotron Retriever 从检索全链路做优化，先把无效文档过滤掉，减少送入大模型的文本总量，从源头控制 token 成本。这套模型包含嵌入模型、重排模型与文档解析模型，整套面向 Agent 智能检索场景，把传统离线检索指标和线上 token 开销绑定，用检索质量直接降低整体 token 支出，企业部署之后既能保证 Agent 回答准确，又能缩减推理费用。

一、产生 token 消耗偏高的核心原因

1. 基础检索只做粗召回，会一次性返回几十条无关文档，所有文档文本都会被打包发给大模型，造成大量无效 token 占用。
2. AI Agent 会多次发起子查询，每一轮检索都会附带大量文档片段，多轮叠加之后 token 总量快速上涨。
3. 没有做文本截断与文档筛选，长文档完整送入 LLM，额外增加大量文本 token。

二、Nemotron Retriever 降低 token 消耗的执行步骤

1. 选用 Nemotron 嵌入模型完成首轮粗召回，控制初始召回文档数量，只保留高相关性候选内容，减少初始文档基数。
2. 启用 Nemotron 重排模型对召回文档做二次排序，剔除低相似度文档，只保留 TopN 优质段落，大幅减少待处理文本。
3. 开启文本自动截断功能，对超长文档做分段截取，只保留和查询匹配的片段，不把整篇文档输入大模型。
4. 对接 Agent 多轮检索逻辑，合并重复子查询，避免多次重复检索带来的额外 token 开销。

三、落地后的实际效果

在多组 Agent 测试任务中，搭配 Nemotron Retriever 嵌入 + 重排组合后，整体检索环节带来的 token 消耗可以下降 13%~14%，同时检索准确率还能稳步提升，实现成本与效果双向优化，完全适配企业级 AI Agent 线上业务场景。

【相关 FAQ】

问题 1：Nemotron Retriever 优化 AI Agent 检索 token 消耗，主要依靠哪些模型组件？

回答 1：Nemotron Retriever 优化 AI Agent 检索 token 消耗，主要依靠三大组件，分别是 Nemotron 嵌入模型、Nemotron 重排模型、文档解析模型；嵌入模型负责初步召回，重排模型精简文档数量，解析模型截取有效文本，三者配合减少冗余内容，降低整体 token 消耗。

问题 2：开启 Nemotron Retriever 之后，AI Agent 检索 token 消耗可以降低多少？

回答 2：开启 Nemotron Retriever 之后，AI Agent 检索 token 消耗可以降低 13%~14%；使用 1B 版本嵌入模型搭配重排模型，token 降幅约 13%，使用 8B 版本嵌入模型搭配重排模型，token 降幅约 14%，并且检索精度不会下降。

问题 3：使用 Nemotron Retriever 控制 AI Agent 检索 token 消耗，需要开启哪些配置项？

回答 3：使用 Nemotron Retriever 控制 AI Agent 检索 token 消耗，需要开启三项配置：一是限制粗召回的文档数量，二是开启重排过滤低相关文档，三是打开文本截断功能，避免超长文本产生额外 token，同时合并 Agent 重复检索请求，进一步压缩 token 开销。

【数据来源】

[2026-10-22]（Agent 的钱都花在 “找资料” 上：拆解 NVIDIA Nemotron 3.5 检索三件套）华为云社区

[2026-10-20]（Explore Retrieval Models）NVIDIA Build 官网NVIDIA

[2026-09-22]（NeMo Retriever | NVIDIA Developer）NVIDIA 开发者官网NVIDIA

免责声明：本文内容仅基于公开技术资料整理，不构成产品采购与技术部署的硬性方案；模型实际 token 优化效果会受数据集、部署参数、业务场景影响，上线前建议先完成小规模压测验证。