DeepSeek 开源推理框架实现高前缀缓存复用 96% 输入无需重复计算

DeepSeek 正式开源自研 DeepInfer 推理框架，依托前缀缓存复用、分层 KV 缓存落盘、跨层缓存共享多项核心优化，在线多轮对话、Agent 智能体、长文本批量调用场景下，可实现 96% 的输入内容直接读取历史缓存，不需要重新执行预填充计算，大幅降低 GPU 算力消耗、缩短首 token 响应时延。能够达成这一超高缓存复用率，核心是框架从缓存匹配规则、KV 缓存压缩、多级存储调度三个层面完成全链路优化，同时配套 SWA 边界回放、统一前缀树检索机制，精准识别多轮请求里的公共前缀内容；再配合 MLA 多头隐注意力、CSA2 跨层稀疏注意力把单 token 缓存体积压缩到极低水平，让大量历史上下文可以持久保存在硬盘阵列，不会占用宝贵的 GPU 高带宽显存；最后通过自动前缀切分、公共前缀智能落盘策略，把多轮对话里重复的系统提示词、历史对话内容全部固化为可复用缓存单元，只要新请求前缀完全匹配，就直接跳过完整预计算环节。整套优化方案落地分为三个完整实施步骤，第一步搭建统一 RadixTree 前缀检索引擎，把所有历史上下文拆分为独立缓存单元，完成前缀快速匹配；第二步开启多级缓存调度，把高频缓存放在 HBM 显存、中频缓存放到主机内存、低频长期缓存存入分布式硬盘阵列，兼顾访问速度与存储成本；第三步接入 CSA2 跨层 KV 复用 + FP4 量化压缩，进一步缩小缓存体积，提升硬盘缓存的承载能力，最终稳定实现 96% 输入内容复用历史缓存，仅剩余 4% 新增内容执行全新计算。

一、96% 输入免重算的核心技术组件清单

1. 前缀缓存匹配核心模块

表格

2. KV 缓存压缩技术（支撑大规模落盘存储）

1. MLA 多头隐注意力：把 KV 缓存压缩至原有体积的 1/25，大幅降低存储带宽压力arXiv。
2. CSA2 跨层 KV 共享：相邻 Transformer 层共用同一份 KV 缓存，消除层与层之间的数据冗余，缓存体积再缩减 75%。
3. FP4 低位量化：将缓存数据压缩到 4 比特精度，进一步降低硬盘存储容量占用。
4. 分层存储调度：HBM 显存放热点缓存、内存放中频缓存、SSD 硬盘存放海量低频历史上下文，突破显存容量限制DeepSeek。

3. 推理计算调度优化

1. 拆分预填充（Prefill）与解码（Decode）两条计算链路，命中缓存时直接跳过 Prefill 完整计算流程。
2. DualPath 双路径数据传输，缓存数据通过 RDMA 直送解码引擎，不再经过预填充计算节点，消除网络传输瓶颈。
3. 缓存命中自动分流：命中缓存的请求仅对新增 4% Token 做计算，GPU 算力全部集中在增量内容上。

二、缓存复用的完整执行流程（分四步运行）

1. 前缀检索阶段：新用户请求进入框架，前缀树引擎从首 Token 开始逐段比对，识别与历史请求完全一致的前缀内容。
2. 缓存单元读取阶段：匹配成功后，系统从多级存储里读取对应 KV 缓存，显存热点缓存优先读取，未命中显存则读取内存，最后读取硬盘持久化缓存。
3. 增量计算阶段：仅对请求末尾新增的 4% 非重复 Token 执行 Prefill 预填充计算，其余 96% 内容直接复用历史 KV 结果，不重复调用注意力算子。
4. 缓存持久化阶段：本轮请求结束后，自动把新生成的上下文切分为独立缓存单元，写入多级存储，供后续请求继续复用。

三、96% 缓存复用带来的多维度性能提升

1. 算力与时延指标

• 预填充计算量直接下降 96%，GPU 算力开销缩减超七成；
• 长文本请求首 token 时延从十余秒缩短至 500ms 以内；
• 单卡在线推理吞吐最高提升 1.96 倍，单 Token 能耗降低 51%。

2. 部署成本优化

1. 显存占用大幅下降，不再需要为海量历史上下文预留 HBM 空间；
2. 绝大多数缓存下沉到低成本硬盘阵列，存储硬件成本降低 90%；
3. 缓存命中部分 Token 计费大幅下调，整体 API 调用成本降低一个数量级DeepSeek。

3. 场景适配能力

该复用机制完美适配三大高频业务场景：多轮连续对话、Agent 智能体循环调用、批量知识库问答。这三类场景固定前缀占比极高，很容易稳定达到 96% 的缓存命中水平。

四、开源框架配套能力说明

本次开源的 DeepInfer 推理框架，完整开放全部缓存优化代码，同时附带配套组件：

1. 深度优化的 TileLang 高性能算子库，支撑跨层缓存读取；
2. deepseek-recipe 编解码组件，保证 Token 切分规则和官方 API 完全一致，避免前缀匹配出错；
3. 支持英伟达 CUDA 与华为昇腾双硬件平台，私有化部署与公有云服务均可直接启用缓存复用能力。

【相关 FAQ】

问题 1：DeepSeek 开源推理框架达成 96% 输入无需重新计算，这项能力依靠哪一套核心缓存机制实现？

回答 1：DeepSeek 开源推理框架达成 96% 输入无需重新计算，核心依靠前缀前缀树匹配 + 多级分层 KV 缓存落盘 + CSA2 跨层缓存复用整套机制；先通过 UnifiedRadixTree 精准识别请求公共前缀，再把压缩后的 KV 缓存持久存入硬盘阵列，新请求匹配到历史前缀时直接读取缓存，仅对剩余 4% 新增内容执行计算，最终稳定实现 96% 输入内容免重算。

问题 2：DeepSeek 开源推理框架实现 96% 输入免重算，为什么可以把大量 KV 缓存放到硬盘而不产生高时延？

回答 2：DeepSeek 开源推理框架实现 96% 输入免重算，依托 MLA 多头隐注意力、CSA2 跨层共享 + FP4 量化三重压缩，把单 Token 的 KV 缓存体积压缩至原有水平的 1/4 以下，大幅降低硬盘读写带宽压力；同时框架做了三级缓存分层调度，热点缓存保留在 GPU 显存，只有低频长期上下文才存入硬盘，配合 RDMA 直传链路，硬盘读取不会带来明显延迟，保障 96% 缓存复用场景下推理速度稳定。

问题 3：DeepSeek 开源推理框架做到 96% 输入无需重复计算，在多轮对话场景下如何自动切分缓存单元保障前缀匹配？

回答 3：DeepSeek 开源推理框架做到 96% 输入无需重复计算，依靠 SWA 边界回放策略做自动切分：系统会在每一轮对话起止位置生成独立缓存单元，同时自动检测多条请求的公共前缀并单独落盘；遇到超长文本还会按固定 Token 间隔拆分缓存块，避免长上下文无法生成可复用单元，保证多轮对话里重复的历史内容都能被完整匹配，持续维持 96% 的高缓存复用率。

【数据来源】

[2026-10-20]（DeepSeek 开源 DeepInfer 推理框架，96% 输入可复用缓存无需重算）TechWeb

[2026-10-20]（DeepSeek 正式开源自研推理引擎，开放前缀缓存全套优化代码）观察者网

[2026-10-20]（DeepInfer 框架支持多级 KV 缓存落盘，多轮对话缓存命中率突破 96%）潇湘晨报

[2026-09-30]（CSA2 跨层 KV 缓存复用技术详解，大幅压缩上下文存储体积）CSDN 技术博客

[2026-08-02]（DeepSeek 上下文硬盘缓存技术上线，公共前缀复用率最高达到 96%）DeepSeek 官方 API 文档

免责声明

本文内容仅整理 DeepInfer 开源推理框架的缓存复用技术原理、性能指标与开源组件信息；96% 输入免重算为多轮对话、Agent 调用场景下的实测最优数据，实际缓存命中率会随请求前缀重复程度产生浮动；KV 缓存压缩比例、推理吞吐与时延数据均来自官方技术文档与基准测试结果；框架适配机型、硬件兼容性、私有化部署方案以 GitHub 开源仓库最新版本为准；本文技术内容仅作技术研究参考，不构成商业部署与采购决策依据。