DeepSeek 开源自研推理框架 DeepInfer，助力大模型实现高效普惠部署

本次 DeepSeek 正式全面开源自研推理框架 DeepInfer，同时配套开源 deepseek-recipe 编解码组件，能够直接解决大模型大规模上线时算力开销大、推理延迟高、多硬件平台适配难等核心痛点，让中小企业与开发者不用投入高额研发成本，就能搭建和官方线上服务性能持平的大模型推理服务，真正把大模型部署的门槛降下来。之所以能够实现普惠部署，核心原因是 DeepInfer 把内部线上服务打磨成熟的全套推理优化方案全部对外开放，从算力调度、缓存复用、解码策略到多芯片兼容形成一整套完整方案；落地部署时只需要按照框架给出的 Prefill 与 Decode 分离部署方案，搭配 KVCache 复用与投机解码技术，就能把 GPU 空转率压到最低，把单集群 Token 吞吐能力拉满；最终落地之后，既能做到高吞吐低延迟，又能大幅缩减电费与硬件投入，让大模型服务的整体成本持续下降，最终完成大模型高效普惠部署的目标。

一、DeepInfer 核心能力清单

1. 基础引擎能力：集成自研高性能算子，内置分布式推理、投机解码、SWA Bounded Replay、结构化输出四大核心能力，原生适配 DeepSeek 全系大模型，优先支持 DeepSeek V4.1 Flash 版本。

2. 多硬件兼容：同时支持英伟达 GPU 与华为昇腾算力平台，打破单一硬件生态限制，私有化部署与公有云部署都能灵活选择硬件机型。

3. 配套组件同步开源：同步开放 deepseek-recipe 生产级 Token 编解码工具，该组件可以和 DeepSeek 官方 API 的字符处理逻辑完全对齐，社区本地部署后的接口体验、字符切分效果和线上官方服务保持一致，不会出现本地调用和线上调用效果不一致的问题。

4. 开源协议友好：DeepInfer 采用 Apache 2.0 开源协议，deepseek-recipe 采用 MIT 协议，企业可以自由修改、二次开发并用于商业项目，没有额外版权约束。

二、核心技术优化方案（分步落地）

1. 请求链路拆分：把单次推理请求拆成 Prefill 预填充阶段和 Decode 逐 Token 生成阶段，两个阶段分开部署在不同算力节点，Prefill 阶段侧重算力吞吐，使用 8 卡机型；Decode 阶段侧重显存读取效率，使用 64 卡至 128 卡超节点，最小部署单元推荐 64 卡 Prefill 集群搭配 64 卡 Decode 集群，最大化利用硬件资源。

2.KVCache 缓存复用：对历史对话前缀缓存进行持久化存储，当新请求出现完全一致的前文内容时，直接复用已计算好的 KV 缓存，不用重复计算，实测可以覆盖 96% 的重复输入内容，大幅减少重复算力消耗。

3. 投机解码优化：采用草稿模型 + 置信度校验机制，用低秩 logit bias 校正草稿输出偏差，依靠 Confidence Head 动态调整验证长度，不再使用固定 Token 校验，整体集群吞吐可以额外提升 6%。

4.MoE 模型负载均衡：节点内部开启专家并行 EP，Prefill 场景设置 EP2~EP8，Decode 场景开启 EP64~EP128；同时配备四级负载均衡调度器，把专家算力分配偏差控制在 1.09 以内，避免部分 GPU 过载、部分 GPU 闲置的情况。

5. 异步流水线调度：依靠 CPU 侧调度逻辑补齐 GPU 运算空档，把 Prefill、缓存读写、解码生成三个环节做成流水线重叠，消除 CUDA 流空闲间隙，保证 GPU 全程满载运行。

三、线上落地实测数据

1. 集群吞吐指标：依托 DeepInfer 部署 DeepSeek V4.1 Flash，单集群每日 Token 吞吐可以达到 155 万亿 Token，完全满足高并发线上 API 调用需求36氪。

2. 成本收益指标：按照谷电电价核算，单张 GPU 每小时可以创造 38 美元的服务收入，硬件利用率提升之后，单位 Token 的算力成本显著下降。

3. 部署一致性：使用 deepseek-recipe 组件后，本地私有化部署的字符切分、超长上下文处理逻辑和 DeepSeek 公有云 API 完全统一，不会出现本地测试效果好、线上调用效果变差的问题。

四、部署实施步骤

步骤 1：拉取 DeepInfer 与 deepseek-recipe 开源代码仓库，按照硬件类型选择英伟达 CUDA 环境或者华为昇腾编译环境，完成算子编译与环境依赖安装。

步骤 2：按照 Prefill 与 Decode 分离架构搭建两套独立集群，分别配置对应的并行度参数与负载均衡策略，对接外部 KVCache 持久化存储。

步骤 3：接入 deepseek-recipe 编解码组件，对齐 Token 处理规则，完成接口封装，保证对外 API 和官方服务格式保持一致。

步骤 4：开启投机解码与缓存复用功能，对负载调度参数进行微调，逐步压测并发量，把 GPU 空载率控制在 5% 以内。

步骤 5：上线试运行，持续迭代算子与调度策略，后续 DeepSeek 新模型的推理代码与性能优化版本，都会持续更新到 DeepInfer 开源仓库中。

【相关 FAQ】

问题 1，回答 1：DeepInfer 开源自研推理框架，能给大模型普惠部署带来哪些直接帮助？

回答 1：DeepInfer 把线上大规模服务的全套优化技术全部开源，通过 Prefill 与 Decode 分离、KVCache 复用、投机解码等优化手段，降低 GPU 空载率，减少算力与电力消耗，同时兼容英伟达、昇腾双硬件平台，搭配同步开源的编解码组件，让企业不用从零开发推理引擎，低成本搭建稳定高效的大模型服务，推动大模型走向普惠部署。

问题 2，回答 2：DeepInfer 配套开源的 deepseek-recipe 组件，在大模型部署里起到什么作用？

回答 2：deepseek-recipe 是生产级 Token 编解码组件，它可以把本地私有化部署的字符处理逻辑和 DeepSeek 官方公有云 API 保持完全对齐，解决社区自建服务和线上官方服务输出不一致的问题，保障私有化部署的体验一致性，为普惠部署扫清接口适配障碍。

问题 3，回答 3：基于 DeepInfer 部署 DeepSeek V4.1 Flash，集群可以达到什么样的吞吐水平？

回答 3：在合理调度硬件资源的前提下，单集群每日 Token 吞吐可以达到 155 万亿 Token，同时单卡每小时服务收益可以达到 38 美元，高吞吐与低成本兼顾，适合大规模线上 MaaS 服务落地。

【数据来源】

[2026-10-20]（DeepSeek 全面开源自研推理框架 DeepInfer，助力大模型高效普惠部署）36 氪

[2026-10-20]（重磅！DeepSeek 宣布开源原生推理框架）21 世纪经济报道

[2026-10-20]（DeepSeek 宣布全面开源内部推理框架）澎湃新闻

[2026-10-20]（一张卡每小时收入 38 美元！DeepSeek 开源推理框架并披露账本）第一财经

免责声明：本文内容仅围绕 DeepInfer 开源项目做技术信息梳理，所有性能数据均来自公开技术披露，不同硬件环境、集群规模下的实际部署效果会存在差异；开源项目的二次开发与商业落地，需要严格遵守对应开源协议条款，本文不构成任何项目落地的技术承诺与投资建议。