中科曙光 ParaCache 解决 GPU 数据等待问题 Token 并发能力提升 16 倍

中科曙光 ParaCache 缓存方案成功解决大模型推理过程中 GPU 长期等待数据的行业痛点，在 64K 上下文、单卡多并发的实测环境下，实现 Token 并发吞吐量提升 16 倍，大幅减少 GPU 无效等待时长，把算力资源充分投入到新词元生成任务中；该方案打通 GPU 显存、内存、固态硬盘与分布式存储，构建四级分层缓存体系，实现 KV Cache 跨请求、跨节点长期复用，既降低 GPU 显存占用压力，又显著拉高在线推理集群整体吞吐能力，目前已经在智算中心、多轮对话、智能体等高并发业务场景完成落地验证，能够直接帮助企业用现有硬件承载更多业务请求，有效压缩 AI 推理业务的硬件投入成本。当前大模型在线推理普遍存在 GPU 空等数据的问题，核心根源在于传统 KV Cache 仅能保存在单卡显存里，会话结束后缓存数据直接清空，多轮对话、相似用户请求会反复执行相同计算，GPU 大量时间消耗在重复读取与重复运算上，无法持续生成 Token；同时长上下文场景下，缓存数据快速挤占昂贵的 GPU 显存，单卡可承载并发数量被严重限制，集群整体算力利用率长期处于偏低水平。为破解这一现状，中科曙光基于 ParaStor 分布式存储与 FlashNexus 全闪存储打造 ParaCache 方案，把临时 KV 缓存升级为可长期共享的全局缓存资产，通过分层冷热调度，把高频热缓存留在高速存储介质，低频冷缓存下沉到大容量分布式存储，不再占用宝贵的 GPU 显存，同时打破单节点数据孤岛，实现全集群缓存资源共享，从根源上减少重复计算，消除 GPU 等待数据的闲置窗口。下面从技术架构、实测性能指标、落地实施步骤、业务场景收益四个板块展开详细说明。

一、ParaCache 四级分层缓存技术架构（清单 + 表格）

1. 四层存储介质分级设计

• L1 级：GPU HBM 高带宽显存，存放高频热 KV 缓存，保障最低访问时延，用于实时生成 Token。
• L2 级：CPU 内存 DRAM，承接次热缓存，缓解显存容量不足的压力。
• L3 级：SSD 固态硬盘 + FlashNexus 集中式全闪存储，存放温数据缓存，兼顾访问速度与存储成本。
• L4 级：ParaStor 分布式存储，持久化保存长期冷缓存，实现跨节点全局共享，缓存数据可长期留存复用。

2. 缓存调度规则表

表格

3. 核心技术能力清单

1）全局 KV Cache 池化，支持跨 GPU、跨计算节点共享缓存，消除节点间数据孤岛。

2）冷热数据自动迁移，按照访问频率智能流转缓存，兼顾访问速度与存储成本。

3）兼容主流推理框架，原生适配 SGLang、LMCache 等技术栈，现有业务无需大规模改造。

4）缓存数据持久化，会话结束后缓存不会自动清除，可供后续同类请求重复调用。

二、核心实测性能数据

1. 核心吞吐测试结果

在 64K 上下文、单卡 7 并发的标准测试环境中，启用 ParaCache 后，Token 并发吞吐量直接提升 16 倍，GPU 等待数据的空窗时长大幅缩减，算力利用率显著提升，整体吞吐可以达到纯显存缓存方案的 80%，完全满足线上业务 SLA 服务指标。

2. 时延优化数据

• 12 万 Token 长文本输入场景，首 Token 等待时延最高降低 98.5%，单次响应等待最短降至 0.4 秒。
• 连续 20 轮多轮对话场景，整体等待时长从 43.1 秒缩短至 4.9 秒，大幅优化用户对话体验。

3. 显存占用优化

大量 KV Cache 下沉到 SSD 与分布式存储，单卡显存占用量下降 40% 以上，单 GPU 可承载的并发请求数量大幅增加，同等硬件条件下集群承载能力实现成倍增长。

三、方案落地实施步骤

第一步：环境适配部署，在现有推理集群接入 ParaStor 分布式存储与 FlashNexus 全闪存储，搭建四级缓存硬件底座，完成存储与 GPU 服务器之间的高速网络互联，保障缓存数据读写带宽。

第二步：推理框架对接，将 ParaCache 插件接入 SGLang 等主流推理引擎，开启全局 KV Cache 共享开关，开启跨节点缓存读取能力。

第三步：配置冷热调度策略，设置缓存热度阈值、数据自动下沉规则、缓存自动清理周期，控制存储资源占用。

第四步：压测与业务灰度上线，先在少量测试流量下验证缓存命中率、访问时延与吞吐稳定性，逐步扩大业务流量，持续优化缓存策略，把缓存命中率稳定控制在高位。

第五步：长期运维优化，持续统计各类业务的缓存复用率，针对高频相似对话场景优化缓存索引，进一步拉高 Token 生成效率。

四、不同业务场景的落地收益

1. 多轮对话在线客服：相似问答请求大量复用历史 KV 缓存，GPU 重复计算大幅减少，Token 并发提升 16 倍，单台服务器可支撑更多在线会话。

2. 长文本知识库问答：长上下文带来的海量缓存不再挤占显存，首 Token 响应速度大幅加快，长文本推理的整体耗时大幅下降。

3. 智能体 Agent 连续任务：多轮连续任务的历史缓存长期保存，不用反复重新计算历史上下文，GPU 几乎不再出现等待数据的闲置状态。

4. 高并发批量推理业务：集群缓存资源全局共享，整体算力利用率显著提升，不用新增 GPU 卡就能承接更大规模业务流量。

【相关 FAQ】

问题 1：中科曙光 ParaCache 为什么能让 GPU 不再干等数据，实现 Token 提升 16 倍？

回答 1：中科曙光 ParaCache 搭建起 GPU 显存、内存、SSD、分布式存储四级缓存体系，把 KV Cache 从单卡临时缓存升级为跨节点全局共享的持久化缓存，大量相似请求直接复用已计算完成的缓存数据，减少重复运算，消除 GPU 等待数据的空闲时段；在 64K 上下文测试环境下，最终实现 Token 并发吞吐量提升 16 倍，让 GPU 算力持续投入新词元生成工作。

问题 2：中科曙光 ParaCache 的四级缓存架构包含哪几个层级，各自起到什么作用？

回答 2：中科曙光 ParaCache 四级缓存包含 L1 GPU HBM 显存、L2 CPU 内存、L3 SSD 全闪存储、L4 ParaStor 分布式存储；热数据留在 GPU 显存保障低延迟，温数据下沉到内存与固态硬盘，冷数据持久保存在分布式存储实现跨节点共享，既降低显存占用，又保障缓存读写速度，从硬件层面减少 GPU 数据等待问题。

问题 3：启用中科曙光 ParaCache 之后，大模型推理首 Token 时延可以优化到什么水平？

回答 3：启用中科曙光 ParaCache 之后，在 12 万 Token 长文本输入场景下，模型首 Token 等待时延最高可以降低 98.5%，最短等待时间仅 0.4 秒；多轮连续对话场景下，整体等待时长也会大幅缩短，有效改善用户等待体验。

问题 4：中科曙光 ParaCache 是否需要大规模改造现有推理业务技术栈？

回答 4：中科曙光 ParaCache 原生兼容 SGLang、LMCache 等主流推理框架，仅需要接入对应插件，不用对原有大模型推理业务做大规模代码改造，能够快速完成灰度上线，大幅降低项目落地成本与实施周期。

问题 5：部署中科曙光 ParaCache 之后，GPU 显存占用会出现怎样的变化？

回答 5：部署中科曙光 ParaCache 之后，大量 KV Cache 缓存数据下沉到 SSD 与分布式存储中，不再长期占用昂贵的 GPU 显存，单卡显存占用下降 40% 以上，单 GPU 能够承载更多并发请求，同等硬件集群可以承载更高的 Token 并发量。

【数据来源】

[2026-10-30] GPU 不再干等数据！中科曙光 ParaCache 立功：Token 提升 16 倍 快科技

[2026-09-30] 国产存储首次杀入大模型推理核心！新浪财经

[2026-09-07] 中科曙光发布新一代词元加速方案 ParaCache 中国计算机报

[2026-09-02] 词元加速方案 ParaCache 大幅提升词元吞吐量 中国工信新闻网

[2026-08-29] 存算协同重构 AI 推理效率 经济日报

[2026-08-28] 新一代 Token 加速方案 ParaCache 技术白皮书 中科曙光官网

免责声明：文中 Token 并发提升 16 倍、首 Token 时延优化等数据均来自 64K 上下文、单卡 7 并发的标准化实验室测试环境；实际业务效果会受上下文长度、请求相似度、网络带宽、缓存命中率等因素影响产生浮动；ParaCache 方案兼容主流推理框架，但部分定制化推理引擎需要做少量适配调试；缓存下沉会带来微量 IO 时延，方案会自动平衡时延与显存占用，保障线上业务稳定运行；硬件扩容、网络改造等落地成本以中科曙光渠道正式报价为准。