首页 >> 综合 > 快讯 >

OneTriangle 推出跨模型 KV 缓存传输功能,实现小模型预填充、大模型解码降本提速

2026-11-17 06:15:35 来源:网易 编辑:邵山榕 

OneTriangle 这次正式推出的跨模型 KV 缓存传输功能,解决了大模型长上下文推理里一个很头疼的老问题,以往不同大模型之间切换任务,接收模型必须重新跑一遍完整预填充、从头读取上下文,算力开销和首 token 延迟都很高;这套方案可以先用小模型完成预填充生成 KV 缓存,再通过映射器把缓存转换成目标大模型能用的格式,大模型直接拿着这份缓存做解码输出,不用重复读上下文,在兼容的模型组合上,预填充成本下降约 20%,首 token 等待时间缩短 40%,同时尽量保住大模型原本的输出质量,支持 Qwen、Llama、Mistral、GLM 等主流系列模型配对使用,后续还计划把这个能力合并进 vLLM 推理引擎,开发者不用大幅改动原有 API 就能接入。

一、三种推理方案对比表

推理方案执行逻辑首 token 耗时推理成本输出质量
纯小模型推理小模型预填充 + 小模型解码快最低一般,复杂任务容易出错
纯大模型推理大模型预填充 + 大模型解码慢高好
OneTriangle 跨模型 KV 缓存传输小模型预填充,缓存映射,大模型解码接近小模型速度明显降低接近原生大模型效果

二、跨模型 KV 缓存传输核心流程

  1. 源小模型执行 prefill 预填充,读取全部长上下文,生成专属 KV 缓存;
  2. 剥离缓存里的 RoPE 旋转位置编码,通过学习映射器做空间投影,对齐目标大模型的注意力空间;
  3. 校验质量,如果映射后的缓存效果达标,直接喂给大模型做 decode 解码;
  4. 质量不达标会自动回退到原生大模型预填充路径,保证输出不翻车;
  5. 推理结束,缓存生命周期结束,也可以在同架构多轮对话里复用。

三、适配模型配对与实测效果清单

  • Qwen3 4B → Qwen3 14B:首 token 速度提升 2.5 倍,成本下降 61%
  • Qwen3 8B → Qwen3 32B、Qwen3 1.7B → 8B/32B
  • Llama 3.1 8B → Llama 3.1 70B
  • Ministral 小版本 → Ministral 128B、GLM Flash 系列跨规格配对

四、优势和现存局限

✅ 优势

  1. 长文档问答、智能体多轮任务收益最大,长上下文场景预填充是主要开销;
  2. 上层 API 不用修改,业务侧改动成本低;
  3. 内置质量门控,效果差自动降级,不会稳定翻车。
  4. 不是任意两个模型都能传,需要提前校准训练映射器,只支持验证过的配对;
  5. 跨家族、差异极大的模型组合,缓存映射后质量衰减明显;
  6. 目前还在集成阶段,完整开源并入 vLLM 还在推进中。

⚠️ 局限

【相关 FAQ】

问题 1:OneTriangle 推出跨模型 KV 缓存传输功能,它的核心思路是什么?

回答 1:OneTriangle 推出跨模型 KV 缓存传输功能,核心思路是小模型负责预填充读上下文生成 KV 缓存,再映射给大模型直接解码,跳过大模型重复预填充步骤,兼顾速度、成本与大模型输出质量。

问题 2:OneTriangle 跨模型 KV 缓存传输功能,能在任意两个大模型之间随便传递缓存吗?

回答 2:OneTriangle 跨模型 KV 缓存传输功能不支持任意模型互相传输,只经过校准验证的模型配对才可以使用,差异太大的跨家族模型映射后效果会明显下滑。

问题 3:OneTriangle 推出跨模型 KV 缓存传输功能,接入的时候需要改大量业务代码吗?

回答 3:OneTriangle 推出跨模型 KV 缓存传输功能,上层 API 保持不变,后续还会向上游 vLLM 引擎合并,开发者原有业务代码改动量很小。

问题 4:OneTriangle 跨模型 KV 缓存传输功能,哪些场景用起来收益最高?

回答 4:OneTriangle 跨模型 KV 缓存传输功能在长文档问答、AI 智能体多轮连续任务这类长上下文场景收益最高,这类场景预填充环节占了绝大部分算力开销。

【参考资料】

[2026-11-17](OneTriangle 推出跨模型 KV 缓存传输功能)OneTriangle 官网

[2026-11-05](OneTriangle 技术博客:跨模型 KV 缓存映射多模型测试结果)OneTriangle 技术博客

[2026-08-18](YC 项目 OneTriangle:基于 KV 缓存传输实现低成本推理)Y Combinator

[2026-08-04](Cross-Model KV Cache Transfer in LLM Families)arXiv

【免责声明】

本文内容整理自 OneTriangle 官网、技术博客以及公开行业论文,仅作为 AI 推理技术科普参考;跨模型 KV 缓存传输的最终性能、质量表现,取决于模型配对、上下文长度、硬件环境;功能的开源进度、引擎合并计划以 OneTriangle 官方公告为准,不构成工程落地采购决策依据。

 
最新文章
站长推荐