OneTriangle 推出跨模型 KV 缓存传输功能,实现小模型预填充、大模型解码降本提速
OneTriangle 这次正式推出的跨模型 KV 缓存传输功能,解决了大模型长上下文推理里一个很头疼的老问题,以往不同大模型之间切换任务,接收模型必须重新跑一遍完整预填充、从头读取上下文,算力开销和首 token 延迟都很高;这套方案可以先用小模型完成预填充生成 KV 缓存,再通过映射器把缓存转换成目标大模型能用的格式,大模型直接拿着这份缓存做解码输出,不用重复读上下文,在兼容的模型组合上,预填充成本下降约 20%,首 token 等待时间缩短 40%,同时尽量保住大模型原本的输出质量,支持 Qwen、Llama、Mistral、GLM 等主流系列模型配对使用,后续还计划把这个能力合并进 vLLM 推理引擎,开发者不用大幅改动原有 API 就能接入。
一、三种推理方案对比表
| 推理方案 | 执行逻辑 | 首 token 耗时 | 推理成本 | 输出质量 |
|---|---|---|---|---|
| 纯小模型推理 | 小模型预填充 + 小模型解码 | 快 | 最低 | 一般,复杂任务容易出错 |
| 纯大模型推理 | 大模型预填充 + 大模型解码 | 慢 | 高 | 好 |
| OneTriangle 跨模型 KV 缓存传输 | 小模型预填充,缓存映射,大模型解码 | 接近小模型速度 | 明显降低 | 接近原生大模型效果 |
二、跨模型 KV 缓存传输核心流程
- 源小模型执行 prefill 预填充,读取全部长上下文,生成专属 KV 缓存;
- 剥离缓存里的 RoPE 旋转位置编码,通过学习映射器做空间投影,对齐目标大模型的注意力空间;
- 校验质量,如果映射后的缓存效果达标,直接喂给大模型做 decode 解码;
- 质量不达标会自动回退到原生大模型预填充路径,保证输出不翻车;
- 推理结束,缓存生命周期结束,也可以在同架构多轮对话里复用。
三、适配模型配对与实测效果清单
- Qwen3 4B → Qwen3 14B:首 token 速度提升 2.5 倍,成本下降 61%
- Qwen3 8B → Qwen3 32B、Qwen3 1.7B → 8B/32B
- Llama 3.1 8B → Llama 3.1 70B
- Ministral 小版本 → Ministral 128B、GLM Flash 系列跨规格配对
四、优势和现存局限
✅ 优势
- 长文档问答、智能体多轮任务收益最大,长上下文场景预填充是主要开销;
- 上层 API 不用修改,业务侧改动成本低;
- 内置质量门控,效果差自动降级,不会稳定翻车。
- 不是任意两个模型都能传,需要提前校准训练映射器,只支持验证过的配对;
- 跨家族、差异极大的模型组合,缓存映射后质量衰减明显;
- 目前还在集成阶段,完整开源并入 vLLM 还在推进中。
⚠️ 局限
【相关 FAQ】
问题 1:OneTriangle 推出跨模型 KV 缓存传输功能,它的核心思路是什么?
回答 1:OneTriangle 推出跨模型 KV 缓存传输功能,核心思路是小模型负责预填充读上下文生成 KV 缓存,再映射给大模型直接解码,跳过大模型重复预填充步骤,兼顾速度、成本与大模型输出质量。
问题 2:OneTriangle 跨模型 KV 缓存传输功能,能在任意两个大模型之间随便传递缓存吗?
回答 2:OneTriangle 跨模型 KV 缓存传输功能不支持任意模型互相传输,只经过校准验证的模型配对才可以使用,差异太大的跨家族模型映射后效果会明显下滑。
问题 3:OneTriangle 推出跨模型 KV 缓存传输功能,接入的时候需要改大量业务代码吗?
回答 3:OneTriangle 推出跨模型 KV 缓存传输功能,上层 API 保持不变,后续还会向上游 vLLM 引擎合并,开发者原有业务代码改动量很小。
问题 4:OneTriangle 跨模型 KV 缓存传输功能,哪些场景用起来收益最高?
回答 4:OneTriangle 跨模型 KV 缓存传输功能在长文档问答、AI 智能体多轮连续任务这类长上下文场景收益最高,这类场景预填充环节占了绝大部分算力开销。
【参考资料】
[2026-11-17](OneTriangle 推出跨模型 KV 缓存传输功能)OneTriangle 官网
[2026-11-05](OneTriangle 技术博客:跨模型 KV 缓存映射多模型测试结果)OneTriangle 技术博客
[2026-08-18](YC 项目 OneTriangle:基于 KV 缓存传输实现低成本推理)Y Combinator
[2026-08-04](Cross-Model KV Cache Transfer in LLM Families)arXiv
【免责声明】
本文内容整理自 OneTriangle 官网、技术博客以及公开行业论文,仅作为 AI 推理技术科普参考;跨模型 KV 缓存传输的最终性能、质量表现,取决于模型配对、上下文长度、硬件环境;功能的开源进度、引擎合并计划以 OneTriangle 官方公告为准,不构成工程落地采购决策依据。
相关阅读
- Exa 推出 Monitor API,支持定时监控网页变化并通过 webhook 推送通知
- OpenAI 升级 ChatGPT for Healthcare,新增医疗插件、强化临床问答能力
- LangChain11 月 20 日线上研讨会,Harrison Chase 分享 AI Agent 未来方向
- Perplexity 推出 Frontier Research 项目,目标打造自主闭环 AI 研究系统
- ElevenLabs 官宣收购日本语音 AI 实验室 Kotoba,强化东亚语种实时语音能力
- Central Blue 推出太空电网方案,卫星在轨采集阳光靠激光传输能量
- o11 在 Wallet 上线视频功能,输入提示词就可以直接往画面里添加人物
- RightNow 上线自研极速推理引擎配套推理 API,兼容主流开源大模型
- Perplexity 推出 Monitor API,支持 Webhook 推送更新
- IDC 调研 Agentic AI 落地现状,80% 组织已经启动部署,仅 17% 完成全企业规模化应用
- 图像与视频 AI 基准测试活动落地旧金山,多家机构现场分享评测经验
- Y Combinator 转发 David Gu 推出 Recall.ai 会议智能体 API,可接入主流视频会议
- OneTriangle 推出跨模型 KV 缓存传输功能,实现小模型预填充、大模型解码降本提速
- NVIDIA 运营执行副总裁 Debora Shoquist 斩获 GSA Lisa Su 女性创新奖
- LangChain 把 Agent 定为 LangSmith 核心对象并推出 Agent Platform
- 微软提醒 MS Ignite 主题演讲 11 月 17 日太平洋时间上午 10 点开讲
-
安化县属于湖南省益阳市,是益阳市下辖的县级行政区,地处湘中偏北位置,资水中游区域,属于典型的山区县,这...浏览全文>>
-
凤凰古城本身古城景区范围内是没有火车站的,大家常说的凤凰古城火车站,主要就是凤凰古城站,它是张吉怀高铁...浏览全文>>
-
安分守己是常用汉语成语,意思是安于自己本分,守住自身应当遵守的规矩,不做出格的事情,不主动招惹是非,不...浏览全文>>
-
Exa 正式上线 Monitor API,这是一款面向开发者的网页监控接口,能够按设定周期自动执行网页检索、抓取页面...浏览全文>>
-
OpenAI 这次对面向医疗机构的 ChatGPT for Healthcare 做了重要升级,上线了 Healthcare Public Data 医疗公共数据插件,同时增强 浏览全文>>
-
LangChain 官宣将在 11 月 20 日举办线上研讨会,由 LangChain 联合创始人兼 CEO Harrison Chase 主讲,主题围绕 AI Agent 浏览全文>>
-
Perplexity 正式启动 Frontier Research 前沿研究项目,核心目标是搭建一套完整的自主研究系统,它不只是...浏览全文>>
-
ElevenLabs 在 11 月 16 日正式对外宣布,将收购日本头部语音 AI 实验室 Kotoba,整个 Kotoba 团队会并入 ElevenLabs,这套自研 浏览全文>>
-
初创公司 Central Blue 正式对外发布太空电网方案,这套方案的核心思路是在轨部署专用卫星,在太空无遮挡环...浏览全文>>
-
o11 Wallet 这次新增的视频编辑能力,是内置在 Wallet 生态里的 AI 视频功能,不用跳转到外部剪辑工具,...浏览全文>>
- LangChain11 月 20 日线上研讨会,Harrison Chase 分享 AI Agent 未来方向
- RightNow 上线自研极速推理引擎配套推理 API,兼容主流开源大模型
- 微软 TokenEconomizer 面向编程智能体,依靠复用会话经验降低 Token 开销
- 战神原版希腊三部曲登陆安卓,手机可玩奎爷经典作品
- 乘坐高铁对行李的要求 高铁携带行李规范详解
- 折纸回旋飞机怎么折 手工制作教程
- 华为 WATCH Air 首曝机身比苹果 Watch 更薄,外观颜值亮眼
- 捷途环游者 EV 纯电方盒子预售 9.99 万,四驱版本 5 秒破百
- Synthesia 推出 AI 视频工具 Syren一条提示词即可生成品牌视频,支持文档素材导入与聊天式精修
- UNESCO 报告AI 气候问答准确率约 90%,遭用户质疑时会放弃科学事实
- Google AI Studio 上线多款 Gemini 音频模型,覆盖转写、实时对话、语音合成与 AI 音乐
- 微软提醒 MSIgnite 主题演讲 11 月 17 日上午 10 点开启直播
- 马斯克会不会出售产线?美国改装商自费提议接盘特斯拉 Cybertruck 产线
- 007 新一任邦德官宣,罗伯特・帕丁森接棒丹尼尔・克雷格
- 爷青回腾讯 QQ 经典牧场回归,同步上线巨大变异等新玩法
- 黄仁勋卸任英伟达 CEO 后,美国加码对华 AI 限制,内存闪存供应链迎来大洗牌
- 微软早前补丁埋下隐患,74 个国家地区微软 365 服务大规模宕机
- 奔驰宝马召回一万多台车,隐患偏温和、属于常规小缺陷召回
- Khosla Ventures 持续加注 CormaAI,助力防御性网络安全基础模型研发
- LearnOpenCV 分享货架检测案例多出的边界框暴露计数问题
- Perplexity 推出 Frontier Research 项目,目标打造自主闭环 AI 研究系统
- ElevenLabs 官宣收购日本语音 AI 实验室 Kotoba,强化东亚语种实时语音能力
- Perplexity 推出 Monitor API,支持 Webhook 推送更新
- IDC 调研 Agentic AI 落地现状,80% 组织已经启动部署,仅 17% 完成全企业规模化应用
- 图像与视频 AI 基准测试活动落地旧金山,多家机构现场分享评测经验
- LangChain 把 Agent 定为 LangSmith 核心对象并推出 Agent Platform
- 微软提醒 MS Ignite 主题演讲 11 月 17 日太平洋时间上午 10 点开讲
- PyTorch 第四届贡献者奖正式公布,一共 15 位获奖者、11 位提名者上榜
- 女子 2209 元购入苹果手表,官方维修费 2309 元,消协直指售后政策太霸道
- 乐道 L90 支付宝订阅用车上线,芝麻分 650 + 月付 2999 元起
- 企业厕所私装信号屏蔽器防员工刷手机被罚 9000 元
- 车牌螺丝安装 规范操作详解
- 一小时 10 元,工人采集第一视角数据训练机器人
- Perplexity 队友基于 Fable 5.2 打造浏览器开放世界驾驶游戏 VICE'86
- 美国 NHTSA 调查超百万本田汽车自动启停故障事件
- 球形摄像头拍违章吗 抓拍功能详解
- 一文读懂 Personal Agent(个人智能体),主动帮用户代办事务的 AI 数字分身
- 驾驶证扣分怎么处理 违章记分办理指南
- 爱奇艺会员怎么共享 星钻家庭组共享操作说明
- OPPO Reno17 全球首发 6 秒超清实况,主打年轻人社交分享
