Swarm Telepathy 实验实现 Gemma 3 4B 向 Granite 3.3 8B 跨模型传递内部上下文

本次 Swarm Telepathy 实验顺利完成了跨模型家族的内部上下文传递，由 Google 多模态模型 Gemma 3 4B 作为发送端，直接把处理图片后生成的 KV 缓存内部上下文，传递给 IBM 纯文本大模型 Granite 3.3 8B，全程不需要把内容转换成文字摘要，接收模型也不用提前做文本预填充；在视觉问答测试中，依靠传递过来的内部上下文，Granite 3.3 8B 答题平均准确率达到 41.6%，远高于直接读取原图文字信息时 21.1% 的成绩，同时通信速度比传统文字转述快 4 倍、整体准确率高出 40%，充分验证了跨模型内部上下文直传方案的实用性；这套方案不需要对 Gemma 3 4B 与 Granite 3.3 8B 做任何微调，只需要少量数据完成映射层训练，就能打通不同模型家族之间的潜状态通道，把多模态模型的视觉理解结果直接给到纯文本模型，大幅减少多智能体协作里的信息损耗与重复计算。

一、实验基础条件与模型配置

1、收发模型基础信息

表格

2、实验核心技术：SwaT（Swarm Telepathy）

1. 核心原理：不依靠文字 token 中转，直接把发送模型神经网络生成的 KV 缓存（内部上下文），映射转换到接收模型的潜向量空间，实现模型之间 “潜状态直传”。
2. 关键优势：收发模型全程保持冻结状态，不需要微调大模型权重；训练开销极低，仅需不到 5000 万词元、不足 1 天的单 GPU 算力就能完成映射层训练。
3. 运行特点：免预填充，接收模型不需要提前输入前置文本，拿到转换后的 KV 缓存就能直接读取上下文信息。

二、Gemma 3 4B 向 Granite 3.3 8B 传递上下文完整操作步骤

1. 前置准备：搭建 SwaT 映射网络，完成 Gemma 3 4B 与 Granite 3.3 8B 之间向量空间的对齐训练，只训练转换层，两大基础模型权重保持不变。
2. 发送端生成上下文：把图片输入 Gemma 3 4B，模型完成图像推理，生成完整 KV 缓存，也就是本次要传递的内部上下文，不生成任何文字输出。
3. 潜状态映射转换：SwaT 网络把 Gemma 3 4B 的 KV 缓存，转换为适配 Granite 3.3 8B 神经网络格式的向量数据。
4. 接收端读取上下文：把转换完成的向量直接输入 Granite 3.3 8B，模型直接读取内部上下文，完成视觉问答任务，全程不需要文字转述。
5. 结果统计：在 5 项视觉问答基准里，统计模型答题准确率，对比文字转述方案的效果差异。

三、本次实验取得的核心测试结果

1. 准确率对比：依靠内部上下文直传，Granite 3.3 8B 平均准确率 41.6%；采用传统文字摘要转述方式，准确率仅 21.1%，提升幅度接近一倍。
2. 通信效率：内部上下文直传的运行耗时，只有文字交互模式的四分之一，计算开销大幅降低。
3. 上下文留存率：Gemma 3 4B 传递过来的信息，在 Granite 3.3 8B 模型里信息留存率超过 93%，跨模型信息丢失极少。
4. 泛化能力：即便只用文本数据训练映射网络，依然能把 Gemma 3 4B 的图像理解上下文完整传递给纯文本模型，跨模态信息传输稳定可靠。

四、该方案落地多智能体协作的价值

1. 消除文字转述带来的信息丢失，把多模态模型的深层推理结果完整交付给下游文本模型。
2. 省去重复文本编码与解码计算，大幅降低多智能体集群的整体算力消耗。
3. 打通不同厂商、不同模型家族之间的通信壁垒，让 Google 模型与 IBM 模型可以直接共享内部上下文，不用统一模型底座。

【相关 FAQ】

问题 1：在 Swarm Telepathy 实验里，Gemma 3 4B 向 Granite 3.3 8B 传递内部上下文，相比文字传递方式有多大提升？

回答 1：在本次 Swarm Telepathy 实验中，Gemma 3 4B 把内部上下文直传给 Granite 3.3 8B，视觉问答准确率达到 41.6%，比文字转述模式高出 40% 以上，同时通信速度提升 4 倍，信息损耗大幅降低。

问题 2：Swarm Telepathy 实验中 Gemma 3 4B 与 Granite 3.3 8B 跨模型传递内部上下文，是否需要微调两大模型本身？

回答 2：不需要微调 Gemma 3 4B 和 Granite 3.3 8B 的基础权重，Swarm Telepathy 方案只训练一层向量映射网络，两大模型全程保持冻结，训练仅需要少量词元与单日 GPU 算力。

问题 3：Gemma 3 4B 是多模态模型，Granite 3.3 8B 是纯文本模型，Swarm Telepathy 能不能把图像对应的内部上下文完整传递过去？

回答 3：可以实现。本次 Swarm Telepathy 实验验证，Gemma 3 4B 解析图片生成的内部上下文，经过 SwaT 映射转换后，Granite 3.3 8B 可以直接读取图像推理信息，答题效果显著优于读取文字摘要。

问题 4：Swarm Telepathy 实现 Gemma 3 4B 向 Granite 3.3 8B 传递内部上下文，免预填充是什么意思？

回答 4：免预填充就是 Granite 3.3 8B 接收 Gemma 3 4B 的内部上下文时，不需要提前输入前置文本内容，只载入转换后的 KV 缓存向量，就能直接调用上下文信息完成推理，减少冗余计算。

问题 5：Swarm Telepathy 实验中 Gemma 3 4B 向 Granite 3.3 8B 传递内部上下文，信息留存水平怎么样？

回答 5：本次实验数据显示，Gemma 3 4B 传递给 Granite 3.3 8B 的内部上下文，整体信息留存率高于 93%，跨模型潜状态传递的信息丢失量极低，能够保障下游模型稳定完成推理任务。

【数据来源】

[2026-10-30]（Swarm Telepathy 跨模型上下文传递实验快讯）InfoQ 中文站

[2026-10-29]（MIT 跨模型 KV 缓存通信技术研究）Nnets 科技资讯

[2026-10-14]（Swarm Telepathy：跨家族免预填充 KV 缓存传输论文解读）沙丘社区

[2026-10-10]（Swarm Telepathy 实验原文：Gemma 3 4B 至 Granite 3.3 8B 上下文传递）arXiv.org

[2026-10-10]（多智能体跨模型潜状态通信技术论文）arXiv.org

免责声明：本文全部实验数据、模型参数、准确率指标均来自公开学术论文与科技媒体发布内容；模型上下文传递效果会受硬件环境、映射网络训练参数影响；Gemma 3、Granite 3.3 系列模型的基础性能以谷歌、IBM 官方发布的模型卡片为准；SwaT 技术现阶段仅为学术实验成果，商业化落地还需要进一步工程优化。