扩散智能发布 Clover-35B-A3B-Preview 全球首款开源 MoE 架构扩散语言模型

扩散智能推出的 Clover-35B-A3B-Preview，是全球第一款采用 MoE 混合专家架构的开源扩散语言模型，打破了传统自回归大模型串行生成的技术局限，把扩散并行生成方案与 MoE 高效算力方案结合在一起，总参数达到 350 亿，单 Token 仅激活 30 亿参数，既实现了大模型能力升级，又严格控制推理算力开销，在智能体编程、工具调用等任务上，综合性能优于同规格自回归模型，生成速度最高能达到同类自回归模型的 5 至 10 倍，并且已经完成全量开源，开发者可以直接获取权重与代码开展二次开发。本次模型能够实现性能与速度兼顾，核心是技术架构做出了两大创新，一是把 MoE 混合专家结构引入扩散语言模型，解决大参数量带来的算力暴涨问题；二是采用块扩散 + 重构门控 Delta 网络，在 128K 超长上下文条件下保持并行解码能力，不会出现上下文越长、速度越慢的问题。下面从核心技术参数、架构设计、性能实测、开源部署四个板块完整拆解。

一、模型核心技术参数清单

全部参数来自官方发布的模型卡，所有数值均为预览版公开配置。

表格

二、两大核心技术架构设计

1. MoE 混合专家架构（解决大模型算力难题）

传统稠密大模型参数全部参与计算，参数量越大，算力消耗越高。Clover-35B-A3B-Preview 采用 MoE 路由机制，把 350 亿总参数拆分成大量专家模块，每一次生成 Token 时，模型只路由激活其中 30 亿参数的专家网络，其余专家保持休眠状态。

这样做带来两个直接优势：第一，模型可以做到总参数量大幅扩容，模型智能上限持续提升；第二，推理时只需要计算激活部分，不会因为总参数变大而拖慢生成速度，实现 “大参数、低算力” 的平衡。

2. 块扩散 + GDN 门控网络（扩散生成的核心优化）

普通扩散语言模型全局去噪，长文本场景下计算开销会急剧上升。这款模型采用块扩散方案，把整段文本切分成固定大小的文本块，只在单个块内部执行并行去噪生成，块与块之间保留先后顺序，兼顾并行速度与文本时序逻辑。

同时团队重构 GDN 门控 Delta 网络，通过递归状态压缩保存历史上下文信息，让模型在 128K 超长上下文场景里，依然可以稳定完成并行解码，不会出现长文本生成质量下滑、速度断崖式下跌的问题。

三、实测性能表现（对标同尺寸自回归模型）

本次评测主要围绕智能体 Agent 任务、代码生成两大场景，对标 Qwen3.6-35B-A3B 等同规模自回归模型。

1. 智能体综合任务：τ³ Overall 评测得分 65.3，BFCL-v4 函数调用得分 67.9，Terminal-Bench 终端任务得分 51.7，整体成绩优于同尺寸自回归基线模型；Agent 任务平均耗时仅 1.52 秒，对比主流方案 3.21 秒，用时缩短近一半，任务成功率达到 98.6%。
2. 代码开发任务：在 SWE-bench Verified 真实仓库改 bug 测试中取得 73.6 的高分，具备网页开发、代码调试、多步工具调用能力，完全满足开发类智能体落地需求。
3. 生成速度：在同等硬件条件下，峰值生成速度达到 680 tokens/s，相比同规格稠密自回归模型，整体生成效率提升 5 倍到 10 倍，长文本场景下速度优势会进一步放大。

四、开源部署渠道

1. 模型权重：同步上架 Hugging Face、ModelScope 两大平台，BF16 精度模型文件大小约 69GB，可直接下载使用。
2. 工程代码：GitHub 开放全套训练代码、推理脚本、评测工具，配套 SGLang、llama.cpp 两种主流推理后端，开发者可以一键完成本地部署与微调。
3. 适用场景：科研机构做扩散大模型技术研究、企业开发代码智能体、长文档批量处理、多轮工具调用类 AI 应用。

【相关 FAQ】

问题 1：Clover-35B-A3B-Preview 为什么被称为全球首款开源 MoE 架构扩散语言模型？

回答 1：Clover-35B-A3B-Preview 是业内首次把 MoE 混合专家架构与扩散语言模型（dLLM）结合在一起，同时完成全量开源的大模型；过往扩散模型多为稠密架构，无法兼顾大参数量与推理效率，这款模型填补了 MoE + 扩散并行生成方案的开源空白，因此成为全球首款该类型开源模型。

问题 2：Clover-35B-A3B-Preview 的 MoE 架构是如何控制算力消耗的？

回答 2：Clover-35B-A3B-Preview 总参数 350 亿，但依靠 MoE 路由机制，每一次生成 Token 只激活 30 亿参数的专家网络，其余专家不参与计算；只对激活部分执行运算，在扩大模型总参数、提升模型能力的同时，把单次推理算力开销控制在较低水平，避免大参数量带来推理成本暴涨。

问题 3：Clover-35B-A3B-Preview 块扩散技术可以解决哪些生成痛点？

回答 3：Clover-35B-A3B-Preview 的块扩散技术，把长文本拆分为独立文本块，只在块内做并行去噪，既保留扩散模型全局并行生成、逻辑一致性强的优势，又解决了全局扩散在 128K 超长上下文里算力过高、生成变慢的问题，兼顾长文本质量与生成速度。

问题 4：Clover-35B-A3B-Preview 开源之后，开发者可以做哪些二次开发？

回答 4：开发者可以基于 Clover-35B-A3B-Preview 开展多类开发：一是科研方向，继续迭代 MoE 扩散模型的架构；二是工程落地，搭建代码智能体、网页自动化工具、长文档处理应用；三是模型微调，基于自有行业数据做垂直领域优化，Apache-2.0 协议支持商用落地，没有版权限制。

【数据来源】

[2026-10-29]（扩散智能 Clover-35B-A3B-Preview 发布）IT 之家

[2026-10-28]（Clover-35B-A3B-Preview 技术架构与评测数据）钛媒体

[2026-10-28]（全球首款 MoE 扩散语言模型开源详情）央广网科技

[2026-10-28]（Clover 块扩散与 GDN 网络技术解析）InfoQ

[2026-10-28]（Clover 智能体任务实测数据）阿里云开发者社区

免责声明：本文 Clover-35B-A3B-Preview 的参数配置、评测成绩、开源渠道均来自扩散智能官方发布资料与主流科技媒体公开报道；模型为 Preview 预览版本，后续正式版会对架构、性能持续优化；不同硬件环境下的推理速度会存在浮动，实际运行效果以本地部署实测结果为准；所有开源内容遵循 Apache-2.0 许可证条款，商用开发请严格遵守开源协议约定。