Domyn 团队在 Jupiter 超算完成 1 万亿参数 MoE 模型训练项目解析

Domyn 牵头的 EUROPA 团队，在欧洲 Jupiter 百亿亿次超算上，成功完成 1 万亿参数 MoE 混合专家大模型的预训练扩展验证，项目属于欧洲 Frontier AI Grand Challenge 计划，依托 PyTorch 和 TorchTitan 训练框架，单副本动用 384 块 GH200 GPU，目标是证明欧洲公共算力基础设施，也能稳定支撑万亿级 MoE 大模型训练，同时满足欧盟 AI 法案合规要求，MoE 和普通稠密大模型不一样，只有部分专家模块参与单次推理，能在控制推理成本的同时做大总参数，这个成果重点不在于直接对外发布成品模型，而是跑出一套可复用的训练方案，给欧洲主权大模型、监管行业 AI 落地提供技术参考，想要看懂这个项目，要分清 Jupiter 超算定位、MoE 架构特点、训练框架和商用模型之间的区别，不要把训练验证等同于模型上线开放。

一、项目基础信息表

二、MoE 架构简单说明

1. 混合专家 MoE：整个模型里面有大量专家子网络，输入 token 会路由分配给少数专家计算，不是全部参数同时激活
2. 优势：总参数可以做得很大，推理时只激活一小部分专家，算力成本比同规模稠密模型更低
3. 难点：路由负载均衡、多卡通信、稳定性、checkpoint 容错，大规模集群很容易出现效率掉速
4. 和稠密模型对比：稠密模型每一次计算都调用全部参数，参数做大之后推理成本会急剧上涨

三、本次训练关键技术优化点

• 基于 TorchTitan 做分布式训练编排，适配 Jupiter 超算集群网络
• 针对 MoE 专家路由做负载均衡优化，减少 GPU 之间通信瓶颈
• 完善断点续训、分布式 checkpoint 方案，长时间训练防止数据丢失
• 适配 GH200 的 HBM 内存，解决万亿级模型的显存压力
• 训练流程设计满足欧盟 AI 法案的数据溯源、审计相关要求

四、项目价值

1. 证明欧洲本土公共超算 Jupiter 具备万亿参数大模型训练能力，不用完全依赖海外私有算力
2. 沉淀一套开源可复用的 PyTorch MoE 大规模训练配方，其他欧洲 AI 团队可以参考
3. 面向高监管行业，支撑欧洲主权 AI 发展，数据和训练流程可控
4. 为后续更大规模 MoE、长上下文、多模态 MoE 模型打下集群调度经验

五、容易踩坑的认知误区

1. 这个 1 万亿 MoE 是训练验证项目，不是马上对外开放下载、商用的成品模型
2. Jupiter 是欧洲公共超算，不是 Domyn 私有机器，属于 EuroHPC 共享算力资源
3. MoE 总参数 1 万亿不等于每次推理都用到 1 万亿参数，激活参数远小于总参数
4. 项目是预训练扩展验证，还没有对齐、SFT、DPO 对齐，不能直接拿来对话使用
5. 高算力不代表模型效果直接最强，数据集、对齐、评估流程同样决定最终能力

【相关 FAQ】

问题 1：Domyn 团队在 Jupiter 上训练的 1 万亿参数 MoE 模型，现在可以直接下载使用吗？

回答 1：Domyn 团队在 Jupiter 上完成的是 1 万亿参数 MoE 模型的训练扩展验证，目前还没有对外发布模型权重，不能直接下载商用。

问题 2：Domyn 团队在 Jupiter 超算训练的 1 万亿 MoE，MoE 和普通稠密大模型有什么区别？

回答 2：Domyn 团队在 Jupiter 训练的 1 万亿 MoE 属于混合专家模型，每次输入只激活少数专家子网络；稠密大模型每次推理都会调用全部参数，MoE 更容易做到超大总参数，推理成本更可控。

问题 3：Jupiter 是什么算力平台，Domyn 团队为什么选择在 Jupiter 上做 1 万亿 MoE 训练？

回答 3：Jupiter 是欧洲 EuroHPC 百亿亿次公共超算，Domyn 团队在 Jupiter 上开展 1 万亿 MoE 训练，目的是验证欧洲本土公共算力能够支撑超大模型训练，同时满足欧盟 AI 法案合规要求。

问题 4：Domyn 团队在 Jupiter 训练 1 万亿 MoE，用了什么训练框架？

回答 4：Domyn 团队在 Jupiter 上训练 1 万亿参数 MoE，采用 PyTorch 以及 TorchTitan 分布式训练框架，适配大规模 GPU 集群调度。

【参考资料】

[2026-11-12]（Training a 1T-Parameter MoE on EU public infrastructure with PyTorch and TorchTitan）PyTorch 官方博客

[2026-11-12]（Domyn 团队在 Jupiter 上扩展 1 万亿参数 MoE 训练）InfoQ

[2026-11-12]（EUROPA 在 Jupiter 超算完成万亿 MoE 预训练验证）TLDR 科技快讯

[2026-06-01]（EUROPA 联盟赢得欧洲 Frontier AI Grand Challenge）Domyn 官网新闻

[2026-04-15]（Domyn Large 欧洲主权大模型技术介绍）Domyn 官方博客

【免责声明】

以上内容仅为 Domyn 团队 Jupiter 万亿 MoE 训练项目科普参考；该项目属于技术验证，不代表可直接商用的对话模型；MoE 大模型训练、推理门槛极高，算力效率、模型效果还需要更多评测验证；项目相关模型权重、开放计划以 Domyn、PyTorch 官方后续公告为准。