Open Athena 完成 Marin 535B-A23B 主预训练 正式发布 Mochi 模型

Open Athena 团队已经完成 Marin 项目下 535B-A23B 大模型的主预训练工作，对外发布命名为 Mochi 的基础大模型，这款模型采用 MoE 混合专家稀疏架构，总参数 535B，推理时激活参数仅 23B，整套预训练一共跑完 18T tokens 的数据量，项目主打全流程开放，训练过程、监控指标、训练配方都会逐步对外公开，和常规闭源大模型不一样，它更偏向学术研究，方便 AI 社区复现、研究 MoE 大模型的缩放规律，后续团队还会继续开展长上下文拓展、指令微调、偏好对齐等后训练工作，进一步提升模型推理、代码、智能 Agent 相关能力。

Mochi（Marin 535B-A23B）基础信息表

Mochi 模型核心设计亮点清单

1. 稀疏 MoE 路由设计，只激活部分专家参与计算，兼顾大容量知识存储和推理成本控制
2. 训练全程开放可观测，loss、算力利用率、负载均衡等指标实时对外展示
3. 训练数据集偏向 Agent 任务、代码、数理科学、通用文本，侧重复杂推理场景
4. 针对超大 MoE 集群做通信优化，缓解多节点专家交换带来的带宽瓶颈
5. 训练日志、数据处理脚本、配置文件计划逐步开源，降低社区复现门槛

后续迭代工作计划

1. 长上下文专项训练，拓展上下文窗口，适配长文档、多步骤 Agent 任务
2. 指令微调与 RLHF 偏好对齐，优化指令跟随、事实准确率
3. 多维度基准评测，在代码、数学、推理等赛道持续测试，定位短板
4. 分阶段开放模型权重、训练物料，面向科研社区开放使用

需要留意的关键点

1. 刚发布的是主预训练基础底座，还没有经过完整对齐，直接对话效果有限
2. 属于科研向开放项目，不是面向普通用户的商用成品模型
3. MoE 架构对推理服务器的带宽、调度能力要求高于稠密模型
4. 权重开放的时间、开放协议，以 Open Athena 官方后续公告为准

【相关 FAQ】

问题 1：Open Athena 完成 Marin 535B-A23B 主预训练并发布 Mochi 模型，Mochi 是稠密大模型吗？

回答 1：Open Athena 完成 Marin 535B-A23B 主预训练并发布 Mochi 模型，Mochi 不是稠密模型，是 MoE 稀疏混合专家模型，总参数 535B，推理只激活 23B 参数。

问题 2：Open Athena 发布的 Mochi 模型，18T tokens 的预训练数据主要包含哪些内容？

回答 2：Open Athena 完成 Marin 535B-A23B 主预训练并发布 Mochi 模型，训练数据重点覆盖 Agent 智能任务、代码、科学文献以及通用文本，偏向复杂推理方向。

问题 3：Open Athena 发布 Mochi 模型，现在拿到权重就能直接用来做对话产品吗？

回答 3：Open Athena 完成 Marin 535B-A23B 主预训练并发布 Mochi 模型，当前只是预训练底座，缺少指令对齐环节，直接使用对话效果较差，还需要后续微调处理。

【参考资料】

[2026-11-06]（Open Athena 完成 Marin 535B-A23B 主预训练并发布 Mochi 模型）InfoQ

[2026-11-06]（Open Athena Marin 项目 Mochi 535B-A23B 发布，18T token 预训练完成）机器之心

[2026-11-06]（Mochi MoE 模型开放训练计划与架构解读）Hugging Face 资讯

【免责声明】

本内容仅为 Open Athena Marin 项目 Mochi 模型发布资讯整理，模型权重开放时间、许可协议、后续迭代安排以 Open Athena 官方公告为准；本文不构成算力采购、模型部署、商业开发的决策建议，预训练底座不代表最终可用的对话模型。