Marin Mochi 535B-A23B 完成主预训练 训练规模 18T tokens

Marin 项目的 Mochi 535B-A23B 混合专家大模型已经顺利完成主预训练阶段，整体训练数据量达到 18 万亿 tokens，这是斯坦福 Percy Liang 团队主导的开放训练项目，全程公开训练指标、训练日志，模型采用 MoE 稀疏架构，总参数 535B，单次推理激活仅 23B 参数，训练数据重点覆盖智能 Agent、代码、科学类文本，主预训练结束之后，项目还会推进长上下文训练、对齐后训练环节，整个项目主打开放透明，代码、数据集、训练配方后续计划对外公开，方便整个 AI 社区研究大模型缩放规律。

模型基础参数简表

MoE 架构设计特点清单

1. 稀疏激活机制，输入 token 只路由到少量专家模块参与计算，降低推理成本
2. 自定义专家并行通信协议，解决超大 MoE 集群跨节点通信瓶颈
3. 路由策略做了丢包容错设计，避免专家负载严重失衡
4. 可以在保有超大总参数容量的同时，控制单步推理算力开销

后续训练流程安排

1. 长上下文专项训练：扩充上下文窗口，适配长文档、长任务 Agent 场景
2. 指令微调、偏好对齐：提升指令跟随、事实准确性、复杂推理能力
3. 评测与漏洞修复：在代码、数理、Agent 任务上做基准测试，补齐短板
4. 权重、训练物料开放：按照项目计划开放相关训练资料，供社区复现研究

项目开放相关说明

1. 训练全程直播，Loss、算力利用率、数据指标实时对外可见
2. 项目目标是开放大模型训练全流程，打破黑箱，方便学界研究缩放法则
3. 不是商用闭源模型，重心偏向基础模型科研，而不是面向 C 端产品
4. 吴恩达等行业研究者持续关注，认为这是稀缺的开放大模型实验

【相关 FAQ】

问题 1：Marin 的 Mochi 535B-A23B 完成主预训练，18T tokens 是什么概念？

回答 1：Marin 的 Mochi 535B-A23B 完成主预训练，18T tokens 代表模型在主预训练阶段读取了 18 万亿文本 token，是衡量大模型预训练数据规模的核心指标，数据量越大，模型学习的知识越丰富。

问题 2：Marin Mochi 535B-A23B 是稠密大模型吗，535B 和 A23B 代表什么？

回答 2：Marin 的 Mochi 535B-A23B 属于 MoE 稀疏混合专家模型，535B 是模型全部专家总参数，A23B 是每一轮推理被激活、实际参与计算的参数。

问题 3：Marin Mochi 535B-A23B 主预训练完成之后，是不是马上可以直接使用？

回答 3：Marin 的 Mochi 535B-A23B 刚完成主预训练，还需要长上下文训练、指令对齐、偏好微调等后训练流程，主预训练完成不等于可以直接落地使用。

【参考资料】

[2026-11-06]（Marin 的 Mochi 535B-A23B 完成主预训练，训练量 18T tokens）InfoQ

[2026-11-06]（Marin 535B-A23B 主预训练完成，开放训练项目进展）OpenAthena

[2026-08-25]（Marin 535B-A23B 项目启动，18.75 万亿 token 训练计划）36 氪

【免责声明】

本内容仅为 Marin Mochi 535B-A23B 开放训练项目的资讯整理，模型能力、开放时间、权重发布计划以 Percy Liang 团队和 OpenAthena 官方公告为准；本文不构成算力采购、模型部署、商业落地的决策建议。