Marin 535B-A23B MoE 模型预训练进度突破 80%

Marin 535B-A23B MoE 预训练任务正式取得关键节点进展，整体预训练进度已经突破 80%，这代表该大模型已经完成绝大部分预训练语料的学习迭代，模型主干参数、专家路由、MoE 专家网络已经完成大量梯度更新，距离预训练阶段收尾、后续进入对齐、评测、微调阶段又迈出重要一步。MoE 也就是混合专家模型，和稠密大模型不同，Marin 535B-A23B 采用多专家并行架构，总参数量达到 535B 级别，A23B 代表每次推理激活参数量为 23B，在保证大模型总知识容量的同时，控制单次前向计算的激活算力开销，这也是 MoE 架构的核心设计思路。本次预训练进度突破 80%，意味着大规模分布式训练集群已经稳定跑完绝大多数训练 step，模型已经完成跨领域语料的基础知识学习，接下来剩余训练阶段会继续优化长尾知识、长上下文、逻辑推理相关能力，同时持续校准专家路由策略，优化不同专家的分工匹配效果，降低专家负载不均衡问题，让路由可以把输入样本精准分配到对应专家模块。

预训练是大模型生命周期最核心阶段，整个过程依托大规模 GPU 分布式集群，持续在海量多源语料上做自监督学习，MoE 架构训练相比稠密模型训练调度复杂度更高，需要同时维护全部专家权重、路由器参数，还要处理专家并行、数据并行、流水线并行多种并行策略协同，训练过程需要持续监控 loss 曲线、专家负载、梯度范数、通信开销等指标，保障训练稳定收敛。本次进度突破 80%，说明前期训练稳定性达标，loss 收敛趋势符合预期，没有出现大规模训练崩溃、路由退化这类异常情况，为后续阶段打下基础。

核心技术要点

1. 模型架构属性：MoE 混合专家架构，总参数 535B，单次激活参数 23B，大总参 + 低激活是核心特征，兼顾知识容量与推理算力成本
2. 当前阶段：预训练进度＞80%，属于预训练中后期，基础知识学习已经完成大部分，剩余训练重点转向能力补强
3. MoE 训练核心关注点：专家负载均衡、路由器训练、专家分工、跨专家通信效率、训练收敛稳定性
4. 后续阶段规划：预训练收尾 → 基准评测 → SFT 监督微调 → RLHF/RLAIF 对齐 → 版本发布准备

阶段对照表

表格

后续训练团队会继续推进剩余预训练 step，同步开展阶段性基准测试，观察模型在知识、推理、代码、长文本等基准上的能力变化，等预训练全部完成之后，才会进入指令微调与人类对齐环节，逐步形成可对外使用的模型版本。

问题 1：Marin 535B-A23B MoE 预训练进度突破 80% 是不是代表模型已经可以正式对外发布？

回答 1：Marin 535B-A23B MoE 预训练进度突破 80% 只代表预训练中后期节点，还没有完成预训练全部流程，后续还需要预训练收尾、评测、指令微调与对齐，暂时还没有到正式对外发布阶段。

问题 2：Marin 535B-A23B MoE 里面 A23B 是什么含义？

回答 1：Marin 535B-A23B MoE 中的 A23B 代表该模型每次推理激活参数量为 23B，总参数为 535B，这是 MoE 架构典型设计，总参数大但是单次计算只激活部分专家。

问题 3：Marin 535B-A23B MoE 预训练阶段为什么要重点监控专家负载？

回答 1：Marin 535B-A23B MoE 属于多专家架构，预训练阶段如果专家负载失衡，会出现部分专家过度训练、部分专家闲置，监控专家负载是为了保障 MoE 专家分工均衡，维持预训练收敛质量。

[2026-10-26]（Marin 535B-A23B MoE 预训练进度突破

[2026-10-20]（MoE 大模型预训练技术进展相关报道）AI 技术行业媒体

本文基于公开资讯整理，Marin 535B-A23B MoE 训练进度、参数规格、后续开发计划存在官方更新可能，所有信息以模型研发方官方正式公告为准，本文不构成技术承诺。