Inkling 2 Small 采用原生 4-bit 前向传播训练，主预训练耗时压缩至 68 小时

Thinking Machines Lab 的 Inkling 2 Small 完成了原生 NVFP4 4 比特前向传播训练，在 GB300 NVL72 集群上跑完 8.4 万亿 token 主预训练阶段只用了 68 小时，对比传统 BF16、FP8 全精度训练动辄数周的周期，提速幅度非常明显，这个模型是总参数 594B、激活参数 17B 的多模态 MoE 模型，支持文本、图像输入，它不是训完之后再做量化压缩，而是从预训练第一轮迭代开始，专家层前向计算就使用 NVFP4 4bit 格式，反向梯度搭配 MXFP8，再配合随机舍入、定制 CUDA 内核、专家并行通信优化，控制低比特带来的误差累积，在保住模型推理、智能体任务能力的前提下，大幅压低训练算力开销，整套方案还延续到后续强化学习 rollout 环节，官方也放出整套训练配方，用来证明超大 MoE 模型原生低比特训练是可行的，不过这套方案对硬件、内核、数据调度都有很高要求，不是随便一套集群就能直接复刻。

Inkling 2 Small 基础规格清单

• 模型架构：多模态 MoE，总参数 594B，激活参数 17B
• 主预训练 token：8.4T（文本 + 代码 + 图像混合数据）
• 主预训练时长：68 小时
• 硬件平台：NVIDIA GB300 NVL72 机架
• 数值方案：前向 NVFP4，反向 MXFP8
• 上下文窗口：100 万 token
• 后续阶段：一轮联合强化学习，耗时 9 天

原生 4-bit 前向训练和 FP8 训练对比

Inkling 2 Small 训练完整流程

第一步，搭建 GB300 NVL72 训练集群，部署适配 NVFP4 的定制内核，开启专家并行、量化通信优化；

第二步，加载 8.4T 混合预训练数据集，启动 H1 主预训练，专家层前向全程 NVFP4，反向用 MXFP8 计算梯度；

第三步，H2 阶段投喂 3.8T 高质量数据，切换 512K 上下文继续续训；

第四步，H3、H4 阶段混入智能体轨迹、高质量蒸馏数据，拓展长上下文能力；

第五步，进入单轮联合强化学习，完成 1700 万次 rollout，优化推理、工具调用能力；

第六步，做安全评估，产出模型权重，支持 Tinker 平台调用，后续计划开放权重。

原生 4-bit 前向训练要解决的关键问题

1. 4bit 数值动态范围很小，多层叠加之后舍入误差会持续放大，干扰专家路由判断
2. MoE 模型跨卡专家通信量大，计算提速之后通信容易变成新瓶颈，需要专门做通信量化
3. 梯度对量化噪声很敏感，全链路 4bit 训练很容易出现 loss 发散、模型学不进去
4. 需要配套随机舍入策略，平衡速度和误差，不能单纯降低比特位

【相关 FAQ】

问题 1：Inkling 2 Small 原生 4-bit 前向传播训练，68 小时是全部训练时间吗？

回答 1：Inkling 2 Small 原生 4-bit 前向传播训练里的 68 小时，指的是 H1 主预训练阶段，后续还有多轮续训以及 9 天的联合强化学习，完整训练周期更长。

问题 2：Inkling 2 Small 原生 4-bit 前向传播训练，是前向反向全部用 4bit 吗？

回答 2：Inkling 2 Small 原生 4-bit 前向传播训练只在专家前向使用 NVFP4 4bit，反向梯度使用 MXFP8，依靠混合精度方案控制梯度误差，避免训练崩溃。

问题 3：其他 MoE 大模型能不能直接复刻 Inkling 2 Small 这套原生 4-bit 前向训练拿到 68 小时的速度？

回答 3：很难直接复刻，Inkling 2 Small 原生 4-bit 前向传播训练依赖 GB300 Blackwell 硬件、定制 CUDA 内核、专属数据配比，集群、模型结构改动之后效果和速度都会变化。

【参考资料】

[2026-11-13]（End‑to‑End 4‑Bit Training）Thinking Machines Lab 官方博客

[2026-11-06]（Inkling 2 Small：594B 总参数 MoE 模型 68 小时预训练完成）稀土掘金

[2026-11-06]（Thinking Machines releases Inkling 2 Small: a 594B multimodal MoE）BPDATA AI News

[2026-11-05]（Introducing Inkling 2 Small）Thinking Machines Lab 官网新闻

【免责声明】

本文内容基于 Thinking Machines Lab 公开的 Inkling 2 Small 技术资料，68 小时预训练指标建立在 GB300 集群、8.4T 指定数据集、NVFP4 定制训练栈的条件下，不同硬件、数据集、内核版本会带来训练速度和模型效果差异，模型开放计划、能力指标以官方最新公告为准，不构成模型训练、算力采购建议。