Thinking Machines 详解 Inkling 2 Small 原生 4-bit 前向训练完整流程

Thinking Machines Lab 放出技术博客，完整拆解了 Inkling 2 Small 原生 4-bit 前向训练整套方案，这个模型是 594B 总参数、17B 激活参数的 MoE 混合专家模型，它和绝大多数大模型不一样，不是先用 BF16 或者 FP8 训完再做量化压缩，而是从预训练一开始，专家层前向计算就直接使用 NVFP4 4 比特浮点格式，反向梯度部分搭配 MXFP8，再配合随机舍入、重量化、通信优化内核，做到端到端原生 4-bit 前向训练，这套方案在不明显损失模型效果的前提下，预训练速度相比全 MXFP8 训练提升 8%，强化学习阶段提速 20%，还省去了训练后量化校准环节，模型在训练阶段就适应 4 比特数值特性，后续微调、部署的时候稳定性更好，更不容易出现量化带来的性能跳水，整套训练依托 NVIDIA GB300 NVL72 机架运行，适配 Blackwell 架构硬件特性，也给后续超大 MoE 模型低成本训练提供了可复用的数值配方。

训练数值格式分工清单

• 前向传播（专家层）：NVFP4 4bit 浮点，自研专用 CUDA 内核，控制计算开销
• 反向传播梯度：MXFP8，搭配随机舍入，抑制梯度累积带来的量化偏置
• 跨卡通信：量化通信优化，解决前向提速之后通信瓶颈
• 非专家模块：保留更高精度，避免低比特带来的误差持续累积

普通后量化方案和原生 4-bit 前向训练对比

Inkling 2 Small 原生 4-bit 前向训练全流程

第一步，硬件环境准备，部署 GB300 NVL72 集群，加载适配 NVFP4 的定制内核，开启量化通信优化；

第二步，进入 H1 预训练阶段，输入 8.4 万亿文本、代码、图像混合 token，专家层前向全程 NVFP4，反向用 MXFP8 计算梯度；

第三步，多轮预训练续训，继续投喂高质量数据，全程保持这套数值规则，不切换精度配方；

第四步，进入联合强化学习阶段，单轮统一 RL 任务，覆盖智能体编码、视觉、推理任务，同样沿用 4bit 前向方案；

第五步，监控量化误差、损失曲线、专家路由分布，动态调整随机舍入策略，防止偏置累积；

第六步，训练结束直接产出适配 NVFP4 的模型权重，可直接用于推理和微调，不需要额外量化校准。

这套方案要解决的核心难点

1. 4bit 数值范围很小，连续多层前向容易放大舍入误差，影响专家路由和输出
2. 反向梯度对量化偏置非常敏感，单纯 4bit 全链路训练很容易训崩
3. MoE 模型跨卡专家通信量大，前向计算提速之后，通信会变成新瓶颈
4. 普通 CUDA 内核原生对 NVFP4 支持有限，需要专门开发优化内核

【相关 FAQ】

问题 1：Inkling 2 Small 原生 4-bit 前向训练，是不是前向和反向全部都是 4bit？

回答 1：Inkling 2 Small 原生 4-bit 前向训练只在专家层前向传播使用 NVFP4 4bit，反向梯度使用 MXFP8，并不是全链路 4bit，这么做是为了兼顾速度和梯度稳定性。

问题 2：Inkling 2 Small 原生 4-bit 前向训练相比传统方案，速度提升多少？

回答 2：Inkling 2 Small 原生 4-bit 前向训练对比全 MXFP8 训练，预训练墙钟速度提升 8%，强化学习阶段提速 20%，同时省去后量化校准流程。

问题 3：其他大模型能不能直接照搬 Inkling 2 Small 这套原生 4-bit 前向训练配方？

回答 3：Inkling 2 Small 原生 4-bit 前向训练是针对 MoE 架构、Blackwell 平台 NVFP4 设计的，需要配套定制内核和通信优化，直接照搬不一定稳定，要结合模型结构、硬件做适配。

【参考资料】

[2026-11-13]（End‑to‑End 4‑Bit Training）Thinking Machines Lab 官方博客

[2026-11-06]（One Training Run, Native 4-Bit）AI Beat

[2026-11-05]（Introducing Inkling 2 Small）Thinking Machines Lab 官方新闻

[2026-11-05]（Inkling 2 Small 第二代 MoE 模型发布）36 氪

【免责声明】

本文内容基于 Thinking Machines Lab 公开的 Inkling 2 Small 原生 4-bit 前向训练技术文档，数值配方、加速效果依赖 NVIDIA Blackwell 硬件与定制内核，不同集群、数据集、模型结构下效果会存在差异，技术方案、模型能力以实验室官方最新博文为准，不构成模型训练、硬件采购建议。