Thinking Machines 详解 Inkling 2 Small 原生 4-bit 训练路径，采用 NVFP4 端到端训练方案

Thinking Machines Lab 放出技术博客，完整拆解 Inkling 2 Small 原生 4-bit 训练的实现路径，这套方案不是训练完成后再做量化压缩，而是从预训练开始前向计算全程使用 NVFP4 4 比特浮点格式，反向梯度部分搭配 MXFP8 和随机舍入抑制量化偏差，也是目前业内规模较大、完整走完端到端原生 4-bit 训练流程的 MoE 多模态模型，对大模型低精度训练工程路线有很强的参考价值。传统大模型大多先用 BF16 或者 FP8 精度完成完整训练，等训练结束再量化成 4bit 用于部署，这种方式会带来精度损失、微调适配困难的问题，而 Inkling 2 Small 直接把 4bit 作为原生训练精度，权重从一开始就适配 NVFP4 数值特性，不需要后期校准，同时依托 Blackwell 架构 GB300 硬件的 NVFP4 专用内核，在预训练和 RL 阶段拿到明显的速度提升。想要理解这套 Inkling 2 Small 原生 4-bit 训练路径，首先分清前向、反向两个阶段的数值格式分工；接着看懂专家层内核、随机舍入、通信量化三个核心技术点；然后对照四阶段预训练流程，看 NVFP4 在 H1 到 H4 阶段的落地方式；最后对比传统后量化方案，评估速度、微调能力、误差风险的取舍。整体来看，这套原生 4-bit 训练方案证明大规模 MoE 模型可以直接在 4bit 精度下稳定收敛，预训练速度相比纯 MXFP8 提升约 8%，RL 阶段提速达到 20%，同时模型后续微调更稳定，不容易出现量化带来的能力跳水。

Inkling 2 Small 模型基础信息清单

1. 架构：48 层解码器 MoE 稀疏混合专家，384 个专家，每个 token 路由激活 8 个专家
2. 参数规模：总参数 594B，单 token 激活 17B 参数
3. 输入模态：文本 + 图像输入，只输出文本，不支持音频
4. 上下文：最高支持 1M 上下文窗口
5. 训练硬件：NVIDIA GB300 NVL72 机架
6. 评测成绩：Artificial Analysis Intelligence Index 31 分
7. 上线渠道：Tinker 平台，权重计划安全测试后以 Apache2.0 协议开源

原生 4-bit 训练数值方案对照表

Inkling 2 Small 四阶段训练流程

1. H1 阶段：8.4 万亿文本、代码、图像混合 token，NVFP4 原生预训练，68 小时完成，搭建基础底座
2. H2 阶段：3.8 万亿高质量新数据，开启 512K 上下文训练
3. H3 阶段：320B 推理与 Agent 轨迹数据，扩展至 1M 上下文窗口
4. H4 阶段：34B 最高质量轨迹数据做收尾收敛
5. 统一 RL 阶段：单次联合强化学习，1075 步、1700 万 rollout，同时优化编码、视觉、推理能力

学习、复现这套原生 4-bit 训练路径的步骤

1. 硬件确认：NVFP4 依赖 Blackwell 系列 GB300 GPU，老一代显卡不支持该浮点格式
2. 区分精度分工：前向 NVFP4、反向 MXFP8，不能全程直接 4bit 跑梯度更新，防止偏差累积
3. 内核适配：使用适配 MoE 专家层的 NVFP4 专用算子，普通量化算子无法稳定训练
4. 通信优化：开启跨卡通信量化，降低多专家并行场景下的通信延迟
5. 对比基线：拿同配置 MXFP8 训练版本做对照，监控 loss 曲线、下游微调表现、推理指标

【相关 FAQ】

问题 1：Thinking Machines 详解的 Inkling 2 Small 原生 4-bit 训练路径，用的是什么 4bit 格式？

回答 1：Thinking Machines 详解的 Inkling 2 Small 原生 4-bit 训练路径，前向计算使用 NVIDIA Blackwell 架构的 NVFP4 格式，反向梯度搭配 MXFP8 来控制量化偏差。

问题 2：Inkling 2 Small 原生 4-bit 训练和常规训练后量化有什么差别？

回答 2：Inkling 2 Small 原生 4-bit 训练是从预训练起点就用 NVFP4 参与训练，权重原生适配 4bit；常规方案是高精度训练完成之后再转 4bit 部署，容易出现微调崩坏、需要校准的问题。

问题 3：Inkling 2 Small 原生 4-bit 训练可以带来多少速度提升？

回答 3：根据 Thinking Machines 公布数据，Inkling 2 Small 原生 4-bit 方案对比纯 MXFP8 训练，预训练提速约 8%，强化学习 RL 阶段提速大约 20%。

问题 4：普通 GPU 能不能跑 Inkling 2 Small 这套原生 4-bit 训练路径？

回答 4：不可以，Inkling 2 Small 这套原生 4-bit 训练路径依赖 GB300 Blackwell 硬件原生 NVFP4 内核，旧架构 GPU 缺少对应硬件单元，无法稳定复现该训练方案。

【参考资料】

[2026-11-13]（End‑to‑End 4‑Bit Training）Thinking Machines Lab 官方博客

[2026-11-05]（Introducing Inkling 2 Small）Thinking Machines Lab 公告

[2026-11-06]（One Training Run, Native 4-Bit）AI Beat

[2026-11-06]（Thinking Machines releases Inkling 2 Small: a 594B multimodal MoE）BPDATA AI News

【免责声明】

本文仅为 Inkling 2 Small 原生 4-bit 训练路径资讯整理；NVFP4 训练依赖特定 Blackwell 硬件，普通硬件无法复现；原生 4bit 训练属于前沿探索路线，不一定适配所有模型架构；性能提升数据来自 Thinking Machines 官方测试，不同任务、集群条件下结果存在差异；全部技术细节、模型授权以 Thinking Machines Lab 官方文档为准。