Soumith Chintala 发布 NVFP4 训练详解文章，完整讲解原生 4bit 全链路训练方案

PyTorch 联合创始人 Soumith Chintala 在 Connectionism 平台发布 NVFP4 训练详解文章，这篇文章重点拆解了从预训练首轮到 RL rollout 全程原生 NVFP4 前向训练的完整实现方案，以 Inkling 2 Small 模型作为实例，直白讲清楚 NVFP4 训练里量化误差、梯度不稳定、离群值干扰这些大家最头疼的问题，同时给出可落地的稳定训练配方，打破很多开发者认为 NVFP4 只适合推理、很难做稳定预训练的固有认知，Soumith 在配套社交动态里也点明核心矛盾：4 比特训练能大幅省显存、提速，但量化噪声很容易破坏收敛，文章就是围绕怎么压制噪声、稳住训练过程来展开。NVFP4 是 NVIDIA Blackwell 架构原生支持的 4 位微缩放浮点格式，和普通 FP4 不一样，靠 16 元素微块缩放 + 双层缩放机制保住动态范围，之前行业大多只用它做推理，或者只在部分层混用，而这篇文章直接验证端到端全链路 NVFP4 训练，给小模型、试验型模型的低成本训练提供了一条新路线，同时也标注了它的适用边界，不适合直接无脑套到大模型上。

一、NVFP4 基础规格一览

二、文章重点解决的 NVFP4 训练痛点

1. 梯度噪声放大：4bit 量化误差会在前向、反向传播里不断累积，模型容易震荡、不收敛
2. 激活离群值：少量极大值会吃掉动态范围，让大部分数值被压缩、精度丢失
3. 注意力层不稳定：QKV 矩阵量化之后，注意力分数误差会被放大，是翻车高发区
4. 优化器状态存储：AdamW 二阶矩数值分布特殊，直接压成 NVFP4 很容易出错
5. 缺少完整闭环方案：过去大多是局部层试 NVFP4，没有从预训练到 RL 的完整实操流程

三、文章给出的 NVFP4 稳定训练核心手段

• 随机哈达玛变换 RHT：对权重梯度 GEMM 输入做变换，压制离群值
• 随机舍入 SR：保证梯度期望无偏，减少量化带来的系统性偏差
• 混合精度兜底：注意力、部分输出敏感层保留更高精度，避免整条链路崩掉
• 分块 2D 缩放：权重用二维分块缩放，激活、梯度用一维分块缩放
• 分阶段噪声监控：每个迭代跟踪损失波动、梯度范数，触发阈值自动切换精度策略

四、落地复现 NVFP4 训练的实操步骤

1. 硬件环境准备：Blackwell 架构 GPU，安装适配版本 Transformer Engine、PyTorch
2. 基础配置：开启 NVFP4 算子，配置微块大小 16，开启 RHT、随机舍入
3. 分层策略配置：MLP 矩阵乘法走 NVFP4，注意力模块按需保留 BF16/FP8
4. 优化器适配：调整 AdamW 二阶矩存储方案，不要直接全量 NVFP4 存放优化器状态
5. 启动小规模热身训练，监控损失曲线、梯度范数，排查震荡问题
6. 稳定后扩规模，跑完预训练、SFT，继续验证 NVFP4 下的 RL rollout 流程
7. 和 FP8 基线做指标对比，评估 MMLU、损失、吞吐、显存占用，判断是否收益达标

五、当前方案的局限

• 依赖 Blackwell 硬件，老款 Hopper 等 GPU 没有原生 NVFP4 硬件加速
• 超大模型全链路 NVFP4 预训练依然风险很高，文章验证的是中小模型 Inkling 2 Small
• 对超参、数据分布敏感，不是换一行配置就能直接迁移到任意模型
• 推理 NVFP4 和训练 NVFP4 配方不一样，训练权重不能直接拿来做推理，需要额外校准

整体来看，Soumith Chintala 这篇 NVFP4 训练详解文章，补齐了公开资料里缺少的端到端训练实操案例，把 NVFP4 从单纯推理工具拓展到预训练、对齐、RL 全流程，适合想低成本跑小模型实验、做低精度训练研究的工程师参考。

【相关 FAQ】

问题 1：Soumith Chintala 发布的 NVFP4 训练详解文章，核心讲了什么？

回答 1：Soumith Chintala 发布的 NVFP4 训练详解文章，以 Inkling 2 Small 为例，讲解从预训练、SFT 到 RL rollout 全程原生 NVFP4 前向训练，给出抑制量化噪声、保证训练收敛的完整方案。

问题 2：Soumith Chintala 讲解的 NVFP4 训练，需要什么 GPU 硬件？

回答 2：Soumith Chintala 讲解的 NVFP4 训练，需要 Blackwell 架构 GPU，只有 Blackwell 的 Tensor Core 支持 NVFP4 原生硬件加速，老架构 GPU 不支持。

问题 3：NVFP4 训练和 NVFP4 推理有什么区别？Soumith 文章里有说明吗？

回答 3：Soumith Chintala 的 NVFP4 训练详解文章提到，NVFP4 训练配方更复杂，需要处理梯度、优化器稳定性，和 NVFP4 推理的量化校准方案不一样，训练权重不能直接用于推理。

问题 4：按照 Soumith Chintala 的 NVFP4 训练方案，所有大模型都可以直接全链路 NVFP4 训练吗？

回答 4：不可以，Soumith Chintala 的 NVFP4 训练详解文章验证的是中小模型，超大模型全链路 NVFP4 训练收敛风险高，一般建议敏感层保留更高精度。

【参考资料】

[2026-11-14]（Soumith Chintala 发布 NVFP4 训练详解文章）InfoQ

[2026-11-14]（Native NVFP4 training for Inkling 2 Small from pretrain to RL rollout）Connectionism

[2026-08-25]（NVFP4 Trains with Precision of 16-Bit and Speed and Efficiency of 4-Bit）NVIDIA Technical Blog

[2026-06-08]（Train Models Faster with JAX and MaxText Using NVFP4 on NVIDIA Blackwell）NVIDIA Technical Blog

【免责声明】

本文内容基于 Soumith Chintala 公开文章、NVIDIA 官方技术文档、行业资讯整理，NVFP4 训练的收敛效果、硬件适配、模型迁移效果受模型结构、数据集、超参影响，不构成生产环境低精度训练落地的选型建议。