NanoGPT Speedrun 训练耗时降至 6.7s，整体降幅达到 83.2%

本次 NanoGPT Speedrun 把模型训练耗时压缩到 6.7 秒，对比此前 39.9 秒的历史最优成绩，整体降幅高达 83.2%，创下这项社区竞速赛事的全新纪录，本次提速主要依靠 n-gram 检索增强提示方案，搭配硬件内存优化与无分支代码改造，在 8 块 H100 显卡的标准硬件环境下，稳定把 124M 参数 GPT-2 模型训练到指定验证损失目标，全程大幅缩短训练时长。此前版本训练耗时居高不下，主要是因为模型在训练时要反复学习大量重复文本内容，算力被无效的记忆训练大量占用，同时内存随机读写、代码分支判断会不断拖慢 GPU 运算速度。本次优化先用 n-gram hints 检索增强技术，提前把文本词频信息给到模型，减少模型反复记忆文本细节带来的算力消耗；再对代码做无分支改造，把随机内存读写改成分块缓存写入，充分利用 L2 高速缓存，消除内存访问带来的延迟；最后搭配 Muon 优化器、FP8 混合精度、采样 softmax 等成熟优化手段，层层压缩每一轮迭代的耗时，最终完成这次大幅提速。开发者可以先搭建 8 卡 H100 标准硬件环境，部署好 PyTorch 编译环境，接入 n-gram 提示模块，改写内存读写逻辑，再开启混合精度与算子编译，就能复现 6.7 秒的训练成绩，进一步验证这套优化方案的实际效果。

一、本次优化前后核心数据对比

表格

二、三大核心优化技术清单

1. n-gram 检索增强提示：提前构建 n 元词频表，给模型提供上下文词序提示，降低模型记忆文本的算力开销，减少无效迭代次数。
2. L2 缓存分块写入：把词频数据分分区存储，批量写入内存，避免随机访问，充分利用 CPU 与 GPU 的 L2 高速缓存，减少内存延迟。
3. 全链路无分支代码重构：删掉所有条件分支判断，把分支逻辑提前预处理，保证 GPU 计算核心持续满负载运行，不会出现算力闲置。

三、复现 6.7 秒成绩的操作步骤

1. 硬件环境搭建：准备 8 张 NVIDIA H100 显卡，配置多卡分布式训练环境，保证多卡通信带宽充足。
2. 基础代码部署：拉取 NanoGPT Speedrun 官方竞赛代码，启用 Muon 优化器、FP8 精度、采样 softmax 基础优化项。
3. 接入 n-gram 提示模块：导入 n-gram 词频生成脚本，构建稀疏词表，开启检索增强提示功能。
4. 内存逻辑改造：改写数据写入逻辑，改成分块分区批量存储，适配 L2 缓存，消除随机内存访问。
5. 代码去分支优化：移除所有 if 条件判断语句，将分支逻辑做预处理，编译算子为无分支执行代码。
6. 启动训练测试：执行分布式训练脚本，持续监测训练时长，验证能否稳定跑出 6.7 秒的训练成绩。

四、优化方案适用场景

1. NanoGPT Speedrun 竞速赛事：用于冲击榜单成绩，进一步压缩模型预训练耗时。
2. 小参数大模型快速预训练：100M 级别小模型的快速迭代调试，缩短每一轮实验的等待时间。
3. 文本预训练算力优化：降低模型学习文本词序时的算力消耗，提升 GPU 硬件利用率。
4. 底层算子性能调优：用来验证无分支代码、缓存优化对 GPU 训练速度的提升效果。

【相关 FAQ】

问题 1：NanoGPT Speedrun 把耗时降到 6.7s，相比原来 39.9s 的成绩，降幅达到 83.2%，核心优化手段是什么？

回答 1：核心优化手段是 n-gram 检索增强提示，减少模型文本记忆带来的算力浪费，同时搭配 L2 高速缓存分块写入、无分支代码重构，再结合 Muon 优化器与 FP8 混合精度，最终实现 83.2% 的耗时降幅，把训练时长压缩至 6.7 秒。

问题 2：想要复现 NanoGPT Speedrun 6.7s、降幅 83.2% 的训练成绩，必须使用什么硬件设备？

回答 2：必须使用 8 张 NVIDIA H100 GPU 组成多卡分布式训练环境，硬件配置和基准测试保持一致，同时保证多卡之间通信顺畅，才能稳定复现 6.7 秒的训练耗时与 83.2% 的优化降幅。

问题 3：NanoGPT Speedrun 实现 6.7s 训练耗时、83.2% 降幅，这项优化能不能用到大参数模型训练当中？

回答 3：其中 n-gram 检索增强、缓存优化、无分支算子优化思路可以迁移到大模型预训练，能够降低文本词序学习的算力开销；不过本次成绩是 124M 小模型的竞速结果，无法直接照搬至千亿参数大模型，需要结合大模型分布式策略做二次适配。

【数据来源】

[2026-10-30]（NanoGPT Speedrun 耗时降至 6.7s，降幅 83.2%）InfoQ 中文站

[2026-10-28]（N-gram hinted language modeling: NanoGPT Speedrun in 6.7s）brunborg 技术博客

[2026-09-27]（NanoGPT Speedrun 达成 39.9 秒历史成绩）hyperstition.cc 技术文档

[2026-10-30]（NanoGPT Speedrun 最新纪录更新）社区竞速榜单公告

免责声明

本文仅整理 NanoGPT Speedrun 公开竞速测试信息，不构成模型训练项目的技术选型方案；6.7 秒训练耗时与 83.2% 降幅仅在 8 卡 H100、固定验证损失的基准条件下生效；优化代码、算子实现与实测效果均以项目官方开源代码为准，不同软硬件环境下的测试结果会存在合理波动。