斯坦福 AILab 启用闲置 CPU 协同 GPU 算力，NanoGPT Speedrun 训练用时压缩至 6.7 秒

斯坦福 AILab 推出算力协同优化方案，把训练节点里长期闲置的 CPU 充分调动起来，和 GPU 并行分担预处理、数据检索、提示增强等任务，直接把 NanoGPT Speedrun 的训练时长从原先 39.9 秒降到 6.7 秒，整体耗时降幅达到 83.2%，大幅刷新这项赛事的用时纪录，这套方案不需要额外添置硬件，只需要调度现有闲置算力，就能显著缩短大模型小样本训练的整体耗时，给本地单机训练、小规模实验提供了低成本提速方案。以往开展 NanoGPT Speedrun 训练时，GPU 一直在做模型前向传播与梯度计算，而 CPU 全程处于空闲待机状态，数据读取、样本筛选、提示词预处理工作依然排队等待 GPU 资源，造成算力资源浪费，整体流程被数据环节拖慢。研究团队设计了 CPU-GPU 任务分工机制，让 CPU 提前完成 n-gram 检索增强、数据集过滤、样本预打包工作，把预处理结果提前送入显存，GPU 只专注执行模型训练核心计算，同时优化任务调度时序，避免 CPU 与 GPU 之间出现等待空档，因此在不更换高端显卡的前提下，实现训练速度跨越式提升。大家在本地复现这套优化方案，可以按照完整的操作流程分步部署，先拆分训练任务，把数据预处理、检索增强交给 CPU 线程执行，再配置显存预加载通道，打通 CPU 向 GPU 的数据传输链路，最后开启双硬件并行调度，执行 NanoGPT Speedrun 标准训练脚本，就能把整体训练时长控制在 7 秒以内。本次 CPU 协同 GPU 的算力调度优化，充分盘活单机闲置计算资源，在硬件不变的前提下大幅压缩训练耗时，后续这套调度方法还能拓展到更多小模型快速迭代、大模型小规模试训场景，进一步提升单机硬件的综合利用率。

一、CPU+GPU 协同训练任务分工清单

1. CPU 负责任务：数据集清洗、n-gram 检索增强、样本批量打包、提示词预生成、文件 IO 读取
2. GPU 负责任务：模型前向推理、梯度反向传播、权重参数更新、损失值计算
3. 调度机制：CPU 提前异步完成预处理任务，预处理数据直接预加载到 GPU 显存，消除数据等待延迟
4. 配套优化：开启 PyTorch 异步数据流，减少 CPU 与 GPU 之间的数据传输阻塞

二、NanoGPT Speedrun 用时对比表

表格

三、部署 CPU 协同 GPU 训练的完整操作步骤

步骤 1：拆分训练脚本，将数据预处理、检索增强代码单独开辟 CPU 多线程进程，和主训练进程并行运行。

步骤 2：配置数据预加载逻辑，CPU 完成样本处理后，直接把张量数据存入 pinned memory，实现零拷贝传输到 GPU 显存。

步骤 3：关闭 GPU 空闲等待机制，设置异步数据流，保证 GPU 拿到数据之后立刻启动计算，不出现空档期。

步骤 4：加载 NanoGPT Speedrun 标准基线模型与数据集，开启并行调度模式，启动完整训练流程。

步骤 5：训练结束后自动记录墙钟耗时，验证是否达到 7 秒以内的训练效果，微调线程数量进一步压缩用时。

四、这套算力协同方案适用场景

1. NanoGPT Speedrun 竞速实验：冲击赛事最短训练用时纪录，充分利用单机全部硬件资源。
2. 小模型快速迭代调试：单机本地做模型调参，不用占用更多 GPU 算力，缩短每一轮试训时间。
3. 教学场景模型训练：学生在个人工作站开展 GPT 基础模型实验，盘活电脑闲置 CPU，加快训练进度。
4. 小规模预训练试跑：大模型正式训练前的小批量测试，降低算力等待带来的时间损耗。

【相关 FAQ】

问题 1：斯坦福 AILab 利用闲置 CPU 协同 GPU 训练，把 NanoGPT Speedrun 用时优化到了多少秒？

回答 1：斯坦福 AILab 通过调度闲置 CPU 分担预处理任务，配合 GPU 并行计算，成功将 NanoGPT Speedrun 训练时长降至 6.7 秒，相比原版 39.9 秒的基线速度，整体提速幅度达到 83.2%。

问题 2：斯坦福 AILab 的 CPU 协同 GPU 方案，主要让 CPU 承担哪些工作来加快 NanoGPT Speedrun 训练？

回答 2：CPU 主要承担数据集清洗、n-gram 检索增强、样本打包、IO 读取等预处理工作，提前把处理好的数据预加载到显存，让 GPU 只专注模型梯度计算，消除数据等待造成的时间浪费，以此缩短整体训练时长。

问题 3：在原有硬件不变的前提下，能不能直接复现这套 CPU 协同 GPU 优化，来跑通 NanoGPT Speedrun？

回答 3：完全可以，只需要拆分脚本任务，把预处理代码放到 CPU 多线程异步执行，开启显存零拷贝传输，打通 CPU 向 GPU 的数据通道，不需要更换显卡，就能复现 6.7 秒左右的训练成绩。

【数据来源】

[2026-10-29]（斯坦福 AILab 让闲置 CPU 协同 GPU 训练，NanoGPT Speedrun 降至 6.7 秒）InfoQ 中文站

[2026-10-29]（NanoGPT Speedrun 刷新纪录，CPU-GPU 协同调度成为提速关键）AI 前线资讯

[2026-10-28]（斯坦福发布算力协同调度技术，盘活单机闲置 CPU 资源）机器之心快讯

[2026-10-27]（NanoGPT 竞速赛最新成绩出炉，软硬件协同优化创下新低）GitHub 社区技术动态

免责声明：本文技术数据均整理自斯坦福 AILab 公开实验结果与 InfoQ 发布的行业资讯；6.7 秒训练成绩基于 8×H100 硬件环境实测，不同硬件配置下的最终耗时会存在小幅浮动；CPU 与 GPU 的任务调度效果受线程配置、系统环境影响，复现结果会存在合理区间波动；该优化方案仅适用于 NanoGPT Speedrun 标准测试任务，其他模型训练需自行调整任务分工逻辑。