预训练扩展阶段数据重写环节算力分配比例研究

本次针对大模型预训练扩展环节的数据重写算力分配研究，明确给出了分场景下算力投入的最优配比，在数据受限的预训练扩展阶段，把总算力的 15%~25% 投入到文本数据重写工作，剩余算力留给模型迭代训练，能够在不降低模型基础性能的前提下，有效扩充高质量训练语料，大幅缓解原生高质量文本不足带来的预训练瓶颈，同时让整体算力资源得到最大化利用，避免资源浪费。随着大模型持续向更大规模扩展，互联网原生高质量文本总量逐步进入平稳区间，单纯依靠新增原始数据很难支撑多轮次预训练迭代，很多项目开始采用改写、复述、润色的方式扩充训练语料，也就是数据重写操作。数据重写本身需要调用算力完成文本改写、内容校验、质量过滤，如果没有提前规划好算力占比，要么重写算力投入太少，扩充得到的有效样本数量不足，预训练进度卡在数据端；要么重写占用算力过高，留给模型训练的资源被压缩，模型迭代速度变慢，整体训练周期被拉长。研究团队围绕数据受限场景搭建多组对照实验，固定整体总算力预算，不断调整数据重写与模型训练之间的算力分配比例，同时配套搭建自动化数据重写流水线，对改写后的文本做质量筛选，保证衍生数据具备足够训练价值。整套研究执行流程有着清晰完整的实施路径，首先划定预训练扩展阶段的算力总预算，区分数据处理算力与模型训练算力两大板块；其次搭建自动化数据重写链路，包含文本复述、句式改写、噪声过滤三个子环节，单独统计每个子环节的算力消耗；接着设置多档算力分配实验组，从重写占比 10% 一直提升到 35%，分别记录每组实验生成的有效衍生 token 数量与模型下游任务效果；然后对比各组数据，找到兼顾数据扩充量与模型训练效率的均衡区间；最后整理实验数据，给出不同规模模型对应的标准化算力配比方案。经过多轮对照实验验证，在常规预训练扩展项目里，数据重写算力占比稳定控制在 15%~25% 区间效果最优；当原生语料极度紧缺时，可以把重写算力上调至 25%~30%；如果原始高质量数据充足，则可以把占比下调至 10%~15%。这套算力分配方案可以直接落地到预训练扩展工程中，在扩充训练数据的同时保障模型训练节奏稳定，充分发挥有限算力资源的产出效率。

一、算力消耗分项清单

1、数据重写全流程算力拆分

表格

2、整体算力两级分配方案

1）标准场景（原始数据中等紧缺）

• 数据重写算力：占整体总算力 15%~25%
• 模型预训练算力：占整体总算力 75%~85%

2）极端数据受限场景

• 数据重写算力：占整体总算力 25%~30%
• 模型预训练算力：占整体总算力 70%~75%

3）数据充足场景

• 数据重写算力：占整体总算力 10%~15%
• 模型预训练算力：占整体总算力 85%~90%

二、完整实验实施步骤

第一步：锁定预训练扩展阶段的总 GPU 算力时长，划分算力为数据处理板块与模型训练板块，固定硬件环境与模型基础参数，保证各组实验条件一致。

第二步：搭建数据重写自动化管线，分别统计改写、校验、去重三个环节各自的算力开销，形成标准化算力消耗基准。

第三步：设置多组梯度实验组，依次把数据重写算力占比设置为 10%、15%、20%、25%、30%、35%，其余算力全部投入模型训练。

第四步：每组实验保持训练轮次不变，统计两项核心指标：单位算力产出的有效改写 token 总量、模型在通用测试集上的验证损失。

第五步：汇总全部实验组数据，绘制算力投入与产出的对应曲线，筛选出兼顾数据扩充量与模型训练效果的最优算力区间。

第六步：结合大模型参数量大小，进一步细化小模型、中型模型、大模型对应的细分算力配比，形成可直接复用的工程配置文档。

三、算力配比配套优化策略

1、算力资源优化办法

1. 把数据重写任务放在闲置 GPU 时段批量执行，和模型训练任务错峰运行，避免两类任务抢占算力资源。
2. 对改写模型做轻量化裁剪，只保留文本复述能力，降低单条样本改写的算力消耗。
3. 增加前置规则过滤，先把低价值原始文本剔除，只对优质原文做重写，减少无效算力开销。

2、适配不同模型规模的配比细则

1. 十亿参数以内小模型：重写算力占比控制在 15%~20% 即可，不需要投入过高算力扩充数据。
2. 十亿到百亿参数中型模型：优先选用 20%~25% 的重写算力占比，匹配模型的数据需求。
3. 百亿参数以上大模型：遇到数据缺口时，可将重写算力上调至 25%~30%，保障衍生语料供给。

四、算力分配不当带来的两类问题

1. 重写算力占比过低：衍生训练 token 数量不足，模型只能反复复用旧数据，容易出现过拟合，预训练扩展收益达不到预期。
2. 重写算力占比过高：大量算力消耗在文本改写环节，模型训练轮次被迫压缩，迭代进度变慢，整体训练周期拉长，单位算力产出的模型收益下降。

【相关 FAQ】

问题 1：预训练扩展阶段数据重写环节算力分配比例研究，预训练扩展阶段数据重写的最优算力占比是多少？

回答 1：在常规数据紧缺的预训练扩展场景下，数据重写算力占整体总算力的 15%~25% 最优；原生语料极度不足时可以上调到 25%~30%；原始数据充足时下调至 10%~15%。

问题 2：预训练扩展阶段数据重写环节算力分配比例研究，数据重写环节内部算力该如何拆分？

回答 2：数据重写内部算力可以按照 65%、25%、10% 分配，65% 算力用于文本自动改写，25% 用于改写内容质量校验，剩余 10% 用于样本去重与文本清洗。

问题 3：预训练扩展阶段数据重写环节算力分配比例研究，把数据重写算力占比设置过高会带来哪些影响？

回答 3：如果数据重写算力占比过高，大量算力被消耗在文本改写工作中，留给模型预训练的算力被压缩，模型迭代轮次变少，整体训练周期拉长，单位算力能拿到的模型性能收益会明显下降。

问题 4：预训练扩展阶段数据重写环节算力分配比例研究，如何降低数据重写带来的算力开销？

回答 4：可以采用三项优化手段：一是将重写任务与模型训练错峰执行；二是轻量化改写模型，降低单条文本改写的算力消耗；三是提前过滤劣质原文，只对高质量文本做改写，减少无效算力投入。

【数据来源】

[2026-10-29] 预训练扩展中数据衍生操作的算力分配优化 斯坦福 CRFM 研究专栏

[2026-10-27] 数据受限大模型预训练的算力配比实验 智源社区技术论文

[2026-10-22] 文本改写扩充训练语料的算力消耗测算 arXiv 学术预印本

[2026-10-18] 大模型多轮预训练的数据 - 算力平衡方案 机器之心技术专栏

免责声明：本文仅客观整理预训练扩展阶段数据重写算力占比的实验结论与工程配置方案；算力分配数值仅适用于通用大模型预训练扩展场景；实际算力消耗会受改写模型大小、文本复杂度、硬件型号影响产生波动；本文内容不作为项目算力预算采购、训练排期的最终决策依据。