首页 >> 综合 > 快讯 >

Percy Liang 团队提出提示级别联合建模的缩放定律新方法

2026-11-04 18:37:58 来源:网易 编辑:谭飞昌 

Percy Liang 的研究团队提出了一套按提示级别联合建模的缩放定律方法,这套新方法不再简单把模型性能只和参数量、训练数据量挂钩,而是把提示本身的难度、提示分布纳入缩放规律的建模里面,联合建模不同提示层级下的模型表现,用来更精准预测大模型在各类提示任务上的效果,修正传统缩放定律在复杂提示、难任务上预测不准的问题,能够帮助研究者预判模型扩容之后在不同提示场景里的收益,给模型规模、数据配比、提示工程优化提供参考依据。

提出这套新方法的原因

  • 传统大模型缩放定律大多只看参数量、算力、训练 token,忽略了提示本身有难易差别,同一个模型在不同提示上表现差距很大。
  • 随着提示工程、复杂多步提示大量使用,老的缩放公式预测偏差越来越明显,很难预估难提示任务上的性能上限。
  • 很多研究在扩模型时,没法区分性能提升来自模型变大,还是提示分布变化,缺少提示层面的统一建模框架。
  • 想要更好地做模型扩容预算、评估方案,就需要把提示层级当成变量放进缩放规律里,实现联合预估。

新旧缩放思路对比表

方案类型建模变量优势短板
传统缩放定律参数量、算力、训练数据量计算简单,适合基础预训练阶段预估不区分提示难度,复杂提示任务预测误差大
提示级别联合建模缩放定律参数量、算力、训练数据、提示难度层级、提示分布可以分提示等级预测性能,适配复杂提示任务采集标注提示层级数据成本更高,建模更复杂

该方法的实现流程

  1. 收集多样化任务提示样本,对提示做难度分级,划分不同提示级别数据集。
  2. 在不同规模模型上跑测试,采集每个提示级别对应的模型效果指标。
  3. 拟合联合缩放函数,把模型规模和提示级别变量放在同一个公式里建模。
  4. 在留存提示样本上验证拟合结果,对比传统缩放定律,校准预测误差。
  5. 使用这套模型去预测更大参数量模型在不同提示级别任务上的性能收益。
  6. 根据预测结果指导模型扩容、数据配比以及提示策略优化。

整体小结

Percy Liang 团队提出的按提示级别联合建模的缩放定律方法,核心创新是把提示难度层级引入缩放规律,弥补传统缩放定律对提示差异的忽视,让大模型性能预测更贴合真实提示调用场景,属于大模型缩放理论方向上的补充研究,现阶段偏向理论研究,还需要更多不同模型、不同任务集验证通用性。

【相关 FAQ】

问题 1:Percy Liang 团队提出按提示级别联合建模的缩放定律方法,核心创新点是什么?

回答 1:Percy Liang 团队提出按提示级别联合建模的缩放定律方法,核心创新是将提示难度层级纳入缩放建模,不再只依靠参数量和数据量预测模型效果,分提示等级评估缩放收益。

问题 2:Percy Liang 团队提出按提示级别联合建模的缩放定律方法,可以直接用来训练大模型吗?

回答 2:Percy Liang 团队提出按提示级别联合建模的缩放定律方法属于预测建模方法,主要用来预估模型扩容收益,不是直接训练大模型的算法。

问题 3:Percy Liang 团队提出按提示级别联合建模的缩放定律方法,和传统缩放定律差别在哪?

回答 3:传统缩放定律不区分提示差异,Percy Liang 团队提出按提示级别联合建模的缩放定律方法会对提示分级,联合提示信息一起拟合性能缩放规律,预测精度在复杂提示任务上更好。

问题 4:Percy Liang 团队提出按提示级别联合建模的缩放定律方法,对提示工程人员有什么用处?

回答 4:Percy Liang 团队提出按提示级别联合建模的缩放定律方法,可以帮助提示工程人员预估不同难度提示在更大模型上的表现,辅助判断优化提示还是扩容模型性价比更高。

【参考资料】

[2026-11-04](Percy Liang 团队提出按提示级别联合建模的缩放定律方法)机器之心

[2026-11-04](Percy Liang 团队新研究:引入提示层级的联合缩放定律)arXiv

[2026-11-04](大模型缩放定律升级:Percy Liang 团队建模提示分布影响)量子位

【免责声明】

本文仅为公开学术资讯整理,不构成模型开发、算力投入相关投资建议;Percy Liang 团队提出按提示级别联合建模的缩放定律方法仍处于学术研究阶段,方法有效性、适用范围还需要更多实验验证,最终结论以论文正式版本以及后续同行评审结果为准。

 
最新文章
站长推荐