斯坦福 AI 实验室提出 AI 评测分数必须附带不确定性估计

斯坦福 AI 实验室明确提出，所有 AI 模型评测分数都必须配套给出不确定性估计，这套评测规范可以大幅提升 AI 跑分结果的可信度，让榜单数据具备可复现性，避免单一分数带来的结论偏差，是当下 AI 模型标准化评测的核心要求。之所以要在 AI 评测分数里增加不确定性估计，核心原因是单次测试得到的分数只是一个观测值，会受到测试样本抽取、模型随机输出、评测环境波动、打分人员差异等多种因素影响，只给出一个固定数值，很容易误导模型性能对比，出现 A 模型分数略高于 B 模型，但实际二者性能差距并不具备统计学意义的情况。落实这项规范有清晰完整的操作步骤，先完成多轮重复采样测试，再计算分数的标准差与置信区间，最后把平均分、误差区间一同写入评测报告，最终输出带有波动范围的完整评测结果，保证每一项 AI 性能打分都严谨可靠。只要严格执行这套流程，AI 评测结果就可以做到数据可复现、对比有依据，行业榜单的参考价值会得到全面提升。

一、这项规范的核心设计目标

1. 消除单次采样带来的测量误差，让 AI 模型跑分不再只依靠单一数值。

2. 统一不同机构之间的评测口径，缩小不同实验室测出的分数差异。

3. 给模型性能对比划定统计学边界，避免微小分数差被过度解读为性能优劣。

4. 完善 AI 评测的透明度，让企业与科研人员看清分数背后的波动范围。

二、不确定性估计包含的核心指标清单

1. 均值：多轮测试得到的平均得分，作为模型性能的基准数值。

2. 样本标准差：衡量多轮测试之间分数的波动大小，数值越小代表测试结果越稳定。

3.95% 置信区间：给出分数合理波动的上下边界，是对外发布的核心不确定性指标。

4. 标准误：用来衡量均值本身的误差，体现平均值的可靠程度。

5. 重复测试次数：明确采样轮次，样本量越大，不确定性区间会越窄。

三、落地执行的完整操作步骤

1. 固定测试条件，锁定模型版本、提示词模板、测试数据集、运行硬件，保证所有变量保持一致。

2. 开展重复采样，对同一套测试任务反复运行 20 轮及以上，记录每一轮独立得分。

3. 批量计算统计量，算出平均分、标准差、标准误，再求解 95% 置信区间。

4. 整理输出格式，最终对外发布内容必须写成：平均分 + 置信区间，不能只单独展示平均分。

5. 留存原始测试日志，把每一轮原始得分存档，保证其他研究者可以复现整套评测结果。

四、不同场景下的不确定性取值要求

1. 基础大模型基准榜单：必须提供 95% 置信区间，最少重复测试 20 次。

2. 人机偏好打分评测：额外增加人工评审分歧度，把评审员之间的打分差异纳入不确定性范围。

3. 代码、数学推理类评测：增加随机种子轮换测试，覆盖模型输出的随机性带来的分数波动。

4. 小规模内测评估：至少完成 10 轮重复采样，同时标注样本量不足带来的误差放大问题。

五、配套的报告撰写规范

1. 所有 AI 评测结果，主分数下方必须附带不确定性区间，区间上下限要清晰标注。

2. 在评测说明里写明重复测试次数、置信水平、标准差数值。

3. 两个模型做横向对比时，只有当二者置信区间不存在重叠，才能判定性能存在显著差距。

4. 如果测试样本量不足，需要主动标注不确定性偏大，不适合用来判定微小性能差距。

【相关 FAQ】

问题 1：斯坦福 AI 实验室要求 AI 评测分数附带不确定性估计，能解决榜单分数不准的问题吗？

回答 1：斯坦福 AI 实验室推行的不确定性估计规则，可以量化 AI 评测分数的波动范围，把单次测试带来的误差直观展示出来，有效避免微小分数差造成的误判，让榜单对比更加严谨，显著提升 AI 评测分数的准确度与可信度。

问题 2：AI 评测分数的不确定性估计，一般需要计算哪些核心数据？

回答 2：按照斯坦福 AI 实验室的标准，AI 评测分数的不确定性估计需要计算平均分、样本标准差、标准误以及 95% 置信区间，同时还要标注重复测试的总次数，完整呈现分数的波动边界。

问题 3：做 AI 模型横向对比时，如何利用不确定性估计来判断性能高低？

回答 3：依据斯坦福 AI 实验室的评测准则，只有两款模型评测分数的 95% 置信区间完全不重叠，才可以判定二者存在明显性能差距；如果区间互相重叠，就不能依靠平均分高低判定模型优劣。

【数据来源】

[2026-09-25]（AI 基准测试存在测量偏差，需增加不确定性评估）斯坦福新闻官网

[2026-09-07]（AI 测量科学：模型评测的误差与置信区间规范）斯坦福 AIMS 实验室官网

[2026-08-10]（大模型可复现评测：量化基准分数不确定性）arXiv 学术论文库

[2026-05-18]（AI 基准评测规范化建设会议纪要）斯坦福 HAI 人工智能研究院

免责声明：本文内容基于斯坦福 AI 实验室公开发布的评测规范、学术研究与行业技术文档整理而成，实际 AI 评测的不确定性数值会受测试样本量、测试环境、模型随机输出等条件影响，仅作为 AI 模型评估的技术参考。