首页 >> 综合 > 快讯 >

Artificial Analysis 推出 Intelligence Index v5,重构评测体系并用可合并性重新定义 AI 编码能力

2026-10-29 06:49:03 来源:网易 编辑:陆珊邦 

Artificial Analysis 正式发布 Intelligence Index v5 版本,整套评测体系迎来全面重构,新版本不再只依靠代码能否正常运行来打分,创新性引入 “可合并性” 作为核心标尺,重新定义 AI 大模型的编码能力,让评测结果更加贴合真实软件开发场景,有效规避模型为跑分而优化公开题库的问题。以往绝大多数 AI 编码评测,只核验代码能不能通过单元测试,只关注代码可运行性,很容易出现代码能跑通,但格式混乱、改动杂乱、存在回归风险,项目维护人员不愿意把这段代码合并进正式仓库的情况。本次 v5 版本把真实开源仓库的 PR 合并标准纳入考核,新增 FrontierCode 2.0 基准,把仓库维护者是否愿意合并代码改动作为核心评分依据,同时提升私有测试集占比,大幅降低题库被训练数据污染的概率,让模型能力评测更贴近工程落地场景。整套新版评测落地分为完整的五步流程:第一步,整体重构指数框架,把全部考核内容划分为四大能力板块,每一个板块保持均等权重;第二步,更新九大评测子项,把 FrontierCode 2.0 正式纳入主指数,调整编码板块内部权重分配;第三步,切换编码评分规则,将单一的单元测试通过率,升级为以 PR 可合并性为核心的综合打分机制;第四步,提升私有测试任务占比,用隐藏答案与私有数据集减少跑分优化空间;第五步,统一计分规则,把九项子评测成绩加权计算,输出 0 至 100 分的综合指数得分。经过整套体系升级之后,Intelligence Index v5 实现了从 “测代码能不能运行” 到 “测代码能不能直接并入项目” 的转变,可合并性指标能够精准衡量 AI 产出代码的规范性、兼容性与工程实用性,给企业选型开发模型提供更真实可靠的参考依据。

一、Intelligence Index v5 整体评测框架清单

  1. 四大能力板块(权重各占 25%)
  • AI 智能体能力
  • AI 编码能力
  • 通用综合能力
  • 科学推理能力
  1. 九大核心评测子项 AA-Briefcase v1.1、AutomationBench-AA、Terminal-Bench 4.0、FrontierCode 2.0、AA-Omniscience v1.1、GDP.pdf、HLE-Diamond、CritPt v2(困难子集)、Terminal-Bench-Science 0.1。

二、AI 编码板块权重与评分规则对照表

表格

项目权重占比核心评分标准
FrontierCode 2.015%以代码 PR 可合并性为核心,由仓库维护者判定是否接受改动,任意阻塞项不达标直接零分
Terminal-Bench 4.010%核验代码运行效果,兼顾脚本执行与命令行开发能力
整体编码板块25%两项成绩加权求和,不再只看代码运行结果

三、“可合并性” 考核包含的核心评价维度

✅ 代码改动范围:改动内容精简,不随意修改无关代码,避免大范围扰动项目源码。

✅ 代码风格一致性:输出代码严格匹配仓库原有编码规范,格式统一、命名规范。

✅ 回归风险控制:新增代码不会给原有功能带来隐性 bug,不会引发线上故障。

✅ 文档与注释:配套简洁注释,便于项目维护人员快速读懂代码逻辑。

✅ 测试完整性:附带对应的单元测试,保障新增功能可验证。

【相关 FAQ】

问题 1:Intelligence Index v5 重构评测体系,依靠 “可合并性” 重新定义 AI 编码能力,和旧版本相比最大变化是什么?

回答 1:Intelligence Index v5 重构评测体系,依靠 “可合并性” 重新定义 AI 编码能力,最大变化就是跳出了 “代码能否运行” 的单一考核标准。旧版本只看单元测试能否通过,v5 新增 FrontierCode 2.0 基准,把开源仓库 PR 能不能被维护者合并作为核心评分项,同时提高私有测试集比例,减少模型刷分空间,让 AI 编码能力评测更贴合真实工程开发场景。

问题 2:Intelligence Index v5 里的可合并性,在 AI 编码评测中主要考核哪些内容?

回答 2:Intelligence Index v5 里的可合并性,在 AI 编码评测中主要考核五项内容:代码改动范围是否精简、代码风格是否和现有项目保持一致、改动会不会带来回归故障、代码注释是否完整、是否配套对应的单元测试;只要出现一项阻塞性问题,这条代码改动就会直接判定为不可合并,对应项目直接记零分。

问题 3:Intelligence Index v5 把可合并性纳入 AI 编码评测,为什么能避免模型单纯为跑分优化?

回答 3:Intelligence Index v5 把可合并性纳入 AI 编码评测,可以有效避免模型单纯为跑分优化。一方面,可合并性考核来自 132 个真实开源仓库任务,不再局限于固定公开题库;另一方面,60% 评测内容采用私有数据集与隐藏答案,模型无法提前针对性训练题库,只能优化代码工程质量,而非单纯优化测试用例通过率。

问题 4:在 Intelligence Index v5 的编码板块里,FrontierCode 2.0 与 Terminal-Bench 4.0 分别占据多少权重?

回答 4:在 Intelligence Index v5 的编码板块整体权重为 25%,其中 FrontierCode 2.0 占 15%,Terminal-Bench 4.0 占 10%,FrontierCode 2.0 也就是可合并性考核,成为整个编码能力评测里权重最高的项目。

【数据来源】

[2026-10-29](Artificial Analysis 发布 Intelligence Index v5:重构评测体系,以 “可合并性” 重定义 AI 编码能力)新浪财经

[2026-10-29](Intelligence Index v5 上线,FrontierCode 2.0 引入代码可合并性考核)IT 之家

[2026-10-28](Announcing Artificial Analysis Intelligence Index v5)Artificial Analysis 官方网站Artificial...

[2026-10-28](Intelligence Index v5 升级:私有测试集占比提升至 60%)Implicator.ai 科技资讯

免责声明:本文仅客观解读 Intelligence Index v5 的评测规则更新与可合并性考核机制,所有规则内容均来自官方公开文档与行业实测信息;不同模型在该项测试中的得分,会受提示词、参数配置、代码场景等因素影响,本文内容仅作为模型选型参考,不构成开发采购的唯一决策依据。

 
最新文章
站长推荐