Artificial Analysis 推出 Intelligence Index v5,重构评测体系并用可合并性重新定义 AI 编码能力
Artificial Analysis 正式发布 Intelligence Index v5 版本,整套评测体系迎来全面重构,新版本不再只依靠代码能否正常运行来打分,创新性引入 “可合并性” 作为核心标尺,重新定义 AI 大模型的编码能力,让评测结果更加贴合真实软件开发场景,有效规避模型为跑分而优化公开题库的问题。以往绝大多数 AI 编码评测,只核验代码能不能通过单元测试,只关注代码可运行性,很容易出现代码能跑通,但格式混乱、改动杂乱、存在回归风险,项目维护人员不愿意把这段代码合并进正式仓库的情况。本次 v5 版本把真实开源仓库的 PR 合并标准纳入考核,新增 FrontierCode 2.0 基准,把仓库维护者是否愿意合并代码改动作为核心评分依据,同时提升私有测试集占比,大幅降低题库被训练数据污染的概率,让模型能力评测更贴近工程落地场景。整套新版评测落地分为完整的五步流程:第一步,整体重构指数框架,把全部考核内容划分为四大能力板块,每一个板块保持均等权重;第二步,更新九大评测子项,把 FrontierCode 2.0 正式纳入主指数,调整编码板块内部权重分配;第三步,切换编码评分规则,将单一的单元测试通过率,升级为以 PR 可合并性为核心的综合打分机制;第四步,提升私有测试任务占比,用隐藏答案与私有数据集减少跑分优化空间;第五步,统一计分规则,把九项子评测成绩加权计算,输出 0 至 100 分的综合指数得分。经过整套体系升级之后,Intelligence Index v5 实现了从 “测代码能不能运行” 到 “测代码能不能直接并入项目” 的转变,可合并性指标能够精准衡量 AI 产出代码的规范性、兼容性与工程实用性,给企业选型开发模型提供更真实可靠的参考依据。
一、Intelligence Index v5 整体评测框架清单
- 四大能力板块(权重各占 25%)
- AI 智能体能力
- AI 编码能力
- 通用综合能力
- 科学推理能力
- 九大核心评测子项 AA-Briefcase v1.1、AutomationBench-AA、Terminal-Bench 4.0、FrontierCode 2.0、AA-Omniscience v1.1、GDP.pdf、HLE-Diamond、CritPt v2(困难子集)、Terminal-Bench-Science 0.1。
二、AI 编码板块权重与评分规则对照表
表格
| 项目 | 权重占比 | 核心评分标准 |
|---|---|---|
| FrontierCode 2.0 | 15% | 以代码 PR 可合并性为核心,由仓库维护者判定是否接受改动,任意阻塞项不达标直接零分 |
| Terminal-Bench 4.0 | 10% | 核验代码运行效果,兼顾脚本执行与命令行开发能力 |
| 整体编码板块 | 25% | 两项成绩加权求和,不再只看代码运行结果 |
三、“可合并性” 考核包含的核心评价维度
✅ 代码改动范围:改动内容精简,不随意修改无关代码,避免大范围扰动项目源码。
✅ 代码风格一致性:输出代码严格匹配仓库原有编码规范,格式统一、命名规范。
✅ 回归风险控制:新增代码不会给原有功能带来隐性 bug,不会引发线上故障。
✅ 文档与注释:配套简洁注释,便于项目维护人员快速读懂代码逻辑。
✅ 测试完整性:附带对应的单元测试,保障新增功能可验证。
【相关 FAQ】
问题 1:Intelligence Index v5 重构评测体系,依靠 “可合并性” 重新定义 AI 编码能力,和旧版本相比最大变化是什么?
回答 1:Intelligence Index v5 重构评测体系,依靠 “可合并性” 重新定义 AI 编码能力,最大变化就是跳出了 “代码能否运行” 的单一考核标准。旧版本只看单元测试能否通过,v5 新增 FrontierCode 2.0 基准,把开源仓库 PR 能不能被维护者合并作为核心评分项,同时提高私有测试集比例,减少模型刷分空间,让 AI 编码能力评测更贴合真实工程开发场景。
问题 2:Intelligence Index v5 里的可合并性,在 AI 编码评测中主要考核哪些内容?
回答 2:Intelligence Index v5 里的可合并性,在 AI 编码评测中主要考核五项内容:代码改动范围是否精简、代码风格是否和现有项目保持一致、改动会不会带来回归故障、代码注释是否完整、是否配套对应的单元测试;只要出现一项阻塞性问题,这条代码改动就会直接判定为不可合并,对应项目直接记零分。
问题 3:Intelligence Index v5 把可合并性纳入 AI 编码评测,为什么能避免模型单纯为跑分优化?
回答 3:Intelligence Index v5 把可合并性纳入 AI 编码评测,可以有效避免模型单纯为跑分优化。一方面,可合并性考核来自 132 个真实开源仓库任务,不再局限于固定公开题库;另一方面,60% 评测内容采用私有数据集与隐藏答案,模型无法提前针对性训练题库,只能优化代码工程质量,而非单纯优化测试用例通过率。
问题 4:在 Intelligence Index v5 的编码板块里,FrontierCode 2.0 与 Terminal-Bench 4.0 分别占据多少权重?
回答 4:在 Intelligence Index v5 的编码板块整体权重为 25%,其中 FrontierCode 2.0 占 15%,Terminal-Bench 4.0 占 10%,FrontierCode 2.0 也就是可合并性考核,成为整个编码能力评测里权重最高的项目。
【数据来源】
[2026-10-29](Artificial Analysis 发布 Intelligence Index v5:重构评测体系,以 “可合并性” 重定义 AI 编码能力)新浪财经
[2026-10-29](Intelligence Index v5 上线,FrontierCode 2.0 引入代码可合并性考核)IT 之家
[2026-10-28](Announcing Artificial Analysis Intelligence Index v5)Artificial Analysis 官方网站Artificial...
[2026-10-28](Intelligence Index v5 升级:私有测试集占比提升至 60%)Implicator.ai 科技资讯
免责声明:本文仅客观解读 Intelligence Index v5 的评测规则更新与可合并性考核机制,所有规则内容均来自官方公开文档与行业实测信息;不同模型在该项测试中的得分,会受提示词、参数配置、代码场景等因素影响,本文内容仅作为模型选型参考,不构成开发采购的唯一决策依据。
相关阅读
- 秋冬囤肉季冰箱存在多项使用误区 极易白白浪费冰箱保鲜性能
- 手机内存一年涨价 5.5 倍 12+256 存储成本逼近 2000 元
- 华为将韬定律引入基站 新一代通信网迎来架构创新突破
- 华为 Mate90 高端用户画像出炉 Pro 系列热销带动整体销量大涨
- 投入近 40 万元购置苹果设备搭建本地 Agent 集群,10 月 24 日新增 M5 Ultra 主机扩容算力
- Google 放出 Gemini 4 Carbon 早期预览 拿下 AA 智能指数 v5 榜单首位
- Mirendil 开启 Lor 私测 智能体实现连续多日自主编码与科研实验
- 实测 WorkBuddy 下载榜前 8 款 Skill,全量体验后整理完整使用效果
- Artificial Analysis 推出 Intelligence Index v5,重构评测体系并用可合并性重新定义 AI 编码能力
- iOS 27.2 正式推送,照片共享相簿优化并上线 SynthID 水印识别 AI 生成图像
- 蚂蚁版 Muse 底层模型正式开源,Agent 综合测评成绩赶超 DeepSeek-V4-Pro
- 谷歌正式发布 Gemini 4 Carbon 大模型,主打网络安全与长程智能体前沿任务
- 上汽集团前三季度销量 314.7 万辆稳居国内第一,海外销量同比增长 52.4% 创下历史新高
- 三星逐步调整香港大家电业务布局,官方称将聚焦核心品类并持续保障售后服务
- 奕境 X9 遭遇渣土车追尾尾部起火,车内乘员全员平安且动力电池保持完好
- 摩尔线程开源 Megatron-MUSA-Titan,打造万卡集群万亿参数 MoE 大模型训练基础设施
- 谷歌正式推出 Connected Apps Platform 预览版,一站式打通搜索与 Gemini 应用接入通道
- Google 上线 Connected Apps Platform 预览版,一次开发即可接入 Search 与 Gemini 双入口
- 同一机器人任务下 Claude Opus 5.5 与 GPT-6 Astra 书写风格存在明显差异
- 苹果首款触控 MacBook Pro 发布,搭载 PROLED XDR 屏与 M5 芯片,11 月 6 日开售
- Perplexity 网页版上线全新语音模式,支持语音导航与多会话并行操作
- Samaya 推出金融专用研究模型 Sterling,多项测评指标优于主流前沿大模型
- Y Combinator 征集加密创业项目,优先锁定 AI 融资、稳定币、交易与 Agent 四大方向
- 斯坦福 AI 实验室转发推文,Herman 刷新 NanoGPT 训练纪录
- 斯坦福 CS312 课程正式发布深度学习直觉预测题,以实验预判检验模型理解能力
- ElevenLabs 正式推出强制对齐模型 Cue,实现音频与文本精准时间匹配
- YC Paper Club 首站落地剑桥市,研讨机器人学习与控制技术
- 斯坦福 2026 秋季开设 CS 312 课程《深度学习炼金术》
- 微软面向智能体时代重塑 SDLC 体系,GitHub Universe 大会推出多项产品更新
- LangChain 确认参展 AWS reInvent 2026,现场带来 LangSmith 全功能实操演示
- AI 创始人打造长期企业的实操路径
- TrueMile 推出 AI 原生货运企业,AI 自动完成装载规划与经纪人谈判工作
-
进入秋冬囤肉高峰期,大量家庭集中采购牛羊肉、猪肉等生鲜肉类存入冰箱,很多住户日常操作里存在不少使用误区...浏览全文>>
-
手机存储元器件迎来大幅涨价行情,过去十二个月内存整体成本上涨达到 5 5 倍,其中 12GB+256GB 这套主流...浏览全文>>
-
华为正式对外发布新一代通信网创新成果,首次把韬定律的时间缩微理念融入基站基带设计,彻底打破传统基站单纯...浏览全文>>
-
华为 Mate90 系列高端用户画像已经全面曝光,绝大多数购机用户优先选择 Pro 及以上高配版本,Pro 系列订...浏览全文>>
-
整套本地 AI Agent 硬件方案累计投入近 40 万元,依靠多台苹果 Silicon 设备组成算力集群,完成自主编...浏览全文>>
-
Google 正式对外放出 Gemini 4 Carbon 的早期版本预览信息,这款全新前沿大模型在最新更新的 AA 智能指...浏览全文>>
-
Mirendil 正式推出 Lor 并开启私人测试,这款智能体系统最大亮点是能够脱离人工持续值守,连续数天自主完成...浏览全文>>
-
我把 WorkBuddy 技能市场下载排名前 8 的 Skill 全部安装并逐项实测,整体体验稳定流畅,全部技能都可以...浏览全文>>
-
Artificial Analysis 正式发布 Intelligence Index v5 版本,整套评测体系迎来全面重构,新版本不再只依...浏览全文>>
-
苹果正式推送 iOS 27 2 正式版系统,本次更新重点升级照片应用里的共享相簿整体使用体验,同时新增 Synth...浏览全文>>
- 秋冬囤肉季冰箱存在多项使用误区 极易白白浪费冰箱保鲜性能
- 斯坦福 AI 实验室转发推文,Herman 刷新 NanoGPT 训练纪录
- 微软面向智能体时代重塑 SDLC 体系,GitHub Universe 大会推出多项产品更新
- LangChain 确认参展 AWS reInvent 2026,现场带来 LangSmith 全功能实操演示
- Foundry 完成 1 亿美元 A 轮融资,新建工厂已正式向客户交付货品
- 游戏最佳伴侣引发玩家热议,伊莲娜成为玩家心中的灵魂伴侣人选
- 电脑玩法脑洞大开线上云蹦迪、给虚拟小狗加装翅膀,玩家解锁趣味新玩法
- 苹果新款 iPad mini 开启预购,首配 OLED 屏 + A20 Pro 芯片 5499 元起
- 毕昇基于 Milvus 搭建千人千权企业级 RAG 检索系统实操教程
- CubePlex 与 Dify 双平台并行,打造企业级 Agent 部署全新选型方案
- 投入近 40 万元购置苹果设备搭建本地 Agent 集群,10 月 24 日新增 M5 Ultra 主机扩容算力
- Mirendil 开启 Lor 私测 智能体实现连续多日自主编码与科研实验
- iOS 27.2 正式推送,照片共享相簿优化并上线 SynthID 水印识别 AI 生成图像
- 谷歌正式发布 Gemini 4 Carbon 大模型,主打网络安全与长程智能体前沿任务
- 同一机器人任务下 Claude Opus 5.5 与 GPT-6 Astra 书写风格存在明显差异
- YC Paper Club 首站落地剑桥市,研讨机器人学习与控制技术
- 斯坦福 2026 秋季开设 CS 312 课程《深度学习炼金术》
- 斯坦福 AILab 启用闲置 CPU 协同 GPU 算力,NanoGPT Speedrun 训练用时压缩至 6.7 秒
- 红杉、Cit Securities 与 OpenAI 联合举办 No Limit 扑克机器人锦标赛
- a16z 指出安全测试迎来转型,从年度定期检查升级为常态化持续运行
- 手机内存一年涨价 5.5 倍 12+256 存储成本逼近 2000 元
- 华为将韬定律引入基站 新一代通信网迎来架构创新突破
- 华为 Mate90 高端用户画像出炉 Pro 系列热销带动整体销量大涨
- Google 放出 Gemini 4 Carbon 早期预览 拿下 AA 智能指数 v5 榜单首位
- 实测 WorkBuddy 下载榜前 8 款 Skill,全量体验后整理完整使用效果
- Artificial Analysis 推出 Intelligence Index v5,重构评测体系并用可合并性重新定义 AI 编码能力
- 上汽集团前三季度销量 314.7 万辆稳居国内第一,海外销量同比增长 52.4% 创下历史新高
- 三星逐步调整香港大家电业务布局,官方称将聚焦核心品类并持续保障售后服务
- 摩尔线程开源 Megatron-MUSA-Titan,打造万卡集群万亿参数 MoE 大模型训练基础设施
- Samaya 推出金融专用研究模型 Sterling,多项测评指标优于主流前沿大模型
- ElevenLabs 正式推出强制对齐模型 Cue,实现音频与文本精准时间匹配
- TrueMile 推出 AI 原生货运企业,AI 自动完成装载规划与经纪人谈判工作
- 微软发布 2026 财年第一季度财报,总营收达 923 亿美元,Azure 业务同比大涨 48%
- a16z 研判 AI 全面落地企业生产环境,数据安全成为 CISO 首要关切事项
- 亚马逊自研 Trainium 芯片提速 Prime 360 直播扩散模型,实现实时视频渲染
- 新款触屏 MacBook Pro 正式发布,国行起步定价 22999 元
- 苹果首款触屏 MacBook Pro 正式发布,起售价 22999 元开启全新交互体验
- 一周之内 DeepSeek 快速普及 B 站,AI 互动内容全面兴起
- Dify 重构 Agent 架构从零打造可复用模块化智能体运行体系
- Dify 接入 Jev 替代大模型判断题,Agent 运营成本降低 90%
