首页 >> 综合 > 快讯 >

Artificial Analysis 联合 Google DeepMind 推出 MKA 基准,面向多模态知识智能体评测

2026-11-11 08:11:31 来源:网易 编辑:满影瑾 

Artificial Analysis 与 Google DeepMind 正式合作引入 MKA 也就是 Multimodal Knowledge Agent 多模态知识智能体基准,这套基准和以往很多只靠文本就能完成的 AI 评测不一样,专门用来测试 AI 智能体看懂高密度视觉文件、完成真实专业知识工作的能力,双方联合搭建了一共 200 个真实任务,覆盖 10 个行业、83 类职业,任务素材包含建筑图纸、工程原理图、医学影像、复杂图表等视觉资料,每一项任务都需要 AI 智能体跨文件、跨模态提取信息,最后输出 PPT、表格、报告、标注图纸这类专业交付物,这些任务放到现实里,专业人员往往要花 3 到 8 小时才能做完。评测采用 Stirrup 智能体框架,在 Linux 沙盒环境里运行,给模型开放网页检索、代码执行、图像查看工具,评分体系分成基础回归项和进阶爬坡项,核心指标是 Climb-WSR 加权满意度,用来区分顶尖模型之间的差距,首轮测试里 Claude Fable 5.2 拿到第一,Gemini 4 Carbon 排在第二,虽然分数略低,但 Gemini 4 Carbon 消耗 token 数量只有第一名模型的六分之一左右,成本优势明显。想要看懂 MKA 基准的评测结果,首先要清楚它不是单纯考看图识别,而是端到端的专业工作链路测试,不能只看总分,要同时看完成质量、token 消耗、推理成本,开发者在挑选多模态智能体的时候,可以把 MKA 结果作为选型参考,同时还要结合自己业务的行业场景再做验证,不要直接拿榜单分数当成落地唯一标准。

MKA 基准基础信息清单

  1. 基准全称:Multimodal Knowledge Agent,简称 MKA
  2. 任务总量:200 个私有真实行业任务
  3. 覆盖行业:商业、建筑、教育、工程、金融、医疗、法律政府、物流地图、科学、软件数据
  4. 输入素材:CAD 蓝图、电路原理图、医学影像、地理地图、复杂图表等高密度视觉文件
  5. 输出交付物:docx、xlsx、pptx、pdf、png 标注图等专业文件
  6. 评测环境:Stirrup 智能体沙盒,支持联网检索、代码运行、图像查看
  7. 评分方式:专家制定打分细则,单任务平均 70 项加权评判标准,核心指标 Climb-WSR

首轮参测模型成绩对比表

模型名称Climb-WSR总体 WSR备注
Claude Fable 5.256.6%73.3%本轮排名第一
Gemini 4 Carbon54.3%71.9%第二名,token 消耗更少
Claude Opus 5.553.0%69.1%第三名
GPT-6 Astra靠后靠后前沿模型里表现偏弱

MKA 和普通多模态评测的区别

  • 普通图文评测:大多是看图问答,图片只是辅助信息,不看图片有时候也能答对。
  • MKA 基准:视觉文件是完成任务的必要信息,跳过图纸、影像就无法完成任务,考验跨文件综合推理。
  • 普通评测:大多只输出简短文字回答。
  • MKA 基准:要求输出完整专业文档,贴近职场真实交付需求。

【相关 FAQ】

问题 1:Artificial Analysis 与 Google DeepMind 合作引入 MKA 基准,MKA 基准主要用来测 AI 模型什么能力?

回答 1:Artificial Analysis 与 Google DeepMind 合作引入 MKA 基准,MKA 基准专门测试多模态知识智能体,看懂复杂工程图纸、医学影像、图表等视觉资料,跨多份文件做推理,最后产出专业报告、表格、演示文稿这类交付物的端到端专业工作能力。

问题 2:Artificial Analysis 与 Google DeepMind 合作引入 MKA 基准,MKA 基准的 Climb-WSR 指标是什么意思?

回答 2:Artificial Analysis 与 Google DeepMind 合作引入 MKA 基准,Climb-WSR 是这套基准的核心爬坡加权满意度指标,它会过滤掉大部分模型都能通过的基础简单要求,只统计高难度进阶任务的完成情况,用来拉开顶尖智能体之间的差距。

问题 3:Artificial Analysis 与 Google DeepMind 合作引入 MKA 基准,Gemini 4 Carbon 在 MKA 基准里表现怎么样?

回答 3:Artificial Analysis 与 Google DeepMind 合作引入 MKA 基准,Gemini 4 Carbon 在首轮 MKA 测试拿到第二名,Climb-WSR 为 54.3%,虽然略低于 Claude Fable 5.2,但它完成任务消耗 token 更少,使用成本优势明显。

问题 4:Artificial Analysis 与 Google DeepMind 合作引入 MKA 基准,MKA 基准适合普通开发者直接拿来做模型选型吗?

回答 4:Artificial Analysis 与 Google DeepMind 合作引入 MKA 基准,MKA 偏向专业行业复杂知识工作评测,适合做工程、医疗、建筑、金融类多模态智能体选型参考,普通文案、简单问答场景参考价值不大,选型时还需要搭配自己业务场景做二次测试。

【参考资料】

[2026-11-11](谷歌联合 Artificial Analysis 推出 MKA 基准测试,Gemini 4 Carbon 位列第二)新浪财经

[2026-11-10](Multimodal Knowledge Agent benchmark: testing knowledge work capabilities with complex visual files)Artificial Analysis 官网

[2026-11-10](Gemini 4 Carbon 在 MKA 基准评测取得第二名)谷歌官方博客 The Keyword

[2026-11-10](Google DeepMind MKA benchmark 首轮评测结果发布)AI News IKANGAI

【免责声明】

本文整理自 Artificial Analysis、Google DeepMind 官方发布以及公开科技媒体报道,仅作为 AI 评测科普,不构成模型采购、技术选型建议,MKA 基准的任务集、评分规则、模型成绩后续如有更新,以官方最新论文和评测页面为准。

 
最新文章