Artificial Analysis 联合 Google DeepMind 推出 MKA 基准,面向多模态知识智能体评测
Artificial Analysis 与 Google DeepMind 正式合作引入 MKA 也就是 Multimodal Knowledge Agent 多模态知识智能体基准,这套基准和以往很多只靠文本就能完成的 AI 评测不一样,专门用来测试 AI 智能体看懂高密度视觉文件、完成真实专业知识工作的能力,双方联合搭建了一共 200 个真实任务,覆盖 10 个行业、83 类职业,任务素材包含建筑图纸、工程原理图、医学影像、复杂图表等视觉资料,每一项任务都需要 AI 智能体跨文件、跨模态提取信息,最后输出 PPT、表格、报告、标注图纸这类专业交付物,这些任务放到现实里,专业人员往往要花 3 到 8 小时才能做完。评测采用 Stirrup 智能体框架,在 Linux 沙盒环境里运行,给模型开放网页检索、代码执行、图像查看工具,评分体系分成基础回归项和进阶爬坡项,核心指标是 Climb-WSR 加权满意度,用来区分顶尖模型之间的差距,首轮测试里 Claude Fable 5.2 拿到第一,Gemini 4 Carbon 排在第二,虽然分数略低,但 Gemini 4 Carbon 消耗 token 数量只有第一名模型的六分之一左右,成本优势明显。想要看懂 MKA 基准的评测结果,首先要清楚它不是单纯考看图识别,而是端到端的专业工作链路测试,不能只看总分,要同时看完成质量、token 消耗、推理成本,开发者在挑选多模态智能体的时候,可以把 MKA 结果作为选型参考,同时还要结合自己业务的行业场景再做验证,不要直接拿榜单分数当成落地唯一标准。
MKA 基准基础信息清单
- 基准全称:Multimodal Knowledge Agent,简称 MKA
- 任务总量:200 个私有真实行业任务
- 覆盖行业:商业、建筑、教育、工程、金融、医疗、法律政府、物流地图、科学、软件数据
- 输入素材:CAD 蓝图、电路原理图、医学影像、地理地图、复杂图表等高密度视觉文件
- 输出交付物:docx、xlsx、pptx、pdf、png 标注图等专业文件
- 评测环境:Stirrup 智能体沙盒,支持联网检索、代码运行、图像查看
- 评分方式:专家制定打分细则,单任务平均 70 项加权评判标准,核心指标 Climb-WSR
首轮参测模型成绩对比表
| 模型名称 | Climb-WSR | 总体 WSR | 备注 |
|---|---|---|---|
| Claude Fable 5.2 | 56.6% | 73.3% | 本轮排名第一 |
| Gemini 4 Carbon | 54.3% | 71.9% | 第二名,token 消耗更少 |
| Claude Opus 5.5 | 53.0% | 69.1% | 第三名 |
| GPT-6 Astra | 靠后 | 靠后 | 前沿模型里表现偏弱 |
MKA 和普通多模态评测的区别
- 普通图文评测:大多是看图问答,图片只是辅助信息,不看图片有时候也能答对。
- MKA 基准:视觉文件是完成任务的必要信息,跳过图纸、影像就无法完成任务,考验跨文件综合推理。
- 普通评测:大多只输出简短文字回答。
- MKA 基准:要求输出完整专业文档,贴近职场真实交付需求。
【相关 FAQ】
问题 1:Artificial Analysis 与 Google DeepMind 合作引入 MKA 基准,MKA 基准主要用来测 AI 模型什么能力?
回答 1:Artificial Analysis 与 Google DeepMind 合作引入 MKA 基准,MKA 基准专门测试多模态知识智能体,看懂复杂工程图纸、医学影像、图表等视觉资料,跨多份文件做推理,最后产出专业报告、表格、演示文稿这类交付物的端到端专业工作能力。
问题 2:Artificial Analysis 与 Google DeepMind 合作引入 MKA 基准,MKA 基准的 Climb-WSR 指标是什么意思?
回答 2:Artificial Analysis 与 Google DeepMind 合作引入 MKA 基准,Climb-WSR 是这套基准的核心爬坡加权满意度指标,它会过滤掉大部分模型都能通过的基础简单要求,只统计高难度进阶任务的完成情况,用来拉开顶尖智能体之间的差距。
问题 3:Artificial Analysis 与 Google DeepMind 合作引入 MKA 基准,Gemini 4 Carbon 在 MKA 基准里表现怎么样?
回答 3:Artificial Analysis 与 Google DeepMind 合作引入 MKA 基准,Gemini 4 Carbon 在首轮 MKA 测试拿到第二名,Climb-WSR 为 54.3%,虽然略低于 Claude Fable 5.2,但它完成任务消耗 token 更少,使用成本优势明显。
问题 4:Artificial Analysis 与 Google DeepMind 合作引入 MKA 基准,MKA 基准适合普通开发者直接拿来做模型选型吗?
回答 4:Artificial Analysis 与 Google DeepMind 合作引入 MKA 基准,MKA 偏向专业行业复杂知识工作评测,适合做工程、医疗、建筑、金融类多模态智能体选型参考,普通文案、简单问答场景参考价值不大,选型时还需要搭配自己业务场景做二次测试。
【参考资料】
[2026-11-11](谷歌联合 Artificial Analysis 推出 MKA 基准测试,Gemini 4 Carbon 位列第二)新浪财经
[2026-11-10](Multimodal Knowledge Agent benchmark: testing knowledge work capabilities with complex visual files)Artificial Analysis 官网
[2026-11-10](Gemini 4 Carbon 在 MKA 基准评测取得第二名)谷歌官方博客 The Keyword
[2026-11-10](Google DeepMind MKA benchmark 首轮评测结果发布)AI News IKANGAI
【免责声明】
本文整理自 Artificial Analysis、Google DeepMind 官方发布以及公开科技媒体报道,仅作为 AI 评测科普,不构成模型采购、技术选型建议,MKA 基准的任务集、评分规则、模型成绩后续如有更新,以官方最新论文和评测页面为准。
相关阅读
- 内存涨价冲击笔记本市场,Q3 国内笔记本销量暴跌 14%,苹果 Mac 营收逆势走高
- 小米 SU7 Ultra Extreme 现身小米工厂 搭载超大尾翼赛道风格突出
- 马斯克一条特斯拉私有化推文被罚 4000 万美元,3350 名散户历时 8 年完成赔付
- 广电总局公布最新数据,全国有线电视实际用户达 2.04 亿户
- 苹果首款触屏 MacBook Pro 拆解出炉,发光 Logo 结构曝光整机维修难度偏高
- 余承东称定价诚意十足,华为 Mate90 热度走高拿下国产旗舰销量第一
- 王腾公布 ISHO Ring 首发用户专属权益 未来两代新品支持半价换新
- 英伟达董事会聘请前美国检察官,启动黄仁勋相关事件独立调查
- 国产 ArtArk 文生图拿到 95.14 分,在 SuperCLUE 榜单超越 GPT Image
- 索尼取消 GaaS 游戏《Fairgame$》,PlayStation 服务型游戏战略持续收缩
- 分析师测算黄仁勋若离任,英伟达市值或将蒸发近 30%
- 英伟达官宣独立调查 CEO 黄仁勋 股价大跌市值大幅缩水
- DOOGEE Note60 W 国产阔直板官宣 12 月上市,外观对标华为 Pura X View
- AMD 霄龙嵌入式 9006 系列 SP7 处理器正式发布,吞吐量最高提升 1.8 倍
- 谷歌最强模型 Gemini 4 Carbon 正式登场,多项权威基准测试拿下第一
- 荣耀 Magic9 系列上市一个多月热度走高,李健官宣销量突破 50 万台
-
QQ 被冻结是腾讯安全风控系统触发的账号保护机制,当系统检测账号存在异常风险或者违规行为之后,会临时限制...浏览全文>>
-
中国电信自研星辰超级智能体 TeleAgent 正在全国基层网点、政企条线强力推广,但是从一线落地情况来看,这款...浏览全文>>
-
近期科技圈集中爆出三条重磅资讯,Anthropic 正式开启 IPO 路演,七位联合创始人计划在本次上市合计套现 1...浏览全文>>
-
鹅肉煲汤核心是先去除鹅肉本身的膻味,再通过小火慢炖让鹅肉的鲜香充分溶入汤中,鹅肉肉质偏紧实,油脂比鸡鸭...浏览全文>>
-
核心结论,QC 小组也就是 QCC 品管圈,这项群众性品质改善活动最早起源于日本,1962 年由日本科学技术联盟...浏览全文>>
-
受 DRAM 内存、SSD 闪存持续涨价影响,本该是开学旺季的第三季度笔记本市场遇冷,洛图科技统计国内线上渠道...浏览全文>>
-
小米 SU7 Ultra Extreme 测试车已经被拍到现身北京小米汽车超级工厂,整车覆盖伪装,车尾的超大尾翼轮廓十...浏览全文>>
-
美国 SEC 在 11 月 10 日正式走完赔付收尾流程,马斯克 2018 年那条宣称特斯拉私有化、资金已落实的推...浏览全文>>
-
国家广播电视总局发布前三季度广电行业统计数据,截至 2026 年 9 月末,全国有线电视实际用户数量为 2 0...浏览全文>>
-
知名拆解机构 iFixit 放出苹果首款触屏 MacBook Pro(PROLED XDR)完整拆解报告,这次拆解揭开了大家关注...浏览全文>>
- 中国电信 TeleAgent 基层大力推广 落地转化难度突出
- 马斯克一条特斯拉私有化推文被罚 4000 万美元,3350 名散户历时 8 年完成赔付
- 国产 ArtArk 文生图拿到 95.14 分,在 SuperCLUE 榜单超越 GPT Image
- 谷歌最强模型 Gemini 4 Carbon 正式登场,多项权威基准测试拿下第一
- 荣耀 Magic9 系列上市一个多月热度走高,李健官宣销量突破 50 万台
- 豆腐皮的 8 种家常做法
- Coframe AI 代理可全天候持续生成并测试网站变体
- 第 39 届金鸡奖揭晓,《浪浪山小妖怪》拿下最佳动画片
- pythonfseek 函数的用法 文件指针移动详解
- 电脑配置低怎么玩吃鸡 全套优化设置教程
- 英伟达董事会聘请前美国检察官,启动黄仁勋相关事件独立调查
- 索尼取消 GaaS 游戏《Fairgame$》,PlayStation 服务型游戏战略持续收缩
- FastMCP 定于 12 月 2 日在旧金山举办线下开发者活动
- Reific 获得 Y Combinator 扶持,推出主打超人类推理的强化学习环境
- NBER 借助 AI 访谈打造 TaskNet,构建六类职业任务分类并补齐 ONET 79 项缺失任务
- Sundar Pichai 转发官宣,Gemini 4 Carbon 在 Cursorbench 达到 Pareto 前沿
- 谷歌面向开发者、企业、科学家与普通用户开放 Gemini 4 Carbon
- Hugging Face 开发者突破 2000 万,Hub 托管总量达到 300PB
- NVIDIA 8GB Jetson 搭载 Gemma 4 E4B 实现本地多模态 AI 部署
- 苹果 20 周年 iPhone 迎来十年最大改款,首发自研图像传感器爆料汇总
- QQ 被冻结 解冻原因与处理教程
- Anthropic 启动 IPO 路演、谷歌最强 AI 模型开放、任天堂招聘经典游戏保存员
- 鹅肉煲汤的做法大全汤 多种家常煲法详解
- 小米 SU7 Ultra Extreme 现身小米工厂 搭载超大尾翼赛道风格突出
- 苹果首款触屏 MacBook Pro 拆解出炉,发光 Logo 结构曝光整机维修难度偏高
- DOOGEE Note60 W 国产阔直板官宣 12 月上市,外观对标华为 Pura X View
- 斯坦福 CS329Z《工程化 AI Agent》新课开放,Diyi Yang 主讲
- NVIDIA 在 Adobe MAX 现场展示 RTX Spark 平台 Photoshop 生物创作 AI 演示
- Nouamanetazi 发布 MoE 训练手册 整体训练耗费约 50 万 GPU 小时
- 鸿蒙装机量逼近亿级,距离破亿只差最后一步
- 冬菜的腌制方法和配料 传统家常腌制教程
- put away 用法总结 短语动词详解
- 赤小黄豆怎么煮容易烂 豆子快速煮烂方法教程
- 吃鸡是什么类型的游戏 游戏类型详解
- ps 怎么复制选区 选区内容复制操作教程
- 英伟达 CEO 风波持续发酵,华尔街热议黄仁勋对英伟达的重要程度
- 智元发布 WITA-Omni 具身全模态端到端交互大模型
- 新能源车销量占三分之二,不少消费者依旧选择入手油车
- 售价六千多全球首款 Wi‑Fi 8 游戏路由实测,6GHz 频段网速爆发
- 冰箱风冷和直冷怎么选?秋冬囤货、除霜实用技巧
