DesignArena 发布 LifeArena，采用真实用户评测 AI 个人助理

DesignArena 正式推出 LifeArena，这是一套专门用来测评 AI 个人助理的评测平台，和常用的自动打分、题库基准不一样，它依靠真实普通用户给出主观评判，而不是单纯靠大模型或者脚本自动判分；传统基准测试很容易被模型 “刷分”，模型可以背题库、针对性优化输出，很难反映日常真实使用体验，LifeArena 的思路就是模拟普通人日常里使用个人助理的各类场景，把任务交给真人用户去对比、打分，以此拿到更贴近现实的排名，不过这套评测方式成本更高，结果也会带有主观偏差，需要靠大量评测样本去抵消误差。

一、LifeArena 和传统评测方案的区别

• 评判主体不同
• 测试任务偏向日常
• 打分方式为盲测对比
• 输出结果是偏好排名，不是固定分数

传统评测大多是自动化脚本、别的大模型做裁判；LifeArena 的核心就是真人用户作为评判者。

任务不是晦涩的学术题目，都是普通人交给个人助理的需求：规划行程、整理笔记、写邮件、生活建议、多轮闲聊协助等。

用户一般看不到是哪个模型，只对比两份回答，选出更贴合需求、更好用的那一个，降低品牌偏好带来的干扰。

最后产出的是个人助理之间的胜率榜单，而不是一个固定的、标准化得分。

二、LifeArena 完整评测流程

1. 任务库构建：收集大量真实用户提交、来自现实场景的个人助理任务，覆盖多轮对话。
2. 模型生成应答：把同一批任务发给不同的 AI 个人助理，生成对应的回复。
3. 盲测分发：打乱来源，把成对回答推给参与评测的真实用户。
4. 用户评判：用户挑选更符合需求、更实用的回答，也可以标记两者都不合格或者差不多。
5. 数据聚合：汇总海量真人投票，计算各个个人助理的对战胜率。
6. 榜单更新：积累足够样本之后，刷新 LifeArena 的公开排行榜。

三、评测方案对比表

四、LifeArena 当前已知局限

• 如果样本数量偏少，少数用户的个人喜好会明显影响榜单结果。
• 只评判主观体验，不方便精准定位模型在哪一类推理题目上出错。
• 招募足够多、多样化的真实用户，持续运转这套评测的开销不小。
• 它只能反映用户偏好，不等于模型在逻辑、安全上绝对更优秀。

【相关 FAQ】

问题 1：DesignArena 推出的 LifeArena，为什么选择让真实用户评判个人助理？

回答 1：DesignArena 推出 LifeArena，选择真实用户评判个人助理，是为了解决自动评测容易被刷分的痛点，拿到更贴近普通人日常使用的体验评价。

问题 2：在 LifeArena 上面参与评判的真实用户，需要具备专业 AI 知识吗？

回答 2：使用 LifeArena 评判个人助理的真实用户不需要专业知识，只需要按照自己的日常感受，选出更能满足需求的个人助理回复即可。

问题 3：LifeArena 通过真实用户评判个人助理得出的排名，可以直接判定哪个 AI 最强吗？

回答 3：LifeArena 通过真实用户评判个人助理得到的是用户偏好榜单，只代表普通人更喜欢哪一个，不能直接等同于综合能力最强，推理、代码等能力还需要搭配别的测试。

【参考资料】

[2026-11-02]（DesignArena 发布 LifeArena，以真实用户对个人助理进行盲评）DesignArena 官方博客

[2026-10-26]（LifeArena：面向个人助手的人类偏好评测基准）Hugging Face

[2026-10-20]（新评测框架 LifeArena，放弃自动裁判改用真人打分）TechCrunch

【免责声明】

本文基于 DesignArena 公开发布的 LifeArena 项目资料整理；平台的评测任务、招募规则、榜单计算方式后续都有可能迭代调整，真人评判本身带有主观偏差，榜单结果仅作参考，不代表对各类个人助理能力的最终定论。