YC 总裁 Garry Tan 开源 Agent 外壳评测库 g-harness-evals，用于对比不同 Agent 框架性能成本

Y Combinator 总裁 Garry Tan 正式开源了 g-harness-evals，这是一套专门用来评测 AI Agent 外壳（harness）的基准评测库，核心目标不是测试大模型本身，而是在固定模型、固定任务的前提下，对比不同 Agent 外壳、提示词体系、工具调用逻辑、记忆机制带来的成功率、耗时、成本差异，给开发编码 Agent 的开发者一套可复现的对比测试方案，在 AI 编码 Agent 圈子引发不小讨论。现在很多开发者容易混淆模型能力和 Agent 外壳的效果，大家经常把 Agent 表现好坏全部归责于底层大模型，而 Garry Tan 推出这套评测库，就是想把变量拆开，固定模型和任务，只更换 Agent 外壳组件，单独衡量外壳设计对最终效果、开销、速度的影响，它自带标准化测试任务集、统一打分规则、成本计时统计，评测结果可以直接横向对比 QM、Claude Code、OpenClaw 等主流 Agent 外壳。这套评测库的测试维度包含任务完成准确率、单次任务 token 开销、执行耗时、工具调用次数，开发者可以直接拉取仓库在本地复现测试，也可以新增自定义测试用例，用来验证自己写的 Agent 外壳有没有优化效果。当然它目前也有局限，测试任务以编码类任务为主，测试场景还不算特别丰富，只适合用来做控制变量对比，不能直接当成通用 Agent 能力的全面基准。

g-harness-evals 核心信息清单

• 开源作者：Garry Tan（Y Combinator 总裁）
• 项目名称：g-harness-evals
• 项目定位：Agent 外壳（harness）基准评测库
• 核心思路：固定模型 + 固定任务，只更换 Agent 外壳进行对照实验
• 核心观测指标：任务成功率、执行耗时、token 成本、工具调用路径
• 支持对比对象：QM、Claude Code、OpenClaw 等主流编码 Agent 外壳
• 托管地址：GitHub garrytan/g-harness-evals
• 测试场景：以代码类 Agent 任务为主

不同 Agent 外壳实测参考简表

项目优势与现存局限

✅ 优势：控制变量清晰，区分模型能力和 Agent 外壳能力；测试流程可复现，全部开源；同时统计速度和成本，不只看准确率；适配主流编码 Agent 框架，开发者可以自定义测试用例

❌ 局限：测试任务偏向编码场景，通用对话、多模态 Agent 适配不足；属于早期版本，测试任务数量偏少；结果仅代表当前测试集，不代表所有场景下的表现；不能直接用来评估底层大模型本身强弱

总结

g-harness-evals 的价值在于提供了一套标准化对照实验框架，帮开发者剥离模型变量，单独评估 Agent 外壳设计好坏，对做编码 Agent、Agent 工作流优化的开发者很有参考价值，但它是专项评测工具，适用场景有限，还需要更多测试用例扩充才能覆盖更广泛的 Agent 类型。

【相关 FAQ】

问题 1：YC 总裁 Garry Tan 开源 Agent 外壳评测库 g-harness-evals，这个项目是用来测大模型的吗？

回答 1：不是，YC 总裁 Garry Tan 开源 Agent 外壳评测库 g-harness-evals，它的核心是固定底层大模型和任务，专门对比不同 Agent 外壳，而不是评测大模型本身。

问题 2：YC 总裁 Garry Tan 开源 Agent 外壳评测库 g-harness-evals，主要对比哪些指标？

回答 2：YC 总裁 Garry Tan 开源 Agent 外壳评测库 g-harness-evals，会统计任务成功率、token 成本、执行耗时、工具调用路径，用来横向对比不同 Agent 外壳。

问题 3：YC 总裁 Garry Tan 开源 Agent 外壳评测库 g-harness-evals，普通开发者怎么使用？

回答 3：YC 总裁 Garry Tan 开源 Agent 外壳评测库 g-harness-evals，开发者可以直接拉取 GitHub 仓库，本地复现内置编码测试任务，也能新增自定义用例来测试自己的 Agent 外壳。

问题 4：YC 总裁 Garry Tan 开源 Agent 外壳评测库 g-harness-evals，能不能用来评测多模态 Agent？

回答 4：现阶段不太适合，YC 总裁 Garry Tan 开源 Agent 外壳评测库 g-harness-evals，测试用例以编码任务为主，偏向代码 Agent，缺少多模态相关测试场景。

【参考资料】

[2026-11-10]（g-harness-evals：Garry Tan 开源 Agent 外壳评测基准）Hacker News

[2026-11-09]（Garry Tan 发布 g-harness-evals 早期评测结果）i10X

[2026-11-08]（Garry Tan 在 X 发布 g-harness-evals 评测矩阵）X（Twitter）

[2026-11-04]（g-harness-evals GitHub 仓库上线）GitHub

【免责声明】

本内容仅为 AI 开源项目资讯整理，g-harness-evals 属于早期开源评测工具，测试结果受模型版本、环境配置影响，该评测库结论仅针对内置测试任务，不代表所有 Agent 场景；内容不构成 Agent 选型、技术方案落地的直接建议，项目能力以 GitHub 仓库最新文档为准。