QA-Bench 基准发布在 Bug 发现任务上性能优于 Codex、Claude Code

全新 QA-Bench 基准面向代码 QA 测试场景推出，专门用来评估大模型查找代码缺陷的能力，在对应的评测任务当中，QA-Bench 基准下模型的 Bug 发现指标表现超过 Codex 与 Claude Code，这个基准补齐了代码质量评测领域的相关评测工具，能够给 AI 代码测试、自动化缺陷排查方向提供统一、标准化的衡量标尺，下面从基准定位、评测设计、对比结果、使用流程几个方面详细说明。

一、QA-Bench 基准基础信息表

表格

二、QA-Bench 基准评测执行步骤

1. 加载基准数据集：导入 QA-Bench 自带的代码用例，包含标注好的各类已知 Bug 样本；
2. 接入待测试大模型：把目标代码模型接入评测流程，输入代码文本，让模型输出缺陷识别结果；
3. 自动结果比对：将模型输出的 Bug 位置、问题描述和基准里的标准标注做匹配校验；
4. 统计量化指标：汇总 Bug 发现数量、缺陷定位准确率、召回率等核心指标；
5. 横向对比基线：和 Codex、Claude Code 在同一套标准下的评测数据做对照；
6. 产出评测报告：整理指标数据，形成可复现的模型能力评估结论。

三、QA-Bench 基准带来的价值

• 统一代码 QA 评测标准，不同代码模型之间的缺陷查找能力可以公平横向对比；
• 数据集覆盖真实开发里常见 Bug 类型，评测结果更贴近实际代码测试场景；
• 可以用来指导代码大模型微调优化，定向提升 AI 自动查 Bug 的能力；
• 方便研发团队筛选适合自动化 QA 流水线的 AI 模型。

【相关 FAQ】

问题 1：QA-Bench 基准主要用来测试大模型什么能力？

回答 1：QA-Bench 基准主要用来评估代码大模型查找代码 Bug 的能力，在这套基准测试里，对应模型 Bug 发现量表现超过 Codex 与 Claude Code。

问题 2：用 QA-Bench 基准做评测，和普通代码评测集差别在哪里？

回答 2：QA-Bench 基准聚焦 QA 测试场景，重点考核 Bug 发现效果，而很多通用代码基准侧重代码生成，更贴合 AI QA 工程师的实际工作需求。

问题 3：在 QA-Bench 基准的测试结果里，Codex 和 Claude Code 表现如何？

回答 3：在 QA-Bench 基准的相同评测条件下，Codex 与 Claude Code 也可以识别部分代码缺陷，但 Bug 发现量低于本次参与测试的目标模型。

【数据来源】

[2026-10-29] QA-Bench 基准项目公开介绍 机器之心

[2026-10-25] 代码大模型 Bug 识别评测进展 InfoQ

[2026-10-20] 代码智能评测基准盘点 掘金

【免责声明】

本次内容为 QA-Bench 基准公开评测信息的整理解读，评测结果基于基准内固定数据集得出；不同代码场景、不同提示词配置下模型表现会存在浮动，相关结论仅作技术参考，不代表所有真实项目环境下的效果。