stanfordnlp 转发 ProgramBench 进展 模型评分从全 0% 稳步提升

stanfordnlp 官方账号转发了 ProgramBench 评测项目的最新成果，参与测试的大语言模型在这套代码重建评测基准上，已经从最初全部模型通过率 0% 的起步状态，实现了评分稳步上涨，多款主流大模型陆续拿到有效得分，顺利打破了初始零分的局面。ProgramBench 是由斯坦福、Meta、哈佛联合打造的高难度代码评测基准，初始版本测试条件严苛，只给模型提供编译后的二进制文件与配套文档，要求模型从零完整复写出整套程序，没有现成代码可供参考，所以首批参与测试的所有大模型都无法完成任务，整体评分全部为 0%。后续研发团队持续优化评测环境、完善智能代理调用流程，同时各大模型厂商不断升级代码生成能力，让模型可以分步完成架构设计、代码编写、调试改错等环节，一步步突破零分瓶颈。整个优化提升分为完整的实施流程，先是完善 ProgramBench 的反作弊机制与测试脚手架，保证评测结果公平稳定；接着升级智能代理工具链，给模型增加迭代调试、单元测试、错误回溯能力；然后各大模型持续迭代代码推理能力，反复在 200 项测试任务中开展迭代试验；最后持续汇总实测数据，不断拉高整体通过率。经过多轮迭代优化之后，多款主流大模型陆续在 ProgramBench 榜单上拿到稳定分数，实现了从全 0 分向有效通过率跨越，后续还会继续稳步刷新榜单成绩，持续提升大模型从零重建完整程序的能力。

一、ProgramBench 核心基础信息清单

1. 评测核心任务：仅依靠二进制文件 + 文档，从零完整重建整套程序代码
2. 任务总量：200 项跨编程语言项目，覆盖 C/C++、Go、Rust 等主流开发语言
3. 初始测试结果：所有参评模型通过率全部为 0%
4. 最新进展：多款大模型突破零分，拿到稳定可复现的有效评分
5. 评测保障：内置严格反作弊规则，杜绝模型直接读取历史代码，保证测试公平

二、模型实现从 0% 提分的关键优化项

表格

三、本次提分项目完整实施步骤

1. 基准环境完善：优化 ProgramBench 评测脚手架，补齐运行依赖，封堵各类作弊手段，保证每一轮测试结果可重复验证。
2. 智能代理能力升级：为大模型配套代码执行、报错解析、自动修改工具，支持模型反复调试代码，解决程序运行报错问题。
3. 多轮模型迭代测试：各大厂商持续优化模型代码推理能力，在 200 项任务上反复开展试验，不断积累项目开发经验。
4. 实测数据汇总：持续统计每款模型的任务完成情况，逐步把零分模型提升到稳定通过率，持续刷新榜单成绩。
5. 长期迭代优化：继续扩充测试任务数量，进一步提升大模型从零搭建大型软件项目的综合能力。

四、本次提分带来的技术价值

1. 基准实用性提升：ProgramBench 摆脱 “全模型零分” 的初始状态，成为可以有效区分大模型代码重构能力的权威评测榜单。
2. 技术方向更加清晰：验证了 “大模型 + 多轮调试智能代理” 可以攻克从零重建程序这类高难度开发任务。
3. 推动代码智能体发展：给后续代码智能体的研发提供了标准化测试场景，助力开发出可以独立完成完整软件项目的 AI 程序。
4. 评测体系更加完善：为软件工程领域大模型评测补充了全新的高难度基准，弥补了现有代码评测只做 bug 修复、缺少从零开发任务的短板。

【相关 FAQ】

问题 1：stanfordnlp 转发的 ProgramBench 进展里，模型评分发生了怎样的变化？

回答 1：在 stanfordnlp 转发的 ProgramBench 最新进展中，参评大模型的评分从最初全部 0% 的状态实现稳步提升，多款主流大模型成功突破零分，拿到稳定有效的任务通过率。

问题 2：ProgramBench 项目初期所有模型评分全为 0%，核心原因是什么？

回答 2：ProgramBench 只给模型提供编译好的二进制文件与项目文档，要求模型从零重建完整程序，没有任何现成代码作为参考，任务难度极高，所以初期所有参评模型都无法完成任务，整体评分全部为 0%。

问题 3：ProgramBench 里的大模型能够从全 0% 实现提分，主要依靠哪些优化手段？

回答 3：一方面优化了 ProgramBench 评测框架，完善反作弊机制、统一测试标准；另一方面升级了配套智能代理，增加代码调试、错误回溯工具；同时各大模型持续迭代长代码架构设计能力，把大型项目拆分成多步完成，最终顺利实现从零分到有效得分的跨越。

问题 4：ProgramBench 一共设置了多少项测试任务，覆盖哪些编程语言？

回答 4：ProgramBench 一共设置 200 项测试任务，覆盖 C/C++、Go、Rust 多种开发语言，用来考核大模型从零搭建完整软件项目的综合开发能力。

【数据来源】

[2026-10-22]（ProgramBench 榜单更新：多款模型突破初始零分瓶颈）ProgramBench 官方博客

[2026-10-22]（stanfordnlp 转发 ProgramBench 最新评测进展）斯坦福 NLP 实验室官方动态

[2026-06-23]（ProgramBench 优化代理工具链，逐步打破全模型 0 分局面）36 氪

[2026-05-05]（ProgramBench 正式发布，首轮测试所有模型通过率均为 0%）新智元

免责声明：本文内容均来自 ProgramBench 官方公开榜单、stanfordnlp 公开转发信息以及行业科技媒体公开报道；模型具体得分会随模型版本迭代、代理工具优化持续变动；本文仅用于技术资讯交流，不构成模型选型、技术投入的决策依据。