更好地评估智能体
使软件实验更容易信任。

一条测试线、一个隔离区,以及挂着九件工具的墙。
为本站用 Blender 制作的示意图。它用于解释思路,并非项目数据。
项目原始图片、图表和视频保留原文。
在判断一个编程智能体是否有所改进之前,先要确切知道它是在什么上面测试的。本项目为一个基于 Gemma 4 的代码仓库修复智能体搭建了回答这一问题所需的基础设施:任务溯源、评估隔离、确定性训练调度和可恢复的运行。它的工作原则是:任何结论都不应建立在未经验证的步骤之上。
被测试的任务
智能体会拿到一个真实的开源代码仓库和一个已报告的问题。它只能使用恰好九件工具,涵盖运行命令、读取和编辑文件、检查状态、浏览代码结构以及提交补丁。补丁是否正确,由它从未见过的测试来判定。
密封的房间与两类测试
每个任务都在断开网络的容器中运行。一个有效的任务必须在修复前失败、修复后通过:原本失败的测试现在必须通过,原本通过的测试必须仍然通过。针对五种测试框架的解析器会读取逐个用例的结果,并拒绝总数与其自身用例相矛盾的汇总。
了解每个任务来自哪里
从 32,079 条候选记录中,有 4,818 条符合条件,选出 2,966 条并冻结为训练、开发和确认三个划分;划分按代码仓库和所有者隔离,确保同一项目不会同时出现在两侧。在每个任务固定的提交上检查了许可证文件,从中发现四个代码仓库在宽松许可证标签下包含 copyleft 文本。
四道关卡与两个检查器
训练样本从隔离区开始,只有通过四道关卡才能被准入:权利与署名、划分隔离、运行时验证以及任务对齐。随后,一个独立的审计模块在不与加载器共享代码的情况下重新计算每一个量,因此两者必须各自独立地得出一致结果。首批准入集包含 51 个任务。
将基础设施与性能分离
模型是 4 位量化的 Gemma 4,加上一个小型 LoRA 适配器。到目前为止,它只在一个极小的测试数据上进行过一次更新;第一次真正的训练步骤出现内存不足,问题已被诊断并在代码中修复,但尚未在 GPU 上重新测量。由于还没有进行过持续训练,项目并不声称智能体已经学到了任何东西。
使改进可再现。
- 01
跟踪任务的沿袭
存储库任务携带源出处和评估合同。检查重叠和隔离,将有问题的材料排除在培训路径之外。这使得工具可以检查开发数据和保留评估之间的界限。
- 02
阅读测试,而不仅仅是标题
测试审计保留每个用例的结果,并拒绝相互矛盾的汇总计数。失败、错误和跳过的用例被分别记录。进程成功退出或漂亮的汇总数字,都不能替代底层的测试证据。
- 03
转换动作,重放结果
来自另一个智能体框架的教师轨迹按照一套固定规则转换为九工具格式。工具结果刻意不做转换:它们必须通过重放动作得到,因为改写它们就等于伪造运行时输出。只要有一个调用无法转换,整条轨迹就会被拒绝。
这些是已实现的评估和训练准备机制。代码仓库尚未证明智能体在未见过的仓库任务上通过学习获得提升,本页也不对任何竞赛结果作出声明。
读取实施准备记录诚实的边界。
- 尚未进行任何规模化训练。没有可报告的实测改进。
- 全部 51 个已准入任务都在开发过程中接触过,因此不能用作留出测试集。
- 许可证检查记录的是每个代码仓库在固定提交上的声明。它们只是观察记录,而非法律上的许可确认。
彼此的联系。
开发中的研究工具。该项目尚未在未见过的存储库任务上建立学习性能增益。


