11月5日(UTC)提交的《Benchmarks as Software》预印本,报告了Terminal-Bench从2.0到2.1的任务修复及重新评测:在19组智能体配置中,个别分数变化达12个百分点,名次最多移动三位。对正在选择AI编程助手的读者,这提出一个实际问题:成绩变了,有多少来自模型,有多少来自试题、评分程序与运行预算?

这项由斯坦福大学与康奈尔大学作者完成的研究,将可执行评测视为需要维护的软件。以下结果来自作者实验与公开仓库核对,属于研究报告;本文没有运行这些评测,也没有独立复现其分数。

原论文图2:从收集任务文件、智能体轨迹和外部报告,到审计缺陷、核验修复,再经维护者人工审查发布Terminal-Bench 2.1的四阶段流程
作者原始资料图:持续验证流程包括证据收集、任务审计、参考解复测和维护者审查。来源:E. Kelly Buchanan、Crystal Zhou、Scott W. Linderman、Christopher Ré,原论文v1图2,按CC BY 4.0使用;原始矢量图完整渲染为JPEG,未改变文字或流程。

28项任务有问题,不等于模型答错了28项

论文在89项TB2.0任务中汇总出28项需要修复的任务。问题分为指令与评分规则不一致、外部依赖变化造成任务漂移,以及环境或资源不足;同一任务可以涉及多个类别。例如,query-optimize的旧评分程序要求数据库文件逐字节保持不变,题目却没有明确写出这一限制。

修复有不同方向:评分程序可能开始接受本来就正确的方案,也可能剔除过去误给的分数。论文称,五项以评分程序修复为主的任务,通过率从不超过15%升至超过50%;同时也有智能体总分下降。因此,这不是一次可以从旧分数统一加上固定增量的更新。

这里还有一个需要保留的资料差异:论文按28项讨论修复与分析,核验时官方2.1仓库README写的是“修改26项任务”。公开材料没有解释这两个计数如何对应。本文将28限定为该论文的统计范围,不把它当成当前仓库修改任务数的统一结论。

总排名相近,近邻比较仍会改变

作者比较19组智能体配置在两个版本下的准确率,报告Spearman排名相关系数为0.958,按任务重采样得到的95%区间为[0.881, 0.979]。这说明整体排序较接近,同时允许局部名次和绝对分数变化;它不是“每个模型有95.8%的成绩不变”,也不是单个模型的可靠性概率。

原论文图4散点图:横轴为Terminal-Bench 2.0准确率,纵轴为2.1准确率,颜色区分模型、形状区分工具框架,对角线表示分数不变
作者原始结果图:同一模型与工具框架组合在2.0和2.1下的分数并非一致变化。来源:E. Kelly Buchanan、Crystal Zhou、Scott W. Linderman、Christopher Ré,原论文v1图4,CC BY 4.0;由作者矢量文件完整渲染为JPEG,保留坐标、图例与拟合线。这是论文中的历史实验,不是当前实时榜单。

对采购或内部选型而言,本文据此认为,跨版本的两个单点分数不能单独证明某模型后来变强。更可比较的证据,是在同一任务版本、同一运行环境和预算下复测候选方案,再查看逐任务变化及其原因。

同一模型换工具框架,差距还取决于时间上限

论文还做了偏离标准协议的诊断实验,将部分配置的任务超时上限提高至原来的32倍。图6给出的TB2.1准确率如下,单位均为百分比:

模型与工具框架 标准时间上限 32倍时间上限
GPT 5.4 / Codex 74.2% 74.9%
GPT 5.4 / Terminus-2 53.9% 75.3%
GPT 5.4 mini / Codex 67.0% 68.2%
GPT 5.4 mini / Terminus-2 37.1% 62.9%

按这些四舍五入后的点估计计算,GPT 5.4的两种框架差距由20.3个百分点缩至接近零,mini的差距由29.9个百分点缩至5.3个百分点。它们支持“默认时限下的差距有一部分与执行效率有关”,不能推出任意模型都能靠等待追平。32倍指允许的上限,智能体可以提前结束;它既不是每次实际耗时都增长32倍,也不说明额外时间没有成本。没有区间支持时,75.3%与74.9%的细微差异也不宜当作稳定领先。

另一个容易混淆的分母来自论文图3:全部工具框架合计,57%的失败试验因超时结束。这不是57%的所有试验,也不能把不同框架下的占比直接当成纯模型能力排名,因为各框架对应的模型组合并不相同。

把评测用于工作流,需要保存哪些条件?

这项研究给出的可核验启示,是把评测版本与资源设置一同记录。对照实验至少应保留任务快照或提交哈希、评分程序、容器依赖、模型与工具框架配置、每项时间与内存预算,以及失败轨迹。若更新了评分或依赖,应同时列出受影响任务,区分“有效解被重新承认”“错误解被剔除”和“资源限制解除”三种变化。

AI参与审计也有边界。论文报告该流程相对最终修复集的精确率为57.1%、召回率为71.4%,并明确指出流程参与构建了这个修复集,因此这是回顾性一致程度,不能当作独立发现缺陷的准确率。作者的流程仍由维护者审查把关。相关的实验材料与环境影响,可参阅本站ReproBridge复现材料研究。

概念插画:机械检查臂在校准轨道上对照两版任务卡,周围有时钟、内存模块、证据通路、放大镜与审查印章,表达评测工具本身需要维护
AI原创概念图,非真实现场。来源:小花儿AI使用内置ImageGen生成,作为本站原创生成素材使用;画面解释评测维护与条件核查,不代表Terminal-Bench真实实验设备、界面或测量结果。

来源与资料核验

原论文v1及提交记录、PDF全文:2026年11月5日18:18:39 UTC提交,即北京时间11月6日02:18:39。主要核对第3—6节、图2—6及复现说明;此时间是预印本提交时间,不作为2.1代码首次开放时刻。

官方2.1仓库README核验快照:按提交12b7565679ce5006230b820666353673a133db93读取,README未单列发布日期。该快照写26项修改,论文写28项;上述数字分别归于各自资料。仓库与论文属于项目相关一手材料,不作为两次独立复现实验。

资料核验时间:2026年11月11日16:42(北京时间)。

本文由小花儿AI使用AI辅助整理公开资料。