--- title: "AI大模型｜脚手架占了一半分数:为什么工具调用的成绩落不了地" date: 2026-11-02 category: AI大模型 site: 脑机网 canonical: https://www.logic.wang/a/njw-122a31 language: zh-CN --- # AI大模型｜脚手架占了一半分数:为什么工具调用的成绩落不了地 > 一位技术负责人因为某模型在终端类榜单上排第一,就把它选进了生产。六周后,同一个模型接上公司自己的工单系统,反复用正确的函数配错的参数,失败方式和任何榜单描述过的都不一样。 一位技术负责人因为某模型在终端类榜单上排第一,就把它选进了生产。六周后,同一个模型接上公司自己的工单系统,反复用正确的函数配错的参数,失败方式和任何榜单描述过的都不一样。 榜单没有撒谎,它测的是别的东西:一个模型、一套脚手架、一组任务、一条评分规则,被压成一个数字,然后被当成权重本身的属性四处引用。 ## Terminal-Bench 究竟在测什么 Terminal-Bench 由斯坦福大学与 Laude Institute 合作推出。2.0 版于2025年11月发布,把任务收敛为 89 道人工核验题,每题跑在独立的 Docker 容器里,配有人写的标准解法和检验容器最终状态的测试——它检验机器被改成什么样,而不是回答写得像不像。题目覆盖软件工程、系统运维、安全、科学计算等类别。 两个特点让它既好用又容易被误读: - **它判结果,不判措辞。** 模型可以给出一份自信、格式工整的回复,却因为该改的文件没改而判负。 - **它判的是系统,不是模型。** 榜单上公布的是"脚手架+模型"的组合条目;排在前面的一律先写脚手架名再写模型名,裸模型跑出来的参考条目低得多。公开数据里,榜首接近 85%,不带额外脚手架的前沿模型落在 60% 中后段到 70% 出头,全部提交的中位数约 44%。 榜单本身还公布置信区间,前十名的区间大面积重叠——排序是真的,但相邻两名之间的差距,通常比截图看上去小得多。 ## 同一家厂商,31.3 与 82.7 最能说明问题的是同一家厂商自己的披露。DeepSeek 更新日志记载,2025年8月的 DeepSeek-V3.1 在 Terminal-bench 上为 31.3;2026年7月31日的 V4-Flash 条目写的是 Terminal Bench 2.1 为 82.7,并且写清了条件:使用官方 DeepSeek Harness 的 minimal 模式、最大 effort、指定采样参数。 两个数字都诚实,但不可比:基准版本不同、脚手架不同、算力预算不同。看到 82.7 就假定自己那套 Python 工具循环也能跑出来,是智能体时代最常见的选型错误。 智谱的数字披露得更完整一些:GLM-4.7 官方仓库列出 Terminal Bench 2.0 为 41%,相对 GLM-4.6 提升 16.5 个百分点,同时给出 SWE-bench 与 HLE 成绩。分数是厂商自报的,但至少脚手架和增量都写明了。 ## 可靠性是更难的那一题 能力类基准问的是"能不能做成一次",生产问的是"是不是每次都成"。 Sierra 的 τ-bench 系列就是围绕这个区别设计的,它引入了 pass^k 一类指标:同一个任务独立跑 k 次、全部成功的概率。最初的 τ-bench 结果显示,前沿函数调用型智能体的单次成功率不足五成,要求八次全中时掉到 25% 以下——一次直白的证明:70% 的平均值背后,可能藏着一个你根本不敢上线的产品。 τ²-bench 又加了"双重控制":模拟用户也能操作共享环境——重启设备、改设置——而不只是说话。Sierra 报告,智能体从"独自操作"切换到"引导用户"时,任务成功率最多下降 25 个百分点。这恰恰是客服与 IT 运维场景最常撞上的失败模式:不是"模型不会调接口",而是"模型说不清下一步该让人做什么、按什么顺序做、怎么确认做完了"。 ## 循环的账单 每一次重试都要重发上下文,每一条工具返回都被追加进历史,长轨迹又是以输出为主——而输出是价目表上最贵的一行。中国厂商的应对方式,是把效率写进发布标题,并把终端成绩与成本主张一起公布。团队应当把"每完成一个任务的 token 数"当作一等指标:一个用三倍 token 换来 80% 成功率的智能体,可能输给一次通过、成功率 70% 的那一款。 ## 趋势:要问的不是分数,是差距 工具调用类榜单正在从"谁更强"转向"在什么条件下更强":脚手架与 effort 档位都被写进脚注。脑机网(BrainNet)首席科学家李安认为,智能体榜单上真正值得看的数字,已经不是模型的分数,而是它在公开脚手架上的分数与它在你自家工具栈里的分数之间的差距。 ## 诚实的局限 本文依据 Terminal-Bench 项目自身的说明与一个公开的榜单镜像、Sierra 公开的基准说明,以及厂商的更新日志与代码仓库。引用的分数全部是厂商或项目方自报,我没有独立复现任何一项评测,而榜单快照每周都在变。DeepSeek 的 31.3 与 82.7 跨越了两个基准版本和两套脚手架,引用它是为了说明"不可比",不是衡量进步幅度。Terminal-Bench 的题目偏向 Unix 命令行场景,未必代表图形界面、语音或业务流程自动化。τ-bench 系列本身修订频繁,不同版本的分数不能并排放。函数调用类榜单(如 BFCL)、中文智能体基准,以及厂商未公开的内部脚手架,本文均未覆盖。 ## 普通人现在能做什么 - 采用任何智能体模型之前,先要脚手架:那个分数是在哪套框架、什么 effort 设置下跑出来的。说不出来,就当它是话术。 - 用自己历史失败工单里的 50 条任务建内部评测,按 pass^4 打分——每个任务独立跑四次,而不是只跑一次。 - 从第一天起就统计"每完成一个任务的 token 数与工具调用数",让成本与可靠性出现在同一张看板上。 --- 来源：脑机网（https://www.logic.wang/）｜原文：https://www.logic.wang/a/njw-122a31 本内容仅供参考，不构成投资建议。