工具

27,280 次 Agent 运行,64% 算力砸在失败任务

FrontierHarness Eval v1.1 统计 27,280 次 coding agent 运行,其中 64% 的推理支出用于最终失败的任务。本文拆解失败成本,并给出可落地的评测与监控指标。

字号

FrontierHarness Eval v1.1 统计了 27,280 次 coding agent 运行,其中 64% 的推理支出花在最终失败的任务上。对使用 AI Agent 的团队,这提醒我们不能只看成功率,还要核算重试、无效循环和工具调用成本。

64% 的推理账单来自失败

AI Agent 的推理成本不只发生在模型第一次答错时。

失败任务经常经历这样的路径:

  1. 第一次生成方案,遗漏约束。
  2. 调用工具后拿到结果,但没有修正计划。
  3. 在相同路径上重复检查或重复生成。
  4. 触发重试,继续消耗 token 和工具调用配额。
  5. 最终仍未完成任务。

从单个请求看,这些步骤都不算离谱。放到批量任务里,无效循环会被放大。

最终失败的运行占 64% inference spend,意味着接近三分之二的推理支出没有换来成功交付。来源可能包括模型选错、上下文过长,以及 Agent 的执行策略失效。

这也是只看最终 pass rate 会漏掉的问题。两个模型可能都有 70% 成功率,但其中一个一次成功就结束;另一个需要连续修补 5 次才拿到同样的结果。成功率相同,生产成本却不是一回事。

高成功率不等于低成本

传统 coding agent benchmark 往往关注几项结果:

  • 是否通过单元测试;
  • 最终提交是否能运行;
  • 人工评审是否认可;
  • 完成耗时是否在限制内。

这些指标仍然有用,但不足以描述 Agent 的经济性。

我更倾向于为每次运行保留下面五类数据:

指标 它回答的问题
成功率 最终做对的比例是多少?
总 token Agent 为一次任务消耗了多少上下文?
工具调用次数 搜索、终端、编辑器和外部 API 被调用了多少次?
重试次数 错误是否被重复放大?
wall-clock time 任务实际等待了多久?

其中,token 和工具调用次数要一起看。某个 Agent 可能生成很长的分析,却很少使用工具;另一个 Agent 的文本输出不长,但连续启动测试、读取日志和修改文件。后者往往更接近生产账单中的真实负担。

wall-clock time 也不能忽略。人工可以等 20 分钟时,离线开发任务可能还能接受;在线服务里,同样的耗时会直接影响体验和超时成本。

FrontierHarness Eval v1.1 更新了什么

本次发布包含 FrontierHarness Eval v1.1,用于评估 coding agent。

新版本的重要变化,不只是换了更多题库,而是把评测观察对象从最终答案延伸到完整执行过程。

对于 coding agent,最终代码只记录了故事的最后一页。评测还需要知道:

  • Agent 规划了几次;
  • 哪些工具调用返回了错误;
  • 是否重复执行相同操作;
  • 失败后是否进行了有效调整;
  • 推理成本在成功之前经历了怎样的分布。

这让“代码没通过测试”可以继续拆解。它可能是实现逻辑错误,也可能是 Agent 没有正确读取项目结构,或者在测试失败后陷入了无效循环。

原始介绍见 FrontierHarness Eval v1.1。

文章也登上了 Hacker News 首页。当时页面显示 8 points、2 comments。讨论链接在这里:Hacker News discussion。

8 points 和 2 comments 的讨论规模不大,但这不影响数据本身对 Agent 团队的实际价值。尤其是使用 Claude Code、Cursor 或其他 coding agent 的团队,失败路径的成本早已进入 API 账单,只是通常没有被单独统计。

线上账单要按失败路径核算

下面是一组可以直接放进评测报告的指标。

1. 单次成功成本

最基本的计算方式:

successful_cost = total_cost / successful_runs

它比“每次运行平均成本”更接近业务支出,因为你最终只为成功任务获得了价值。

如果 A 模型平均每次运行花费 1 美元,成功率 50%,单次成功成本就是 2 美元;B 模型平均每次运行花费 1.2 美元,成功率 80%,单次成功成本则是 1.5 美元。后者表面更贵,实际更便宜。

2. 失败前平均推理量

把运行按成功和失败分组,分别统计:

average_inference_before_failure = (
    sum(run.inference_cost for run in failed_runs) / len(failed_runs)
)

这个指标能定位问题。失败任务只消耗少量 token,通常说明 Agent 很早就放弃了;失败前消耗大量 token,则更像规划漂移、上下文膨胀或重复调试。

3. 重试放大系数

可以先定义一个简单版本:

retry_amplification = total_runs / successful_runs

如果成功 100 次,却执行了 180 次运行,那么系数是 1.8。每一个成功任务背后,平均付出了 0.8 次失败或重试的额外执行成本。

更细的做法是按失败原因拆分:测试失败、工具超时、上下文超限、权限错误。不同原因不能用同一种修复策略处理。

4. 失败任务对总预算的贡献

failed_budget_share = failed_inference_spend / total_inference_spend

这份研究里的结果是 64%。

当这个比例持续上升时,团队不应该只做模型路由。还应该检查:

  • 是否给 Agent 塞入了过多无关上下文;
  • 工具返回结果是否缺少结构化错误信息;
  • 重试是否没有换策略;
  • 是否允许 Agent 在相同工具调用上连续循环;
  • 是否应该为简单任务使用更小的模型;
  • 是否能把可验证的检查提前到昂贵的推理之前。

一个直接的控制手段,是给相同工具参数和错误结果设置重复调用阈值。例如连续两次读取同一文件失败后,要求 Agent 改变方案,而不是原样重试。具体阈值需要结合项目环境测试,不能直接照搬。

线上监控则可以按任务类型建立成本基线:

def is_cost_anomaly(cost, task_type, baseline):
    median, mad = baseline[task_type]
    return mad > 0 and cost > median + 3 * mad

这里使用 median 和 MAD,而不是均值和标准差,因为少数特别昂贵的失败任务很容易把均值拉高。

编辑思考

27,280 次运行比一次 benchmark 更接近生产账单,原因不在样本量本身,而在它暴露了失败路径。真实系统不会只保留成功案例。大量失败、重复规划和重试都会继续计费,只是这些支出平时被总 token 数掩盖了。

我的判断是,下一阶段的 AI Agent 评测不应该只给模型一个成功率排行榜,而应直接优化“每个成功任务的总成本”。这会迫使团队同时改进模型、提示词、工具设计和重试策略。它与过去的代码 benchmark 不同:后者奖励一次交付,而 Agent 系统真正稀缺的是稳定、便宜、可重复的交付。

不过,64% 这个数字不能直接当作所有团队的预算基准。任务难度、模型价格、工具费和超时策略都会改变比例。目前也不清楚这些运行是否覆盖足够的仓库类型与生产流量。因此更稳妥的结论是:先按失败原因拆账,再决定优化对象,而不是看到 64% 就盲目换模型。

来源: https://runta.com/blog/introducing-frontierharness-eval-v1-1/