HN 上一个叫 FrontierHarness 的项目这两天登上了 Show HN 前页,36 分、11 条评论。项目做的事很简单:用同一个模型跑 9 个不同的 Agent harness,对比每个 harness 的 cost per pass。
结果有点意外——最贵和最便宜的差 17 倍。
模型是同一个,任务也是同一套。差异几乎全部来自 harness 本身:它的 tool use loop 怎么调度 token、context 怎么裁剪、多 agent 怎么协作。框架层不是一个"封装",而是一个会主动消耗 token 的中间层。
17 倍差在哪
FrontierHarness 把 cost per pass 拆出来做横评。同一份 prompt,同一个底层模型,9 个 harness 跑下来,头部和尾部的成本能差出一个数量级。
一个简单的直觉是:换模型省不了几个钱。GPT-4o 和 Claude 3.5 Sonnet 单价差个 2-3 倍顶天了。但 harness 选错,就是 17 倍。Agent 项目的账单压力,很多时候不在模型,在框架。
更扎心的是,harness 的成本差异是结构性的。不是你调一下 prompt 就能拉平的。
为什么 harness 这么贵
拆开看,贵的 harness 一般在以下地方烧 token:
- Tool use loop 重试。一次 tool call 失败,harness 可能自动 retry 2-3 次。每次都把完整 history 重新塞回 context。一次失败的代价,是正常路径的 2-3 倍。
- Context 累积不裁剪。几轮对话之后,context 里堆满早期的 tool 输出、错误日志、retry 信息。很多 harness 默认不裁剪,直接全量喂给下一轮。
- 多 agent 协作的冗余消息。CrewAI、AutoGen 这类多 agent 框架,每个 agent 之间要传消息、协调 plan。这些"协调成本"通常被算在用户头上。
- 系统 prompt 体积。一些框架默认塞进去的 system prompt,比你自己写的还长。每个 token 都按 input 价计费。
拿 LangGraph 举例,它的状态图设计天然支持精细控制——你可以显式裁剪 state、限制 retry 次数。但代价是开发者要自己写更多胶水代码。
再看 CrewAI,上手快,装饰器一加就跑起来。但它默认的 agent 协作模式会把所有 agent 的历史消息汇总,跑长任务时 context 膨胀很快。
AutoGen 介于两者之间。GroupChat 机制灵活,但开启多 agent 协商之后,你看不到的"内部通信"会消耗大量 token。
贵不是 bug。贵的 harness 往往是因为替你做了更多事。但开发者被账单教育之前,通常不知道自己到底在为什么"自动"能力付费。
评测方法靠不靠谱
FrontierHarness 是个有用的起点,但我看了项目页之后,有几个疑问:
- 9 个 harness 是哪 9 个? 具体名单会显著影响结论。如果全是偏研究类的(比如 ReAct、Reflexion),和混入 LangGraph、CrewAI 这种生产框架,结论含义完全不同。
- 评测任务是单轮还是多轮? 单轮问答 harness 之间的差异很小,多轮、跨 tool、长 context 才会把差距拉开。如果任务设计偏简单,17 倍这个数字可能被低估。
- Token 计数口径是否一致? 一些 harness 会算上内部 message routing 的 token,另一些只算 user-facing 的 token。同一份"成本",口径可能差 20%。
榜单的问题在于:它通常只告诉你谁便宜,不告诉你为什么便宜。一个 0.01 美元的 harness,可能是因为它根本没做你要的那些事(自动 retry、context 压缩、多 agent 协调),而不只是因为它"高效"。
开发者的实操启示
不管 FrontierHarness 的方法论是不是 100% 严谨,有几个检查是开发者今天就能做的:
1. 算一下自己项目的 cost per task。把你的 harness 跑 100 次,记录总成本,除以任务数。绝大多数 Agent 项目的 cost per task 远高于开发者自己的直觉——因为 retry、context 累积、长 system prompt 这些都是隐性的。
2. 关掉不必要的 tool loop。很多 harness 默认开启"智能 retry",一次 tool call 失败就重试。检查一下配置,把 retry 次数从 3 降到 1,能砍掉不少冗余 token。
3. 检查 system prompt 长度。把 system prompt 打印出来看看,经常能看到框架默认塞进去的几百行说明文档。如果你的实际指令只有 200 字,system prompt 却有 2000 字,每轮对话都在为那 1800 字买单。
FrontierHarness 项目本身可以作为自测入口(地址:frontierharness.org),把自己的 prompt 喂进去,看看不同 harness 的成本分布,至少能定位一下你现在的方案落在哪个分位。
编辑思考
Agent harness 的成本溢价不是 bug,是 feature——但这个 feature 的定价对开发者是不透明的。
这件事和过去 LLM 框架选型(LangChain vs LlamaIndex 这种)最大的不同在于:harness 直接烧钱,而 ORM 层的抽象至少还稳定。你多写几行胶水代码不会让你的数据库查询变贵。但你选错 harness,账单当月就翻倍。
我的判断是:接下来 6-12 个月,会有一批"harness profiler"工具出现,专门做 cost tracing 和 token breakdown。类似现在前端的 bundle analyzer——你部署完才发现 bundle 里 80% 是没用的依赖。harness 版的发现会是你部署完才发现 80% 的 token 花在了框架自己身上。
这件事的另一个隐性信号是:Agent 框架的差异化竞争,会从"功能多少"转向"单位成本下的能力"。谁能在 1 美元预算下完成更多任务,谁就赢。功能堆叠型框架(CrewAI 这种)会越来越难卖。
不确定的地方:FrontierHarness 的评测我没法独立复现,具体 9 个 harness 的名单和任务设计对结论影响很大。如果有读者跑过原始 benchmark,欢迎在评论区对一下数字。