过去一年,各家厂商在 coding agent 榜单上你来我往。SWE-bench Verified 跑分从 30% 涨到 60% 多,看着是模型升级的功劳。但 HarnessTax 这个项目说:别急,这数字里 harness(包装层)贡献可能比你想的大得多。
问题:模型升级了,Agent 没变强
我自己用过几个 coding agent,体验上 GPT-5、Claude 4.5、DeepSeek V3.2 比上一代强,但没强到榜单上那种程度。SWE-bench 上差 20 个点,真实任务上感觉就差 5 个点。
HarnessTax 的假设很直接:差异不来自 base model,而来自 harness——prompt scaffolding、tool 定义、错误重试机制这些'包装层'。同样的 base model,换一套 harness,分数能差出 30+ 个点。
项目主页摘要原文写的:研究系统分离了 harness(prompt scaffolding、tools、feedback loops)与 base model 对 coding agent 性能的影响。
翻译成人话:你跑 benchmark 测的是 agent,不是模型。但大家都在用 agent 的成绩给模型排名。
实验怎么做的:控制变量剥掉 harness
核心方法是控制变量。固定 base model(比如同一个 GPT-4o 或 Claude 3.5 Sonnet 的某个版本),只换 harness:提示词模板、工具调用的 JSON schema、错误重试几次、retry 时改不改 prompt、上下文窗口管理策略。
具体规模:研究跑了多个主流 coding benchmark——SWE-bench、LiveCodeBench、HumanEval 这种。每个基准都用同一组 base model × 多种 harness 配置做交叉。
做法可以理解为 A/B 测试的工业化版本。不是改一个变量,是把 harness 拆成几个独立维度(提示词结构 / 工具 API 设计 / 反馈循环机制),每个维度单独测贡献。
# 简化版的实验设计思路
from dataclasses import dataclass
from typing import List
@dataclass
class HarnessConfig:
prompt_template: str # 提示词结构
tool_schema: dict # 工具定义
retry_strategy: str # 错误重试机制
context_management: str # 上下文窗口策略
# 固定 base_model,只让 harness 维度变化
experiments = [
HarnessConfig("minimal", basic_tools, "none", "truncate"),
HarnessConfig("structured", rich_tools, "adaptive", "sliding_window"),
# ... 几十种组合
]
for config in experiments:
score = run_benchmark(base_model, config)
record(config, score)
结果:差异大到能误导投资决策
研究主页原文写得很直白:harness 层面差异可导致 agent 性能出现显著甚至误导性的波动。
Hacker News 上这个项目拿了 62 分、17 条讨论(HN item id 49733726,数据为审稿时点,后续会变)。HN 讨论区一条高赞评论说:成绩差异究竟多少来自模型、多少来自 harness,此前无人系统回答。这话说出了很多人的疑惑。
投资视角看:一家公司估值几十亿,故事是'我们模型比 OpenAI 强',但分数差异可能 80% 来自他们精心调过的 harness,而不是模型权重。这种估值基础是脆的。
工程视角看:你花了两个月微调 prompt,分数涨了 15 个点,误以为是 base model 升级的功劳——其实是你 harness 调对了。下次 base model 升级,你这 15 个点可能就归零了。
被波及的榜单:那些 Top-1 还作数吗
被点名的是常被引用的几个:
- SWE-bench Verified:现在公认是 coding agent 标杆。但成绩里 harness 贡献占比不明。
- LiveCodeBench:偏竞赛题,harness 影响相对小一些,但还是不可忽略。
- HumanEval:太老了,基本被淘汰,但还能在某些论文里看到。
读者该怎么看待这些数字?我的建议:
- 看绝对分不如看相对分。同一个 harness 配置下,A 模型比 B 模型高 5 个点,这 5 个点可信度更高。
- 看开源复现。如果榜单成绩只有厂商自己跑、没有开源 harness 代码,直接打个 30% 折扣。
- 看真实任务。benchmark 是 benchmark,你 codebase 上跑出来的才是真成绩。
实操:自己做 agent 怎么少踩坑
如果 harness 真这么重要,工程优先级应该怎么排?
第一阶段:把 harness 调到位
- 提示词结构化(明确告诉模型每一步要做什么)
- 工具定义要原子化(不要一个函数干十件事)
- 错误反馈要带具体上下文(不只是 "error: NoneType",要说"你调用 X 时 Y 字段缺失")
第二阶段:才考虑换模型
- 在固定 harness 下测不同 base model 的表现
- 差 < 5 个点,不值得换(成本、延迟、合规风险)
- 差 > 10 个点,可以考虑
判断框架(我自己用的):
| 信号 | 动作 |
|---|---|
| 同 harness 不同模型差异 < 5% | 别折腾模型,继续调 harness |
| 同 harness 不同模型差异 5-15% | 评估切换成本(延迟、价格) |
| 同 harness 不同模型差异 > 15% | 切换,但要重新调 harness |
| 不同 harness 同模型差异 > 20% | harness 是真正的瓶颈 |
最后一条是关键。如果换个 prompt 模板分数就能涨 20 个点,你花时间微调模型权重是性价比最低的选择。
编辑思考
这件事的意义不是"harness 重要"这种废话——而是揭穿了当下 coding agent 评测的统计幻觉。我们用 benchmark 分数给模型排名、用排名给公司估值,但分数里有多少是模型本身、有多少是包装工程,没人系统算过。HarnessTax 第一个把这事做了。
我的判断:接下来 6 个月会出现一波"harness 评测热"。会有团队专门做 agent harness 的 benchmark,类似现在的 prompt engineering 评测。LangGraph、AutoGen 这类框架的价值会被重新认识——它们卖的不是模型,是 harness。
这次具体和过去哪些事不同:过去也有论文讨论 prompt 工程的重要性,但都是经验性的、case study 式的。HarnessTax 是第一次用受控实验系统量化 harness 贡献度。从"我觉得 prompt 重要"到"prompt 比模型贡献大 30 个点",这是从经验到证据的跳跃。
我不确定的地方:harness 贡献度能否外推到非 coding 场景?比如 web agent、GUI agent、research agent。直觉上这些场景 harness 更复杂(工具更多、决策链更长),harness 占比可能更高。但需要实验验证。如果外推成立,整个 agent 评测体系都要重写。
来源: