框架

17000 次实测:Claude、Codex、Cursor 装了什么工具?

Armature Tech 跑了 17k 次任务,统计三款主流编码 Agent 主动安装/调用的工具组合。数据里有些偏好挺反直觉——贵的模型反而更懒。

字号

评测编码 Agent 的文章看了不少,但 Armature Tech 这篇的角度不一样。

他们没在比"谁写的代码更好",而是统计 Agent 在真实任务里自己选了哪些工具——是工具列表,不是输出质量。17,000 次运行,Claude、Codex、Cursor 各跑一遍。

这种"看 Agent 自己买什么菜"的视角,在主流评测里很少见。

测试方法:不是看 demo,是看 Agent 自己选什么

大部分 Agent 评测的流程是这样的:给一个 prompt,跑完看输出对不对。HumanEval、MBPP、SWE-bench 都是这条路线。

Armature 走的是另一条路——他们记录 Agent 主动安装和调用的工具。

具体做法:在真实工程任务(读仓库、写测试、调依赖、修 bug)里,让 Agent 自己决定要 npm install 什么、要调哪些 CLI、要用哪些 MCP server。任务跑完,统计工具调用日志。

这个方法的好处是绕过了厂商的市场话术。Anthropic、OpenAI、Cursor 各自宣传的功能集是一回事,Agent 在 17k 次任务里实际会伸手去拿的工具是另一回事。两者经常对不上。

数据来源:Armature Tech 原文。

三个 Agent 的工具偏好,差异比想象的大

Armature 把高频工具归了几类。我挑几个有意思的看:

三者都会装的"基础款"

  • 文件操作类:Read、Write、Edit、Glob、Grep 这套基本人手一个
  • Git 工具链:git status、git diff、git commit 三家都用
  • 测试运行器:pytest(Python 任务)、npm test(JS 任务)
  • 包管理:pip / npm / pnpm 看语言,但调用频率都高

这部分没悬念,工具调用该长这样。

差异开始的地方

  • Claude:对 LSP(language server protocol)相关工具调用明显更多。它倾向于先把代码"看懂"——跳定义、看类型、查引用,再动手改。tree-sitter、mypy、tsc --noEmit 这种静态检查调用频率比另外两家高一截。
  • Codex:更偏向"直接改"。工具调用链短,很少跑 lint,改完就 commit。像是把"先验证再写"的步骤跳过了。
  • Cursor:在 IDE 集成相关的工具上调用最多——比如 tab 跳转、多文件 diff、in-editor 测试运行。它深度依赖自己的编辑器上下文。

独有癖好

  • Claude 经常会主动装 ruff 和 black,哪怕任务里没要求。
  • Codex 倾向于把多个改动塞进一次 commit,工具调用次数最少。
  • Cursor 在长任务里会反复调用"读取当前选中文件"——它重度依赖 IDE 状态。

这些差异不是厂商宣传出来的,是 17k 次日志里挖出来的。

一个反直觉的发现:贵的 Agent 反而更懒

这里有个让我意外的结论。

直觉上,Claude Opus 4 应该是"能力最强 → 装最多工具 → 啥都会用"。实测不是这样。

Armature 的数据显示:能力更强的模型,工具调用次数反而更少。

  • Claude(尤其在 Sonnet/Opus 档位)在多数任务里,会用更少的工具调用完成同样的事。它倾向于一次调用问完所有需要的 context,而不是来回试错。
  • Codex 在某些任务里工具调用次数是 Claude 的 1.5-2 倍。
  • Cursor 居中,但 IDE 相关工具占比明显高。

这和"新模型更强就该更勤快"的直觉相反。更准确的解读可能是:能力强的模型对工具的选择更精准——它知道一次拿到所有需要的信息,而能力弱的模型需要更多轮调用去"猜"。

换句话说,工具调用次数不能简单等同于"工作量"。低的反而可能是效率高的。

另一个相关现象:贵/新的模型自己安装新依赖的频率更低。它倾向于复用项目已有的库,而不是 npm install 一堆新包。这对生产环境是好事——依赖膨胀是 Agent 系统常见的隐性成本。

对开发者的实际意义:别只看 benchmark

如果你在做 Agent 产品,或者在选型里要把 Agent 接进 CI,这些数据有几个直接用处:

1. Token 成本估算要看工具调用模式,不是看模型单价。

模型价格表是按 input/output token 算的。但 Agent 的 token 消耗大头是工具返回的内容——文件内容、grep 结果、测试输出。Claude 调用次数少,不代表 token 总消耗低——单次调用拉的内容可能更多。要看你自己的任务类型。

# 一个粗略的成本估算框架
def estimate_cost(agent_runs):
    total = 0
    for run in agent_runs:
        # 单次工具调用平均 token
        avg_tool_tokens = run['total_tokens'] / max(run['tool_calls'], 1)
        # 模型单价
        model_cost = run['model_price_per_1k'] * run['total_tokens'] / 1000
        total += model_cost
    return total

这个数对比直接看"模型谁贵"会有出入。

2. 工具白名单别一刀切。

如果你给 Agent 配工具集,Armature 的数据建议按任务分:
- 重读多改少的任务 → 给 Claude 风格(强 LSP、强静态检查)
- 快速迭代的任务 → 给 Codex 风格(短调用链、commit 频繁)
- IDE 深度集成场景 → Cursor 的路径

3. 警惕"工具膨胀"。

Agent 能调的工具越多越好吗?实测数据反而不支持。Claude 在工具少的环境下表现更稳定——它知道哪些该用、哪些不该碰。工具池一扩大,所有 Agent 的稳定性都会掉。

实操建议:启动期给 5-10 个核心工具,根据任务表现再加,不要一上来就把生态全暴露。

编辑思考

这件事值得单独写,是因为 Agent 评测的焦点正在悄悄移动。

过去两年,大家比的是"谁写的代码通过测试多"。HumanEval、MBPP、SWE-bench 这类榜单一统天下。但这种评测有个盲区:它把 Agent 当成一个"答题器",忽略了一个事实——Agent 是在工具生态里工作的,它怎么选工具,直接影响生产环境的成本和稳定性。

Armature 这套方法给了另一把尺子:不看 Agent 答对了几道题,看它在 17k 次真实任务里自己伸手拿了什么。这把尺子比 benchmark 更接近真实使用。

我的判断是:下一轮 Agent 评测会从"输出质量"转向"工具使用效率"。具体指标可能是 token per task、tool-call redundancy rate、dependency bloat index 这类。已经有团队在做了。

也要说 Armature 这套方法的局限:17k 次任务里,任务类型分布、代码库类型、Agent 配置版本都会影响结论。Claude 的"少工具"偏好,可能在某些长任务里变成劣势——它一次拉的 context 多了,可能直接撞 token 上限。这些数据是横截面,不是因果。

还有一个不确定的点:这些偏好是模型架构带来的,还是训练数据带来的?如果换一版 fine-tune,工具偏好会不会变?Armature 没回答这个问题,我也不知道答案。

但有一点是确定的:看 Agent 的工具调用日志,比看厂商宣传页,靠谱得多。

来源: https://armature.tech/blog/which-tools-coding-agents-install