工具

ThinkingCap 实测:Gemma 推理降 69%,Agent 真省钱吗

ThinkingCap 在 Gemma-4-26B-A4B 上将思考量降低 39%–69%,准确率不变。这个实验指标能否转化为生产账单下降,还要看完整任务轨迹。

字号

ThinkingCap 让 Gemma-4-26B-A4B 少思考 39%–69%,准确率不变。但 benchmark 降幅不等于生产账单会同比下降。本文拆解推理压缩在 Agent 场景中的成本账。

推理压缩听起来很直接:让模型少生成一些思考 token,却不能把准确率做低。

ThinkingCap 报告了这样一个结果:基于 Gemma-4-26B-A4B,模型的思考量减少 39%–69%,准确率保持不变。这里没有换模型,也没有要求模型用更短的回答糊弄用户。变化发生在推理阶段。

对普通聊天产品,这可能只是节省了一点生成时间。对 AI Agent,意义更大。Agent 往往会经历多轮决策、工具调用和结果回填。每一轮多出的思考 token,都可能乘上调用次数,再叠加到延迟和账单上。

不过,69% 是一个实验指标,不是生产环境可以直接套用的折扣。

先看实验结果:不是换模型

实验模型是 Gemma-4-26B-A4B。模型总参数量为 26B,激活参数为 A4B。这里的 A4B 可以理解为每次推理实际激活约 4B 参数,而不是把 26B 参数全部展开计算。

ThinkingCap 的核心结果是:思考量下降 39%–69%,准确率不变。

这三个数字要放在一起看。

如果准确率下降 10%,省下 40% 推理量通常不算成功。Agent 的任务分布不均,少量错误决策就可能触发错误工具调用、重复操作,甚至让整个流程无法完成。ThinkingCap 试图证明的是另一条路线:识别当前问题需要多少推理预算,然后动态分配。

这不是把 Gemma-4-26B-A4B 换成一个更小的模型。模型、任务和准确率基线不变,压缩的是中间的思考过程。

原始实验发布在 bottlecapai.com:Gemma-4-26B-A4B with 39-69% less thinking at same accuracy。

相关链接发布于 bottleyai.com。Hacker News 页面目前显示 69 分和 8 条评论。

讨论规模不算大,因此 39%–69% 更适合作为待复现的技术信号,而不是已经被广泛验证的行业结论。尤其需要继续看:它使用了什么推理预算控制器,压缩的是 reasoning token 还是整段思考文本,以及准确率是在哪些任务上统计出来的。

为什么“少想”可能比“想少”更值钱

“想少”通常有两种做法。

第一种是减少思考轮数。比如让 Agent 先给答案,再决定是否继续。便宜,但第一步判断错了,后面可能整条链都跑偏。

第二种是缩短每次思考。推理更紧凑,但复杂任务可能因为信息不足而出错。

动态推理试图绕开非黑即白的开关:简单问题少想,复杂问题多想。

这对 Agent 尤其重要。一个典型流程可能是这样的:

用户请求
  → 读取上下文
  → 选择工具
  → 调用 API
  → 解析返回结果
  → 判断是否完成
  → 必要时重试或修正

单轮里的 10% 推理降幅,传到一条 6 轮的工具链上,不会简单等于 10%。它可能影响首 token 延迟、每个工具调用前的决策时间,以及整条链的超时概率。

更麻烦的是,失败通常不是免费的。模型做出错误判断后,Agent 可能多走两步:重新解释工具参数,再次调用,然后等待结果。生产账单里最贵的往往不是“正常路径”,而是这类额外回合。

因此,推理压缩的真正收益可能是减少无意义的思考和绕路,而不是单纯减少 token 数。

但这需要单独测量。平均思考量降低,并不能自动推出平均完成时间降低;也不能推出错误恢复次数减少。

Agent 场景的账怎么算

我建议至少拆成四项。

1. Token 成本

Token 是最容易算的一项,但要区分三类:输入、输出、缓存命中。

推理量下降主要作用于模型生成的思考 token。如果工具返回的是长文档,Agent 还会把结果重新放进上下文。输入 token 可能不降,甚至因为多走一轮而上升。

生产账单不能只写:

原成本 = 总 token × 单价

至少应该写成:

单任务成本 =
  各轮输入 token × 输入单价
  + 各轮输出 token(含思考)× 输出单价
  + 工具调用费用
  + 重试与沙箱费用

2. 调用轮次

轮次决定任务是否真正变便宜。

假设 ThinkingCap 少生成 50% 的思考 token,但某个基准任务平均多调用一次工具,后者可能把前者的节省吃掉。甚至还会增加 API 限流、重试和状态同步的开销。

所以评测不能停在“每个 response 的 token 更少”。要统计的是:从任务开始到验收通过的完整轨迹。

3. 上下文重放

不少 Agent 框架会把前面轮次、工具输出和系统提示重新发送。推理更短可能让上下文增长得慢一些,但只要多走一轮,重放成本就会再次出现。

如果系统用了 prompt cache,账又会变化。缓存命中便宜,不代表没有等待;缓存失效后补算,也未必比更短的上下文更划算。

4. 超时与可靠性

延迟通常更接近用户体验。工具链中的思考时间会串行累加,最终输出哪怕提前完成,也可能超过调用方设置的超时时间。

一旦超时,Agent 可能触发重试。超时后的重试成本经常高于一次正常执行。更关键的是,超时是否只影响平均值?长尾任务是否变得更不稳定?

我会关注 p50、p95、p99 延迟,而不只看平均值。还要记录完成率、重试率和工具调用次数。

一个更可信的生产验证方式,是固定任务集,对比完整轨迹:

指标 ThinkingCap 基线
准确率 不低于基线 基线
总输入 token 实测 实测
总输出与思考 token 实测 实测
平均工具调用数 实测 实测
p50 / p95 完成时间 实测 实测
重试率与超时率 实测 实测
单个成功任务总成本 实测 实测

最后一行比“每个 token 的价格”更重要。Agent 应该按成功完成的任务计价。

这套方法的边界:准确率之外

平均准确率不变,只能说明实验集上的总体结果没有明显退化。它不能替代分任务、分难度、分风险等级的评估。

复杂推理

数学证明、代码修复、多约束规划,往往需要更长推理链。预算控制器如果过度压缩,可能把“暂时没想通”变成“自信地答错”。

需要单独比较简单任务和困难任务。不能用简单问答的 token 降幅,掩盖复杂任务的成功率下降。

长任务

短任务的思考量下降 69%,可能很有价值。放到持续十几分钟、几十轮工具调用的 Agent 中,每个局部节省都很小。真正决定成本的是任务轨迹是否更短。

失败恢复

最有价值的 Agent 不是从不失败,而是失败后能恢复。

如果 ThinkingCap 压缩了模型对错误日志的反思过程,Agent 可能更快重复同一个错误。测试时不能只统计最终成功率,还要看:

  • 同一错误是否重复出现
  • 重试是否收敛
  • 是否会选择替代工具
  • 是否会主动向用户确认关键歧义

工具调用安全

少思考不总是好事。涉及删除数据、付款、发送消息或修改生产配置时,多一次校验可能比多几个 token 更有价值。

可以把工具分为低风险和高风险。低风险检索、查询类任务积极压缩;高风险写入、支付、删除类任务保留更长思考或增加独立验证器。不要用同一套预算覆盖所有动作。

此外,压缩后的 reasoning token 更少,也可能影响模型生成完整中间轨迹的能力。日志可解释性和事后审计要单独检查。不能因为最终答案没变,就忽略过程质量。

编辑思考

ThinkingCap 值得关注,不只是因为 69% 这个数字,而是因为它把问题从“模型能不能更聪明”转成了“系统能否按任务难度分配推理资源”。这更像在线调度:简单请求快速返回,复杂请求追加预算,失败风险高的动作进入校验分支。

它与过去的量化模型不同。量化通常是在部署前换取更低内存和计算成本,收益稳定,但能力边界也基本固定。缩短上下文则主要减少输入开销。动态思考预算处理的是运行时决策,理论上更灵活,也更难评测。

我的判断是,推理压缩会逐渐成为 Agent 基础设施的一部分,但不会只靠一个通用百分比取胜。真正有价值的控制器应该按工具风险、任务剩余时间和失败概率动态调整,而不是只追求平均 token 降幅。

目前不确定的是 ThinkingCap 的收益能否跨模型、跨任务保持。69 分和 8 条评论也说明它仍处在早期验证阶段。如果生产账单没有同步下降,或者 p95 延迟和恢复能力变差,那么“少思考”就只是少写了一些 token,还不算更便宜的 Agent。

来源

来源: https://bottleyai.com/post/thinkingcap-gemma-4-26b/