实战

Amazon 用 Strands Decider 替代 Claude,降本不只靠小模型

Amazon 称,用 Strands Decider 替换 Claude Sonnet 4.6 后节省数百万美元。关键不只是模型更便宜,而是把 Agent 的决策层与生成层拆开计算成本。

字号

Amazon 称,用 Strands Decider 替换 Claude Sonnet 4.6 后节省了数百万美元。真正值得拆的不是模型单价,而是 Agent 的决策层被单独优化了。

数百万美元到底省在哪

Amazon 表示,实际业务使用 Strands Decider 替换 Claude Sonnet 4.6 后,节省了数百万美元。

公开摘要提到,这不只是模型选择的变化,还涉及模型调用成本、Agent 决策框架和模型路由策略。

这里要分开看:

  • 模型调用降价:单次请求使用价格更低的模型,输入和输出 Token 费用下降。
  • 任务链降价:减少重复推理、无效工具调用、错误路由和重试。

数百万美元是 Amazon 给出的业务结果。但原始案例没有完整披露计算周期、任务量、并发规模,也没有给出替换前后的逐项费用。

因此,不能把全部节省都归因于模型单价。

更准确的理解是:Strands Decider 改变了 Agent 的决策层。Claude Sonnet 4.6 原先承担的一部分工作,可能被转移、缓存,或交给更适合处理结构化决策的模型。

Sonnet 负责生成,Decider 负责决定

Strands Decider 与 Claude Sonnet 4.6 的差异,不是能力排行榜上的高低,而是分工不同。

可以理解成两层:

  1. 生成层:理解需求、组织答案、生成代码或工具调用参数。
  2. 决策层:判断下一步做什么、是否调用工具、选择哪条路径。

传统做法是让同一个通用模型包办所有工作。

一次任务如果经历 8 轮推理、3 次工具调用和 2 次重试,昂贵模型可能被反复唤起。上下文通常也会随轮次变长。

总推理成本 ≈ Σ(每轮输入 Token × 输入单价
               + 每轮输出 Token × 输出单价
               + 工具调用与重试附加成本)

如果决策可以由更轻量、输出更短的模型完成,就不必让 Sonnet 4.6 连续处理所有步骤。

这不是弱模型替代强模型,而是把路由决策从内容生成中分离出来。Sonnet 4.6 继续负责理解和生成,Decider 处理结构化判断。

这类架构更像编译器:

  • 中间表示足够稳定。
  • 不同阶段可以使用不同模型。
  • 决策结果可以记录、评测和重放。
  • 高成本模型只在必要路径上运行。

反共识:贵模型未必该全程调用

企业选模型时,常见做法是按单轮请求估算 Token 费用:

estimated_cost = (
    input_tokens / 1_000_000 * input_price
    + output_tokens / 1_000_000 * output_price
)

但 Agent 的真实账单不只有 Token。一个请求可能触发多个步骤:

用户请求
  → 意图判断
  → 工具选择
  → 参数生成
  → 工具执行
  → 结果解析
  → 失败重试
  → 最终回答

只要路由选错,后续昂贵调用都可能白做。

便宜的模型如果频繁选错工具,任务链会被拉长。贵的模型如果始终参与每个小判断,Token 也会快速累积。

优化单次生成,不一定能降低整条任务链成本。

更实用的指标应该包括:

  • 每个成功任务的模型总成本。
  • 每个成功任务的工具调用次数。
  • 无效步骤占比。
  • 重试率与恢复率。
  • 决策结果能否稳定复现。

我更倾向于把 Agent 成本看成“计算预算”,而不是“模型价格表”。

企业 Agent 要拆四笔账

1. 模型费用

包括输入、输出、缓存命中、工具结果回填,以及重试产生的额外 Token。

如果 Decider 输出短 JSON,理论上可以减少昂贵模型处理结构化决策的次数。但是否下降,要看路由命中率,不能只看 Decider 的单次价格。

2. 编排开销

Agent 还要承担状态保存、上下文组装、事件分发、工具协议转换和超时控制等成本。

这部分未必出现在模型 Token 账单里,却会影响延迟和维护成本。

3. 重试机制

工具失败、输出不合规和超时,都可能触发重试。重试应该由显式规则控制,而不是把同一段上下文再发给昂贵模型碰运气。

常见做法:

  • 对可恢复错误执行有限次数重试。
  • 将错误类型映射到固定恢复路径。
  • 对决策输出做 schema 校验。
  • 对重复失败停止任务,避免继续消耗 Token。

4. 评测体系

如果只看平均 Token 成本,企业很容易得出错误结论:模型越便宜,系统越好。

更实用的评测应按任务结果分层,至少记录:

task_success_rate
tool_call_count
invalid_tool_call_rate
retry_rate
end_to_end_cost
p50 / p95 latency

然后比较两种架构:

  • 所有步骤都使用 Claude Sonnet 4.6。
  • Sonnet 4.6 负责生成,Strands Decider 负责路由和决策。

只有任务成功率相当、总成本更低,替换才有意义。

案例有哪些边界

原始文章发布后登上 Hacker News 首页。讨论集中在三个问题。

基准测试能否复现

业务案例和公开 benchmark 不是一回事。

Amazon 的工作负载包含内部数据、工具集、提示词和路由规则。外界用模拟任务测试 Strands Decider,无法复现完整的成本结构。

要验证结论,除了最终平均成本,还需要任务分布、成功率和重试数据。否则“节省数百万”更接近案例报告,不是通用的模型选型结论。

能不能迁移到其他企业

架构思想可以迁移,具体数字不能照搬。

如果任务高度固定、工具调用频繁、可选路径有限,单独优化决策层通常有价值。如果任务依赖开放式推理,决策和生成本就纠缠在一起,拆层可能增加编排成本,甚至降低成功率。

数百万美元口径是否透明

原始材料不足以确认:

  • 节省周期是几个月还是一年。
  • 业务规模是多少。
  • 是否包含迁移、监控和评测投入。
  • 节省来自模型单价、调用次数,还是两者共同作用。
  • Decider 自身使用的模型和基础设施成本是多少。

这不代表案例无效。但企业做技术决策时,不能只抄结论,不拆边界。

编辑思考

这次案例重要的不是 Amazon 找到了一款更便宜的模型,而是它把 Agent 的“决定做什么”与“把事情做出来”拆成两层。这和过去常见的模型降本不同:蒸馏、量化、缓存和换小模型主要降低单次推理成本;这次讨论的是重新分配整条任务链的计算预算。

我的判断是,模型路由会成为企业 Agent 的基础组件,但 Decider 不一定长期绑定某个模型。它更像一个可评测、可替换的决策接口。Amazon 后续也可能调整底座模型,继续保留决策层与生成层的边界。

不确定之处也很明确:原始材料没有完整说明数百万美元覆盖的周期、任务量和迁移成本。没有成功率、调用次数与重试率,单独公布总节省容易误导。可迁移的做法不是照抄金额,而是先按任务结果核算总账,再决定哪一层值得使用昂贵模型。

来源

来源: https://strandsagents.com/blog/amazon-saves-millions-replacing-sonnet-with-strands-decider/