观点

AI Agent 模型怎么选:按成功任务成本算账

Village.dev 认为闭源模型占据价格—性能前沿。对 Agent 团队,更该算的是每次成功任务的总成本,包括重试、工具调用与人工接管。

字号

闭源模型正在占据价格—性能前沿。对 AI Agent 团队,榜单名次不如“每次成功任务花多少钱”重要。

闭源模型正在占据价格—性能前沿。

这不是新模型发布,也不是官方 benchmark,更不是同行评审研究。它更像一张采购地图:把推理价格和模型能力放到同一张表里,再看谁能在真实任务中稳定交付。

对 AI Agent 团队来说,单价下降只是表面。真正决定毛利的,是每个成功任务的成本。

价格前沿发生了什么变化

Village.dev 的文章提出一个判断:闭源 AI 模型已经占据价格—性能前沿。

比较维度不是某次 benchmark 的名次,也不是模型回答看起来有多聪明。问题是把推理价格与模型能力放在一起后,谁更划算。

原文还讨论了企业层面的变化:闭源模型为何可能取代开源模型,成为企业 AI 采购中的性价比优选,并把问题延伸到 Agent 的部署成本。

这和常见的模型榜单不太一样。

普通榜单回答:“在固定测试集上,谁的分数更高?”

采购问题则是:“给定预算和延迟要求,谁完成的任务更多?”

两个问题有关,但不是一回事。一个模型可能单次评测很强,却因为输出不稳定、容易重试或需要更长的上下文,最终任务成本反而更高。

因此,价格—性能前沿真正值得看的,不是闭源模型在图上移动了多少,而是企业开始用更接近单位经济性的口径选模型。

原始分析见 Village.dev:Closed AI Models Now Dominate the Price-Performance Frontier。

别把模型单价当任务成本

Agent 产品里,最容易算错的成本项就是 token 单价。

供应商页面通常按百万输入 token、百万输出 token 标价。这个数字适合做预算,也适合做模型初筛。但 Agent 最终交付的不是 token,而是完成一次任务。

可以把单位任务成本粗略写成:

单任务成本 =
(输入 token 成本 + 输出 token 成本 + 工具调用成本) × 总尝试次数
+ 人工接管成本
+ 失败与延迟带来的损失

这里至少有三个变量会改变结果。

第一,重试。假设一次成功率为 80%,平均需要 1.5 次尝试;成功率降到 60%,平均尝试次数就会接近 2 次。输入更长、输出更乱的模型,可能在便宜的单价下反复消耗预算。

第二,工具调用。Agent 如果要查数据库、跑代码、调用浏览器或生成文件,模型本身的价格只是总成本的一部分。模型是否知道何时停止、如何使用工具、能否在失败后自我修正,都会影响一次任务要走多少步。

第三,上下文长度。长上下文不一定更划算。上下文越长,每轮调用的输入成本越高;塞入大量无关材料,还可能降低关键信息的命中率。

第四,完成率。这里指端到端完成率,不是 benchmark 得分。用户说“整理本周销售数据并生成报告”,模型答对一次却漏掉附件、格式或异常处理,业务上仍可能算失败。

所以,闭源模型“便宜一次”,不一定“便宜一个任务”。反过来也一样。开源模型如果部署稳定、缓存命中率高,也可能拥有更低的单位任务成本。

开源模型还值不值得部署

这不该按开源或闭源一刀切。

对高频在线 Agent,闭源模型的价格优势通常更直接。开发团队省去了 GPU 采购、推理服务扩缩容和运维工作。只要 API 的单位任务成本足够低,而且供应商的稳定性与数据条款能接受,闭源 API 往往更容易上线。

但以下几种情况,开源模型仍然值得部署或保留:

  • 数据不能出域。 医疗、金融、政务或企业内部代码,需要明确的数据驻留、删除和访问边界。本地部署的价值不只是价格,还包括控制权。
  • 任务量大且流量稳定。 当调用量足以摊薄 GPU 成本,自托管的固定成本会变得可控。
  • 延迟要求严格。 固定工作负载、短上下文、高频请求,本地推理能避开公网抖动。
  • 可以有效缓存。 重复问题、固定检索结果和确定性前缀,都能降低自托管模型的边际成本。
  • 需要定制权重。 如果业务依赖特定语言、特定行为或受控生成,开源权重提供更大的调整空间。

当然,本地部署也有隐藏账单:GPU、量化损失、监控、升级、容量规划和故障恢复。

我更倾向于把它看成组合问题,而不是阵营问题:

  • 通用、复杂、低频任务可以走闭源 API;
  • 高频、稳定、可缓存任务可以走自托管;
  • 敏感数据先按合规要求做路由;
  • 高风险动作保留人工确认。

这种架构不会只押一个模型。它也能降低供应商涨价、限流或接口变更带来的影响。

HN 争议暴露了什么

这篇 Village.dev 文章在 Hacker News 获得了 47 points 和 34 条评论。讨论集中在两个问题:闭源模型的性价比优势是否真实,以及背后的评测方法是否可靠。

HN 页面:item?id=50387546。

争议点并不意外。

首先,这是一篇基于模型定价和性能数据的分析文章,不是新模型发布、官方 benchmark 或同行评审研究。它的样本如何选择、任务如何加权、API 价格是否按同一口径计算,都需要继续核验。

其次,公开评测常常来自分布相对明确的任务。企业 Agent 却混合了网页操作、数据清洗、代码修改、客服判断和文档生成。一个模型在某类任务上占优,不代表它在企业真实流量中也占优。

再次,“价格—性能”曲线依赖时间。今天的输入价格、输出价格和上下文窗口下周就可能变化。用静态表直接推导长期采购结论,风险不小。

HN 争论最有价值的地方,不是替开源或闭源判输赢,而是逼着评估者回答几个基础问题:谁被测了?怎么测?失败怎么计费?线上流量和测试集是否同分布?

这些问题比阵营口号重要。

给 Agent 团队一张采购表

不要从公开排行榜直接选模型。先拿自己的任务集跑一轮端到端评估。

建议至少记录这些指标:

维度 要记录什么 为什么重要
成功任务成本 每次成功完成的全链路成本 直接影响单位经济性
P95 延迟 从触发到任务完成的长尾延迟 影响体验与并发容量
重试率 平均尝试次数、恢复成功率 衡量可靠性与隐藏模型成本
工具调用次数 完成任务的调用数和失败调用数 判断 Agent 是否在空转
端到端完成率 业务验收通过的占比 避免只看模型分数
可迁移性 更换模型后需改多少代码和提示词 降低供应商锁定风险
数据与合规 留存、训练使用、区域与删除政策 决定模型能否进入生产

评估时,我会把同一批任务随机分配给候选模型,统一最大步数、工具权限和超时设置。失败不能悄悄排除,更不能只统计成功样本的平均 token。

如果要做更细的归因,可以先用一个最小脚本统计调用和重试:

from dataclasses import dataclass

@dataclass
class RunStats:
    attempts: int = 0
    input_tokens: int = 0
    output_tokens: int = 0
    tool_calls: int = 0
    tool_failures: int = 0
    completed: bool = False

    def attempt(self) -> None:
        self.attempts += 1

    def usage(self, input_tokens: int, output_tokens: int) -> None:
        self.input_tokens += input_tokens
        self.output_tokens += output_tokens

    def tool_result(self, failed: bool = False) -> None:
        self.tool_calls += 1
        if failed:
            self.tool_failures += 1

    def finish(self, completed: bool) -> None:
        self.completed = completed

这段代码不负责调用模型,只负责避免评估口径丢失。最后再按下面的方式计算:

successful_costs = [
    cost
    for cost, stats in results
    if stats.completed
]

avg_cost_per_success = (
    sum(successful_costs) / len(successful_costs)
    if successful_costs else float("inf")
)

更稳妥的做法还要把失败任务算进总成本分母。否则,一个只完成简单任务的模型会显得异常便宜。

编辑思考

闭源模型占据价格—性能前沿,更像 Agent 采购结构变化,而不是开源能力突然倒退。Agent 把模型差异直接换算成毛利:一次调用便宜几厘,不如一次任务少重试两次重要。

这次不同之处,在于评价单位从“模型能力”转向“成功交付”。模型参数、公开榜单和 token 标价仍然存在,但采购团队会更频繁地问:每个成功任务花多少钱?失败和重试由谁承担?

我的判断是,未来主流架构不会长期只押一家供应商。闭源模型可能拿走大部分通用流量,开源模型则继续守住敏感数据、高频缓存和可定制场景。至于 Village.dev 的方法是否足以证明闭源模型全面领先,现在还不能下定论。文章缺少官方 benchmark 和同行评审,公开任务与企业任务分布也可能存在偏差。真正可采信的结论,要等团队用自己的数据重复验证。

来源(必须引用)

https://village.dev/blog/closed-ai-models-now-dominate-the-price-performance-frontier/

来源: https://village.dev/blog/closed-ai-models-now-dominate-the-price-performance-frontier/