闭源模型正在占据价格—性能前沿。对 AI Agent 团队,榜单名次不如“每次成功任务花多少钱”重要。
闭源模型正在占据价格—性能前沿。
这不是新模型发布,也不是官方 benchmark,更不是同行评审研究。它更像一张采购地图:把推理价格和模型能力放到同一张表里,再看谁能在真实任务中稳定交付。
对 AI Agent 团队来说,单价下降只是表面。真正决定毛利的,是每个成功任务的成本。
价格前沿发生了什么变化
Village.dev 的文章提出一个判断:闭源 AI 模型已经占据价格—性能前沿。
比较维度不是某次 benchmark 的名次,也不是模型回答看起来有多聪明。问题是把推理价格与模型能力放在一起后,谁更划算。
原文还讨论了企业层面的变化:闭源模型为何可能取代开源模型,成为企业 AI 采购中的性价比优选,并把问题延伸到 Agent 的部署成本。
这和常见的模型榜单不太一样。
普通榜单回答:“在固定测试集上,谁的分数更高?”
采购问题则是:“给定预算和延迟要求,谁完成的任务更多?”
两个问题有关,但不是一回事。一个模型可能单次评测很强,却因为输出不稳定、容易重试或需要更长的上下文,最终任务成本反而更高。
因此,价格—性能前沿真正值得看的,不是闭源模型在图上移动了多少,而是企业开始用更接近单位经济性的口径选模型。
原始分析见 Village.dev:Closed AI Models Now Dominate the Price-Performance Frontier。
别把模型单价当任务成本
Agent 产品里,最容易算错的成本项就是 token 单价。
供应商页面通常按百万输入 token、百万输出 token 标价。这个数字适合做预算,也适合做模型初筛。但 Agent 最终交付的不是 token,而是完成一次任务。
可以把单位任务成本粗略写成:
单任务成本 =
(输入 token 成本 + 输出 token 成本 + 工具调用成本) × 总尝试次数
+ 人工接管成本
+ 失败与延迟带来的损失
这里至少有三个变量会改变结果。
第一,重试。假设一次成功率为 80%,平均需要 1.5 次尝试;成功率降到 60%,平均尝试次数就会接近 2 次。输入更长、输出更乱的模型,可能在便宜的单价下反复消耗预算。
第二,工具调用。Agent 如果要查数据库、跑代码、调用浏览器或生成文件,模型本身的价格只是总成本的一部分。模型是否知道何时停止、如何使用工具、能否在失败后自我修正,都会影响一次任务要走多少步。
第三,上下文长度。长上下文不一定更划算。上下文越长,每轮调用的输入成本越高;塞入大量无关材料,还可能降低关键信息的命中率。
第四,完成率。这里指端到端完成率,不是 benchmark 得分。用户说“整理本周销售数据并生成报告”,模型答对一次却漏掉附件、格式或异常处理,业务上仍可能算失败。
所以,闭源模型“便宜一次”,不一定“便宜一个任务”。反过来也一样。开源模型如果部署稳定、缓存命中率高,也可能拥有更低的单位任务成本。
开源模型还值不值得部署
这不该按开源或闭源一刀切。
对高频在线 Agent,闭源模型的价格优势通常更直接。开发团队省去了 GPU 采购、推理服务扩缩容和运维工作。只要 API 的单位任务成本足够低,而且供应商的稳定性与数据条款能接受,闭源 API 往往更容易上线。
但以下几种情况,开源模型仍然值得部署或保留:
- 数据不能出域。 医疗、金融、政务或企业内部代码,需要明确的数据驻留、删除和访问边界。本地部署的价值不只是价格,还包括控制权。
- 任务量大且流量稳定。 当调用量足以摊薄 GPU 成本,自托管的固定成本会变得可控。
- 延迟要求严格。 固定工作负载、短上下文、高频请求,本地推理能避开公网抖动。
- 可以有效缓存。 重复问题、固定检索结果和确定性前缀,都能降低自托管模型的边际成本。
- 需要定制权重。 如果业务依赖特定语言、特定行为或受控生成,开源权重提供更大的调整空间。
当然,本地部署也有隐藏账单:GPU、量化损失、监控、升级、容量规划和故障恢复。
我更倾向于把它看成组合问题,而不是阵营问题:
- 通用、复杂、低频任务可以走闭源 API;
- 高频、稳定、可缓存任务可以走自托管;
- 敏感数据先按合规要求做路由;
- 高风险动作保留人工确认。
这种架构不会只押一个模型。它也能降低供应商涨价、限流或接口变更带来的影响。
HN 争议暴露了什么
这篇 Village.dev 文章在 Hacker News 获得了 47 points 和 34 条评论。讨论集中在两个问题:闭源模型的性价比优势是否真实,以及背后的评测方法是否可靠。
HN 页面:item?id=50387546。
争议点并不意外。
首先,这是一篇基于模型定价和性能数据的分析文章,不是新模型发布、官方 benchmark 或同行评审研究。它的样本如何选择、任务如何加权、API 价格是否按同一口径计算,都需要继续核验。
其次,公开评测常常来自分布相对明确的任务。企业 Agent 却混合了网页操作、数据清洗、代码修改、客服判断和文档生成。一个模型在某类任务上占优,不代表它在企业真实流量中也占优。
再次,“价格—性能”曲线依赖时间。今天的输入价格、输出价格和上下文窗口下周就可能变化。用静态表直接推导长期采购结论,风险不小。
HN 争论最有价值的地方,不是替开源或闭源判输赢,而是逼着评估者回答几个基础问题:谁被测了?怎么测?失败怎么计费?线上流量和测试集是否同分布?
这些问题比阵营口号重要。
给 Agent 团队一张采购表
不要从公开排行榜直接选模型。先拿自己的任务集跑一轮端到端评估。
建议至少记录这些指标:
| 维度 | 要记录什么 | 为什么重要 |
|---|---|---|
| 成功任务成本 | 每次成功完成的全链路成本 | 直接影响单位经济性 |
| P95 延迟 | 从触发到任务完成的长尾延迟 | 影响体验与并发容量 |
| 重试率 | 平均尝试次数、恢复成功率 | 衡量可靠性与隐藏模型成本 |
| 工具调用次数 | 完成任务的调用数和失败调用数 | 判断 Agent 是否在空转 |
| 端到端完成率 | 业务验收通过的占比 | 避免只看模型分数 |
| 可迁移性 | 更换模型后需改多少代码和提示词 | 降低供应商锁定风险 |
| 数据与合规 | 留存、训练使用、区域与删除政策 | 决定模型能否进入生产 |
评估时,我会把同一批任务随机分配给候选模型,统一最大步数、工具权限和超时设置。失败不能悄悄排除,更不能只统计成功样本的平均 token。
如果要做更细的归因,可以先用一个最小脚本统计调用和重试:
from dataclasses import dataclass
@dataclass
class RunStats:
attempts: int = 0
input_tokens: int = 0
output_tokens: int = 0
tool_calls: int = 0
tool_failures: int = 0
completed: bool = False
def attempt(self) -> None:
self.attempts += 1
def usage(self, input_tokens: int, output_tokens: int) -> None:
self.input_tokens += input_tokens
self.output_tokens += output_tokens
def tool_result(self, failed: bool = False) -> None:
self.tool_calls += 1
if failed:
self.tool_failures += 1
def finish(self, completed: bool) -> None:
self.completed = completed
这段代码不负责调用模型,只负责避免评估口径丢失。最后再按下面的方式计算:
successful_costs = [
cost
for cost, stats in results
if stats.completed
]
avg_cost_per_success = (
sum(successful_costs) / len(successful_costs)
if successful_costs else float("inf")
)
更稳妥的做法还要把失败任务算进总成本分母。否则,一个只完成简单任务的模型会显得异常便宜。
编辑思考
闭源模型占据价格—性能前沿,更像 Agent 采购结构变化,而不是开源能力突然倒退。Agent 把模型差异直接换算成毛利:一次调用便宜几厘,不如一次任务少重试两次重要。
这次不同之处,在于评价单位从“模型能力”转向“成功交付”。模型参数、公开榜单和 token 标价仍然存在,但采购团队会更频繁地问:每个成功任务花多少钱?失败和重试由谁承担?
我的判断是,未来主流架构不会长期只押一家供应商。闭源模型可能拿走大部分通用流量,开源模型则继续守住敏感数据、高频缓存和可定制场景。至于 Village.dev 的方法是否足以证明闭源模型全面领先,现在还不能下定论。文章缺少官方 benchmark 和同行评审,公开任务与企业任务分布也可能存在偏差。真正可采信的结论,要等团队用自己的数据重复验证。
来源(必须引用)
https://village.dev/blog/closed-ai-models-now-dominate-the-price-performance-frontier/