大模型榜单最容易被误读。
本文拆解 Intelligence Index v5 的评测维度、成本计算和 Agent 轨迹评估,帮助技术负责人建立可执行的选模流程。
Artificial Analysis 最近发布 Intelligence Index v5。它不是新模型,而是评测基准与排名框架的第五次更新,用来横向比较不同大模型的能力和使用成本。
这次更新登上 Hacker News 首页时,获得 54 分和 61 条评论。开发者关心的不只“谁排第几”,而是这些排名能不能跨模型比较,能不能帮助团队做实际选型。
先说明一个限制:当前提供的新闻摘要没有列出 v5 的具体模型排名、指标权重和分数变化。下面能确认的是框架升级,以及它比较推理质量、输出价格和响应速度这三个维度。具体权重和模型名次,仍需回到原文核实。
v5 不是一张新成绩单
Intelligence Index v5 属于评测框架升级,不是单模型发布。
如果它只是换了一套题、重跑了一遍模型,然后给出新榜单,我们最多得到一张有时间限制的成绩单。框架升级更接近重新定义“怎样比较”。
过去常见的模型榜单,往往把能力压缩成一个整数。方便,但信息损失很大。
一个模型可能推理题做得好,价格却不适合高频调用。另一个模型总分略低,输出速度更快,接进客服 AI Agent 后反而更稳。榜单如果只提供最终排名,采购团队还得自行拆解数据。
v5 至少把比较推进到了能力与成本并置的层面。Artificial Analysis 的文章摘要明确表示,这一版用于横向比较不同大模型的能力与使用成本。
原始来源:Artificial Analysis 的 Intelligence Index v5 文章。
HN 的 54 分和 61 条评论也提供了一个旁证:开发者愿意讨论榜单,但讨论重点是可比性。
总分掩盖了采购成本
企业选模型,至少要把三个问题拆开:
- 推理质量怎么样?
- 输出价格是多少?
- 响应速度够不够快?
这三项放进同一个总分后,排名会显得简洁,采购决策却未必更简单。
假设两个模型只差几分,但一个便宜 80%,另一个首 token 延迟低一半。面对每天几百万次调用的 AI Agent,这个差距可能比那几分能力更重要。
质量和价格的交换关系也不是固定的。高频、结构明确、失败代价高的任务,和一次性研究任务,适合的成本曲线可能完全不同。
低分但便宜的模型,不等于低价值模型。它可能不适合做榜单里的难题,却适合处理分类、抽取、改写、路由等重复工作。Agent 的主循环里,大量请求并不是“回答一个智力题”,而是把模型当作一个不稳定但可调用的执行器。
所以我看 Intelligence Index v5 时,不会先看榜首。我会先看三个维度在企业自己的调用结构下意味着什么。
例如,客服 Agent 每天处理 20 万轮对话,每轮需要 2,000 token 输入、300 token 输出。即使两个模型的榜单能力相近,输出单价乘上调用量后,账单差异也会直接进入季度预算。
如果当前新闻摘要没有列出各模型的实际价格,就不应该根据名次猜谁更便宜。榜单框架能提供统一入口,但最后仍要用供应商账单和真实 token 用量核对。
AI Agent 需要按轨迹评估
这是 v5 最容易被忽略、但对企业最重要的一层。
静态 benchmark 测的是“一次回答”。AI Agent 完成的是一串动作:理解目标,调用工具,读取结果,发现偏差,再决定重试还是结束。
模型第一次选错工具,不会让整个任务立即失败。系统可能进入重试循环:多花 token,多等几秒,最后仍然交付错误结果。
榜单分数与真实任务完成率之间,可能隔着几个工程问题:
- 工具描述是否清楚?
- 参数格式是否稳定?
- 上下文是否塞进了无关信息?
- 失败后是重试、换模型,还是交给人?
- 超时和错误状态能不能被可靠捕获?
这些不是换一个更高分的模型就能自动解决。
我见过的典型项目是:榜单第一名模型完成率为 82%,第二名是 88%。最终生产环境却选了第二名。因为第一名的工具调用格式更飘,触发了更多解析失败和人工接管。
真正应该测的是轨迹,而不只是最终答案。
至少记录四个指标:
- 任务完成率
- 平均工具调用次数
- 失败重试率
- 单个成功任务的端到端成本
其中最后一个最有采购价值。它把 token 消耗、延迟、基础设施费用和人工接管成本放在同一个口径里。
一个便宜模型如果每次任务需要 4 次重试,未必比单价高 3 倍但一次成功的模型更便宜。
把 Index 当筛选器,不当裁判
我不会把 Intelligence Index v5 当成企业选模的最终答案。更合理的定位是:候选模型筛选器。
第一步,按业务任务建立内部集。
不要直接复制公开 benchmark。把真实任务脱敏后做成几百条可重复执行的样本:客服工单、代码修改、数据抽取、报表生成,或者 LangGraph 中的路由与工具调用。
每条样本都要有明确验收条件。尤其要记录中间失败,而不是只看最终文本。
第二步,用 v5 缩小候选范围。
先排除明显不符合质量、速度或预算约束的模型,再保留少量候选。这个阶段用统一框架比较,比各团队凭偏好试模型更可控。
第三步,跑真实压测。
至少测三组负载:
- 峰值并发下的 P50、P95 延迟
- 持续吞吐与 token 消耗
- 工具调用失败、重试和任务完成情况
第四步,按真实账单重新算账。
价格不能只看供应商给出的单价。要用内部任务实际产生的输入、输出、缓存和重试 token 计算。速率限制、批量折扣、区域部署和上下文缓存策略也要算进去。
一个简单可复现的筛选脚本,可以先用统一格式接收公开评分数据:
from dataclasses import dataclass
@dataclass
class ModelCost:
name: str
quality_score: float
output_price_per_million: float
tokens_per_second: float
def shortlist(
models: list[ModelCost],
min_quality: float,
max_price: float,
min_speed: float,
) -> list[ModelCost]:
return [
model
for model in models
if model.quality_score >= min_quality
and model.output_price_per_million <= max_price
and model.tokens_per_second >= min_speed
]
models = [
ModelCost("model-a", 78.0, 1.50, 95.0),
ModelCost("model-b", 81.0, 4.00, 70.0),
]
result = shortlist(
models,
min_quality=75.0,
max_price=2.0,
min_speed=80.0,
)
for model in result:
print(model.name)
这段代码只是阈值筛选,不是完整评测。它故意没有把质量、价格和速度硬压成一个总分。企业应该先设约束,再对少量候选做内部任务测试。
编辑思考
我认为 Intelligence Index v5 最大的价值,未必是重排模型,而是给采购和研发团队提供一套统一讨论语言:质量、价格、速度不再被一个神秘总分遮住。它和过去普通榜单不同的地方,不是又换了一批题,而是开始把使用成本纳入能力比较。
我的判断更偏谨慎:框架越统一,企业越容易忘记统一框架本身就是一种简化。v5 的权重由谁定义、测试集覆盖哪些能力、模型版本何时固定,都会影响名次。当前摘要又缺少具体权重和分数变化,因此任何“某模型已反超”的结论都应等原文数据补齐。
对 AI Agent 来说,下一步不只是继续追公开榜,而是把失败轨迹、真实延迟和账单连起来评估。企业真正要买的不是一个更高的 benchmark 分数,而是更稳定的任务完成率和更低的成功任务成本。