大模型

Kimi K3.1 得分 55:AI Agent 选型怎么比

Kimi K3.1 Pro 在 Artificial Analysis 得分 55,并进入性能—成本 Pareto 前沿。本文拆解榜单背后的预算问题,给出 AI Agent 选型时可直接使用的评测方法。

字号

Kimi K3.1 Pro 在 Artificial Analysis 得分 55,并进入性能—成本 Pareto 前沿。本文拆解榜单背后的预算问题,给出 AI Agent 选型时可直接使用的评测方法。

Kimi K3.1 Pro 的 Artificial Analysis 综合得分是 55。这个数字看起来平平无奇。

真正值得看的是另外两件事:

  • 它进入了性能—成本 Pareto 前沿。
  • 相关消息登上 Hacker News 首页时,拿了 60 分和 2 条评论。

换句话说,这不是一个“榜单冠军”故事。它更像是一张预算表:模型厂商开始同时回答两个问题——能力够不够,以及每完成一个任务,要花多少钱。

原始数据见 Artificial Analysis 的 Kimi K3.1 Pro 模型页,Hacker News 讨论入口在这里。

55 分背后的真正信号

先拆掉一个容易产生的误解:55 分不是“全球第二”,也不是某项能力拿了满分。

Artificial Analysis 已经收录 Kimi K3.1 Pro。对这个模型的结论,不该从“综合分 55”单独得出,而要放回它所在的测试集合、价格和速度条件里看。

“Pareto 前沿”也有明确含义。

假设有两个模型:

  • A 的能力更高,但价格也更高。
  • B 的能力稍弱,却更便宜。

如果市场上找不到一个模型,能同时做到“比 A 更便宜”以及“比 B 更强”,那么 A 和 B 就都位于性能—成本 Pareto 前沿。

Kimi K3.1 Pro 的价值因此不是“单项测试夺冠”。它说明的是一组组合占优:在 Artificial Analysis 给出的成本口径下,这组能力与价格不容易被同时压过。

这很重要,因为实际业务很少只买“最高能力”。

客服摘要、内容分类、代码修改、复杂推理,需要的模型档位并不一样。把所有请求都扔给最贵的模型,通常不是工程方案,而是预算没有分层。

Pareto 前沿不是总榜

很多模型榜单会给出明确名次。读起来简单,决策时却经常没用。

原因是榜单通常把多种任务压成一个分数。代码生成、数学、推理、速度和价格的变化,可能在总分里互相抵消。最后你只得到一句模糊建议:

“这个模型综合表现不错。”

业务需要的往往不是综合答案,而是约束条件下的最优解。

比如,一个 AI Agent 每分钟要处理 2 万次工具调用。模型单价便宜 20% 并不必然更划算。如果它输出的 JSON 经常缺字段,解析失败后需要重试,甚至触发多轮工具调用,实际成本可能更高。

另一个场景是交互式应用。用户等待时间超过几秒,就可能直接放弃。此时,延迟和稳定性比综合分高 1 分重要。

更稳妥的评测方式,是先写业务约束,再跑自己的任务集:

from dataclasses import dataclass
from time import perf_counter

@dataclass
class Result:
    passed: bool
    total_cost_usd: float
    latency_ms: float
    tool_error_rate: float

def evaluate(model, cases, run_case):
    results = []

    for case in cases:
        started = perf_counter()
        output = run_case(model, case)
        latency_ms = (perf_counter() - started) * 1000

        results.append(
            Result(
                passed=output.passed,
                total_cost_usd=output.input_cost_usd + output.output_cost_usd,
                latency_ms=latency_ms,
                tool_error_rate=output.tool_error_rate,
            )
        )

    return {
        "pass_rate": sum(item.passed for item in results) / len(results),
        "avg_cost_usd": sum(item.total_cost_usd for item in results) / len(results),
        "p95_latency_ms": sorted(item.latency_ms for item in results)[int(len(results) * 0.95) - 1],
        "tool_error_rate": sum(item.tool_error_rate for item in results) / len(results),
    }

这段代码不负责替你选模型。它只做一件关键的事:把“模型能力”还原成一次业务任务的通过率、成本、延迟和工具错误率。

如果没有这些约束,Pareto 前沿只能说明“值得考察”。有了这些约束,它才可能变成采购或路由决策。

价格战可能不是重点

Kimi K3.1 Pro 进入性能—成本前沿,很容易被写成价格战叙事。

但迁移成本从来不只有 token 单价。

第一项是 API 稳定性。限流、超时、重试策略和版本兼容,都直接影响线上可用性。一次偶发失败,在测试里可能只是多花 1 分钟,在生产环境却可能变成用户流失。

第二项是输出格式。模型是否稳定返回合法 JSON,是否愿意严格遵守 schema,是否把解释文字混进结构化结果,都会影响 AI Agent 的工具调用链。

第三项是工具调用。模型能否正确选择函数、填写参数,并在工具返回错误后修正动作,比“回答是否漂亮”更接近 AI Agent 的真实能力。

第四项是上下文处理。长输入不只看 token 上限,还要看长文本中部的信息召回、代码仓库检索结果是否稳定,以及输入缓存能否命中。

所以,评估 Kimi K3.1 Pro 时,我不会先问“55 分是什么水平”。我会先问:

  • 它是否提供稳定的 API 版本和明确的弃用周期?
  • Function Calling 和 JSON 输出在真实任务里有多少失败率?
  • 上下文缓存怎么计价?
  • 高并发下,P95 延迟和错误率是多少?
  • 在自己的任务集上,每个成功任务到底花多少钱?

最后一个指标最有用:

单位成功任务成本 = 总输入成本 + 总输出成本 + 重试成本
                  ----------------------------------------
                    成功完成的任务数

它能吃掉很多榜单上看不见的差异。便宜但经常重试的模型,不一定便宜;昂贵但一次成功的模型,也不一定昂贵。

模型厂商继续降价当然有价值。只是价格下降只能降低一部分迁移门槛。格式兼容、工具调用、文档质量和发布节奏,决定了剩下的部分。

HN 首页只有 2 条评论

这条新闻登上 Hacker News 首页,获得 60 分和 2 条评论。

60 分说明它至少进入了首页流量范围。2 条评论则说明讨论并没有展开。

这反而挺真实。

开发者面对这类消息,注意力正在从“跑分新高”转向“这个模型适合什么任务”。哪个 AI Agent 已经接入?长上下文是否真能跑生产?工具调用有没有坑?API 有没有 rate limit?

这些问题比总榜名次更接近日常开发。

HN 的低评论量也不能过度解读。首页曝光受提交时间、投票和排名算法影响,2 条评论不代表没有价值,只代表这次没有形成大规模争论。

但把它和过去的榜单新闻放在一起,信号很清楚:

以前大家问“谁是第一名”。

现在越来越多团队问“我的任务应该用哪一个”。

编辑思考

Pareto 指标还不足以直接改变模型选型。它没有替开发者规定任务分布,也没有计入失败重试、人工复核和上下文缓存等真实成本。它更像筛选器:先排除明显不划算的组合,再用真实流量验证。

这次和过去追逐榜首最大的不同,不是 Kimi K3.1 Pro 得分 55,而是竞争单位正在变化。厂商不再只证明“能力更高”,而是在重新安排单位任务的预算:更便宜的价格、更多缓存命中、更稳定的工具调用,以及更短的失败重试链。

我的判断是,下一轮模型竞争不会只由总榜决定。真正能改变生产配置的,可能是厂商自己的任务通过率和每次成功成本。不过目前公开素材只有得分、Pareto 前沿及 HN 讨论数据,尚不足以证明 Kimi K3.1 Pro 在具体 AI Agent 工作流里更划算。它值得进入候选集,但还不到直接替换现有模型的程度。

来源: https://artificialanalysis.ai/models/kimi-k3-1-pro