Gemini 4 Neon 对标 Opus 5.5:榜单之外看胜负
第三方实测认为 Gemini 4 Neon 已能对标 Anthropic Opus 5.5。比名次更重要的,是测试任务、提示词、延迟和单位任务成本。
先看结论:这次不是跑分复读
第三方文章 Gemini 4 Neon looks like an Opus 5.5 competitor 的核心判断很直接:Gemini 4 Neon 已具备与 Anthropic Opus 5.5 竞争的能力。
先划清边界。这不是 Gemini 或 Anthropic 的官方性能声明,而是第三方根据一组实际任务给出的判断。也不是把厂商榜单换个名字再读一遍。
这个区别很重要。
厂商跑分通常追求口径统一:固定数据集、固定提示词、批量推理、自动打分。它适合横向扫描模型,却不自动回答生产问题:
- 你的任务需要写作,还是多文件编码?
- 一次成功,还是连续 10 次都成功?
- 等 8 秒返回,还是等 45 秒返回?
- 完成一次任务要花多少钱?
- 失败后能不能靠重试、工具调用或更长上下文救回来?
原文值得关注,不是因为 Neon 排名上升,而是它把问题换成了“同一种任务,两个模型谁交付得更好”。
但“能对标”仍是结论,不是证据本身。证据藏在测试设计和结果里。
复核测试:任务覆盖决定含金量
复核一篇模型实测,我会先看四样东西:
- 任务是什么,而不是叫什么名字。
- 原始提示词能否直接复现。
- 是否允许多轮修正和工具使用。
- 评分由固定 rubric、人工评审,还是模型裁判完成。
这四项必须拆开看。
写作
写作评测很容易受文风影响。同样是“写一封延迟通知邮件”,能模仿品牌语气、输出干净 Markdown、保留事实约束,胜过只会把句子写得更长。
这类任务适合测指令遵循、格式控制和事实边界,但不适合单独证明推理能力。提示词如果把模板、示例和评价标准写得很细,模型更像在做约束满足。
编码
编码比写作更接近生产,但也更吃脚手架。
一个可靠测试至少要说明:
- 给不给代码仓库;
- 是生成补丁,还是允许运行测试;
- 测试失败后能不能继续改;
- 最终按测试通过、代码审查,还是人工偏好计分。
如果只展示最终 diff,而没有隐藏测试和失败记录,就无法区分“一次写对”与“迭代后写对”。生产里的 AI Agent 往往能读日志、运行命令和修复错误。后者成本更高,也更接近实际收益。
推理
推理题可以比较结果,但提示词泄露会毁掉结论。
同一道题,Neon 和 Opus 5.5 若拿到不同格式、不同示例或不同推理预算,就不能只按最终答案判输赢。更合理的做法,是固定输入和预算,保存完整轨迹,再复跑多次。
真实任务
这是整套测试里最有价值的一层:客户支持分流、代码库迁移、长文档分析、结构化数据提取。
真实任务没有干净边界。它同时需要领域知识、工具调用、错误恢复和成本控制。也因此,真实任务的样本量通常很小。
这正是单次案例的局限:
它能证明“这个模型至少能做到一次”,不能证明“它平均更稳定”。哪怕两个模型各完成 20 个任务,如果任务难度、提示词和重试策略没有对齐,差异也可能主要来自样本,而不是模型。
我的复核顺序会是:先看原始任务,再看输出,再看执行轨迹,最后才看作者给出的“Opus 5.5 competitor”标签。
别只看能力:延迟和成本更接近生产值
LLM 的生产价值,不等于 benchmark 上的能力分。
假设 Opus 5.5 在质量上略胜,Gemini 4 Neon 的单次调用便宜一半、完成时间只有三分之一,那么 Neon 可能更适合交互式 AI Agent。反过来,如果 Neon 需要更多轮修复才能达到相同结果,标价便宜不等于任务成本便宜。
我更关心这四个数:
单位任务成本 = 输入 Token 成本 + 输出 Token 成本 + 重试成本 + 工具成本
单位任务延迟 = 排队时间 + 首 Token 时间 + 总执行时间 + 人工等待时间
注意,不能直接拿 API 标价做结论。还要计算成功所需调用次数。
例如,模型 A 单次调用成本为 1 美元,成功率为 80%;模型 B 单次调用成本为 2 美元,成功率为 95%。按一次成功任务的期望成本粗算:
A ≈ 1 / 0.80 = 1.25 美元
B ≈ 2 / 0.95 ≈ 2.11 美元
这不是严格的端到端 benchmark,只说明一件事:价格要和成功率一起算。
延迟也不是一个数字。
交互式场景看首 Token 时间和完整响应时间。批量 AI Agent 看总执行时间,但更关心并发限制、限流和重试。代码任务还要加入编译、测试和 CI 时间。
所以,“Neon 对标 Opus 5.5”如果只等于输出质量接近,这个结论有用。如果进一步等于成本、延迟、稳定性也接近,证据就不够了。
我会要求同一组真实任务至少提供:
- 每个模型的完整输入和输出;
- 使用的模型版本与采样参数;
- Token 用量和调用次数;
- 端到端耗时;
- 成功和失败案例;
- 多次运行后的通过率。
没有这些,榜单之外仍然只能看故事。
HN 的 213 分与 67 条评论
相关链接登上 Hacker News 首页,获得 213 分和 67 条评论。讨论入口是 HN 50554374。
213 分说明开发者愿意认真看这个问题,不只是围观一个新模型名。67 条评论更值得读。
社区通常会追问三类问题:
- 样本是不是太少,结论是不是过度外推?
- 提示词是否让某个模型明显受益?
- 所谓“Opus 5.5”对标,依据是质量上限,还是稳定交付能力?
这类质疑不自动推翻原文。
小样本实测本来就不是统计证明。它更像高信息密度的探针:快速找出值得复测的模型。问题出在作者或读者把探针当成了结论。
HN 讨论的意义,也不是再投一票“谁更强”。它把隐藏变量摆到桌面上:任务选择、提示词、评分方式、工具权限、失败处理。
模型能力越接近,这些变量越难被总榜掩盖。
过去换一个模型,大家会看公开分数。现在两个模型只差几个百分点,直接上生产又可能多花一倍成本。工程师自然会回到原始案例:同一任务、同等资源、谁少返工?
这也是第三方实测仍有价值的原因。它不一定给最终答案,但能提出一个更接近工程现场的问题。
编辑思考
这次值得关注的不是 Neon 是否“追平”Opus 5.5,而是模型竞争正在从模型分转向测试分。能力差距缩小后,任务定义、提示词版本、评分规则、重试次数和单位任务成本,会直接决定榜单结论。第三方实测适合发现线索,不适合替所有生产场景盖章;213 分和 67 条评论说明开发者需要可复现证据,而不是厂商口径。我的预测是,下一轮模型发布里,官方榜单仍会保留,但团队采购 AI Agent 时会更常保存原始轨迹,按真实任务比较“成功一次需要多少钱和多久”。不过,原文样本规模、任务构成和运行次数仍可能限制结论。若 Neon 在同一套长任务上只赢质量、不赢成本与稳定性,那么“对标”仍更像能力上限接近,而非生产可替代。