Inception Labs 发了 Mercury 2.5,扩散式架构,1000+ tok/s,专攻代码生成。这数字在主流自回归模型里基本看不到。我翻了官方博客和 HN 讨论,把值得说的点整理一下。
Mercury 2.5 到底快在哪
官方基准里,Mercury 2.5 在代码补全任务上跑到了 1000+ tokens/秒。对比一下:
- GPT-4o:~80-100 tok/s
- Claude 3.5 Sonnet:~60-80 tok/s
- Mercury 2.5:1000+ tok/s
差了 10-15 倍。这个差距不是优化出来的,是架构层面的差异。
自回归模型(GPT、Claude、Gemini 全是这条路)一个字一个字吐,吐完一个才能算下一个,本质是串行。扩散式 LLM 反过来:先生成一个粗糙的「草稿」,再迭代去噪 —— 像画家先铺底色再细化。这套机制天然适合并行,多个 token 可以同时被精炼。
代码场景对这种并行特别友好。代码块有明显的结构(缩进、括号匹配、关键字),扩散模型可以一次性把整个函数的骨架搭出来,再回头填细节。这跟写散文完全不一样 —— 你不会看到扩散模型在写小说上有什么优势,但在补全代码这件事上,它确实有结构性红利。
Inception Labs 自己的 benchmark 显示,Mercury 2.5 在 HumanEval、MBPP 这类代码任务上保持了和 GPT-4o 相当的准确率,同时延迟降了一个数量级(来源:inceptionlabs.ai/blog/introducing-mercury-2-5)。
扩散式不是新东西,为什么现在才火
扩散模型在图像生成里早就赢了(Stable Diffusion、Midjourney 都是)。文本上的尝试从 2023 年就开始,Mercury 1 代去年已经出来了,但一直没掀起太大水花。
Mercury 2.5 上线后登上了 HN 首页(来源:news.ycombinator.com/item?id=49616354)。社区讨论集中在几个点:
- 「这是不是 RISC vs CISC 时刻?」 有人类比 CPU 架构之争 —— 自回归是 CISC(复杂指令、串行执行),扩散是 RISC(简化、并行)。这个比喻虽然粗糙,但方向是对的。
- 「生态怎么办?」 vLLM、TensorRT-LLM 这些主流推理框架全是给自回归写的,扩散模型要重新适配。
- 「能不能 fine-tune?」 目前几乎没有什么好用的微调工具链。
- 「质量真的够吗?」 基准漂亮是一回事,实际写代码会不会犯蠢是另一回事。
HN 评论里有人提到 Mercury 1 代在 Cursor 里当 autocomplete 后端时已经够用,但生成整段复杂逻辑还是拉胯。2.5 在这块的进步值得继续盯。
代码场景才是它的主战场
Inception Labs 很清楚自己在干什么 —— Mercury 2.5 不做通用聊天,不做长文档摘要,只盯代码补全和代码生成。
为什么?Cursor、Copilot、Continue.dev、Tabnine 这些 AI 编程工具,延迟就是命。用户敲到一半,光标在那闪了 300ms,体验就崩了。代码补全比搜索更敏感 —— 用户的心智模型是「我在打字」,任何可感知的等待都会被识别为卡顿。
扩散模型在这个场景下优势很明显:
- 并行生成:整个函数的 token 可以一起算,不是一个一个吐
- 结构感知:代码的语法约束让扩散的去噪过程更高效
- 可截断:哪怕算到一半停下来,结果通常也是可用的代码片段
调用例子大概长这样(基于官方文档的 API 风格):
from inception import Mercury
client = Mercury(api_key="...")
response = client.completions.create(
model="mercury-2-5",
prompt="def fibonacci(n):\n ",
max_tokens=128,
temperature=0.2,
)
print(response.choices[0].text)
响应时间通常是几十毫秒级别。在 Cursor 这种 IDE 里,用户感觉就是「键入即出」。
但要注意 —— Mercury 2.5 的训练数据偏向代码,所以做闲聊、写邮件会很尬。把它当通用 LLM 用是错误预期。
商业化困局:快是快了,谁用?
这是我想说的反共识部分。
Mercury 2.5 速度确实炸裂,但商业落地有三大障碍:
1. 生态几乎为零
vLLM、TGI(Text Generation Inference)、TensorRT-LLM 这些主流推理框架都是给自回归写的。要在生产环境跑 Mercury,得自己搞一套推理基础设施。对大多数公司来说,光这一步就够劝退了。
2. API 不兼容
OpenAI API 是事实标准。LangChain、LlamaIndex、所有 Agent 框架都默认走 OpenAI 协议。Mercury 的原生 API 和它不兼容,意味着接入成本不是零。Inception Labs 提供了 OpenAI 兼容层,但功能肯定有折扣。
3. 微调工具链缺失
企业用户想在自己代码库上 fine-tune?目前几乎没成熟方案。LoRA、QLoRA 这些技术都是为 Transformer 自回归设计的,扩散模型的微调流程要重新研究。
我的判断:速度优势在 2026-2027 年会被自回归模型的缓存优化(prompt caching、speculative decoding)追平一大截。Anthropic 的 prompt caching 已经把重复 prefix 的成本降到 1/10,speculative decoding(小模型草稿 + 大模型验证)也能轻松做到 2-3 倍加速。当 GPT-5、Claude 5 这些下一代模型原生集成这些优化时,Mercury 的 10x 优势会缩水到 2-3x,到那个量级,速度就不再是决定性因素。
Inception Labs 真正的护城河应该是「AI 编程专用模型」这个定位,而不是单纯的「快」。如果它能做出一个在 IDE 场景里体验明显更好的产品(比如和 Cursor 深度集成),那才有戏。
编辑思考
Mercury 2.5 这件事比表面看起来更重要,因为它不是「又一个 LLM 发布」,而是 架构路线的实质性分叉。
过去 5 年,LLM 几乎全部走自回归路线,大家在同一个范式里拼参数、拼数据、拼 RLHF。Mercury(加上更早的 Mistral 实验、Google 的 diffusion-for-text 研究)证明了一条完全不同的路在工程上是可行的,而且有独特的优势点 —— 速度、结构化输出、并行性。
这让我想到 CPU 历史的 RISC vs CISC 之争。短期内 CISC(自回归)因为生态成熟会继续主导,但 RISC(扩散)在特定场景(低延迟、结构化、并行)会占住一块地盘。长期看,两者可能融合 —— 也许下一代模型会用自回归做高层规划,用扩散做局部精修。
对从业者的实际意义:不要把鸡蛋全放在「Transformer 自回归」这一个篮子里。如果你的产品对延迟极度敏感(IDE 补全、实时语音、机器人控制),扩散式路线值得认真评估,至少跑跑 Mercury 的 API 看看实际体验。
不确定的地方:扩散模型在长上下文(>32k tokens)和复杂推理任务上的表现,公开数据还很少。官方博客主要是 HumanEval 这类短任务基准,长任务的真实表现需要等更多第三方测试出来。
速度会是个差异化因素,但不会是终局。
参考来源:
- Inception Labs 官方博客
- Hacker News 讨论