大模型

Mercury 3 把 Diffusion 推到生产级 LLM,autoregressive 还能撑多久?

Inception Labs 上线了能用的 diffusion LLM,主投 a16z、英伟达、微软。这条非自回归路线能不能撬动 arrod 的默认生态?

字号

Mercury 3 到底是什么

一句话:用 diffusion 范式做 LLM,token 并行生成,不是逐 token 解码。

传统 LLM(GPT、Claude、Gemini 几乎都是)走的是 autoregressive(自回归)路线——一个 token 接一个 token 往外吐,前一个不出来后面只能干等。Mercury 3 的 diffusion 路线则相反,它会先"猜"一整段 token 的分布,再通过多步 refinement 把噪声迭代成可读输出,思路来自图像生成里的 diffusion。

Mercury 1 和 2 已经在写代码、做 agent 任务。3 是把这条路拉到 production inference——可以做反代、可以做服务端推理,不是边写边跑 demo。

定位上,Inception Labs 没想做"通用聊天 LLM"。他们的目标是 coding 和 agent 这种对延迟敏感的场景——慢一秒,agent 就卡在那里等你回话。

来源:Inception Labs 官方博客

速度和成本,数字到底有多夸张

Inception 公布的几个数据点(自家 benchmark):

  • 推理延迟:在 coding agent 任务上,Mercury 3 比主流自回归模型快一个数量级
  • 成本:同上场景,单位 token 成本比 GPT-4o、Claude 这类低一个数量级

我自己看数字有个习惯:先打 5 折再看。哪怕实际只快 3 倍、成本只省一半,对 agent 场景也是质变。

为什么?因为 agent 不是一次对话,是几百次 tool call 串起来。每一次 LLM 调用的延迟都会被叠加。一个写代码的 agent 一晚上跑 500 次调用,每次慢 200ms 就是 100 秒的纯等。如果 diffusion 能把单次延迟从 800ms 砍到 80ms,这个 agent 就从"能凑合用"变成"真的能用"。

另外,diffusion 的并行生成让 batching 效率天然更高。autoregressive 模型你想 batch 也只能 prefill 部分 batch,decode 阶段很难并行;diffusion 整段一起跑,GPU 利用率上去单位成本就下来。

这是范式差异,不是边际优化。

投资名单比技术更值得看

技术可以吹,投资人不会为吹牛买单。

Mercury 3 的投资方:

  • a16z:Andreessen Horowitz,押非主流路径的常客
  • Nvidia:算力霸主,自己做 GPU 也投替代范式
  • Microsoft:Azure 是最大的 LLM 推理云之一,给钱说明认真考虑集成

三方同时下注,且都是真金白银,不是"战略合作"那种 PR 词。这意味着不是实验室玩具。

Diffusion LLM 不是新概念,凭什么这次能落地

Diffusion 做文本这事,至少七年一直在试:

  • 2022 年开始,陆续有团队尝试用 diffusion 做文本生成
  • Google、Meta、Salesforce Research 都有相关论文
  • 但都没跑到 production 级——要么规模上不去(几十亿参数就到顶),要么质量比不过自回归

Mercury 3 这次不一样在哪:

  1. 规模上来了。能跑在和 GPT-4o、Claude 同档的硬件上,能扛 production 流量
  2. 真上线了。不是 paper,不是 demo,是有客户付费使用的 production deployment
  3. 场景对了。coding 和 agent 这类延迟敏感的逻辑,是 diffusion 范式天然占便宜的领域

之前所有尝试都没落地,是因为"规模 + 质量 + 部署"这三件事很难同时做到。Inception 这次至少做到了两件半——规模和部署肯定到位,质量还要等独立 benchmark 出来才能确认。

对 Agent 生态的实际冲击

Agent 场景对延迟敏感,这个上一节说过了。具体会冲击哪些产品?

最直接的是 coding agent:Cursor、Claude Code、Devin 这类产品,每一步都在调 LLM,慢了就卡。Mercury 3 如果真能稳住低延迟,会先吃掉这一块。

接着是 browser agent、computer use agent:这些需要更短的反馈循环才能让用户觉得是自然。self-hosted 路径上,自建 diffusion 服务的 pipeline 可以压更低单位成本。

再远一点是 agent 编排层(LangGraph、状态图、A2A 协议)——它们不直接调用 Mercury 3,但下游 model 快了,整个编排的 throughput 就上去了。

预测接下来 6-12 个月可能发生的事:

  1. Coding agent 厂商会开始测试 Mercury 3——Cursor、Cognition(Devin)这些是第一批潜在客户
  2. vLLM 这类推理框架会开始支持 diffusion LLM——vLLM、TensorRT-LLM 现在都是为 autoregressive 设计的,需要适配
  3. 云厂商会集成——Azure 投了钱,逻辑上会优先集成到自己的 model serving
  4. 开源 diffusion LLM 会出现——Meta、Mistral、Qwen 这些开源玩家会跟进,否则 agent 框架的默认 backend 会被换掉

不确定的地方:自回归的护城河还在——RLHF、inference-time scaling(o1、o3 那套)都是为 autoregressive 优化的,diffusion 这边的 post-training 还没跑通。

编辑思考

为什么这次和之前所有 diffusion 文本模型不同?我的判断:之前所有的失败都没落地,是规模、质量、部署这三件事只能做到两件。要么规模到了但质量比不过自回归,要么质量够了但跑不到 production 流量。Inception 这次三件都做到的可能性很高——但不能只说做到。客户真金白银付费、生产环境跑起来,这是验证。

反共识一点的想法:Mercury 3 真正威胁的不是 GPT-5、Claude 4.5 这些下一代自回归旗舰,而是 autoregressive 这条路本身的边际收益。OpenAI、Anthropic 现在在 inference-time scaling 上越走越深——o1、o3、Claude with thinking——这些本质上是把 autoregressive 的延迟拉得更长来换质量。如果 diffusion 能用 1/10 的延迟达到 90% 的质量,自回归那条"用更多 compute 换更好答案"的路就被绕开了。

不确定的地方必须说:

  • Mercury 3 在 agent 场景外 的能力未知——长上下文、复杂推理、多轮对话这些 benchmark 还没看到
  • autoregressive 的护城河——RLHF、thinking 这些 post-training 技术都深度绑定 autoregressive,diffusion 这边的对齐还没跑通

但有一件事是确定的:范式之争被摆到台面上了。Mercury 3 不是"又一个 LLM",是 autoregressive 之外的第二条路被产品化了。这件事 GPT-、Claude 都没做到。

接下来 12 个月,看 Mercury 3 在生产环境能不能稳定。如果能,自回归的"默认地位"就要重新打一次了。

来源: https://www.inceptionlabs.ai/blog/introducing-mercury-3