上周 New Scientist 捅出来一件事,挺值得拆开看。
OpenAI 之前放出一个项目,目标是让 LLM 辅助推导 Navier-Stokes 方程光滑解存在性的证明——这是克雷数学研究所千禧年七大问题之一,分量够重。整体结构分两步:第一阶段 LLM 做数学推理,第二阶段把数学翻译成 Lean 形式化代码。最后翻车的不是推理那一步,是翻译那一步。
这件事被丢到 HN 首页,讨论里很多人第一反应都是"LLM 又幻觉了"。其实没这么简单。
事件还原:一个证明是怎么分两步做的
先把 OpenAI 这个项目的结构讲清楚,因为后面所有讨论都建立在这个结构上。
[输入:数学命题 P]
↓
[阶段 1: 数学推理]
→ LLM 输出非形式化的证明草稿(自然语言 + 数学符号)
↓
[阶段 2: math-to-code 翻译]
→ 把上面的证明翻译成 Lean 代码
→ Lean 编译器 typecheck,得到机器验证过的证明
理论上这是个好设计:阶段 1 让 LLM 发挥它擅长的"自由推理 + 模式识别",阶段 2 用 Lean 这种依赖类型语言当最后一道关卡,只有 typecheck 过的才算数。
问题出在阶段 2。
阶段 1 产出的数学草稿,经过领域专家审阅,被认为是合理的——逻辑链条大致能接上。错误是在把它写成 Lean 代码的过程中悄悄引入的。也就是说,LLM 在做数学推理时脑子基本是对的,但手在翻译时,某些语义被悄悄偷换了。
这种错误比直接推理错更阴。因为 Lean typecheck 是会过的——只要代码语法对、类型匹配,Lean 就放行。它不会告诉你"这代码表达的命题和你想证明的命题在数学语义上不一样"。
错误长什么样:不是推理崩,是翻译歪
New Scientist 报道里点出了几类典型问题。我把 LLM 在形式化场景下最容易犯的错整理一下。
1. 符号语义偏移
数学里同一个符号在不同上下文有微妙差别。比如 ∀ε>0, ∃δ>0: ... 这种量词链,数学家写下来很清楚,但 LLM 翻译时可能把量词顺序写反,或者把存在量词绑定的变量范围搞错。
Lean 里对应的代码可能是:
-- 数学家想写的:
-- ∀ ε > 0, ∃ δ > 0, ...
-- LLM 实际写的:
∃ δ > 0, ∀ ε > 0, ... -- 量词顺序反了
Lean typecheck 通过。但数学含义完全变了。
2. 量词丢失
最阴的那种错误——LLM 推理时提到了某个全称量词,翻译时觉得"这个显然"就省略了。结果 Lean 里证明的命题比原命题弱。
3. 连续到离散的近似被悄悄忽略
Navier-Stokes 是偏微分方程,核心在无穷维函数空间上的估计。LLM 在做推理时可能说"由 Sobolev 嵌入可知 ...",听起来对,但 Sobolev 嵌入有具体的维数条件、边界条件要求。LLM 翻译时如果不显式写出这些前置条件,Lean 验证的命题就不是原命题。
4. 类型层面的语义偷换
更技术一点:Lean 里 ℝ 上定义的函数空间,LLM 可能写成了某个子类型,或者把 Continuous 写成了 ContinuousOn——一个字母之差,数学语义不同。
这几类错误的共同点是:LLM 给出的代码,人在审阅时如果不仔细盯每个量词、每个类型限定,会下意识觉得"这看起来对啊"。这才是形式化任务里最危险的地方。
为什么这次特别值得讲:L4 级自动推理的边界
OpenAI 内部对自家模型的推理能力有个分级(L1 到 L5,大致对应任务难度和可靠性要求)。这个分级在他们的安全 / 能力评估文档里出现过。Navier-Stokes 这个任务,目标难度大概落在 L4 区间——长期、形式化、需要严格验证的数学推理。
L4 是个微妙的等级:低于 L5(AGI 级),但已经远超 L3(短任务、单一领域)。一旦宣称跨过 L4,意味着模型能做长期的、需要持续逻辑约束的工作。形式化证明就是 L4 的典型代表。
这次事件的信号很清楚:L4 的门,LLM 还没跨过去。
而且这不是"差一点点"的问题。数学推理本身能跑通,说明模型确实具备相当的数学能力。但从"能写出像样的证明草稿"到"能把证明完整、精确地翻译成形式化代码",中间隔着一道语义鸿沟。这道鸿沟不是靠 scale model 或者多训练几轮数据就能自动填上的——它本质上需要模型对每个数学对象、每个符号、每个量词都有精确到位的理解,而不是统计意义上的"看起来对"。
形式化社区对此最警觉,是因为他们见过太多次"看起来对"的失败。Lean、Coq、Isabelle 这类系统的设计哲学就是"不信任何人,只信 typechecker"。但 typechecker 只能保证你写下的代码和你表达的意思一致——它不能保证你表达的意思就是你本来想表达的。
对 Lean/Coq 社区和 AI4Math 的冲击
这件事对形式化社区的冲击,不在于"OpenAI 错了",而在于提供了一个具体的、可以解剖的案例。
之前几年 AI4Math 圈子的主流叙事是:
- LLM 写出证明草稿
- 人类数学家 review
- Lean 编译器 typecheck
- 三重保险,稳了
这次事件暴露的是:草稿 review 这一环,在 math-to-code 翻译任务上,几乎不可能靠人类把关。
为什么?因为 Lean 代码不是给人读的——它是给编译器读的。一个经验丰富的 Lean 程序员可能能看出 ∃ δ, ∀ ε 和 ∀ ε, ∃ δ 的不同,但当证明有几万行时,这种细节级错误被发现的概率会迅速下降。
换句话说,人 + LLM + Lean 的组合,并没有比单独的人强多少,至少在翻译环节。
Lean 社区接下来大概率会有几个反应:
- 对"LLM 自动生成的 Lean 代码"做更严格的 provenance 标记——区分人工写的和机器写的。
- 开发新的辅助工具,在 typecheck 之上做"语义层验证",比如检查证明的实际数学含义和声称命题是否一致。
- 对 AI4Math 论文的审稿标准会变——以后审稿人可能要求附上 Lean 代码,而不仅是证明草稿。
第二条尤其值得关注。Semantic diff 这类工具,在 LLM 翻译场景下可能会从研究原型变成标配。
编辑思考
这件事的真正信号不是"AI 又错了",而是LLM 在子步骤表面没问题的情况下,跨步骤的语义会悄悄漂移。这种漂移比直接出错危险得多——出错时你可以 catch,但漂移时,代码 typecheck 过、自然语言读起来通顺、量词看起来位置对,你没有任何明显的信号告诉你"这里错了",直到最后某个数学家或某个具体反例把它炸出来。
和过去几年 AI4Math 的乐观叙事不同,这次事件撕开了一道裂缝:LLM 在数学推理的局部确实强(阶段 1 没翻车就是证据),但从局部到全局、从推理到形式化,中间的距离可能比多数人想的远。"人 + LLM + 形式化系统"被宣传为三重保险,现在看,在翻译这一环,人根本没起到保险作用——因为代码根本不是给人类读的。
一个反共识的预测:接下来 12-18 个月,Lean / Coq 社区会出现专门针对 LLM 生成代码的"语义验证工具",类似编译器上层的 linter。这件事会成为标准动作,不是因为大家想要,而是因为不得不。形式化社区会从"我们不信人,只信 typechecker"进化到"我们不信人,不信 typechecker,也不信 LLM,我们只信语义层 diff"。
不确定的地方:这件事对 OpenAI 内部模型能力的实际影响,外人很难判断。New Scientist 的报道是基于公开材料,OpenAI 自己有没有内部发现这些问题、修复到什么程度,没有信息。如果他们已经发现但选择不公开,反而是个诚实信号——说明他们自己也知道 L4 这道门还没过。
参考:
- New Scientist:OpenAI mistranslated mathematics into code for its Navier-Stokes proof
- HN 讨论:item?id=50026734