实战

Claude 解开两个黑洞开放问题:AI 做科研到哪一步了

Anthropic 称 Claude 给出两个黑洞物理开放问题的解法。本文按来源、复现和同行评审拆解证据等级,并给出国内 AI 科研团队可落地的验证流程。

字号

Anthropic 发文称 Claude 给出两个黑洞物理开放问题的解法,相关 Hacker News 讨论有 177 points、47 条评论。但厂商文章不是同行评审。判断进展,要看验证链走到哪一步。

Anthropic 在官方研究栏目发布文章,标题是 “Claude solves two open problems in the physics of black holes”。

这次不是模型跑分更新,也没有新的 API 参数。文章被归类为一个 AI for Science case-study:Claude 参与基础科学研究,并给出两个开放问题的解法。

相关讨论登上 Hacker News 首页。页面显示 177 points、47 条评论。

热度是真的。证据等级也要单独看。因为发布文章的是 Anthropic 自己,这属于厂商研究材料,不是期刊论文,也不是第三方机构的同行评审结果。

所以问题不是“Claude 到底能不能做科研”。更实际的问题是:它产出的结果,走到了验证链的哪一步?

原始材料:

Anthropic 自己发的,不是第三方评审

先看来源。

文章位于 anthropic.com/research 官方研究栏目,发布方就是模型厂商 Anthropic。Anthropic 同时扮演了三个角色:

  1. 提出 Claude 完成了两个黑洞物理开放问题。
  2. 展示 Claude 的研究过程和产出。
  3. 解释这些结果为什么成立。

这不意味着结果必然有问题。Google DeepMind 的 AlphaFold 论文也由研究团队自己发布,后续再接受外部检验和数据库验证。

但证据声明必须与证据来源分开。

“厂商发布的研究文章”能够说明 Anthropic 做了什么,以及它愿意公开多少细节。它不能自动等价于“这个问题已经被学界确认解决”。

同行评审通常还会检查:

  • 推导中是否遗漏假设;
  • 数值结果是否经过独立代码复现;
  • 新结论与既有文献是否冲突;
  • 作者是否使用更有利的基线或提示条件;
  • 评价标准是否在实验前确定。

官方文章可以包含其中一部分,但阅读时要找明确证据。Anthropic 写了完整推导,不代表推导已经经过第三方复核。给出了 benchmark,也不代表 benchmark 能代表真实科研流程。

HN 上的数据也值得拆开看。

177 points、47 条评论。评论数明显低于 points。这通常说明不少读者认可它值得点开,却没有在讨论区深究。有人把它当成技术里程碑,也有人关心作者是谁、用了哪些工具、结论能否复现。

所以,这组数字能证明事件受到关注,不能证明结论得到认可。

“解决开放问题”有几种含义

“解决开放问题”不是一个二元状态。

我会把证据分成四档。

第一档:给出候选解法

模型找到一条看起来合理的新路线。

例如,选定新的坐标变换,推出一组方程,给出可能的解析表达式。这一步有价值,但“开放问题”通常意味着已有方法在某些条件下失效,或问题需要跨多个学科工具。

候选解法首先是一个研究假设。

第二档:完成自洽检查

候选解法要通过最基本的内部检验:

  • 量纲是否一致;
  • 极限情况下能否回到已知结果;
  • 符号和假设是否前后一致;
  • 推导能否用 SymPy、Mathematica 或 CAS 重新计算;
  • 数值结果是否符合误差范围。

这一步比“答案看起来对”强,但检查仍可能来自同一条思路。模型自己证明自己,不算真正独立。

第三档:独立复现

第三方拿到论文、提示配置和中间产物后,在不看原作者结论的情况下重跑。

可复现不只是得到相同小数。更严格的做法是使用不同软件、随机种子和数值方法。如果结果只在一个特定工具链里成立,问题仍然存在。

第四档:进入领域验证

研究者确认问题定义无误,解法解决了原来的开放点,并判断它是否带来新的理论结果。

到了这一档,才比较接近“解决开放问题”的学界含义。

读完 Anthropic 的文章后,不能只看结论摘要。要逐项确认:

  1. 两个问题分别是什么,原先卡在哪里?
  2. Claude 替代了哪一步,又保留了哪一步?
  3. 推导和数值计算由什么工具完成?
  4. 是否给出完整提示词、轨迹和代码?
  5. 有没有和既有解析结果做交叉验证?
  6. 独立团队能否从原始问题重新得到同一结果?

如果这些信息不足,讨论很容易退化成“相信厂商”或“否定厂商”的表态。

AI for Science 的真正瓶颈不是算力

基础模型擅长处理文本形式化的知识。

给它论文,它能总结。给它公式,它能改写。给它报错,它能定位可疑代码。黑洞物理正好能展示这种能力边界。

但科研不只是从问题推到答案。还有几个更难的环节。

提对问题

Claude 可以列出研究缺口,却未必知道哪个缺口值得做。

一个开放问题可能表述得过于宽泛。真正可做的子问题,需要与现有理论、可用数据和验证工具对齐。优秀研究者不是接受模型列出的十个方向,而是判断其中哪一个值得投入三个月。

选对坐标系

同一个物理问题,换一种坐标描述,方程会变得异常复杂,甚至掩盖结构。

研究者常凭长期形成的物理直觉选择变量、边界条件和近似方式。模型可以提出选项,但它是否理解某个坐标系为什么更容易工作?

发现结果不对劲

最危险的不是模型算出一个明显错误的答案,而是给出一个计算过程完整、形式漂亮、实际含义却错的结果。

这要求系统能提出反例:

  • 极限情况与已知理论是否一致?
  • 换一个独立方法会不会得到不同答案?
  • 结论有没有产生可观测或可模拟效应?
  • 参数是不是只在一组特殊值下成立?

这类检查依赖问题结构,不只是语言概率。

因此,AI for Science 的瓶颈不是“再接一个更大的模型”。更现实的问题是:

  • 怎么把模型输出转成可执行证明;
  • 怎么自动选择验证器;
  • 怎么记录假设与中间状态;
  • 怎么让不同路线互相攻击;
  • 怎么把失败样本沉淀成评测集。

Claude 在这个案例里更像研究助理:能提出解法、整理推导,也能辅助发现异常。它是否可以充当研究负责人,现在还不能从一个案例得出答案。

对国内 AI 科研团队的三个可复制动作

这件事最值得复制的,不是两个具体答案,而是模型进入科研流程后的工程方式。

1. 把模型接进符号推导验证闭环

不要停在聊天框。

模型生成的每个关键等式都应进入符号计算环境,再由程序检查可化简性、边界条件和数值一致性。

下面是一个可运行的最小示例,用 SymPy 检查等价变换是否成立:

from sympy import symbols, simplify, tan, sec, sin, cos

x = symbols("x", real=True)

left = tan(x) * cos(x)
right = sin(x)

difference = simplify(left - right)
assert difference == 0

print("identity_check:", difference)

这只能验证一个恒等式,不能证明黑洞理论。但它展示了闭环的基本结构:模型提议,程序验证,失败就返回给模型修正。

生产环境还要增加三件事:

  • 固定随机种子和软件版本;
  • 缓存每一步输入、输出与耗时;
  • 将验证失败归因到具体步骤,而不是让模型重写全文。

2. 记录中间推理轨迹做审计

“最终答案”不够。科研需要知道答案从哪里来。

建议至少保存:

  • 原始问题与约束;
  • 使用过的论文和引用;
  • 模型候选路径;
  • 被放弃的方案及原因;
  • 符号推导和数值输出;
  • 人工修改;
  • 每个结论对应的证据。

轨迹不是为了鼓励模型输出私有思维过程,而是为了审计可核验的中间产物:公式、代码、测试、假设和来源。

对高风险研究,还应把轨迹转成状态机。

Problem -> Candidate -> Formalize -> Verify
                      |          |
                      |          +-> Failed -> Revise
                      +-> Literature Check -> Independent Test -> Human Review

这样才能知道失败发生在哪一层。

3. 让模型只当“第二作者”,并保留反例清单

现阶段,把模型直接放在“第一作者”位置风险过高。

更稳妥的做法是让它承担候选生成、文献交叉检查和复现实验。人类作者保留问题定义、关键假设和最终判断权。

每次产出都附一张反例清单:

- 已验证:量纲一致
- 已验证:极限情况下退化到已知结果
- 待验证:独立数值方法
- 待验证:跨坐标系一致性
- 已知反例:参数边界附近连续性异常
- 人工决策:暂不扩大结论范围

反例不应该只藏在附录。团队要用它决定下一步实验。

编辑思考

这件事重要,不只是因为 Claude 给出了两个黑洞物理开放问题的候选解法,而是因为基础模型开始进入需要符号推导、工具调用和长期验证的基础研究流程。它影响的不是某一个题目,而是研究分工:模型可以扩大候选解法与搜索空间,人类仍要定义问题、选择验证器并承担结论责任。

我的判断偏保守。Claude 更适合做“可审查的研究助理”,暂时不适合独立充当研究负责人。第三方若能用不同代码和数值方法复现,再由领域专家检查前提与边界,AI for Science 才算跨过“能给出漂亮答案”到“能承担科研结论”之间的门槛。

这次与 2023 年 AlphaFold 刷屏不同。AlphaFold 后续有结构预测数据库、PDB 条目和实际实验等外部证据链。这次主要依赖 Anthropic 的研究文章,外部检查更少。177 points 对 47 条评论,也说明传播热度跑在了技术审查前面。

不确定的是,仅凭官方文章,我无法判断两个结果是否已达到学界认可的“解决”标准。下一步应盯住第三方复现、专家逐行审稿,以及相关结果进入黑洞物理论文后的引用与争论。

来源

https://www.anthropic.com/research/claude-black-hole-physics

Hacker News 讨论:https://news.ycombinator.com/item?id=50563148

来源: https://www.anthropic.com/research/claude-black-hole-physics