观点

1.5 小时训练的小模型,击败了多数 LLM

有人用 1.5 小时训了个小型 transformer,在 ARC-AGI 1 上跑赢了一堆大模型。垂直推理 vs 规模路线,这场实验值得拆开看看。

字号

HN 上一条《I trained a small transformer in 1.5hrs and it beats many LLMs》挂了 333 分、89 条评论。作者 mvakde 没动 GPU 集群,也没用几个月烧钱,只是写了个针对 ARC-AGI 1 的小型 transformer,1.5 小时训完,分数压过市面上大部分 LLM。

这个事值得拆开看。

发生了什么

mvakde 的实验对象是 ARC-AGI 1——一个抽象推理 benchmark。他的做法:

  • 自己实现一个小型 transformer(参数量没公开到特别夸张的级别)
  • 训练数据是 ARC-AGI 1 自带的训练集 + 自生成增强
  • 训练时间 1.5 小时(消费级 GPU 即可)
  • 评估跑 ARC-AGI 1 的私有测试集

结果:在 ARC-AGI 1 上击败了多数主流 LLM。注意是"击败多数",不是全部——GPT-4 / Claude 这类顶级闭源模型在某些子任务上还是占优。

来源:mvakde 博客原文。

ARC-AGI 1 是什么

ARC 全称 Abstraction and Reasoning Corpus,由 François Chollet 在 2019 年提出。Chollet 是 Keras 的作者,也是"智能 = 程序效率"这个假说的主要倡导者。

任务长这样:给你 3-5 个输入输出网格对,让你推断出变换规则,再应用到测试网格上。例:

  • 输入是一个 3x3 网格,中间一个红点
  • 输出是 5x5,红点周围扩出一圈对称图案
  • 测试网格也是 3x3 红点,你要输出 5x5 的扩展

人类看一眼就懂,但 LLM 长期在这上面挣扎。原因是:

  • 需要的不是语言先验,而是组合泛化(compositional generalization)
  • 解题靠的是短小、可枚举的程序,不是统计模式匹配
  • 测试时遇到的 pattern 几乎一定是训练时没见过的

Chollet 一度押 100 万美元赌没人能用纯 scaling 拿下 ARC-AGI。2024 年底,o3 系列模型勉强逼近,但代价是海量的合成数据 + 推理算力。

1.5 小时是什么概念

把这数字放到尺度上:

模型 训练成本(估算) 训练时长
GPT-4 级别 数千万到数亿美元 数月
Llama 3 405B 约 3 千万美元 + 万卡集群 数周
DeepSeek V3 约 500-600 万美元 数周
mvakde 的小 transformer 几美元电费 1.5 小时

单位差着 6-7 个数量级。

这件事最容易被人误读成"小模型干翻大模型",其实不对。更准确的描述是:在高度结构化的窄任务上,专门设计的模型 + 好数据 + 合适的归纳偏置,比通用大模型划算得多。

为什么小模型能赢

关键在三个设计选择:

1. 程序合成式的归纳偏置

ARC 的解可以表示成短小的符号程序(DSL)。mvakde 的模型不直接输出网格,而是输出"先取中心点 → 镜像 → 染色"这种步骤化操作。这相当于在网络结构里硬塞进了一层"我知道这是程序"的假设。

LLM 没有这个偏置。它要做的是把任务翻译成 token 序列再猜下一格,难度完全不一样。

2. 数据增强的关键 trick

ARC 训练集只有几百道题,不够训任何东西。mvakde 大规模做了几何变换增强(旋转、翻转、颜色映射、形状重组),合成出几十万道题。这里有个细节:增强不是瞎做,而是保留解法结构的增强。你旋转一个图形,解法也得跟着旋转,这等价于数据里的对称性。

3. 训练信号

监督信号是程序级的(步骤对不对),不是像素级的(最终网格对不对)。这种中间监督比端到端监督的样本效率高得多。

类似的思路在 AlphaCode、FunSearch 这些工作里都见过,但 ARC 的任务空间更小、更结构化,所以小模型就能 cover。

这意味着什么

这件事不是孤例。把它和下面这些放一起看:

  • AlphaProof / AlphaGeometry:DeepMind 用神经 + 符号混合系统做数学奥赛题,专用模型 > 通用 LLM
  • FunSearch:DeepMind 在数学发现任务上,让小模型 + 评估器循环比 GPT-4 直接出结果更靠谱
  • Cursor Tab 模型:专门为代码补全训的小模型,比通用模型在该任务上体验更好

趋势是清楚的:"规模万能"在结构化推理任务上一直不成立,只是这件事过去被 scaling law 的成功掩盖了。

更现实的判断:

  • 通用 LLM 仍然是最值钱的"瑞士军刀",能聊天、写文档、做 Agent
  • 但在任何一个垂直、强结构、可枚举的任务上,专门训的小模型 + 少量算力可能就够
  • 企业做 AI 产品时,先想清楚任务是不是窄且结构化——如果是,先试小模型路线

编辑思考

mvakde 的实验为什么值得专门写一篇?因为它把一个被反复讨论但没人给干净 benchmark 的论点给了一个具体数字:1.5 小时、几美元电费、击败多数 LLM。

这件事和过去那些"小模型在某任务上接近 GPT-4"的报道不一样。过去那种多数是 benchmark 选得巧,或者任务本身模糊。这次 ARC-AGI 1 是公认的硬骨头、是 Chollet 亲自设的"通用推理"试金石。mvakde 没绕弯子、直接硬跑,分数说话。

一个反共识的判断:业界对"训练成本"的定义一直被严重低估。媒体爱报"X 团队用 Y 美元训了 Z 模型",但那只是预训练成本。真正决定一个模型能不能用的,是全生命周期成本——数据清洗、迭代实验、评估、对齐、推理。如果把推理成本算上,专门模型的优势会更大:一个小 transformer 跑一次推理的电费,可能是调用 GPT-4 API 价格的 1/1000。

留给读者一个问题:你手上的 AI 任务,到底是"通用 LLM + 强 prompt"更划算,还是"专门训一个小模型"更划算?多数团队根本没认真算过这笔账。

参考:mvakde 博客原文

来源: https://mvakde.github.io/blog/44-on-arc-1/