观点

GPT-6 开真车?DrivingBench 这个基准有点蹊跷

HN 首页 187 分的 DrivingBench,号称首个评估 LLM 驾驶能力的基准。但 GPT-6 Astra 这个名字,OpenAI 自己都没承认过。

字号

HN 首页昨天挂了一条 187 分、161 条评论的链接——DrivingBench,号称"首个评估 LLM 驾驶能力的基准"。项目方还放出一个重磅结论:他们的 GPT-6 Astra 模型已经具备驾驶汽车的能力。

等等。

OpenAI 的产品线里现在叫 GPT-5,"GPT-6" 这个名字官方从未公开过,更别说 "Astra" 这个代号。我把这件事拆开看了一下,里面有几个挺值得聊的点。

DrivingBench 是什么?

drivingbench.com 给出的定位是:把 LLM 放进端到端驾驶场景里跑测试。

这跟 Waymo 的 Disengagement Report 那种传统评估不是一回事。Waymo 测的是自家系统的接管次数、里程数、仿真跑分;Tesla FSD 的安全报告统计的是碰撞间隔(crashes per mile)。这些数据都是从真实车队 / 仿真器里来。

DrivingBench 的切入口不同:直接拿 LLM 当司机,看它在驾驶场景里表现怎么样。测试对象是模型本身,不是自动驾驶系统。

这个角度其实不新——学术界早就有 Bench2Drive、nuScenes、CARLA 这些端到端 AD 基准了。但 DrivingBench 的包装很巧:它瞄准的不是 AD 厂商,而是 LLM 圈——让搞语言模型的人也能参与到驾驶评估里来。

从项目描述看,DrivingBench 主要聚焦多模态 / 具身智能交叉领域,本质上是想回答一个问题:大模型能不能"具身"地理解驾驶任务?

GPT-6 Astra 是个什么东西

这是我最想吐槽的部分。

"GPT-6"——OpenAI 公开命名是 GPT-4 → GPT-4o → GPT-5,中间还有 o1 / o3 系列。"GPT-6" 这个词 OpenAI 从未在任何官方渠道用过。

"Astra"——Google 有 Astra(Project Astra),那是 Gemini 多模态助手的代号。OpenAI 的代号是 GPT 系列 + o 系列 + 内部代号(如 Strawberry)。"Astra" 在 OpenAI 公开信息里查不到出处。

所以 "GPT-6 Astra" 大概率是项目方自己编的化名,可能是为了避开真实模型的 NDA(这在第三方 benchmark 圈很常见,比如 Vellum 的 leaderboard 也用化名),也可能是博眼球的 hook。

无论哪种,用未发布的下一代模型名 + 一个无法核实的代号做 benchmark 营销,本身就是红旗。读者第一眼看到的不是 DrivingBench 的方法论,而是"GPT-6 居然能开车了"。

真实驾驶和"玩 GTA"不一样

这是 DrivingBench 最需要回答、但目前资料里看不到的问题:这个 LLM 到底是怎么"开车"的?

目前 AI 圈用 LLM 跟驾驶挂钩,主要有几种玩法:

  1. 仿真器里跑——CARLA、nuScenes 这类环境,把视觉流 / CAN 信号丢给模型,让它输出方向盘转角、油门、刹车。这种是"真端到端",但和真实世界的物理规则、传感器噪声还有很大 gap。
  2. 看视频做规划——给模型一段前视摄像头视频,让它输出自然语言描述 / 高层规划("前面有车,变道")。这是 VQA(视觉问答)模式的延伸,本质不是开车,是"评论开车"。
  3. 接真实 CAN 总线——直接控制车辆的转向、油门、刹车。这要求延迟和可靠性远超 LLM 推理速度,目前没有量产系统敢这么做。

DrivingBench 没在首页说明他们用的是哪种。如果走路线 2,那"驾驶能力"这个标题就有水分——和"GPT-5 能看图识别红绿灯"不是一个量级。

更关键的区分是:具身智能 vs 视觉问答。 真正的具身意味着模型对动作后果负责,错了会撞车;VQA 模式下模型说错了最多输出错的文字,没有成本。如果 DrivingBench 的评分是后者,那名字再唬人也是换个皮的 VLM benchmark。

HN 评论区在吵什么

HN 那条 161 条评论里,争论集中在三个点:

1. 端到端到底有多端?
有人说 LLM 开车本来就是"AI cosplay"——你给它视觉输入,它输出文字描述,根本没有形成控制回路。除非能证明输出直接对接了车辆执行器,否则不算端到端。

2. 测试场景够不够 adversarial?
传统 AD benchmark 会刻意设计 corner case(鬼探头、施工绕行、传感器失效),DrivingBench 公开的样本里看不到类似覆盖。如果只是"晴天高速直行",跑分再高也不能说明问题。

3. 跑分能不能代表真实能力?
有个评论说得挺直接:"benchmark 圈现在最大的问题,是用 leaderboard 上的数字假装能力。没人在真实场景里复现过 DrivingBench 的结论——包括那个 GPT-6 Astra。" 项目的透明性问题被反复提及。

另外有人注意到,DrivingBench 的网站域名是新注册的,团队背景也查不到。这和 lm-evaluation-harness(EleutherAI 维护,业界标准)这种有组织支撑的项目不是一个级别。

编辑思考

这件事值得写但又不能全信——这两个判断同时成立。

值得写,是因为它代表了 AI 圈一个越来越普遍的现象:用未发布的下一代模型做 benchmark 营销。从去年的 "GPT-5 提前泄露" 到现在的 "GPT-6 Astra",命名上的虚张声势已经是注意力经济的一部分。读者看到的是 "GPT-6" 这个 IP 价值,不是 DrivingBench 的方法论价值。

不能全信,是因为 DrivingBench 的方法论透明度不够——"端到端"的定义、测试场景的覆盖、模型输出的具体形式,官网都没说清。在这些硬问题回答之前,"GPT-6 Astra 具备驾驶能力" 这个结论和 Snapchat/Clay 滤镜上的"AI 开车" demo 没有本质区别。

我的预测:接下来 6 个月,这种"未发布模型 + 热门任务"的组合会越来越多。原因很简单——OpenAI / Anthropic / Google 内部测的下一代模型需要 PR,但官方不发声;第三方团队就抓住这个窗口期,用化名抢首发。等真正发布的时候,benchmark 已经成了既得事实,"我们早就测过"变成一种信用资本。

这次具体和过去不同的地方在于:它是 HN 首页级别的事件(187 分不是小数字),而且触碰了"具身智能"这个 2025-2026 年的热门叙事。Waymo 的接管数据、Figure 的家务视频、FSD 的 v13 推送——整个具身赛道都在出 PR,DrivingBench 只不过是用了一个更可疑的方式加入了这场游戏。

不确定的地方:我没有 DrivingBench 的完整论文 / 评分表 / 数据集。如果他们后续放出细节,证明确实是路线 1(仿真器里真闭环),那我可能要收回一部分怀疑。 但在没有这些之前,我会把它当成一个营销事件,而不是一个科学事件。


引用:
- DrivingBench 官网
- HN 讨论

来源: https://drivingbench.com/