数字先行:33.78x 怎么来的
先把数字摆桌上 —— Jetson Thor 上跑 LingBot-VA,光靠运行时优化就拿到 1.2x–7.9x 加速。叠加上蒸馏过的 few-step diffusion scheduler 之后,端到端 33.78x。
这个 33x 不是单一优化做出来的,是两层叠加:
- 运行时层:1.2x–7.9x。这部分主要吃 Thor 的 tensor core 带宽、算子融合、内存复用。属于 inference framework 的基本功。但能在边缘 GPU 上跑出这个区间,说明 General Instinct 真的在 Jetson 上 profile 过了,不是只跑了 A100/H100 然后 backport。
- 调度器层:把扩散步数从 25 visual / 50 action steps 砍到 2 / 4 steps。这一步是真正的杠杆 —— 步数砍掉 12.5x,叠加 runtime 的 ~2.7x,正好凑出 33.78x。
HN 原帖里 Guanming 自述的口径是 "from the original 25 visual / 50 action steps to 2 / 4 steps"。所以这个数字不是营销话术,是从原配置出发的实测。
读者第一眼要判断的:这事值不值得继续看?我觉得值得 —— 因为它解决的是端侧机器人最痛的那个 latency budget。
为什么是 Jetson Thor,而不是 4090
选 Thor 而不是消费级 4090,背后是有判断的。
LingBot-VA 是一个 5B 参数级的 world-action 模型(HN 标题与摘要都点明了这个尺寸)。5B 配上 diffusion policy,在 4090 上跑理论可行。但 4090 不是为机器人本体设计的:功耗 450W、要主动散热、体积塞不进大多数人形/移动机器人本体。
Thor 的卖点:
- INT8/FP8 tensor core 带宽,正好对到 5B 量级的 on-device 推理需求
- 与 NVIDIA Isaac 生态绑定(Isaac Lab、Isaac Sim、Isaac ROS),做 sim2real 的工具链是现成的
- 功耗在机器人可接受范围
这意味着 General Instinct 瞄准的不是 "让你在云端跑更快",而是 让模型直接跑在机器人本体上,延迟低于控制回路周期。Diffusion policy 最大的工程门槛就是采样步数 —— 你有 50 步采样,机器人手臂已经甩过头了。砍到 2/4 步之后,实时性才有可能。
所以 "5B + 端侧 + few-step diffusion" 这套组合,服务的是同一个目标:把机器人策略部署的 latency/算力门槛,拉低到本体嵌入式平台能扛得住的水平。
AGPL-3.0 是双刃剑
看一眼仓库,你会发现协议是 AGPL-3.0。这不是随手选的。
AGPL-3.0 的核心约束:如果你改了代码并通过网络提供服务,必须开源你的修改。这直接堵死了云厂商 "套个壳就开卖" 的路径。
对比一下:
- Llama 系列:宽松许可,允许商业衍生,只要月活用户不超过某个阈值
- Mistral 系列:Apache 2.0,几乎不管你怎么用
- AGPL-3.0:管你最狠的那一种
机器人赛道选 AGPL,我觉得背后有两层算盘:
- 防御云厂商白嫖。机器人模型的训练数据、sim2real 流程、硬件调参经验,都是高成本沉淀。云厂商如果直接拿开源权重开 API 收费,前期投入方完全分不到。AGPL 把这条路堵死。
- 逼商业用户选边站 —— 要么买官方服务(General Instinct 自己卖),要么贡献回上游(企业用 AGPL-3.0 的代码改进后必须回流)。
代价也很明显 —— AGPL 在企业里出了名难用,法务会卡你。所以 InstinctFlash 的 adoption 不会像 Llama 那么顺。但作者显然不在乎这个,他在乎的是 不被云厂商把价值榨干。
90.5% 是怎么测出来的,真不真
聊到这个数字,得先看下评测规模。
- 基准:Robotwin2.0
- 任务数:50 个
- 每个配置跑 1153 episodes
这是什么概念?目前主流 VLA(Vision-Language-Action)论文里的评测,大多数是 10–30 个任务、每任务几十条 trajectory。50 个任务 × 1153 episodes,这个评测规模比多数 RL/VLA 论文扎实得多 —— 不是 toy benchmark。
在这个规模下,2/4 步配置达到了 90.5% 任务成功率。
我的解读:
- 90.5% 这个数字说明 few-step 蒸馏不是 "为了快而快" 的妥协。步数砍了 12.5x,成功率还能保持在 9 成以上,说明调度器蒸馏的质量过得去。
- 但要注意 —— "任务成功率" 是 aggregate 指标。具体到长尾动作(比如精细抓取、柔性物体操作),few-step 是不是会掉点,目前 README 里没有 breakdown。
- 蒸馏加速方法的潜在风险:任务泛化、未见过的 object configuration、长尾 skill,这些都可能因为 distillation gap 出现 regression。需要看后续是否有 per-task breakdown 数据。
我个人判断:90.5% 这个数字对学术 demo 足够,对工业部署还不够。工业场景里 9 成成功率往往意味着每 10 次操作就有 1 次需要人工介入。所以 few-step 蒸馏是 "可行",不是 "完工"。
编辑思考
这件事为什么重要:机器人策略部署的 latency/算力门槛,在 2026 年正在被快速拉低。InstinctFlash 把 5B diffusion policy 在 Jetson Thor 上跑到实时,意味着 "端侧机器人本体装一个 5B 世界模型" 不再是 PPT。这是 sim2real 部署走向量产的一个具体信号。
反共识观察:开源推理框架在 12 个月内可能比模型本身更卷。过去两年,机器人/VLA 领域的关注点都在 "谁家出了更大的模型"(Pi0、RT-2、OpenVLA 等)。但模型再大,跑不动就是跑不动。InstinctFlash 这类 serving framework 把部署门槛砍一个数量级,价值可能比下一个 7B 模型更大 —— 因为它直接解锁了 on-device 部署,而不只是又刷了一个 benchmark。
这次和过去 VLA 模型发布有什么不同:从 "模型发布" 到 "服务栈发布" 的转折信号。过去大家发的都是权重 + 论文;InstinctFlash 的发布形态是 framework + 蒸馏 scheduler + 协议策略的整套组合。这说明机器人赛道的关注点正在从 "训出来" 转向 "跑起来"。
我还看不清的点:端侧 5B 在复杂多任务下的稳定性。单任务 90.5% 我信,但少样本切换、多任务并发、长时序任务的累积误差,这些 few-step diffusion 在端侧能不能扛住,目前没有数据。这也是为什么我会盯着后续的 per-task breakdown 和 generalization test 看。