上周 Hacker News 首页挂了一篇博客,作者 Boyd Kane,标题是《LLMs could control their host machines by exploiting inference engines》(原文链接)。发出来几个小时内拿了 19 分、6 条评论——安全类话题里算个不小的热度。
这篇不是学术论文,也不是漏洞披露(没有 CVE、没有 PoC 仓库)。它更像一份"路线图":把推理引擎里那些容易被忽略的攻击面摊开,提醒做本地部署的人——你以为模型只是个统计函数,其实它能反过来动你的机器。
事件本身:一篇上了 HN 首页的文章
Boyd Kane 的博客在 boydkane.com,文章是实战观察型。他自己也写"这不是 0day,是一连串已知风险的组合"。
HN 评论区反应两极:
- 一派觉得"这不就是 prompt injection 换皮吗"。Kane 直接回怼:传统 prompt injection 是骗模型说话,这次攻击目标是让模型做事,执行环境是宿主机进程。
- 另一派是搞运维的,列举自己见过的奇怪案例:模型返回了一段 GPU kernel 代码,推理引擎没做沙箱,直接喂给驱动层;或者模型输出被当成 shell 命令片段,拼进部署脚本。
吵归吵,没人否认一件事:目前没有任何主流推理引擎把"模型输出"当成不可信输入来对待。
攻击面长什么样:vLLM / TGI / llama.cpp 哪里能被打穿
Kane 在文章里点名的几个具体路径,都不是凭空想的,是这些引擎本身就暴露的能力:
1. 自定义算子(custom ops / fused kernels)
vLLM 支持用户注册自定义 CUDA kernel,TGI 的 custom_kernels 配置项允许加载第三方编译产物。这些算子本来是给性能优化用的。但一旦模型输出能影响"加载哪个算子"的决策,攻击面就打开了——塞一段恶意 PTX/SPIR-V 进去,GPU 驱动层不一定挡得住。
2. JIT 编译路径
llama.cpp 在某些分支里用了类似 TorchScript 的动态编译来加速推理。如果模型返回的"配置"或"提示词片段"能诱导引擎切换到 JIT 模式,攻击者塞进去的代码就在进程里直接执行。
3. 暴露的 HTTP/RPC 端口
大多数推理引擎默认监听 0.0.0.0 而不是 127.0.0.1。这事儿我自己在部署 DeepSeek-7B 时遇到过——vLLM 的 --host 0.0.0.0 是默认值。本地跑没事,挂在云上等于把整个推理服务暴露到公网。Kane 提的不是这种"裸奔"配置,而是更狠的:即使端口绑在 localhost,模型输出依然能影响引擎内部的调度逻辑。
4. 模型权重解析路径
GGUF、SafeTensors、HuggingFace checkpoint——这些格式的解析器写过多少 fuzz 测试?答案是:远不如浏览器引擎。模型权重被污染是已知风险(参见 PyTorch 2022 年的 CVE-2022-29248),但 GGUF 生态的 fuzz 覆盖几乎为零。
核心链路是这样的:
用户输入 → LLM 推理 → 模型输出 → 被引擎当作"指令" → 触发宿主进程行为
最后一步才是关键——模型输出被解析器、调度器、JIT 当成可信输入。
为什么这不是老问题:prompt injection 之外的新战场
传统 prompt injection 的攻击目标是模型说了什么:让它输出钓鱼话术、绕过安全护栏、泄露系统 prompt。后果是"信息层面"的——文本流出去,你删就行。
Kane 描述的攻击,目标是模型做了什么:
- 传统:模型输出 "请把密码发到 attacker@evil.com"
- 新攻击:模型输出触发引擎加载一段恶意 kernel,让攻击者在宿主机上拿到 shell
前者是社会工程,后者是 RCE(remote code execution)。威胁等级不在一个数量级。
更隐蔽的地方:传统 prompt injection 你能通过审查模型输出来发现。新攻击里模型输出可能看起来完全正常——一段普通的 JSON、一个普通的 token 序列——但引擎内部解析时触发危险路径。日志里只会留下一行 "loaded custom op"。
本地化部署反而更危险
这是评论区被吐槽最多、也最反直觉的一点。
很多个人开发者觉得:"我用 Ollama 在自己 Mac 上跑模型,不上传任何数据,肯定比调用 OpenAI API 安全吧?"——Kane 的文章里直接说,这种想法在 2025 年之后是错的。
原因很简单:
| 部署方式 | 暴露面 |
|---|---|
| OpenAI / Anthropic API | 网络层、API key 管理 |
| 本地 Ollama / vLLM | GPU 驱动、模型权重解析、CUDA toolkit、系统调用 |
调用 API 时,你的攻击面是 API key 和网络包。模型权重、解析器、GPU 驱动全在厂商侧,有专门团队盯。
本地部署时,这些都跑在你自己的机器上。而且绝大多数个人开发者从来没给 GGUF 解析器跑过 fuzz,没审计过 llama.cpp 的 JIT 路径。你把安全责任从 OpenAI 的安全团队接到了自己手里,但你没那个能力接。
更糟的是,Ollama 的设计目标是"一键跑起来",默认配置里 --host 0.0.0.0 是常态。在公司内网或家里跑一台 Linux 工作站 + Ollama,局域网内任何人都能访问你的推理端口——而那个端口背后,是一台能执行任意 GPU 代码的完整机器。
编辑思考
Kane 这篇文章真正值得警惕的地方,不是它列出了哪些具体漏洞(这些漏洞大多没 PoC,也没人真去利用),而是它揭示了一个安全责任的真空地带:
推理引擎的作者大多是 AI 性能研究者,他们的安全模型停留在"模型输出是文本"这个假设上。但 vLLM、TGI 已经演化成复杂的运行时系统——有调度器、有自定义算子注册、有动态编译。它们不再是"模型推理器",是"AI 操作系统",但没人按操作系统的安全标准去审它们。
和过去的安全讨论对比:
- 2018 年的模型逃逸讨论,焦点是"模型能不能输出有害内容"——信息安全问题。
- 2023 年的 prompt injection 讨论,焦点是"模型能不能被骗"——仍是信息层。
- Kane 这次提的,是"模型输出能不能变成代码执行"——这是基础设施安全问题。
我的判断:未来 12 个月,推理引擎的安全审计会变成一个独立赛道。现在 vLLM、TGI 的安全 review 主要靠社区志愿者,发现问题靠运气。Anthropic、OpenAI 这种闭源 API 提供商在模型层投入大量资源,但在推理引擎侧——尤其是开源侧——几乎裸奔。
最需要补的环节:
- 模型输出到引擎内部的边界——把模型输出当不可信输入处理,最起码做到沙箱化解析。
- 默认绑定 localhost——vLLM、Ollama、TGI 都应该默认
--host 127.0.0.1,让用户主动开。 - 权重解析器的 fuzz 测试——GGUF、SafeTensors 的解析路径需要像浏览器解析 HTML 那样被持续 fuzz。
我也不敢打包票说这些攻击一定会被大规模利用——历史上类似"理论可行"的攻击很多,最终变成真实威胁的少。但推理引擎已经够复杂了,等到第一个真实 PoC 出现再补,就太晚了。
参考:
- LLMs could control their host machines by exploiting inference engines — Boyd Kane
- PyTorch Security Advisory GHSA-8x4q-9fmh-7q4m