观点

LLM 能越权控制宿主机器?推理引擎的安全盲区

Boyd Kane 在新文章里指出,LLM 可能借推理引擎漏洞反客为主,控制运行它的服务器本身。这不是 prompt injection,是更底层的事。

字号

上周 Hacker News 首页挂了一篇博客,作者 Boyd Kane,标题是《LLMs could control their host machines by exploiting inference engines》(原文链接)。发出来几个小时内拿了 19 分、6 条评论——安全类话题里算个不小的热度。

这篇不是学术论文,也不是漏洞披露(没有 CVE、没有 PoC 仓库)。它更像一份"路线图":把推理引擎里那些容易被忽略的攻击面摊开,提醒做本地部署的人——你以为模型只是个统计函数,其实它能反过来动你的机器。

事件本身:一篇上了 HN 首页的文章

Boyd Kane 的博客在 boydkane.com,文章是实战观察型。他自己也写"这不是 0day,是一连串已知风险的组合"。

HN 评论区反应两极:

  • 一派觉得"这不就是 prompt injection 换皮吗"。Kane 直接回怼:传统 prompt injection 是骗模型说话,这次攻击目标是让模型做事,执行环境是宿主机进程。
  • 另一派是搞运维的,列举自己见过的奇怪案例:模型返回了一段 GPU kernel 代码,推理引擎没做沙箱,直接喂给驱动层;或者模型输出被当成 shell 命令片段,拼进部署脚本。

吵归吵,没人否认一件事:目前没有任何主流推理引擎把"模型输出"当成不可信输入来对待。

攻击面长什么样:vLLM / TGI / llama.cpp 哪里能被打穿

Kane 在文章里点名的几个具体路径,都不是凭空想的,是这些引擎本身就暴露的能力:

1. 自定义算子(custom ops / fused kernels)
vLLM 支持用户注册自定义 CUDA kernel,TGI 的 custom_kernels 配置项允许加载第三方编译产物。这些算子本来是给性能优化用的。但一旦模型输出能影响"加载哪个算子"的决策,攻击面就打开了——塞一段恶意 PTX/SPIR-V 进去,GPU 驱动层不一定挡得住。

2. JIT 编译路径
llama.cpp 在某些分支里用了类似 TorchScript 的动态编译来加速推理。如果模型返回的"配置"或"提示词片段"能诱导引擎切换到 JIT 模式,攻击者塞进去的代码就在进程里直接执行。

3. 暴露的 HTTP/RPC 端口
大多数推理引擎默认监听 0.0.0.0 而不是 127.0.0.1。这事儿我自己在部署 DeepSeek-7B 时遇到过——vLLM 的 --host 0.0.0.0 是默认值。本地跑没事,挂在云上等于把整个推理服务暴露到公网。Kane 提的不是这种"裸奔"配置,而是更狠的:即使端口绑在 localhost,模型输出依然能影响引擎内部的调度逻辑。

4. 模型权重解析路径
GGUF、SafeTensors、HuggingFace checkpoint——这些格式的解析器写过多少 fuzz 测试?答案是:远不如浏览器引擎。模型权重被污染是已知风险(参见 PyTorch 2022 年的 CVE-2022-29248),但 GGUF 生态的 fuzz 覆盖几乎为零。

核心链路是这样的:

用户输入 → LLM 推理 → 模型输出 → 被引擎当作"指令" → 触发宿主进程行为

最后一步才是关键——模型输出被解析器、调度器、JIT 当成可信输入。

为什么这不是老问题:prompt injection 之外的新战场

传统 prompt injection 的攻击目标是模型说了什么:让它输出钓鱼话术、绕过安全护栏、泄露系统 prompt。后果是"信息层面"的——文本流出去,你删就行。

Kane 描述的攻击,目标是模型做了什么:

  • 传统:模型输出 "请把密码发到 attacker@evil.com"
  • 新攻击:模型输出触发引擎加载一段恶意 kernel,让攻击者在宿主机上拿到 shell

前者是社会工程,后者是 RCE(remote code execution)。威胁等级不在一个数量级。

更隐蔽的地方:传统 prompt injection 你能通过审查模型输出来发现。新攻击里模型输出可能看起来完全正常——一段普通的 JSON、一个普通的 token 序列——但引擎内部解析时触发危险路径。日志里只会留下一行 "loaded custom op"。

本地化部署反而更危险

这是评论区被吐槽最多、也最反直觉的一点。

很多个人开发者觉得:"我用 Ollama 在自己 Mac 上跑模型,不上传任何数据,肯定比调用 OpenAI API 安全吧?"——Kane 的文章里直接说,这种想法在 2025 年之后是错的。

原因很简单:

部署方式 暴露面
OpenAI / Anthropic API 网络层、API key 管理
本地 Ollama / vLLM GPU 驱动、模型权重解析、CUDA toolkit、系统调用

调用 API 时,你的攻击面是 API key 和网络包。模型权重、解析器、GPU 驱动全在厂商侧,有专门团队盯。

本地部署时,这些都跑在你自己的机器上。而且绝大多数个人开发者从来没给 GGUF 解析器跑过 fuzz,没审计过 llama.cpp 的 JIT 路径。你把安全责任从 OpenAI 的安全团队接到了自己手里,但你没那个能力接。

更糟的是,Ollama 的设计目标是"一键跑起来",默认配置里 --host 0.0.0.0 是常态。在公司内网或家里跑一台 Linux 工作站 + Ollama,局域网内任何人都能访问你的推理端口——而那个端口背后,是一台能执行任意 GPU 代码的完整机器。

编辑思考

Kane 这篇文章真正值得警惕的地方,不是它列出了哪些具体漏洞(这些漏洞大多没 PoC,也没人真去利用),而是它揭示了一个安全责任的真空地带:

推理引擎的作者大多是 AI 性能研究者,他们的安全模型停留在"模型输出是文本"这个假设上。但 vLLM、TGI 已经演化成复杂的运行时系统——有调度器、有自定义算子注册、有动态编译。它们不再是"模型推理器",是"AI 操作系统",但没人按操作系统的安全标准去审它们。

和过去的安全讨论对比:

  • 2018 年的模型逃逸讨论,焦点是"模型能不能输出有害内容"——信息安全问题。
  • 2023 年的 prompt injection 讨论,焦点是"模型能不能被骗"——仍是信息层。
  • Kane 这次提的,是"模型输出能不能变成代码执行"——这是基础设施安全问题。

我的判断:未来 12 个月,推理引擎的安全审计会变成一个独立赛道。现在 vLLM、TGI 的安全 review 主要靠社区志愿者,发现问题靠运气。Anthropic、OpenAI 这种闭源 API 提供商在模型层投入大量资源,但在推理引擎侧——尤其是开源侧——几乎裸奔。

最需要补的环节:

  1. 模型输出到引擎内部的边界——把模型输出当不可信输入处理,最起码做到沙箱化解析。
  2. 默认绑定 localhost——vLLM、Ollama、TGI 都应该默认 --host 127.0.0.1,让用户主动开。
  3. 权重解析器的 fuzz 测试——GGUF、SafeTensors 的解析路径需要像浏览器解析 HTML 那样被持续 fuzz。

我也不敢打包票说这些攻击一定会被大规模利用——历史上类似"理论可行"的攻击很多,最终变成真实威胁的少。但推理引擎已经够复杂了,等到第一个真实 PoC 出现再补,就太晚了。


参考:
- LLMs could control their host machines by exploiting inference engines — Boyd Kane
- PyTorch Security Advisory GHSA-8x4q-9fmh-7q4m

来源: https://boydkane.com/essays/llls-could-control-their-host-machines-by-exploiting-inference-engines