观点

对抗性蒸馏是什么:OpenAI 模型防盗思路

OpenAI 拆解对抗性蒸馏:攻击者如何用诱导请求提取模型行为,以及识别、干扰、追踪三层防线对开发者的影响。

字号

OpenAI 发布《Combatting Adversarial Distillation》,拆解攻击者如何诱导闭源模型输出目标行为,再把能力转移到其他模型。本文从攻防视角分析这套方案,以及它对 API 用户的实际影响。

原始资料:

对抗性蒸馏不是普通模型复制

普通知识蒸馏的目标,是让小模型模仿大模型在某项任务上的表现。教师模型给出答案,学生模型学习答案或输入输出之间的映射。

对抗性蒸馏多了一层。攻击者会设计请求,让教师模型暴露一种可被迁移的行为。

普通蒸馏:
教师模型 -> 正确答案或任务能力 -> 学生模型

对抗性蒸馏:
恶意请求 -> 带诱饵的模型行为 -> 转移到其他模型

这个诱饵可能是特定的推理习惯、回答结构、风格偏好,或围绕某个目标任务的异常能力。

传统质量评测未必能发现它。单次调用看起来只是正常回答。只有把多次调用放在一起,才可能看出完整链条。

OpenAI 因此把它单独列为安全风险。对抗性蒸馏利用特定请求诱导模型产生目标行为,并可能把相关能力或输出转移到其他模型,不等同于常规知识蒸馏。

简单说,普通蒸馏主要复制“答案”;对抗性蒸馏还想复制“模型被特定问题触发后产生的行为”。

攻击者如何给模型埋下诱饵

公开材料展示的执行链,可以拆成三步:诱导响应、转移能力、规避检测。

第一步是构造请求。攻击者调整提示词、任务格式、上下文内容或调用模式,让教师模型持续输出目标行为。

这里有一个容易忽略的变量:API 调用方通常不只控制一句 prompt。

它还能控制:

  • 请求频率与并发量;
  • 每次输入的结构和长度;
  • 系统消息与开发者消息;
  • tool 或 schema 的定义方式;
  • 不同会话之间的上下文组织;
  • 输出采样参数;
  • 失败、重试和错误响应的处理方式。

如果攻击者把一次能力提取拆成大量正常请求,再统一处理结果,单条内容过滤器很难看到完整链条。

第二步是转移。攻击者收集输出,再用这些数据训练、提示或约束另一个模型,让目标行为在新模型上出现。

难点在于,转移结果不必与教师模型完全一致。攻击者可能只保留关键能力,同时丢掉容易识别的语言风格。这会进一步压缩防守方的特征空间。

第三步是规避检测。攻击者可以改变请求分布,减少重复模式;也可以混入正常业务流量,让批量调用看起来像真实应用。

所以 OpenAI 没有只谈“检测恶意 prompt”。它把问题描述为识别、干扰和追踪的组合路线。攻击者能控制的变量,本来就不止输入文本。

OpenAI 的防线不只靠拦输入

关键词过滤器适合处理公开且重复的攻击模式。例如请求长期围绕同一组敏感能力,或者输出格式明显服务于批量提取。

但它很难处理低频、分散、经过变换的提取过程。

OpenAI 的应对思路可以分成三层。

识别异常使用

第一层不是判断一句话是否恶意,而是观察一组调用是否偏离正常分布。

例如:

  • 输入高度结构化,但业务目标不一致;
  • 请求很多,输出只被用于单一训练流程;
  • 多轮请求反复测试模型的隐藏边界;
  • 某个账号的调用模式很像在搜索可迁移能力;
  • 大量流量被重试、聚合或批量转存。

这类判断需要账号、调用模式、任务分布和行为结果联合分析。只看内容,信号不够。

干扰蒸馏结果

第二层更主动。即使暂时无法证明调用方在盗用模型,也可以让蒸馏结果变得不稳定。

可以改变采样方式、加入针对性扰动,或调整部分输出,使批量提取者拿到的数据无法直接复现目标能力。这样做会降低提取效率,也会给正常调用带来一定误报和额外成本。

这也是防守措施最难拿捏的地方。干扰越强,正常用户受到的延迟和输出波动可能越大;干扰太弱,攻击者增加调用量后仍能绕过。

追踪滥用来源

第三层是追踪。即使无法立刻阻止攻击,也要保留定位来源的能力。

如果攻击发生,可以沿调用日志、账号关系、请求模式和输出指纹回溯:判断是单账号滥用,还是一组账号协同;使用的是哪类代理服务;数据最后流向哪里。

三者必须组合:

识别:找出偏离正常分布的调用群
干扰:降低攻击者获得稳定训练数据的效率
追踪:确认来源与滥用链条

只拦输入,攻击者会改请求。只看单个输出,攻击者会换任务。只封一个账号,攻击者会换身份。

22 条评论暴露了真正的争议

Hacker News 讨论页面显示,这篇文章获得 22 Points 和 22 条 Comments。

评论里的冲突很现实。

一方会担心:识别异常使用、干扰蒸馏结果和追踪滥用来源,会不会把研究者和普通开发者也当成盗用者?当模型通过公开 API 提供服务时,自动化测试能力边界与批量提取行为可能很接近。

另一方则认为,闭源前沿模型的训练成本很高。如果复制能力几乎没有摩擦,模型提供方很难回收投入。企业级防护也不能只依赖“大家自觉不抓取”。

开发者还提出了开放研究的问题。如果安全系统把多轮实验、批量 API 调用或特定能力探测一律视为异常,那么发布漏洞复现、评测模型和做系统研究都会受到影响。

这场争议没有免费答案。

对模型提供方来说,减少误报意味着更精细的行为建模。对研究者来说,规则需要透明、可申诉,最好还能知道触发原因。对攻击者来说,每多一层判断,都会增加成本。

编辑思考

对抗性蒸馏的重要性,不在于又多了一种模型盗用方法,而在于它会改变闭源模型 API 的成本结构。过去,安全治理多围绕单次请求展开:过滤内容、限制频率、审核账号。现在,防守方需要观察跨请求形成的提取流水线,可能还要保存更多调用级数据,对输出加入干扰。

我的判断是,厂商会先改访问规则,而不是立刻改变模型训练方法。更细的速率限制、并发限制和准入要求会更常见,高价值研究机构与普通小团队受到的待遇也会拉开差距。这和过去的关键词过滤不同:安全单位从一次回答,变成了跨账号、跨会话的数据集行为。

但目前仍有一个不确定点。OpenAI 没有公开完成一次有效提取需要多少请求、token 和算力。没有成本数据,就无法判断识别、干扰和追踪究竟提高了攻击门槛,还是主要增加了平台与开发者的负担。

来源: https://openai.com/index/combatting-adversarial-distillation/