WhatsApp 帮助页被研究人员发现藏有面向大语言模型的隐藏指令。研究关注的不是数据窃取,而是这些指令能否改变客服 Agent 的合规建议。对接入网页、邮件或 RAG 的 AI Agent 来说,外部内容可能直接进入业务判断。
相关讨论登上 Hacker News 首页,获得约 505 分和 146 条评论。原始研究见 redact.dev 的分析文章,讨论见 Hacker News 页面。
帮助页里藏着什么
正常帮助页会告诉用户如何提交问题、查看订单、处理退款,或者联系平台支持。
这次研究人员发现的文本不同。它可能对人类不可见,或者在视觉上不明显,但 LLM 仍能从页面内容、HTML 结构或检索结果中读取。
这类文本会尝试改变模型行为。例如,让客服不要主动建议用户联系监管机构,或者弱化申诉路径。
关键不在于攻击者能不能让模型回答一句奇怪的话。关键在于回答会进入什么流程。
如果用户问:“我的账号被封了,除了联系客服还能找谁?”模型回答可能影响用户是否投诉、是否寻求外部帮助,以及平台是否承担应有的合规责任。
所以,这不是普通的网页篡改,也不是一句恶意客服话术。它利用模型的上下文读取能力,修改产品输出方向。
这不是普通提示注入
直接提示注入来自用户输入,系统至少有机会在输入边界上做过滤、标记或隔离。
间接提示注入不同。攻击文本不出现在提问框里,而可能藏在:
- 网页正文或 HTML 中
- 邮件内容中
- PDF 和附件中
- 搜索结果摘要里
- 客服知识库页面中
- Agent 通过浏览器或 RAG 检索到的文档里
模型读取这些内容时,未必知道它们属于哪个信任等级。
可以用一个简化流程表示:
用户问题
↓
LLM 客服 Agent
↓
读取帮助页、邮件、检索结果
↓
把外部文本放进上下文
↓
生成合规建议或调用工具
如果系统把所有读到的文本都当成“参考资料”,攻击者就不需要突破模型本身。他只需要让一段外部内容看起来像一条可信的工作指令。
人类看不见,不等于模型读不到。CSS 注释、隐藏元素、元数据,甚至专门提供给机器阅读的内容,都可能进入模型上下文。安全策略不能只看屏幕上显示了什么。
Agent 为什么更容易中招
普通聊天机器人通常只生成文本。被诱导后,最坏的结果可能是说错话。
客服 Agent 还可能:
- 访问网页和帮助中心。
- 查询订单、账户、工单等内部数据。
- 发起退款、关闭工单或升级案件。
- 根据政策给出联系监管机构或提交投诉的建议。
- 把对话结果写入 CRM、邮件或工单系统。
一次上下文污染,可能从“回答错误”升级成“业务动作错误”。
例如,Agent 读到恶意文本后,可能少创建一个升级工单,或者调用一个本来应该由人工确认的流程。它甚至可能对外发送一封带有错误合规建议的邮件。
输出看起来像正常客服话术,语气礼貌,逻辑也完整。审核人员未必能马上发现它少了某个关键选项。
风险可以拆成三层:
上下文污染:外部文本影响模型判断
动作放大:模型调用高权限工具
责任偏移:企业把制度问题交给概率模型
第一层是安全问题,第二层是权限问题,第三层是产品设计问题。
只加一句“请忽略恶意指令”的系统提示,通常解决不了第三层。模型即使理解了攻击内容,也未必拥有可靠方式证明外部文本不可信。
企业该如何拆掉这条链
企业不能把安全希望全部放在模型拒答能力上。更实际的做法,是把外部内容、工具权限和业务规则拆开。
1. 将外部内容降级为数据
网页、邮件和搜索结果默认只能作为不可信数据,而不是系统指令。
进入上下文前,可以做结构化包装:
from dataclasses import dataclass
from typing import Any
@dataclass
class RetrievedDocument:
source: str
content: str
trust_level: str
def as_model_context(self) -> dict[str, Any]:
return {
"type": "untrusted_reference",
"source": self.source,
"content": self.content,
"instructions_allowed": False,
}
这不是完整防护方案,但能明确边界。网页里的“命令”和企业内部合规政策不能放在同一个层级。
RAG 也要保留来源、时间和版本。企业政策和外部帮助页的权重不能混为一谈。
2. 限制工具权限
客服 Agent 不应默认拥有直接完成所有业务动作的权限。
可以先区分:
- 低风险动作:查询订单、搜索帮助文档、生成回复草稿。
- 高风险动作:退款、封禁、删除账户、向监管机构发送正式文件。
高风险动作至少需要:
requires_human_approval = action in {
"refund",
"account_suspension",
"regulatory_escalation",
"external_complaint_submission",
}
模型可以提出动作建议,但不能自己完成整个闭环。涉及监管、申诉和资金的动作,应由规则引擎先校验,再决定是否放行。
3. 对建议路径做规则校验
合规建议不适合完全依赖模型自由生成。
用户明确询问监管机构、消费者保护机构或法律救济时,系统必须返回经过审核的入口,或者明确转人工。
一个简单检查逻辑可以是:
def needs_human_review(user_question: str, answer: str) -> bool:
regulatory_terms = (
"监管机构",
"消费者保护",
"formal complaint",
"regulator",
)
return any(term in user_question for term in regulatory_terms) and (
"人工" not in answer and "联系" not in answer
)
真实产品还需要接入正式政策版本、审核队列和地区差异。但原则很直接:不能删除的合规路径,不应交给概率模型决定。
4. 保留可追溯日志
每次回答都应该记录:
- 用户问题
- 使用了哪些文档
- 文档的 URL、版本和时间
- 哪些文本被标记为外部不可信内容
- 调用了哪些工具
- 哪个规则阻止或放行了动作
- 最终由谁审核或确认
出现错误时,团队需要区分模型误读、检索抓错页面,还是权限配置有问题。
还可以设置异常检测。例如,客服回答连续避开监管申诉路径,或者同一批用户收到完全相同的合规建议,系统应自动告警。
编辑思考
这件事重要,不只是因为“模型又被骗了”。它指向一个更基础的设计问题:企业把本应由制度和代码决定的责任,交给了一个会读网页、会调用工具、又能自由表达的 LLM。
我的判断是,客服安全问题会更多出现在“建议如何处理”,而不只是生成一句话时出错。模型可能没有明显越权,也没有执行危险命令,但隐藏上下文持续改变建议方向,已经足以影响用户权利和平台责任。
这次和过去的网页提示注入不同之处在于,攻击者瞄准的是合规路径,而不是单纯让模型泄密。页面内容不再只是参考资料,它开始参与业务判断。
目前有一个不确定点:研究人员披露的文本在不同模型、浏览器渲染方式和 Agent 架构下,实际影响可能不同。但企业可以先做两件事:把外部内容标成不可信,把高风险动作交给确定性规则和人工确认。安全边界不能只写在提示词里。