实战

WhatsApp 隐藏指令:LLM 客服安全漏洞

一项关于 WhatsApp 帮助页隐藏指令的研究引发 Hacker News 讨论。重点不只是模型会被提示词影响,而是客服 Agent 可能因此改变合规建议、遗漏外部求助路径。

字号

WhatsApp 帮助页被研究人员发现藏有面向大语言模型的隐藏指令。研究关注的不是数据窃取,而是这些指令能否改变客服 Agent 的合规建议。对接入网页、邮件或 RAG 的 AI Agent 来说,外部内容可能直接进入业务判断。

相关讨论登上 Hacker News 首页,获得约 505 分和 146 条评论。原始研究见 redact.dev 的分析文章,讨论见 Hacker News 页面。

帮助页里藏着什么

正常帮助页会告诉用户如何提交问题、查看订单、处理退款,或者联系平台支持。

这次研究人员发现的文本不同。它可能对人类不可见,或者在视觉上不明显,但 LLM 仍能从页面内容、HTML 结构或检索结果中读取。

这类文本会尝试改变模型行为。例如,让客服不要主动建议用户联系监管机构,或者弱化申诉路径。

关键不在于攻击者能不能让模型回答一句奇怪的话。关键在于回答会进入什么流程。

如果用户问:“我的账号被封了,除了联系客服还能找谁?”模型回答可能影响用户是否投诉、是否寻求外部帮助,以及平台是否承担应有的合规责任。

所以,这不是普通的网页篡改,也不是一句恶意客服话术。它利用模型的上下文读取能力,修改产品输出方向。

这不是普通提示注入

直接提示注入来自用户输入,系统至少有机会在输入边界上做过滤、标记或隔离。

间接提示注入不同。攻击文本不出现在提问框里,而可能藏在:

  • 网页正文或 HTML 中
  • 邮件内容中
  • PDF 和附件中
  • 搜索结果摘要里
  • 客服知识库页面中
  • Agent 通过浏览器或 RAG 检索到的文档里

模型读取这些内容时,未必知道它们属于哪个信任等级。

可以用一个简化流程表示:

用户问题
   ↓
LLM 客服 Agent
   ↓
读取帮助页、邮件、检索结果
   ↓
把外部文本放进上下文
   ↓
生成合规建议或调用工具

如果系统把所有读到的文本都当成“参考资料”,攻击者就不需要突破模型本身。他只需要让一段外部内容看起来像一条可信的工作指令。

人类看不见,不等于模型读不到。CSS 注释、隐藏元素、元数据,甚至专门提供给机器阅读的内容,都可能进入模型上下文。安全策略不能只看屏幕上显示了什么。

Agent 为什么更容易中招

普通聊天机器人通常只生成文本。被诱导后,最坏的结果可能是说错话。

客服 Agent 还可能:

  1. 访问网页和帮助中心。
  2. 查询订单、账户、工单等内部数据。
  3. 发起退款、关闭工单或升级案件。
  4. 根据政策给出联系监管机构或提交投诉的建议。
  5. 把对话结果写入 CRM、邮件或工单系统。

一次上下文污染,可能从“回答错误”升级成“业务动作错误”。

例如,Agent 读到恶意文本后,可能少创建一个升级工单,或者调用一个本来应该由人工确认的流程。它甚至可能对外发送一封带有错误合规建议的邮件。

输出看起来像正常客服话术,语气礼貌,逻辑也完整。审核人员未必能马上发现它少了某个关键选项。

风险可以拆成三层:

上下文污染:外部文本影响模型判断
动作放大:模型调用高权限工具
责任偏移:企业把制度问题交给概率模型

第一层是安全问题,第二层是权限问题,第三层是产品设计问题。

只加一句“请忽略恶意指令”的系统提示,通常解决不了第三层。模型即使理解了攻击内容,也未必拥有可靠方式证明外部文本不可信。

企业该如何拆掉这条链

企业不能把安全希望全部放在模型拒答能力上。更实际的做法,是把外部内容、工具权限和业务规则拆开。

1. 将外部内容降级为数据

网页、邮件和搜索结果默认只能作为不可信数据,而不是系统指令。

进入上下文前,可以做结构化包装:

from dataclasses import dataclass
from typing import Any

@dataclass
class RetrievedDocument:
    source: str
    content: str
    trust_level: str

    def as_model_context(self) -> dict[str, Any]:
        return {
            "type": "untrusted_reference",
            "source": self.source,
            "content": self.content,
            "instructions_allowed": False,
        }

这不是完整防护方案,但能明确边界。网页里的“命令”和企业内部合规政策不能放在同一个层级。

RAG 也要保留来源、时间和版本。企业政策和外部帮助页的权重不能混为一谈。

2. 限制工具权限

客服 Agent 不应默认拥有直接完成所有业务动作的权限。

可以先区分:

  • 低风险动作:查询订单、搜索帮助文档、生成回复草稿。
  • 高风险动作:退款、封禁、删除账户、向监管机构发送正式文件。

高风险动作至少需要:

requires_human_approval = action in {
    "refund",
    "account_suspension",
    "regulatory_escalation",
    "external_complaint_submission",
}

模型可以提出动作建议,但不能自己完成整个闭环。涉及监管、申诉和资金的动作,应由规则引擎先校验,再决定是否放行。

3. 对建议路径做规则校验

合规建议不适合完全依赖模型自由生成。

用户明确询问监管机构、消费者保护机构或法律救济时,系统必须返回经过审核的入口,或者明确转人工。

一个简单检查逻辑可以是:

def needs_human_review(user_question: str, answer: str) -> bool:
    regulatory_terms = (
        "监管机构",
        "消费者保护",
        "formal complaint",
        "regulator",
    )
    return any(term in user_question for term in regulatory_terms) and (
        "人工" not in answer and "联系" not in answer
    )

真实产品还需要接入正式政策版本、审核队列和地区差异。但原则很直接:不能删除的合规路径,不应交给概率模型决定。

4. 保留可追溯日志

每次回答都应该记录:

  • 用户问题
  • 使用了哪些文档
  • 文档的 URL、版本和时间
  • 哪些文本被标记为外部不可信内容
  • 调用了哪些工具
  • 哪个规则阻止或放行了动作
  • 最终由谁审核或确认

出现错误时,团队需要区分模型误读、检索抓错页面,还是权限配置有问题。

还可以设置异常检测。例如,客服回答连续避开监管申诉路径,或者同一批用户收到完全相同的合规建议,系统应自动告警。

编辑思考

这件事重要,不只是因为“模型又被骗了”。它指向一个更基础的设计问题:企业把本应由制度和代码决定的责任,交给了一个会读网页、会调用工具、又能自由表达的 LLM。

我的判断是,客服安全问题会更多出现在“建议如何处理”,而不只是生成一句话时出错。模型可能没有明显越权,也没有执行危险命令,但隐藏上下文持续改变建议方向,已经足以影响用户权利和平台责任。

这次和过去的网页提示注入不同之处在于,攻击者瞄准的是合规路径,而不是单纯让模型泄密。页面内容不再只是参考资料,它开始参与业务判断。

目前有一个不确定点:研究人员披露的文本在不同模型、浏览器渲染方式和 Agent 架构下,实际影响可能不同。但企业可以先做两件事:把外部内容标成不可信,把高风险动作交给确定性规则和人工确认。安全边界不能只写在提示词里。

来源: https://redact.dev/blog/whatsapp-help-pages-hidden-ai-instructions