观点

Agent 失控是假命题:前沿实验室跳过的 5 个安全基本功

Hacker News 517 分热议:Agent 没'觉醒',是实验室没做输入校验和沙箱隔离。把责任推给 AI,比 Agent 失控本身更值得警惕。

字号

CSO Online 8 月那篇 AI agents aren't going rogue. Frontier labs are skipping security basics 在 Hacker News 首页拿了 517 分、218 条评论。这数字本身就说明一件事:开发者社区已经不买'AI 觉醒'那套叙事了。

文里观点很直白——出事不是因为 Agent 自主决策,是因为前沿实验室跳过了 Web 安全讲烂了的基础工程:输入验证、权限控制、沙箱隔离、审计日志、人机回环。

下面我把文里散落的几条线串一下,顺便加一些我的判断。

原文在吵什么

CSO Online 的立论逻辑是反叙事的:

  • 默认叙事:Agent 越来越自主 → 不可控 → 失控事件 → 监管
  • 文章主张:Agent 没失控,是部署方没做基本功 → 失控事件 → 工程问责

后者对 CISO 更友好。'AI 不可控'是把责任推给模型厂商和监管,'你没做输入校验'是把责任钉在甲方安全团队——但也给了甲方自己把事做好的路径。

评论区 218 条,主题基本集中在三个方向:
- 这事儿早说过,2010 年 Web 应用就这么死的
- 别光喷实验室,很多开源 Agent 框架更糙
- 真正落地的人知道,业务方根本不让加这些安全检查

第三条是工程现实——下面会展开。

被跳过的 5 个'无聊'基本功

文里列了几条,我按重要性排了个序。每一条都是 Web 安全讲了 20 年的老梗,Agent 圈集体失忆。

1. 工具调用的输入校验

LLM 拼出来的 SQL 直接喂给 DB,拼出来的 shell 命令直接执行。这不是假设——Autogen、CrewAI 默认行为就这样,工具签名只是个 prompt 提示,运行时没有任何 schema 校验。

# 反面例子:LLM 拼出来的 query 直接执行
def run_sql(query: str):
    return db.execute(query)  # LLM 说 "DROP TABLE users" 你就 drop

# 应该这么做
from pydantic import BaseModel, Field

class ReadQuery(BaseModel):
    query: str = Field(..., pattern=r"^SELECT.*FROM\s+\w+(\s+WHERE.*)?$")

def run_sql(q: ReadQuery):
    if not q.query.upper().startswith("SELECT"):
        raise ValueError("只允许 SELECT")
    return db.execute(q.query)

2. 最小权限原则

一个 agent 拿到 shell 就能 rm -rf。拿到 email 权限就能群发。LangGraph、AutoGen 的工具注册接口根本不限制权限粒度——要么全给,要么不给。

3. 沙箱隔离

浏览器 agent 跑在宿主进程里、文件系统 agent 直接读写用户 home 目录、代码执行 agent 跑在主进程。这些不该上生产的东西,现在都在'Demo 阶段'上生产。

4. 审计日志

出事没人知道 agent 干了啥。LangChain 默认的 verbose=True 只打 stdout,OpenAI 的 function calling 默认不打调用参数。事后溯源?想多了。

5. 人机回环

关键动作没有 confirm。发邮件、转账、改数据库——agent 自己拍板。这条单挑出来,可能是 2026 年最大的雷。

这五条不是新问题,都是 Web 安全讲了 20 年的老梗。Agent 圈集体失忆,有点离谱。

责任错位:把锅甩给 Agent 比甩给开发者更省事

实验室 PR 喜欢用'Agent 自主决策'叙事,因为这能把安全责任转嫁给'AI 不可控'这个伪命题。一旦出问题,舆论焦点是'AI 失控',而不是'你没开输入校验'。

后者会让甲方安全团队被追责。前者大家都松口气——'没办法,AI 的事'。

点名几家:
- Anthropic 的 Claude Code 算做得相对好的,工具调用有 schema 校验、有 permission 提示,但人机回环默认关闭
- OpenAI 的 GPT-5 function calling 在严格性上进步明显,但同样没有强制 confirm
- 开源框架 LangGraph / AutoGen / CrewAI 基本是裸奔

这不是阴谋论,是激励机制——出事前没人愿意花时间做输入校验,因为做了也没 KPI 加;出事后舆论又往'AI 不可控'引,责任不到开发者头上。

对照传统安全:Agent 圈正在重犯 2010 年的错

把今天 Agent 的混乱对照 2010 年前后的 Web 应用:

时间 状态 后来怎么救
2010 SQL 注入满天飞,XSS 一打一个准 OWASP Top 10 + WAF 普及
2016 CSRF、SSRF 遍地 同上,标准慢慢补齐
2026 Agent 工具调用裸奔,权限控制缺失 ?

Agent 圈现在连个'Agent OWASP'都没,各家自定规范。LangChain 有自己的安全 page、Anthropic 有 Responsible Scaling Policy,但都是厂家自己写的,没有跨厂商共识。

我判断:2026 年底之前会有人牵头做这件事——可能是 OWASP 本人,也可能是某个头部实验室。MITRE ATT&CK for AI Agents 这个方向大概率会先动起来。

CISO 现在能做什么

不要等实验室给方案。实操清单:

  1. 强制工具白名单:Agent 只能调用你显式允许的工具,任何新增工具必须走审批流程
  2. 执行环境必须容器化 + 非 root:浏览器 agent、shell agent、code agent 必须在隔离容器里跑,且容器内进程不能是 root
  3. 所有工具调用写审计:不只是 log,要结构化存储,能按 agent ID、时间、工具类型回溯
  4. 高危操作必须人确认:写文件、调 API、发邮件、转账——默认 confirm,不能关
  5. 内部搞个'Agent 渗透测试':把 Agent 当成不信任的第三方,按 Web 渗透的套路打一遍

不性感。但能挡掉 90% 今天新闻里的事故。

# 一个最小可用的 agent 执行配置示例
agent_sandbox:
  runtime: docker
  image: agent-runtime:1.0
  user: nonroot
  capabilities:
    drop: ALL
  network: isolated
  tools_whitelist:
    - read_file
    - search_web
  tools_require_confirm:
    - write_file
    - send_email
    - execute_sql
  audit:
    enabled: true
    destination: s3
    fields: [agent_id, tool, args, timestamp, user_id]

上面这份配置塞进 LangGraph、AutoGen 或者自研框架都行,核心就是:工具白名单 + 容器隔离 + 审计 + 确认机制。

编辑思考

这件事真正值得警惕的不是 Agent 会不会'觉醒',而是安全责任正在被叙事稀释。'AI 不可控'成了新版本的天灾论——出事先怨天,不怨己。

我判断未来 12 个月 Agent 安全会从'伦理辩论'转向'工程问责',最先被监管盯上的不会是模型本身,会是部署方的安全缺位。理由有三:
- 监管天然偏好可量化的追责点——'模型太智能'没法追,'你没做输入校验'可以追
- 已经有先例——欧盟 AI Act、美国 EO 14110 都在往'部署方责任'倾斜
- 事故会越来越多,舆论会从'AI 太厉害'转向'你怎么这么不小心'

这次具体和过去不同的地方在于,这是第一次主流安全媒体(CSO Online)主动把矛头从'AI 能力'转向'工程缺位'。以往安全圈讨论 AI,要么是模型安全(对抗样本、越狱),要么是数据安全(训练数据泄露)。这次直接点名部署方的工程基本功——这是新角度。

不确定的地方:开源 Agent 框架的安全改进会慢于闭源产品,因为没有 PR 压力也没有合规预算。如果未来 12 个月真有监管落地,受伤最重的可能是 LangGraph、AutoGen 这类被大量企业直接拿上生产的项目,而不是模型厂商。

参考来源: CSO Online - AI agents aren't going rogue

来源: https://www.csoonline.com/article/4234854/ai-agents-arent-going-rogue-frontier-labs-are-skipping-security-basics.html