Agent Harness 正在被模型吃掉,剩下那层皮给谁穿?
核心判断来自 Latent Space 的 The Evolution of the Agent Harness:
“Models keep absorbing the harness into their weights — soon, it will be a harness for human attention rather than for the model.”
Harness 是什么,为什么现在才被讨论
Harness 很好理解。
它是包在模型外面的胶水:
- prompt 模板
- tool calling schema
- memory 管理
- retrieval
- retry 和 fallback
- 多模型路由
- 权限、审批与状态持久化
2023 年,它还是必需品。
那时的 GPT-3.5 不会稳定地输出调用函数所需的 JSON。开发者要写格式约束、异常分支、正则抽取、重试逻辑。它很丑,但能工作。
到了 GPT-4o 和 Claude 3.5 Sonnet,模型开始原生处理 tool call。模型不只生成一句答案,而是判断该用哪个工具、填哪些参数。
Harness 里的能力开始进入模型参数。
这不是一次升级。是抽象层迁移。
模型正在一口一口吃掉 harness
OpenAI 在 2023 年 6 月发布 function calling 时,开发者仍把它视作 API 外围机制:模型负责自然语言,应用负责解析结构化调用。
那时常见的中间层类似这样:
import json
import openai
def classify_ticket(text: str) -> dict:
response = openai.chat.completions.create(
model="gpt-3.5-turbo-0613",
messages=[
{
"role": "system",
"content": (
"Return JSON with keys `category` and `priority`. "
"Category must be one of: billing, technical, account. "
"Priority must be high, medium, or low."
),
},
{"role": "user", "content": text},
],
)
return json.loads(response.choices[0].message.content)
这段代码把协议塞进 system prompt。模型要自己产生合法 JSON,应用再处理缺字段、错枚举和格式漂移。
GPT-4o 阶段,OpenAI 已把 tool calling 变成模型原生接口。应用需要的是函数声明和执行:
import json
import openai
client = openai.OpenAI()
tools = [
{
"type": "function",
"function": {
"name": "classify_ticket",
"description": "Classify a customer support ticket",
"strict": True,
"parameters": {
"type": "object",
"properties": {
"category": {
"type": "string",
"enum": ["billing", "technical", "account"],
},
"priority": {
"type": "string",
"enum": ["high", "medium", "low"],
},
},
"required": ["category", "priority"],
"additionalProperties": False,
},
},
}
]
response = client.chat.completions.create(
model="gpt-4o",
messages=[
{"role": "user", "content": "I was charged twice this month"}
],
tools=tools,
)
arguments = json.loads(
response.choices[0].message.tool_calls[0].function.arguments
)
print(arguments)
格式约束没有消失。它从 prompt 搬进了 schema,再由模型原生 tool call 接口消费。
Anthropic 也走了同一条路。Claude 3.5 Sonnet 的 tool use 达到生产可用水平。原生能力每多一层,外层 harness 就少一层。
Llama 3 的 instruction following 也做了同样的事。few-shot 原来用于示范任务格式。现在,结构化输出、函数调用和长指令跟随逐渐被训练进模型。
LangChain 的遭遇,是这段变化最直观的注脚。
它在 2023 年快速增长,因为 Agent 缺工具、缺记忆、缺链,开发者确实需要统一接口。2024 年,社区开始反复讨论 “LangChain 是不是 over-engineered”。GitHub star 增速放缓,“LangChain 寒冬”成了圈内的说法。
争议不能只归因于 API 难用。更深层的问题是:模型正在接管越来越多原本由框架完成的协调工作。
下一层 harness 的服务对象反转:从模型到人类
Latent Space 的判断最有价值的地方,不是“LangChain 会消失”。
而是角色翻转。
下一代 harness 可能不再主要服务于模型。它要服务的是人类注意力。
模型一次输出 20 页代码、一个 50 项计划或 10,000 字分析。传统 UI 只会把这些内容装进聊天窗口。滚轮继续向下。用户自己找差异、找风险、找下一步。
但人类真正稀缺的是注意力,不是上下文窗口。
新的界面需要在模型仍在运行时告诉用户:
- 哪几行代码被改了
- 哪些内容只是草稿
- 哪个操作需要审批
- 哪里有未解决风险
- 下一步该看什么
- 哪些内容可以忽略
Latent Space 把它概括为“面向人类注意力的 harness”,而不是“面向模型的 harness”。
这个区别很大。
一个面向模型的框架优化 token 消耗、工具选择、重试次数。
一个面向人的界面优化认知负担、信息密度和决策节奏。
前者可以靠训练数据和模型能力被吸收。后者必须理解人在做什么。
Orchestrator 赛道的护城河还剩多少
如果 LangChain、LlamaIndex、CrewAI、AutoGen 只做“把 prompt 包得更好看”,护城河基本归零。
这里要分开看。
编排不会死
复杂 Agent 仍需要状态、条件分支、并发、超时、持久化和恢复。现实业务也不会因为模型更强就消失。
但“能连 LLM 和工具”越来越不值钱。模型 API 本身已提供结构化输出、原生 tool use,SDK 也在吸收常见设计模式。
真正稀缺的是反馈闭环
能留下来的能力更接近:
- evaluation:跑真实任务集,测成功率、成本和延迟
- observability:记录每一步 prompt、tool call、状态变化和失败原因
- human-in-the-loop:在关键节点让人类审批,而不是让模型一路执行
- 权限与安全:控制 Agent 能读什么、写什么
- 状态恢复:进程崩了以后,从哪里继续
这些能力离模型近,又没有完全进入模型权重。
因为它们依赖外部系统、真实用户和组织流程。模型越大,开发者越需要知道它何时失败,而不是只会再写一个 while True。
这也是 LangGraph 这类有状态运行时仍有空间的原因。它卖的不是“会调用 LLM”,而是把状态转换和恢复做成可检查的工程系统。
护城河不在抽象数量。在可观测性。
工程师该怎么押注
我给三条建议。
1. 别再写新的 orchestrator 抽象
不要因为能写 state graph、tool decorator 和 prompt chaining,就再做一个框架。
先回答一个更具体的问题:已有模型、SDK 和协议缺什么?
如果答案是“把 LLM 调用包装成统一接口”,这个价值通常撑不过一个模型升级周期。
2. 把精力转向评测和 observability
每个 Agent 项目都该有任务集,而不只是 demo。
至少记录:
from dataclasses import asdict, dataclass, field
from time import perf_counter
@dataclass
class Trace:
task_id: str
model: str
input_tokens: int = 0
output_tokens: int = 0
tool_calls: int = 0
latency_ms: int = 0
success: bool = False
tags: list[str] = field(default_factory=list)
def trace_agent_run(task_id: str, run) -> Trace:
started = perf_counter()
result = run()
return Trace(
task_id=task_id,
model=result.model,
input_tokens=result.input_tokens,
output_tokens=result.output_tokens,
tool_calls=len(result.tool_calls),
latency_ms=round((perf_counter() - started) * 1000),
success=result.exit_code == 0,
tags=result.tags,
)
真实跑分比框架宣传页有用。
同一个任务集上,比较模型版本、prompt、工具定义和重试策略。失败案例要进入回归测试。否则 Agent 只会“演示成功”,上线后靠人肉救火。
3. 研究人类注意力管理
产品形态已经出现。
OpenAI 在 2024 年 10 月推出 ChatGPT Canvas。它不只是展示文本。Canvas 可以指出需要修改的区域,支持直接编辑,并单独处理局部内容。用户不必在聊天记录里寻找一个版本。
Anthropic 在 2024 年 6 月推出 Claude Artifacts。生成代码、文档或小型网页后,Artifact 把结果放进独立工作区。用户可以在模型对话旁查看、编辑和迭代。
两者都在解决同一个问题:不要把 10,000 字答案塞进一个滚动窗口。
这也是下一批 Agent 产品值得竞争的地方:
- 自动折叠重复内容
- 标注事实不确定的段落
- 把 diff、证据和执行结果放回原位
- 审批危险操作
- 在长任务中只推送关键状态
- 让用户从任意位置修改,而不是重新生成全文
剩下的那层皮,给谁穿?
Harness 不会消失。
它会一层层被模型吃掉。
prompt 模板被 instruction following 吃掉。JSON 抽取被 structured output 吃掉。工具选择被 native tool use 吃掉。短记忆被长上下文吃掉。
最后剩下的,不是另一个更复杂的 Agent 类。
而是两套外部系统:
- 机器侧的状态、权限、评测和可观测性
- 人类侧的注意力、理解和决策
前者决定 Agent 能否可靠运行。后者决定人是否愿意使用它。
模型能力越强,开发者越不该把时间花在重新包装 prompt 上。
该去补 harness 被吃掉后留下的洞了。