框架

HybridAgent 深度解析:在潜在空间思考的 LLM Agent 到底干了啥

Together Computer 开源 HybridAgent,把 CoT 从文本搬到向量空间。HN 首页 50 分,论文 + 代码 + 模型权重全公开。本文拆解方法、复现路径和它真正的工程影响。

字号

昨天 HN 首页刷到一篇论文,标题很短:Hybrid Reasoning Agents: LLM agents that think in latent space, act through text。Together Computer 团队开源,代码、模型权重全部放出来了。我花了一晚上把论文和仓库翻了一遍,下面是我看到的真东西。

什么是 Hybrid Reasoning Agent

一句话:思考阶段在 latent space(连续向量),执行阶段在 text space(可读 tool call)。

传统 ReAct / AutoGPT 范式是这样的:

Thought: 我需要先查一下北京天气
Action: search("北京天气")
Observation: 25 度,晴
Thought: 用户问的是上海,我搞错了
Action: search("上海天气")

每一步都要把"内部推理"显式吐出来,变成字符串。这种范式的几个老毛病:

  • Token 烧钱,长链路任务一次跑几千 token
  • 推理暴露给用户,容易被 prompt injection
  • CoT 本身被当成"可解释性审计依据",其实内部逻辑不一定等价于说出来的话

HybridAgent 的解法是:让模型在 embedding 空间里"想",想完了再翻译成可读动作。外部看你发的是正常的 tool call(search(...)),但中间那些推理循环跑在连续向量里,不占文本 token。

arXiv 编号 2610.18861,GitHub 仓库在 github.com/togethercomputer/HybridAgent,模型权重在 HF 集合 togethercomputer/HybridAgent。

论文到底改了什么

核心是两层架构,论文 §3 写得很清楚。

1. Latent Reasoning Module

训练时在 base model 的每一层后插一个轻量 adapter,输入是上一层的 hidden state,输出是"潜在思考向量",再灌给下一层。adapter 用 RL 训练(论文对比了 PPO 和他们自己的 hybrid objective,后者更稳),目标是让"想出来的向量"对下游 action 选择有帮助。

Adapter 参数量很小,论文报的是 base model 的 1-3%,基本可以当 LoRA 一样热插拔。

2. Action Decoder

这一段是把 latent 翻译成 text。模型还是同一个 LLM,但在 "action step" 走标准自回归输出 tool call,在 "thought step" 走 latent 输出。Decoding 时,触发器是一个特殊 token <|latent_step|>,碰到它就切到向量模式,碰到 <|action_step|> 就切回文本模式。

这个设计的好处:同一个 base model,可以同时用纯文本 CoT 和 latent CoT,互不干扰。论文做了一个 ablation,纯 latent 比纯文本 CoT 在长链路任务上 token 量省掉 40-60%,但单步准确率不掉。

代码和模型在哪

仓库结构很标准,5 分钟能跑起来:

git clone https://github.com/togethercomputer/HybridAgent.git
cd HybridAgent
pip install -r requirements.txt

推理入口在 examples/run_hybrid_agent.py,关键片段:

from hybrid_agent import HybridAgent, HybridConfig

config = HybridConfig(
    base_model="togethercomputer/HybridAgent-7B-base",
    latent_adapter="togethercomputer/HybridAgent-7B-latent",
    action_decoder="togethercomputer/HybridAgent-7B-action",
    max_latent_steps=8,
)

agent = HybridAgent(config)

result = agent.run(
    task="查找北京今天 PM2.5 数值,并给出口罩建议",
    tools=[search_tool, calculator_tool],
)
print(result.final_answer)

HF 上的 checkpoint 命名规律是 {base}-{variant},variant 有 latent(只 latent 推理)、action(只 action)、hybrid(完整)。挑 hybrid 版本用就行。

要本地推理推荐配合 vLLM,仓库里有现成的 serve_vllm.sh 启动脚本。

benchmark 数据怎么样

论文 §5 给的对比表,base model 一律是同一个 LLaMA-3-70B,只看是走 latent hybrid 还是显式 CoT:

Benchmark 显式 CoT Hybrid (latent) Token 节省
HotpotQA (multi-hop QA) 52.3% 54.1% ~45%
ALFWorld (text env agent) 68.0% 71.4% ~52%
WebShop (web agent) 41.7% 43.2% ~38%
MATH (纯推理) 78.1% 77.5% ~20%
HumanEval 84.0% 83.7% ~15%

几个观察:

  • Agent 类任务(前三行)明显涨:因为 latent 推理允许"多次内部思考再行动",对需要规划的任务天然友好
  • 纯推理 / 纯代码任务几乎打平:MATH 和 HumanEval 上 latent 没优势,说明 latent 不是万灵药,它在"需要边行动边调整"的场景才有收益
  • Token 成本下降显著:即使准确率一样的任务,latent 路径也省 15-20% token,长链路节省更夸张

为什么这件事值得认真看

不是堆套话,三个真正的影响:

1. 推理成本

长链路 agent 任务的成本结构被改了。一个 20 步的 ALFWorld episode,显式 CoT 一次跑下来可能要 8K-12K tokens,latent 路径压到 4K-6K。对生产环境的 agent 产品,这是个直接的毛利率改善点。

2. 可解释性假设被动摇

很多研究把 LLM 的 CoT 当"推理审计"的依据 — 你说啥就以为你想啥。Latent reasoning 把这条等号直接打掉:模型真的在想 ≠ 模型说的在想。后面要做 agent safety / 合规审计的人,得假设 CoT 是不可信的,这是方法论层面的撼动。

3. 架构选择问题

往后做 agent 的人,要在三个层级做选择:Prompt 层(写清楚指令)、Scaffold 层(LangGraph / AutoGen 那种状态图)、Thinking 层(显式文本 vs latent 向量)。Together 这工作把第三个维度变成了一个可选项,不再是"只能用 CoT"或"只能用 RL hidden state"二选一。

编辑思考

潜空间推理不是新点子。早两年 Geirhos 等人就在 transformer 的 hidden state 上做"internal computation",DeepMind 的 Chain-of-Thought in Latent Space (2024) 也做过类似事。但 Together 这工作真正的意义不在理论,在可复现:开源代码 + 开源权重 + 完整训练流程,这是把研究方向变成"明天就能跑"的工程选项。

一个反共识判断:当前主流 agent 框架的瓶颈不在推理格式,在工具质量和错误恢复。HybridAgent 没直接解决 tool selection 的失败模式,没解决错误回滚,也没解决工具返回的脏数据问题。把这些不解决,哪怕 thinking 再省 token,agent 还是会在第 5 步崩。所以这个工作的现实价值是"降本",不是"提质"。

一个不确定点:Hugging Face 上 togethercomputer/HybridAgent 那批 checkpoint,实际跑出来和论文 54.1% / 71.4% 的差距有多少,我还没自己全量跑一遍 benchmark。仓库里给的 eval 脚本能复现,但显存门槛 7B 至少 24G,70B 得上 H100。等我跑完再补一个 follow-up。

来源:arXiv 2610.18861、GitHub、HF Collections。

来源: https://arxiv.org/abs/2610.18861