框架

5 个 Qwen 协作解题:AI Agent 团队化实战

Memdoor 用 5 个 Qwen3.8-27B 组成协作团队,在 LiveCodeBench Hard 上超过 Fable 5。本文拆解其工作流、上下文管理与工程代价。

字号

Memdoor 用 5 个 Qwen3.8-27B 组成协作团队,在 LiveCodeBench Hard 上超过 Fable 5。它把解题拆成分工、共享记忆和结果修订,值得工程团队复现。

结果先说:5 个模型胜过 1 个更强模型

Memdoor 的 team-solve 工作流用了 5 个 Qwen3.8-27B 模型。

它们不是各自答题后投票。任务状态、求解过程和中间结果会被保留,再交给不同成员分工处理。

据项目发布消息,这套工作流在 LiveCodeBench Hard 上的成绩超过 Fable 5。

这里最容易误读的是:成绩来自 5 个模型的协作,不是某个模型单次作答。模型名称仍是 Qwen3.8-27B,但实际求解单位已经变成一个 Agent 团队。

这项结果值得看,不是因为“五个打一个”天然更强。

它换了一个变量:不再假设一次推理必须装下全部上下文,而是让多个 Agent 分阶段保存、传递和修订状态。

原始素材还提到,这条消息登上了 Hacker News 首页。页面当时有 74 分、38 条评论。

代码公开:不是论文分数,而是可复查工作流

Memdoor 已在 GitHub 公开 team-solve 示例及对应代码:

  • GitHub:https://github.com/guregodevo/memdoor/tree/main/examples/workflows/team-solve
  • 相关 Hacker News 讨论页面可从该仓库和发布消息继续追溯。

这比一张 benchmark 截图更重要。

论文里的 Agent 常有一个问题:角色定义很清楚,但状态怎么传、谁能看到谁的输出、失败后是否重试,全留在实现细节里。

team-solve 把编排方式放进仓库。读者可以检查 5 个角色如何创建、任务如何拆解、记忆如何写入,以及最终答案如何汇总。

按仓库示例说明,协作求解涉及角色分工、共享记忆和工作流编排。它不是把 5 段相同 Prompt 丢给模型,然后做多数投票。

真正应该复现的是这套执行路径:

任务输入
  → 角色分工
  → 独立分析与共享记忆
  → 中间结果写回
  → 冲突检查与修订
  → 最终答案

仓库公开后,可以继续核对 Qwen3.8-27B 的调用方式、模型服务配置、采样参数,以及 LiveCodeBench Hard 的评测脚本。

反共识点:Agent 的瓶颈可能是上下文

这个案例里,最值得拆开的变量不是模型数量。

是上下文管理。

单模型处理复杂编程题时,通常要组织题目、相关文件、历史推理和错误日志。上下文越长,注意力分配越难。模型参数更多,也可能漏掉早期约束,或者被一段错误分析带偏。

团队化工作流提供了另一种做法:

  • 一个 Agent 负责理解问题和约束。
  • 一个 Agent 探索可行方案。
  • 一个 Agent 检查代码与边界条件。
  • 另一个 Agent 根据反馈修订。
  • 汇总角色决定最终输出。

具体角色以仓库实现为准。重要的是,它们不必同时读取同一份完整历史。

Memdoor 的名字也指向这项设计重点:memory。团队成员通过共享任务状态和记忆获得前序信息。

这样做有代价。信息压缩会丢细节,错误总结会制造“伪共识”。

但它改变了失败方式。

单模型的失败可能是一整条推理链一起跑偏。团队化 Agent 可以把错误隔离到某个角色,让其他成员基于明确记录继续工作。

所以,“Agent 的瓶颈不是智力,而是上下文”也不能说绝对。更准确的说法是:在长链条任务里,上下文组织方式可能比继续扩大单模型更值得优化。

工程代价:并发、延迟与错误传播

5 个模型协作,不会天然等于 5 倍成本。

也不会天然只花单模型 5 倍 Token。

如果角色可以并行,墙钟时间可能低于串行执行。如果存在审阅和修订链,成本会明显上升。真实费用取决于每个角色读了多少上下文、写了多少记忆、重试了几轮。

我会重点检查下面 4 个问题。

1. 并发收益

5 个 Agent 若同时启动,适合探索不同方案。

但如果所有成员都要等待前一个成员写回记忆,再继续执行,并发优势会消失。公开代码里需要重点看任务依赖图,而不是角色数量。

2. Token 预算

每个 Agent 都携带共享上下文,重复读取会放大输入 Token。

更省的做法是给不同角色不同视图。例如调试角色拿代码和错误日志,审阅角色拿补丁与测试结果,而不是让每个人读取完整会话。

3. 结果冲突

两名 Agent 给出不同判断时,系统不能简单取最后一份输出。

需要明确冲突规则:按测试结果裁决、由固定角色复核,还是允许多轮辩论。辩论轮数增加,也会继续推高延迟。

4. 错误传播

这是协作系统最容易被忽略的风险。

错误总结进入共享记忆后,其他成员可能把它当成事实。错误代码也会被后续 Agent 当成前提继续修补。

因此,记忆写入不能只有 append。至少需要来源标记、状态字段和回滚机制。一个实用的数据结构可以类似这样:

{
  "artifact": "candidate_fix.py",
  "source_agent": "debugger",
  "status": "needs_review",
  "evidence": ["pytest: 18 passed, 2 failed"],
  "version": 2
}

这不是 Memdoor 仓库里的现成代码,而是说明工程边界所需的最小字段。真实实现仍应以仓库为准。

对生产系统来说,团队化也不一定比单 Agent 更稳。它增加了调度、监控和归因成本。只有当任务可以清楚分工、结果可以验证、记忆能可靠传递时,多 Agent 才有意义。

编辑思考

这项结果的重要性,不在于“5 个 Qwen 击败一个更强模型”。单次 benchmark 无法证明 Agent 团队普遍优于单模型,测试集难度、题目分布、采样参数和评审方式都可能改变排名。Fable 5 的具体身份及完整评测配置,也要从仓库、发布页和榜单继续核验。

但代码公开给出了更具体的信号:Agent 系统的优化重点,正从“换更大的模型”转向“设计更好的协作结构”。这次与过去不同之处,是角色、记忆和编排至少落到了可检查的代码里,而不是只出现在演示视频中。

我的判断是,下一批值得关注的项目,会把精力放在状态传递、冲突裁决和失败恢复上。团队化的价值未必来自更多模型,而来自能否把一次脆弱的长推理拆成多个可验证、可回滚的小步骤。不过,如果评测配置或任务拆分无法复现,这个结论就需要继续保留。

来源

https://github.com/guregodevo/memdoor/tree/main/examples/workflows/team-solve

来源: https://github.com/guregodevo/memdoor/tree/main/examples/workflows/team-solve