观点

没有后训练数据公地,AI Agent 如何补数据缺口

OpenAthena 认为后训练数据难以成为公共基础设施。对 AI Agent 团队而言,重点不是堆样本,而是建立包含工具状态、失败原因和验收标准的任务轨迹。

字号

OpenAthena 认为后训练数据公地并不存在。本文给出 AI Agent 团队的数据工程路线:记录任务轨迹、分类失败原因,并用合成数据补长尾。

后训练数据听起来像一个可以共建、下载和复用的公共基础设施。

但 OpenAthena 在文章《There is no posttraining data commons》中直接给出判断:当前不存在可共享的 post-training data commons。文章登上 Hacker News 首页时,页面显示 42 points、10 条评论。

这不是新模型、新工具或新基准的发布。它更像一次行业检查。文章讨论了指令微调、偏好对齐、强化学习和模型蒸馏,也追问一个更实际的问题:AI Agent 团队手里的后训练数据,究竟缺在哪里?

我的答案是:缺的不是更多“问答对”,而是带工具状态、失败原因和验收标准的高质量任务轨迹。

所谓数据公地,为何成了伪命题

代码仓库可以公开共享。图片、论文和网页也能进入 Common Crawl 一类的公共数据集。

后训练数据却不同。它往往不是一个孤立的样本,而是某套行为标准与业务约束的产物。

比如,同一个用户请求:

{
  "instruction": "处理这封退款邮件",
  "context": "订单金额超过 200 美元,且客户提供了有效订单号",
  "response": "符合退款条件,可以批准退款。"
}

换一家公司,规则就可能相反:超过 200 美元需要主管审批,缺少订单号则必须先补资料。谁的答案算“正确”?只有数据生产方和审核者知道。

偏好数据更麻烦。它记录的不只是答案,还记录比较关系和人的判断标准。某个回答更简洁、更有帮助,还是更符合品牌语气?不同标注员可能给出不同结果。

强化学习也需要明确的目标函数、奖励规则和安全边界。把奖励函数公开,并不意味着任何团队都能得到相同行为。

所以,后训练数据很难像代码或图片素材一样统一共享。

这不意味着数据不能开源。它意味着“可公开”不等于“可共享”,更不等于“能直接用于训练”。许可证、隐私、业务规则、标注口径和数据生命周期,都会限制复用。

蒸馏不是数据公地的替代品

蒸馏很实用。

用一个更强的教师模型生成回答,再拿这些回答训练较小的学生模型,效果通常不错。GitHub、Hugging Face 上也不缺 teacher-generated dataset。

但蒸馏复制的更多是教师模型已经表现出来的能力,不是完整能力边界。

对普通问答,蒸馏可以复制语气、知识组织和部分推理模式。对 AI Agent,麻烦会迅速增加。

一个 Agent 任务通常包含这些环节:

  1. 理解目标。
  2. 选择工具。
  3. 构造参数。
  4. 读取工具返回。
  5. 根据结果修正计划。
  6. 判断任务是否完成。

教师模型给出的最终答案,并没有完整保留中间过程。

如果只蒸馏最终输出,学生模型可能学会“像答案一样回答”,却不知道工具为什么这样调用、参数为何变化。遇到工具报错、字段缺失或权限不足时,它甚至可能继续编造结果。

更值钱的是失败样本:

  • 哪一步选错了工具。
  • 哪个参数与任务状态冲突。
  • 哪次错误恢复及时。
  • 哪种回答虽然流畅,却没有完成验收条件。

这些轨迹可以迁移。成功轨迹往往容易共享,失败原因通常最接近业务内部经验,也最不容易被标准化。

因此,蒸馏可以扩充数据规模,却不能替代后训练数据公地。它更像是把教师模型的输出层复制给学生,而不是复制完整的决策过程。

合成数据不是免费午餐

LLM 可以批量生成训练样本。

这是最便宜、速度最快的方案,也是最容易被高估的方案。

如果用模型 A 生成数据,再交给同源或近似的模型 B 训练,生成偏好会被放大。原本的小偏差,可能在多轮迭代中变成系统性偏差。

更直接的风险是:模型生成自己熟悉的答案。

合成数据适合补充格式统一、规则明确、正确性可验证的任务。例如:

  • 把自然语言转换成固定 JSON Schema。
  • 从结构化记录中抽取固定字段。
  • 为分类任务生成边界案例。
  • 在可执行环境中生成并验证代码。

但对开放式任务,合成数据常常缺少真实世界的噪声。

随机合成的问题通常出在分布。生成器覆盖了常见样本,却没有覆盖罕见输入、冲突指令和工具异常。

规则生成更可控。例如用模板和状态机生成工具调用轨迹。优点是状态合法,缺点是行为僵硬,模型可能只学会遵循表面格式。

真实任务轨迹的价值更高,因为它包含用户临时改需求、接口返回脏数据、权限被拒绝、工具超时等细节。但它们成本高,也有隐私和合规问题。

合成数据的最佳位置,不是替代真实数据,而是补齐真实数据里的长尾。

开放数据集能补到什么程度

开放数据仍然有用。只是要按训练层次拆开看。

公开指令集,例如 Alpaca、Dolly 和 OpenHermes,适合做指令跟随、回答格式和基础对话风格的初步实验。它们的问题也明显:来源混杂,部分样本由模型生成,质量和许可情况需要逐项核查。

偏好数据集适合训练“更喜欢哪一种回答”。但偏好标注高度依赖标注者画像。代码助手喜欢的简洁解释,未必适合初级用户;通用标注者认为有帮助的回答,也可能遗漏专业安全要求。

代码数据则要更谨慎地区分。GitHub 仓库里的源代码、issue、pull request 和提交记录,不是同一种训练素材。

它们分别可以提供:

  • 代码语料:语法、API 用法和实现模式。
  • Issue:问题描述、复现信息和讨论上下文。
  • Pull request:修改方案与代码审查信号。
  • Commit:开发过程中的局部变更。

这些开放来源能支撑通用能力和基线实验,却很难直接补齐某个 Agent 的业务后训练需求。

许可证也是硬限制。代码可能允许训练,但不一定允许再分发;用户日志可能含有个人信息;客服对话可能受商业保密约束。

所以团队要做的不是先下载最大语料库,而是建立一份来源清单:数据来自哪里、许可覆盖什么、能否保留原记录、质量由谁验证。

AI Agent 团队的数据工程

务实路线是围绕失败任务建数据,而不是围绕模型建语料。

第一步,定义任务验收标准。

“查一下订单状态”不是合格评测项。需要明确:必须调用哪个工具、允许使用哪些字段、什么情况下拒绝执行、最终输出需要包含什么。

第二步,记录真实轨迹。

至少保留五类信息:

任务目标
环境状态
工具调用与返回
中间决策或计划
最终结果与验收结果

第三步,把失败分类。

我通常会分成四类:

  • 任务理解错误。
  • 工具选择错误。
  • 参数构造错误。
  • 结果判断错误。

不同错误需要不同数据。工具选择错误要补正反例;参数错误要补 schema 约束;结果判断错误则需要验证器和明确标签。

第四步,用合成数据补长尾,但用真实环境验证。

例如随机生成 1 万次订单查询没有太大价值。更有用的方式是先从线上失败案例中找出异常分布,再针对这些情况构造边界样本,并在可执行环境中检查工具调用是否真的成功。

第五步,让数据和评测一起迭代。

每次模型或工具更新,都重跑同一批任务。比较的不只是最终答案,还包括工具调用次数、参数错误率、无效循环次数和拒答准确率。

这套流程不需要先建立一个庞大的数据仓库。它更像一个持续运行的数据飞轮:失败进入日志,日志经过分类和脱敏,变成训练或评测样本,再由下一次发布验证效果。

编辑思考

后训练真正稀缺的不是样本数量,而是高质量任务轨迹。对普通聊天模型,答案加一个偏好标签已经能提供不少信息;对 AI Agent,工具状态、失败原因和验收标准缺一不可。数据公地即使出现,也未必能直接训练 Agent,因为不同团队的环境、权限和风险边界并不通用。

OpenAthena 这篇文章与过去常见的“数据规模决定能力”叙事不同。它把共享问题放在后训练语境里:数据不是没有,而是难形成可互用的共同标准。我预计未来会出现局部共享——工具调用轨迹、Agent 失败分类、验证脚本和评测环境会比通用问答数据更值钱。不过,公开数据如何避免泄露企业策略与安全边界,仍没有简单答案。

来源:

来源: https://openathena.ai/blog/there-is-no-posttraining-data-commons/