工具

Socratic Tutor 深度解析:AI 教学不急着给答案

Jane Street 公开 Socratic Tutor,以连续追问定位学生的推理漏洞。本文从 Agent Skill、策略切换和教学评测三个层面,拆解这套方法为何不能只靠提示词完成。

字号

Jane Street 在 GitHub 的 agent_skills 仓库公开了 Socratic Tutor。它不直接公布答案,而是通过连续追问定位推理漏洞。对做教学产品的人来说,这比再叠一层“苏格拉底式提示词”更值得研究。

Jane Street 在 GitHub 的 agent_skills 仓库里公开了 Socratic Tutor。相关讨论登上 Hacker News 首页,获得 551 points 和 129 条评论。

大家真正感兴趣的,不是一个更会答题的聊天机器人,而是一个愿意忍住不公布答案、持续追问学生推理过程的 AI Agent。

Socratic Tutor 的实现很轻:一份可复用的 SKILL.md。但它指出了一个值得教学产品认真处理的问题——学生需要的,往往不是答案,而是找到自己卡住的地方。

551 分背后,开发者买的是“过程”

Hacker News 的热度容易让人误以为,这又是一个“某某 Agent 登上首页”的项目。

551 points 和 129 条评论说明,开发者关注的是另一件事:如何把模型从答案生成器,改造成学习过程里的干预者。

普通问答产品通常追求更短的响应时间、更高的正确率和更直接的结果。学生输入“为什么会这样”,系统返回一段解释;再输入“怎么做”,系统继续给步骤。效率很高,却可能替学生完成了最该由学生完成的部分。

Socratic Tutor 走的是相反方向。它的核心方法不是直接回答学生问题,而是通过连续追问暴露推理漏洞、澄清概念,并引导学生自行得出答案。

这对应了一种明确的产品取向:教学型 AI 产品正在从直接生成答案,转向辅导推理过程。

不过,551 分不能直接证明它能提高学习成绩。Hacker News 读者可能喜欢这种交互理念,也可能只是对 Jane Street 的工程实践感兴趣。实际教学效果,还需要更严格的对照实验。

它和普通聊天机器人差在哪

普通聊天机器人的基本循环是:

用户提问 → 检索资料 → 组织答案 → 返回结果

Socratic Tutor 更接近这样的循环:

学生作答 → 检查概念与推理 → 定位缺口 → 提出下一问

差异不只是提示词里多了一句“请使用苏格拉底式方法”。它改变了系统与学生对话的目标。

连续追问

一次追问只能算提示,连续追问才能形成诊断。学生说“因为函数是单调的,所以结果成立”,Tutor 需要继续确认:这里的“单调”指什么?区间是什么?是否严格递增?

问题必须和当前推理相关。不能泛泛地问“还有什么想知道的”,也不能为了延长对话,把已经明确的内容再问一遍。

澄清概念

很多错误不是计算错误,而是概念混用。学生把“相关性”当“因果性”,把“样本均值”当“总体均值”,或者漏掉边界条件。

有效追问会迫使学生说明自己使用的概念和适用条件。若学生的说法本身矛盾,Tutor 应先指出矛盾,而不是立即给正确术语。

暴露推理漏洞

传统 RAG 问答模板关注文档是否找到了、答案是否引用了来源。Socratic Tutor 还要回答另一个问题:学生的结论从前提到结论,中间缺了哪一步?

因此,它的理想输出不是一段更漂亮的答案,而是一串有诊断价值的追问:

  • 你依赖了哪个假设?
  • 如果这个条件不成立,结论还成立吗?
  • 你刚才的方法和示例用的是同一个定义吗?

这意味着系统必须维护对话状态,知道学生已经解释过什么、误解了什么,以及哪一步仍未解决。

一个 SKILL.md 就能定义教学人格

Socratic Tutor 是 Jane Street 在 GitHub 的 agent_skills 仓库中公开的一套教学型 Agent Skill。它采用可复用的 SKILL.md 形式定义 Agent 行为,没有把教学流程写死在应用代码中。

原始说明见:

https://github.com/janestreet/agent_skills/blob/master/socratic-tutor/SKILL.md

这类做法对 Agent 框架有实际价值。教学策略不再是某个 Python 文件里的一串条件判断,而成为可阅读、可审查、可复用的行为规范。

可以把它理解为 Agent 的“角色配置层”。产品团队仍然可以在外面接入模型、工具、状态管理和界面;中间的教学方法则由 SKILL.md 描述。

它至少带来四个好处:

  1. 行为可审查。 教学规则能被产品、教师和评测人员直接阅读。
  2. 策略可替换。 同一套 Agent 框架可以加载不同 Skill。
  3. 实验成本更低。 修改教学逻辑不必重写应用代码。
  4. 跨运行时复用。 只要目标 Agent 能读取 Markdown 规范,就能采用类似行为。

但 Markdown 文件不是魔法。它适合表达“应该追问什么”“什么时候换策略”,不适合承担完整状态机、工具权限和评测闭环。

如果 Skill 只写“持续追问直到学生理解”,模型很容易机械地重复问题,或者在缺少上下文时假装已经诊断出误区。真正的工程工作仍在外层:保存学生回答,识别已覆盖的概念,并根据场景切换方法。

追问太多,也可能把人问烦

苏格拉底式教学有一个明显风险:把“帮助思考”变成“拒绝提供帮助”。

真实学习场景并不统一。

  • 第一次接触概念的学生,可能连问题该拆成什么都不知道。
  • 复习考试的学生,可能需要快速确认关键步骤。
  • 已经尝试多次的学生,可能只差一个最小提示。
  • 明确要求核对最终答案的用户,需要的是校验,而不是继续绕圈。

因此,Socratic Tutor 最有价值的部分,不该是“永不直接回答”,而应是“判断什么时候不该直接回答”。

一个更可靠的策略至少有四档:

诊断问题 → 定向提示 → 示例或类比 → 给出答案并解释

触发切换的信号也应该具体。例如,学生连续两次回答同一错误、明确要求提示、剩余时间有限,或者关键前置知识缺失,都应降低追问层级。

学生感到挫败后,Agent 还应允许其退出。否则,“不替代学生思考”很容易变成“增加学生放弃成本”。

真正的价值在提示词之外

评估教学型 AI Agent,只看最终答案正确率不够。

很多产品已经能把标准题解得很好。即使模型完全不追问,直接输出正确答案,最终正确率也很高。但这种系统无法区分:

  • 学生真的理解了;
  • 学生只是照抄了 AI 的中间步骤;
  • AI 恰好没有触发学生的典型误区。

更值得关注的是以下指标:

  1. 误诊率: Agent 声称学生存在某个误区时,这个误区是否真实存在?
  2. 追问命中率: 每次追问是否指向影响解答的具体错误?
  3. 提示升级准确率: 需要提示时,是否给了足够小、但又足够有效的帮助?
  4. 独立解决时间: 经过辅导后,学生独立完成同类题需要多久?
  5. 提示后迁移: 学生能否把方法应用到新题,而不是复述刚才的答案?

其中,“缩短学生独立解决题目的时间”比单次答题正确率更接近产品目标。但它也更难测:需要控制题目难度、前置知识、辅导时长和退出条件。

一种可执行的评测方式,是为同一道题配置多个教学策略:直接给答案、固定追问脚本和 Socratic Tutor。然后让不知道分组条件的学生随机进入,再比较独立解题时间、提示请求次数和错误类型。

模型版本也要固定。否则,一次升级带来的推理能力变化,可能盖过教学策略本身的效果。

编辑思考

Socratic Tutor 值得看,不是因为它证明“AI 比老师更会教”,而是把产品目标从“更快产出答案”改成了“更早暴露错误”。这会改变教学型 AI Agent 的优化指标:答案正确率不再足够,独立解题时间和错误迁移更重要。

我的判断是,下一批产品的差异不会主要来自模型更大,而会来自状态管理、策略切换和效果评测。知道什么时候追问,比知道怎么追问更难。

这次与过去常见的 AI 教学功能不同。它没有只换一层苏格拉底话术,而是尝试用可复用的 Skill 固化干预方式。不过,551 points 和 129 条评论只能证明开发者感兴趣,不能证明它提升学习效果。

目前仍缺少严格的对照实验。没有验证独立解题时间和迁移效果前,它更适合作为教学设计样本,而不是已经成立的产品范式。

来源: https://github.com/janestreet/agent_skills/blob/master/socratic-tutor/SKILL.md