Jane Street 在 GitHub 的 agent_skills 仓库公开了 Socratic Tutor。它不直接公布答案,而是通过连续追问定位推理漏洞。对做教学产品的人来说,这比再叠一层“苏格拉底式提示词”更值得研究。
Jane Street 在 GitHub 的 agent_skills 仓库里公开了 Socratic Tutor。相关讨论登上 Hacker News 首页,获得 551 points 和 129 条评论。
大家真正感兴趣的,不是一个更会答题的聊天机器人,而是一个愿意忍住不公布答案、持续追问学生推理过程的 AI Agent。
Socratic Tutor 的实现很轻:一份可复用的 SKILL.md。但它指出了一个值得教学产品认真处理的问题——学生需要的,往往不是答案,而是找到自己卡住的地方。
551 分背后,开发者买的是“过程”
Hacker News 的热度容易让人误以为,这又是一个“某某 Agent 登上首页”的项目。
551 points 和 129 条评论说明,开发者关注的是另一件事:如何把模型从答案生成器,改造成学习过程里的干预者。
普通问答产品通常追求更短的响应时间、更高的正确率和更直接的结果。学生输入“为什么会这样”,系统返回一段解释;再输入“怎么做”,系统继续给步骤。效率很高,却可能替学生完成了最该由学生完成的部分。
Socratic Tutor 走的是相反方向。它的核心方法不是直接回答学生问题,而是通过连续追问暴露推理漏洞、澄清概念,并引导学生自行得出答案。
这对应了一种明确的产品取向:教学型 AI 产品正在从直接生成答案,转向辅导推理过程。
不过,551 分不能直接证明它能提高学习成绩。Hacker News 读者可能喜欢这种交互理念,也可能只是对 Jane Street 的工程实践感兴趣。实际教学效果,还需要更严格的对照实验。
它和普通聊天机器人差在哪
普通聊天机器人的基本循环是:
用户提问 → 检索资料 → 组织答案 → 返回结果
Socratic Tutor 更接近这样的循环:
学生作答 → 检查概念与推理 → 定位缺口 → 提出下一问
差异不只是提示词里多了一句“请使用苏格拉底式方法”。它改变了系统与学生对话的目标。
连续追问
一次追问只能算提示,连续追问才能形成诊断。学生说“因为函数是单调的,所以结果成立”,Tutor 需要继续确认:这里的“单调”指什么?区间是什么?是否严格递增?
问题必须和当前推理相关。不能泛泛地问“还有什么想知道的”,也不能为了延长对话,把已经明确的内容再问一遍。
澄清概念
很多错误不是计算错误,而是概念混用。学生把“相关性”当“因果性”,把“样本均值”当“总体均值”,或者漏掉边界条件。
有效追问会迫使学生说明自己使用的概念和适用条件。若学生的说法本身矛盾,Tutor 应先指出矛盾,而不是立即给正确术语。
暴露推理漏洞
传统 RAG 问答模板关注文档是否找到了、答案是否引用了来源。Socratic Tutor 还要回答另一个问题:学生的结论从前提到结论,中间缺了哪一步?
因此,它的理想输出不是一段更漂亮的答案,而是一串有诊断价值的追问:
- 你依赖了哪个假设?
- 如果这个条件不成立,结论还成立吗?
- 你刚才的方法和示例用的是同一个定义吗?
这意味着系统必须维护对话状态,知道学生已经解释过什么、误解了什么,以及哪一步仍未解决。
一个 SKILL.md 就能定义教学人格
Socratic Tutor 是 Jane Street 在 GitHub 的 agent_skills 仓库中公开的一套教学型 Agent Skill。它采用可复用的 SKILL.md 形式定义 Agent 行为,没有把教学流程写死在应用代码中。
原始说明见:
https://github.com/janestreet/agent_skills/blob/master/socratic-tutor/SKILL.md
这类做法对 Agent 框架有实际价值。教学策略不再是某个 Python 文件里的一串条件判断,而成为可阅读、可审查、可复用的行为规范。
可以把它理解为 Agent 的“角色配置层”。产品团队仍然可以在外面接入模型、工具、状态管理和界面;中间的教学方法则由 SKILL.md 描述。
它至少带来四个好处:
- 行为可审查。 教学规则能被产品、教师和评测人员直接阅读。
- 策略可替换。 同一套 Agent 框架可以加载不同 Skill。
- 实验成本更低。 修改教学逻辑不必重写应用代码。
- 跨运行时复用。 只要目标 Agent 能读取 Markdown 规范,就能采用类似行为。
但 Markdown 文件不是魔法。它适合表达“应该追问什么”“什么时候换策略”,不适合承担完整状态机、工具权限和评测闭环。
如果 Skill 只写“持续追问直到学生理解”,模型很容易机械地重复问题,或者在缺少上下文时假装已经诊断出误区。真正的工程工作仍在外层:保存学生回答,识别已覆盖的概念,并根据场景切换方法。
追问太多,也可能把人问烦
苏格拉底式教学有一个明显风险:把“帮助思考”变成“拒绝提供帮助”。
真实学习场景并不统一。
- 第一次接触概念的学生,可能连问题该拆成什么都不知道。
- 复习考试的学生,可能需要快速确认关键步骤。
- 已经尝试多次的学生,可能只差一个最小提示。
- 明确要求核对最终答案的用户,需要的是校验,而不是继续绕圈。
因此,Socratic Tutor 最有价值的部分,不该是“永不直接回答”,而应是“判断什么时候不该直接回答”。
一个更可靠的策略至少有四档:
诊断问题 → 定向提示 → 示例或类比 → 给出答案并解释
触发切换的信号也应该具体。例如,学生连续两次回答同一错误、明确要求提示、剩余时间有限,或者关键前置知识缺失,都应降低追问层级。
学生感到挫败后,Agent 还应允许其退出。否则,“不替代学生思考”很容易变成“增加学生放弃成本”。
真正的价值在提示词之外
评估教学型 AI Agent,只看最终答案正确率不够。
很多产品已经能把标准题解得很好。即使模型完全不追问,直接输出正确答案,最终正确率也很高。但这种系统无法区分:
- 学生真的理解了;
- 学生只是照抄了 AI 的中间步骤;
- AI 恰好没有触发学生的典型误区。
更值得关注的是以下指标:
- 误诊率: Agent 声称学生存在某个误区时,这个误区是否真实存在?
- 追问命中率: 每次追问是否指向影响解答的具体错误?
- 提示升级准确率: 需要提示时,是否给了足够小、但又足够有效的帮助?
- 独立解决时间: 经过辅导后,学生独立完成同类题需要多久?
- 提示后迁移: 学生能否把方法应用到新题,而不是复述刚才的答案?
其中,“缩短学生独立解决题目的时间”比单次答题正确率更接近产品目标。但它也更难测:需要控制题目难度、前置知识、辅导时长和退出条件。
一种可执行的评测方式,是为同一道题配置多个教学策略:直接给答案、固定追问脚本和 Socratic Tutor。然后让不知道分组条件的学生随机进入,再比较独立解题时间、提示请求次数和错误类型。
模型版本也要固定。否则,一次升级带来的推理能力变化,可能盖过教学策略本身的效果。
编辑思考
Socratic Tutor 值得看,不是因为它证明“AI 比老师更会教”,而是把产品目标从“更快产出答案”改成了“更早暴露错误”。这会改变教学型 AI Agent 的优化指标:答案正确率不再足够,独立解题时间和错误迁移更重要。
我的判断是,下一批产品的差异不会主要来自模型更大,而会来自状态管理、策略切换和效果评测。知道什么时候追问,比知道怎么追问更难。
这次与过去常见的 AI 教学功能不同。它没有只换一层苏格拉底话术,而是尝试用可复用的 Skill 固化干预方式。不过,551 points 和 129 条评论只能证明开发者感兴趣,不能证明它提升学习效果。
目前仍缺少严格的对照实验。没有验证独立解题时间和迁移效果前,它更适合作为教学设计样本,而不是已经成立的产品范式。