把 Claude Opus 换成一个更便宜的小模型,通常会换来准确率下降。
Hightouch 做了另一件事:保留 Opus,但不让每条记录都经过它。
他们构建了一个可按需请求 Claude Opus 协助的 JEV(Judgment / Judge / Evaluator 类轻量模型),先判断身份解析结果是否可靠。只有遇到模糊、冲突或高风险样本,系统才升级到 Claude Opus。
根据 Hightouch 公开的实验、提示词和评测细节,JEV 获得了接近 Claude Opus 的任务准确率,推理成本约为单独使用 Opus 的四分之一。换算下来,成本下降约 75%。
这不是少用 25% 的 Opus,而是把大部分请求挡在升级之前。
两层模型不是冗余设计
常见的多模型系统会同时询问两个模型,再通过投票或裁判机制决定答案。问题是:简单样本也被重复付费,延迟还会叠加。
Hightouch 的方案不是并行跑两遍,而是串行分工。
第一层是轻量级 JEV。它先完成身份解析,并输出结果与置信度。这个 JEV 并非固定模型,而是一个路由层:根据任务难度和自身判断,决定是否需要请求 Claude Opus。
第二层才是 Claude Opus。它处理 JEV 认为不确定的记录,并对最终判断负责。
这里最容易抄错的不是模型名称,而是请求流程:
record -> JEV -> confidence check
|-> high confidence: accept JEV result
|-> low confidence: request Claude Opus
如果所有样本都升级,级联就没有成本价值。如果升级条件过严,错误可能漏过去。真正要测的是:
- JEV 单独处理时的准确率;
- 升级到 Opus 的比例;
- 升级前后的错误分布;
- 每次解析的平均成本;
- P95 延迟,而不是只看平均值。
Hightouch 公开了实验设置、提示词和评测细节,也给出了可量化的准确率与成本对比。这一点很重要。否则“准确率不变,成本降 75%”只是一句无法复现的产品宣传。
原始文章:LLM Judges for Identity Resolution
四分之一成本怎么算出来
约 75% 的降幅不是凭空得到的折扣,而是请求结构变化的结果。
假设单独使用 Claude Opus 完成一次批量身份解析需要 100 个单位的推理成本。两层方案中,JEV 先处理全部记录,只有比例为 p 的样本升级到 Opus。两层模型的综合成本可以粗略写成:
总成本 ≈ JEV 批量处理成本 + p × Opus 升级成本
关键在 p。如果绝大多数身份匹配都能由简单规则或轻量模型稳定解决,升级比例就会很低,Opus 的费用自然大幅下降。最终报告口径显示,总推理成本约为单独使用 Opus 的四分之一。
这组数据不能直接解释为“Opus 价格下降 75%”。模型单价没有变化。变化的是调用量:系统把不需要 Opus 的判断提前处理掉了。
还要注意一个工程细节。身份解析任务中的简单记录占比通常很高。邮箱、手机号等标识格式明确时,候选实体往往很少;真正棘手的是名称拼写差异、缺失字段、家庭成员共用地址,以及多个候选实体得分接近。JEV 适合先消化前一类,把后一类留给 Opus。
这也是为什么实验数据比架构图更重要。JEV 用什么提示词、如何定义置信度、何时升级,都会直接影响那 75%。
身份解析为何适合模型级联
身份解析不是自由问答。它有相对清晰的目标:在客户数据库里找出两条记录是否指向同一个实体。
但它同时充满模糊边界。
例如,“John Smith”可能对应多个客户。地址相同不能证明身份相同,邮箱不同也不一定代表两个人。规则系统适合处理完全匹配,却难覆盖跨系统字段缺失、昵称变化和录入错误。直接让 Opus 处理全部数据,又会让昂贵模型承担大量机械判断。
模型级联正好利用了这种分布:
- 格式规则明确,候选唯一:直接匹配或交给轻量模型;
- 字段轻微不一致,JEV 能判断:JEV 直接返回结果;
- 候选冲突、缺失严重:升级到 Claude Opus;
- 高风险业务样本:无论置信度多高,都走人工或更强模型复核。
最后一条很重要。低置信度路由不能替代合规审查。如果身份合并会影响计费、账户恢复或隐私访问,升级条件应当由业务风险决定,而不只是由模型自报分数决定。
相关讨论也登上了 Hacker News 首页,获得 165 分和 40 条评论。原讨论链接是 Hacker News item 50397429。评论区真正值得看的不是“模型会不会取代数据工程师”,而是升级阈值如何设置,以及这套方法能否迁移到其他任务。
JEV 路由比换模型更值得抄
直接换成便宜模型,通常会损失能力。模型级联保留了升级路径,因此更适合生产系统。
这套思路可以迁移到几个常见任务。
客服质检:JEV 先检查工单是否违反规则,明显合规的样本直接放行,复杂语气、上下文缺失或涉及赔付的样本再交给 Claude Opus。
数据清洗:轻量模型先处理标准格式、重复项和确定性格式错误,语义去重、冲突合并再升级。
代码审查:JEV 先跑静态检查并筛出低风险变更,架构影响、安全漏洞和跨模块逻辑交给更强模型。
迁移时应复制的是路由机制,不是 Claude Opus 与某个 JEV 的固定组合。
我会按下面四步搭一个最小版本:
- 先建立单模型的 baseline,记录准确率、成本和延迟。
- 让轻量模型同时输出结果、理由和置信信号。
- 从真实错误中反推升级条件,避免凭感觉设阈值。
- 用同一批样本做消融实验,比较不同升级比例下的收益。
一个简单的路由伪代码如下:
def resolve(record, jev, opus):
result = jev.judge(record)
needs_opus = (
result.confidence < 0.72
or result.candidate_count > 1
or "identity" in result.risk_flags
)
if needs_opus:
return opus.judge(record, candidate_result=result)
return result
这里的 0.72 只是演示,不是 Hightouch 的实验参数。上线前必须用自己的标注集校准。更好的做法是把置信度与业务风险分开:模型再自信,也不能覆盖明确的合规门槛。
编辑思考
这次实验比“用小模型替代大模型”更重要。它说明生产 AI 系统优化的单位,可能不是单次请求,而是整条决策链。
我的判断是,模型级联接下来会从 Agent 内部技巧变成成本控制层。客服、质检、数据清洗和代码审查都有共同结构:请求难度分布不均,少数困难样本贡献了大部分错误,也更适合消耗昂贵推理预算。
这和过去的参数微调不同。微调主要改变一个模型的能力边界;级联允许系统动态选择成本。Hightouch 的公开材料还给出了提示词和评测细节,使结果至少具备复现入口。
但目前公开数据仍不足以证明 75% 能迁移到所有任务。身份解析有明确答案和相对稳定的难度分层,开放式写作、复杂规划则未必。路由阈值一旦失准,节省的成本可能变成返工和人工复核。值得关注的不只是推理账单,还包括 P95 延迟、升级比例、误判类型,以及预算上限被击穿时的系统行为。