AI 写代码这事,过去两年评测体系基本只回答一个问题:这个模型能不能把 bug 修对?
能修对,排名就高。修得快、用 token 少,就更受推崇。SWE-bench Verified、DeepSWE、SWE-bench Live 这些主流榜单,核心指标就两类——solve rate 和成本。
但有个维度一直没人测:AI 修完这个 bug,留下了多少不需要的代码?
Parsimony 就是冲着这个缺口来的。它最近登上了 Hacker News 首页,核心思路只有一句话:不算行数,算净增 coding units。
现有 benchmark 都少测了一个维度
先说现状。SWE-bench Verified 是当前最被引用的 AI 编码榜单,OpenAI、Anthropic、Google 每次发新模型都会贴一组 Verified 上的分数。DeepSWE 是 Cognition(Devin 团队)搞的,SWE-bench Live 是 Princeton 维护的滚动版。
这三个榜单看什么?看 pass rate。看 token 成本。没有人看模型顺手往仓库里塞了多少垃圾代码。
实际工程里这事每天都在发生。我自己用 Claude Code 改过一个 Next.js 项目,模型 solve rate 满分,但 PR 多出了 800 行 —— 其中一半是 import 了一堆根本没用的 helper,还有一段把别的文件已有逻辑复制粘贴过来改了改。功能没问题,但接手的人下周就要骂娘。
这种事,现在的 benchmark 完全测不出来。
Parsimony 怎么量"净代码量"
Parsimony 的方法说明里写了一句话,我觉得是这个项目最聪明的地方:
Deleted code is subtracted, so it measures net units.
意思是它不光统计 AI 新写了多少代码,还把 AI 删掉的代码从总分里扣掉。最终分数是净增的 coding units,不是绝对行数。
为什么不直接数行数?因为行数太好作弊。模型只要在函数里多塞几行空行、加几行无意义注释,LoC 立马涨上去。LoC 是程序员都知道的糟糕度量。
Parsimony 改数 coding units,具体分四类:
- statements(语句)
- calls(函数调用)
- names(变量/类/标识符命名)
- literals(字面量,字符串/数字)
这是从语法树里抽出来的真实"代码密度",不是排版出来的假行数。
如果你想作弊,得让 AI 真的写出有意义的语法节点 —— 那其实就是写代码了。度量越接近语义层,作弊空间越小。这个思路和 Simon Willison 之前讨论的"评测要看意图,不只看输出"是同一个方向。
作者自己跑 GPT-6 和 Claude 5.5
Parsimony 的数据不是从论文里抄的。
项目页里直接写了: GPT-6 和 Claude 5.5 因为没有公开 patch,由作者本人跑模型补上了数据。
这件事本身就值得多说一句。Anthropic 和 OpenAI 发新模型的速度,已经超过了第三方 benchmark 跟上的速度。SWE-bench 的 patch 数据集是几个月前冻结的,新模型出来后要么等官方放数据,要么社区自己跑。Parsimony 的作者选择了后者 —— 他承认这部分分数和厂商内部数据可能有差,但至少等数据出来前,榜单不会空着。
对一个开源评测项目来说,这种"我来补数据"的态度挺重要。
对长期项目意味着什么
代码膨胀是慢病。
今天看着 solve rate 100% 的 PR,三个月后接手的人才会疼。多出来的 800 行代码,会变成:
- 没人敢删的"看起来有用"函数
- 复制粘贴过来的旧逻辑
- 调研用的 console.log 和调试分支
- 临时方案但永远没人删
每一个都是技术债。
Parsimony 的价值是把"未来维护成本"量化成今天就能比的数字。工程团队选 AI 编码工具时,从此多了一个打分项:不光要能修 bug,还要修得干净。
这和云厂商后来加的"按有效查询次数计费"是一个逻辑 —— 早期的"按调用计费"鼓励浪费,后期的"按结果计费"让优化变成竞争力。AI 编码工具迟早也会走到这一步。
编辑思考
所有 AI 编码榜单现在都在卷 solve rate。
这事本质上还是考试思维 —— 解题对就行,不管解得丑不丑。但真实工程不是考试。代码越长越难维护这件事,软件工程课上就讲过,到现在都没进 benchmark,挺说不过去。
Parsimony 开了个头,局限也很明显: 它目前还是单 PR 维度。跨文件影响没考虑(AI 改了 5 个文件,每个文件只删 20 行,看着净增为零,实际上模块边界已经崩了),可读性也没考虑(变量名瞎起、命名空间污染,这些 coding units 抓不到)。
但方向是对的。
留个问号:如果 Anthropic 和 OpenAI 把净代码量加进官方排名,整个行业会怎么变? 模型厂商会在训练里加"代码简洁度" reward,还是会出现专门优化这个分数的投机式模型?会不会又变成新一轮的内卷?
这事我猜不到,但可以肯定: 一旦官方榜单开始惩罚代码膨胀,AI 编码工具的 prompt engineering 重心就会从"怎么修对 bug"转向"怎么少写代码"。届时 prompt 工程师可能要开始读《Clean Code》了。
项目地址: https://parsimony.lasu.dev/
方法说明: 统计 statements/calls/names/literals 四类 coding units,删除代码从总分扣除