RTK 是 Redux Toolkit,前端状态管理库。最近它在 AI 编码工作流里被重新包装——号称能把 prompt 里的代码上下文大幅压缩,省 token,省钱。
然后 Quesma 团队跑了一遍 benchmark,结论是:实测只省 2%。
厂商宣称的数字和第三方独立测试差距巨大。这个话题在 HN 上拿了 64 分、36 条评论,说明开发者社区对厂商成本声明的真实性非常敏感。
RTK 是什么,为什么争议
RTK 全名 Redux Toolkit,是 React 生态里官方推荐的状态管理库。最近它被一些 AI 编码工具引入到 prompt 预处理阶段——把代码、状态、上下文经过 RTK 风格的"扁平化 + 序列化"压缩后,再喂给 LLM。
逻辑听起来合理:token 少了,API 费用就降了。
厂商的卖点通常是"节省 60%-80% token",再附一个看起来很漂亮的 demo 视频。问题是:这种 demo 跑的都是精心构造的 prompt,不是真实工作流。
HN 上那条贴讨论热度很高,开发者普遍不信任厂商自报数据。Quesma 的测试正好戳中这个痛点。
Quesma 怎么测的
Quesma 不是嘴炮,他们公开了完整的测试方法:
- 代码任务:选了 5 个真实编码场景,包括重构、bug 定位、新功能添加
- Baseline:直接喂原始代码给 Claude(用的是 Claude Sonnet 4)
- 实验组:经过 RTK 压缩后再喂给同一个模型
- 衡量指标:端到端完成任务的总 token 消耗,包括 system prompt + user message + tool calls + assistant response
关键细节:他们没用厂商 demo 里那种"超长上下文 + 极简问题"的 prompt,而是模拟开发者日常的编码请求——会包含错误信息、迭代过程、中间反馈。
结果:
- 厂商声称节省 60-80%
- Quesma 实测节省约 2%
差距不是一倍两倍,是数量级。
差距为什么这么大
我自己看完测试方法论,归纳出几个可能原因:
1. 测试场景不同
厂商 demo 通常是"一次性"任务——把 10 万行代码压缩后问一个问题。但真实工作流是多轮的——你问一句,模型答一句,再问一句,再答。RTK 的压缩优势在多轮对话里会被稀释,因为每轮都有新的代码片段进来。
2. System prompt 没算
很多厂商只统计 user message 里的 token 节省,不算 system prompt 和工具定义。但 Claude 的 system prompt 经常就有几千 token。如果 baseline 和实验组都用同一个 system prompt,那它在总开销里的占比会拉低"节省比例"。
3. Caching 没考虑
Claude API 有 prompt caching。如果压缩后的内容无法命中 cache,反而可能增加成本——因为 cache 是基于前缀匹配的,压缩算法改变了文本结构,命中率会下降。Quesma 的测试里应该没单独跑 caching scenario,但这是企业落地时必须考虑的点。
4. 压缩本身的开销
RTK 在压缩时需要额外的计算步骤。如果在 client 端跑,要时间;在 server 端跑,要钱。这部分成本往往被忽略。
5. "Token 节省"≠"省钱"
即使真省了 30% input token,output token(模型回复)可能没变,甚至因为压缩后信息丢失而变长——模型要补充解释。Quesma 的测试应该是算总账,但很多厂商只算 input。
厂商自报数据,怎么看
这事不新鲜。过去两年我看过太多类似的营销话术:
- "比 GPT-4 快 10 倍"(指特定 benchmark,不是一般场景)
- "节省 90% 成本"(指 input 侧,不算 output)
- "支持 100 万上下文"(指窗口大小,不是有效信息量)
共同特点:选择性披露。挑最有利的指标,挑最理想的场景,挑最漂亮的数字。
对企业选型的实际意义:
- 别信 PPT。跑自己的 case。
- 用你真实的代码、真实的 prompt、真实的流量分布
- 至少跑一周,覆盖不同任务类型
- 别只看 token,看总成本 + 模型表现(压缩后模型答错率上升,等于白省)
Quesma 这种独立 benchmark 应该成为采购流程的标准环节,不是可选附件。
编辑思考
这件事的核心不是 RTK 好不好,而是厂商自报数据的可信度正在崩塌。
过去 SaaS 时代,大家习惯了"免费试用 + 销售对接"的采购流程。AI 工具不一样——成本结构复杂(input/output/caching/工具调用)、效果难量化、场景差异巨大。厂商完全有能力构造一个对自己有利的 benchmark,然后堂而皇之地写进官网。
我的判断:未来一年,第三方 benchmark 会从 nice-to-have 变成采购标配。原因:
- 大企业 CTO 被烧过几次后,开始要求"独立测试报告"作为付款条件
- 开源社区会涌现一批类似 Quesma 的独立测试机构,专门做"戳穿营销话术"的活
- 监管可能介入——欧盟 AI Act 的某些条款已经在往这个方向走
这次和过去不同的点:以前的 benchmark 争议是学术性的(ImageNet 上谁刷榜),这次的争议是商业性的、直接挂钩真金白银。开发者社区的反应速度也比以前快得多——Quesma 一发博客,HN 当天就首页讨论,厂商很难装死。
不确定的地方:Quesma 的测试方法论本身是否无懈可击?比如他们用的 Claude Sonnet 4 是否对压缩后的输入有偏见?这个需要更多独立团队复现。如果未来三个月内有 2-3 家得出类似结论(节省 5% 以内),那基本可以定性为"营销造假"。如果出现分歧很大的复现结果,那说明场景敏感性比预想的还高,选型时要更加谨慎。
参考链接:
- Quesma 原文:https://quesma.com/blog/does-rtk-make-ai-coding-cheaper/
- HN 讨论:https://news.ycombinator.com/item?id=49656471