9 月初,Spotify engineering blog 发了一篇标题党味道很重的文章:"Portal by Spotify: Cut my Claude Code token usage by 90%"。
注意措辞——是 "cut my token usage",不是 "we invented a new model"。这东西不是新模型,不是新产品,是 Spotify 内部一直在用的 Claude Code 优化层,最近终于开源了。
文章很快上了 Hacker News 首页,写稿时 31 分、7 条评论。评论区两派人吵得很凶:一派觉得 90% 是营销话术,另一派在问"为啥不直接换 Haiku"。
两边都没看准重点。这件事最值得讲的,是 Spotify 走出了一条跟 Cursor / GitHub 都不太一样的路——不换模型,压缩输入。
Portal 是什么?Spotify 为啥要做
一句话定位:Portal 是夹在 Claude Code 和编辑器之间的中间层。Claude Code 发出的每一个请求,先过 Portal,Portal 把上下文裁一裁、prompt 压一压、再喂给 Claude。
它要解决的不是模型不够聪明,是 token 太贵。
Spotify 内部跑 Claude Code 的量级,工程师自己都承认是"非常非常大"。当一个团队的 AI 编程月账单开始往五位数美元走的时候,问题就不只是"模型好不好",而是"怎么用更少的 token 完成同样的事"。
传统思路是换更便宜的模型(Sonnet → Haiku),或者用 prompt cache。Spotify 的选择更激进——模型不动,从输入端下手。
90% 这个数字怎么来的
Spotify 官方把 token 下降拆成了三块贡献:
- 上下文裁剪——大文件只传相关段落,不传全文件
- Prompt 压缩——系统 prompt 和重复指令去重
- 工具调用优化——diff 增量替代全量文件重传
注意,这是工程实测,不是模型升级。Claude 模型没换,Claude Code 没换,换的是中间那层。
这也是 90% 被质疑的原因。HN 上有人问得很尖锐:"如果只是裁剪无关文件,90% 是不是意味着你之前传了一堆根本不该传的东西?"
这话有点刻薄,但不是没道理。如果一个团队本来就在滥用上下文窗口,任何裁剪都能砍出大数字。
技术细节:Portal 具体做了什么
Spotify 工程团队公开了几个关键点:
- 上下文窗口管理:维护一个滑动窗口,只保留最近 N 轮对话 + 当前任务相关的文件
- 文件相关性过滤:根据当前编辑的文件,推断哪些其他文件可能被引用,只把这些传进去
- 增量 diff 替代全量重传:文件修改后,只传 diff,不传整个新文件
下面是 README 里的最小使用示例:
# 安装
npm install -g @spotify/portal
# 在 Claude Code 配置里指定 Portal 作为代理
portal config --set anthropic_base_url=http://localhost:8080
# 启动 Portal
portal serve --port 8080
# Portal 内部的核心裁剪逻辑(简化版)
class ContextPruner:
def __init__(self, max_tokens=50000):
self.max_tokens = max_tokens
def prune(self, files: list[File], current_focus: str) -> list[File]:
# 1. 计算每个文件与当前焦点的相关性分数
scored = [(f, self._relevance(f, current_focus)) for f in files]
# 2. 按分数排序,贪心塞进 token 预算
scored.sort(key=lambda x: x[1], reverse=True)
result = []
used = 0
for f, score in scored:
if used + f.tokens > self.max_tokens:
continue
result.append(f)
used += f.tokens
return result
坦白讲,这里只能写到 Spotify 公开的内容为止。内部的具体启发式、阈值、缓存策略,Spotify 没披露,我也不会瞎猜。能确认的是:这不是魔法,就是一层代理 + 上下文工程。
HN 评论区在吵什么
那 7 条评论里,有三条值得拎出来:
"90% reduction is suspicious. What was your baseline? If you're sending entire repos as context, of course you can cut 90%."
"Why not just use Haiku? It's 1/10 the cost and good enough for most coding tasks."
"This is the real lesson: context engineering > model swapping. Most teams waste tokens before they need a better model."
第一条质疑基线(对比是否公平)。第二条质疑路线(为啥不换模型)。第三条点出了 Spotify 的核心论点。
这三个人代表社区的三种立场:怀疑派、实用派、认同派。HN 的 31 分说明认同派占多数——但里面有多少是 Spotify 工程师自己投的,不保证。
这件事和过去哪些"AI 编程降本"案例不一样
过去两年,大家提 AI 编程降本,基本是三条路:
| 路线 | 代表 | 思路 |
|---|---|---|
| 换便宜模型 | Sonnet → Haiku | 模型能力换成本 |
| Prompt 缓存 | Cursor、Copilot | 重复内容不重复计费 |
| 模型蒸馏/微调 | 各厂商自研小模型 | 用小模型跑特定任务 |
Spotify 这条是第四条:模型不动、缓存也不专门优化,直接从输入端把 token 干掉。
跟 Sonnet → Haiku 的区别在哪?模型能力。Haiku 在复杂重构、长链推理上还是比 Sonnet 弱不少。Spotify 显然不想牺牲这个能力,只想省钱。
跟 Cursor prompt cache 的区别在哪?粒度。Cursor 的 cache 是"同一个对话里重复的部分不重复算钱",Portal 是"这个对话里压根不该有的部分就别加进来"。前者是后端优化,后者是输入端优化。
对高频使用场景(每天跑几十上百次 Claude Code),Portal 这条路的边际收益更大。Cache 有上限,输入裁剪没有。
编辑思考
90% 这个数字,对大多数团队来说,可能只能复现 30-50%。
原因很简单:Spotify 是在自己的 monorepo、自己的代码风格、自己的 Claude Code 使用习惯下测出来的。换个团队、换个项目类型,基线都不一样。但这不是重点。
真正值得关注的,是这件事代表的态度转变:大厂开始把"AI 编程成本"当工程问题对待了。
过去两年,AI 编程工具的故事一直是"提效"——Copilot 让你写得更快、Cursor 让你更准、Devin 帮你自动干活的 demo。但成本是没人愿意谈的话题,大家都默认 token 是无限供应的。
Spotify 这篇文章罕见地把账单打开来给你看。这是第一次有大厂公开说"我们花了多少、我们怎么省的、我们省了多少"。
我的判断:接下来 6-12 个月,会有更多大厂开源类似工具。不是因为他们善良,是因为 AI 编程的账单已经大到 CFO 会问问题的程度。Google、Microsoft、Meta 内部大概率都有类似的东西,只是没公开。
不确定的地方:Portal 对个人开发者意义不大。配置成本、学习成本、对小项目来说不值。如果你一个月 Claude Code 账单不到 100 美元,装 Portal 大概率是负收益。它是为"每天重度使用"场景设计的工具。
另外一个我没想清楚的问题:Portal 这种中间层,长期会不会被 Anthropic 自己吃掉?如果 Claude Code 2.0 内置了上下文裁剪,Portal 还有存在价值吗?Anthropic 的产品节奏,决定了 Portal 是"过渡方案"还是"长期生态位"。
这件事的独特之处:它不是模型新闻、不是产品新闻,是工程新闻。在所有人都在卷模型、卷产品的时点,Spotify 选了最不性感的角度——优化中间层——但可能也是最容易被复制的角度。
参考链接:
- Portal by Spotify: Cut my Claude Code token usage by 90% (engineering.atspotify.com)
- Hacker News 讨论帖(标题同名,搜索可得)