Anthropic 上周在 claude.dev/blog/how-we-made-claude-ai-faster 发了一篇工程博客,标题直接甩出两个数字:两周、3 倍。博客随后被顶到 Hacker News 首页(item id=49821196,17 points、2 条评论,讨论度不算爆但分量够)。
这篇博客值钱的地方不在代码——代码本身并不复杂——而在于他们怎么定位问题、怎么排优先级、以及敢于只花两周就重构一条核心链路。
国内做 LLM 产品前端的人(包括我自己)读完会眼红:同样的优化,国内大多数 AI 聊天产品连打点都没打全。
背景:claude.ai 这次优化到底改了什么
先把数字拆清楚。博客标题里的"3 倍"对应的是 p99 端到端响应时间(time to first visible token 加上后续流式渲染稳定下来的时间),不是首字时间(TTFT)单点指标,也不是模型推理本身的加速——Anthropic 明确说了这是客户端工程的事,模型层没动。
时间窗口是两个工程师周(calendar weeks),不是两个人月。这个密度本身就说明改动集中在前端链路,没有跨团队协调。
优化分三条线:
- p99 延迟降下来:识别并修复长尾请求
- 消息渲染路径重写:流式输出和框架 reconciliation 解耦
- 客户端整体瘦身:bundle、字体、首屏
p99 延迟:被忽视的真正瓶颈
大多数团队看 LLM 产品的性能,盯的是平均值。这是错的。
用户不感受平均值。用户感受的是:我点了一下按钮,等了 8 秒才开始蹦字。这种请求落在 p95 之后,p99 附近,平均值根本看不出来。
Anthropic 的做法很工程师:
- 在前端打点埋全。点 Send 那一刻打一个点,流式第一个 token 落地打一个点,流式结束打一个点。每条消息三个时间戳,client 端直传。
- 用真实用户数据算分位数,不看 staging 环境。看 p50、p95、p99 三条曲线,只优化 p99。
- 定位长尾来源。p99 高的请求,逐条查 trace,发现两类问题:网络抖动 + 渲染卡顿。前者换 CDN 节点,后者才是大头。
这个方法论没有黑魔法,关键是承认 p99 才是用户体验指标。
流式渲染:把 SSE 和前端框架的别扭处拆开
Claude 这种产品的核心交互是流式输出。模型一边吐 token,前端一边渲染。
问题是,SSE(Server-Sent Events)每收到一个 chunk,React 这种基于 virtual DOM 的框架都会触发 reconciliation。如果整个消息树是一个大组件,每来一个 chunk 就 re-render 一遍,长消息场景下渲染开销线性增长——消息越长,用户越能感觉到卡。
Anthropic 的解法思路(博客没给完整代码,但描述了思路):
- 把消息流式渲染路径和静态 UI 解耦
- 流式部分用绕过 virtual DOM 的直接 DOM 更新(类似 SolidJS、Immer 那套思路)
- 静态部分(输入框、侧边栏)继续走 React,两套机制各管各的
这套做法在 claude.ai 上跑起来的效果是:长消息(500+ token)渲染稳定,p99 延迟直接掉了一个数量级。
两周做 3 倍:哪些是工程杠杆、哪些是营销话术
博客里提到的几个改动点,我个人评估它们的杠杆大小:
| 改动 | 杠杆 | 备注 |
|---|---|---|
| p99 打点 + 长尾定位 | ⭐⭐⭐⭐⭐ | 没有这个,后面所有优化都是盲打 |
| 流式渲染路径重写 | ⭐⭐⭐⭐⭐ | 真正的性能大头 |
| Bundle 拆分 + 字体优化 | ⭐⭐⭐ | 锦上添花,首屏快 200ms 算多的 |
| CDN 节点切换 | ⭐⭐ | 取决于你的 CDN 供应商,效果浮动大 |
| "3 倍提速"这个数字 | ⭐(营销) | 单一指标,不是整体体验 |
3 倍这个标题党成分是有的。它是 p99 端到端延迟的改善,不是 TTFT(首字时间)也不是整体吞吐。但 p99 降下来,用户的主观"快"是真实的——所以也不完全是营销。
国内 LLM 产品能抄什么、抄不动什么
直接抄的:
- p99 打点方法论(任何团队都能做,门槛只是工程纪律)
- 流式渲染和静态 UI 解耦的思路(纯前端,框架无关)
抄不动的:
- CDN 节点切换:国内模型 API 大多走云厂商内网(阿里云、腾讯云、火山引擎),公网 CDN 优化空间小,且网络抖动原因不同
- 浏览器兼容:claude.ai 面向全球用户,假设是最新 Chrome/Safari。国内产品要兼容微信内置浏览器、夸克、各类套壳,渲染路径不能太激进
- 流式行为差异:不同国产模型的 SSE 实现不一致(有的 chunk 大、有的 chunk 小、有的中途会断连重连),流式渲染适配层要自己写
最值得抄的不是代码,是"p99 才是用户体验指标"这个认知。
编辑思考
这篇博客最值钱的部分不是 3 倍这个数字,而是它把"前端性能优化"这件事从经验主义拉回到了工程方法论层面:打点 → 看分位数 → 定位长尾 → 针对性优化。这个方法适用于任何 LLM 产品前端,包括国内这些。
但博客没说的部分也很重要:模型推理速度本身没动。前端优化只是把天花板下移了——你 p99 从 8 秒优化到 2.5 秒,但用户还是得等。如果模型推理是 10 秒,前端再怎么折腾也是 10 秒起。这次的 3 倍,实际是把"渲染层白白浪费的时间"挤掉了,不是让模型变快了。
一个反共识的观察:大多数 LLM 产品的性能问题,80% 都不在模型,而在前端和中间的网络链路上。这很反直觉——投资人愿意给的钱都砸在模型上,但产品体验的瓶颈往往在最不被投资的那一段。这也是为什么 Anthropic 能用两周做出 3 倍:前端优化的杠杆远大于继续 scale 模型。
不确定的一点:博客没披露具体改动前后的 p99 数字,只有"3 倍"这个比例。如果他们愿意在公开博客里把 baseline 和 after 的真实数字摆出来,可信度会高很多。现在的 3 倍,介于"严谨工程"和"营销话术"之间。
参考来源:
- Anthropic 官方博客: claude.dev/blog/how-we-made-claude-ai-faster
- Hacker News 讨论: news.ycombinator.com/item?id=49821196