产品

Google TPU 对比:8i Max 与 8tx 怎么选

8i Max 面向大规模推理,8tx 面向训练与集群互联。本文从延迟、成本、吞吐和扩展效率拆解两款 TPU 的选型边界。

字号

Google 同时发布 TPU 8i Max 和 TPU 8tx。前者面向大规模 AI 推理,后者侧重训练与集群互联。本文讲清两者的差别,以及采购前该测什么。

Google 发布了两款新型 AI 加速器:面向大规模 AI 推理的 TPU 8i Max,以及面向大规模训练、超级计算和高带宽低延迟互联的 TPU 8tx。

官方介绍见:TPU 8tx and TPU 8i Max。

这篇新闻登上 Hacker News 首页后,获得 203 分、48 条评论。先别把热度当成选型结论。这次发布的关键,是将训练和推理拆成两套基础设施。

不是两颗更大的 TPU

如果只按峰值算力比较 8i Max 和 8tx,很容易把问题问错。

AI 加速器不是独立运行的计算零件。上线后,它还要接入 HBM、主机内存、网络、编译器、运行时和调度系统。模型能否铺满芯片、计算单元能否持续工作、节点之间是否出现通信瓶颈,都更接近最终账单。

8i Max 的目标是 AI inference。Google 官方文章重点强调推理成本与部署效率。它更接近云上生产服务:请求有延迟要求,流量有峰谷,模型还要处理并发请求。

8tx 服务另一类问题:训练超大模型,以及超级计算场景。它强调 高带宽、低延迟互联。训练期间,大量加速器需要同步梯度、读取参数并交换中间结果。芯片算得再快,如果节点间等待太久,集群利用率仍然上不去。

可以先用一个简化模型理解:

# 粗略估算:分别计算计算时间与通信时间
def training_step_time(compute_seconds, transfer_seconds, overlap=0.0):
    overlap = max(0.0, min(overlap, 1.0))
    return compute_seconds + transfer_seconds * (1.0 - overlap)

fast_chip_but_slow_network = training_step_time(0.8, 2.4, 0.2)
slower_chip_with_faster_network = training_step_time(1.0, 0.6, 0.7)

print(fast_chip_but_slow_network)       # 2.72
print(slower_chip_with_faster_network)  # 1.18

这不是 8i Max 和 8tx 的性能测试,只是说明为什么单芯片指标不够。Google 把互联能力写进 8tx 的核心定位,说明集群通信已经和计算本身同等重要。

8i Max 押注的是推理账单

推理市场的采购逻辑与训练不同。

训练通常是一次性的大项目,模型确定后再决定规模。推理可能长期运行,而且业务形态很多:搜索、推荐、客服、内容生成、Agent 后端,都可能调用模型。

因此,企业采购 8i Max 所在的平台,真正敏感的通常有四项:

  • 每个 token 或每百万 token 的成本;
  • 稳定吞吐,而不是实验室里的最高吞吐;
  • 长尾请求下的尾延迟;
  • 现有 GPU 资源能否被高利用率接住。

Google 将 8i Max 定位为大规模 AI 推理产品,并强调推理成本与部署效率。这说明它卖的不是一块“更快的板子”,而是更低的单位服务成本。

这里要留一个口子:官方介绍不等于独立 benchmark。不同模型、batch size、输入输出长度和量化精度,结果可能差很多。Agent 场景中的工具调用、长上下文、KV cache 和并发模式,也会改变成本结构。

采购时,我会先用自有请求回放测试,而不是按峰值 FLOPS 排座次。至少记录:

  1. 端到端吞吐;
  2. P50、P95 和 P99 延迟;
  3. 达到目标吞吐时的功耗与成本;
  4. 模型升级、扩缩容和故障迁移时间。

如果 8i Max 能让已有推理服务在不明显增加延迟的前提下压低账单,它就有价值。若只是芯片规格更高,却无法改善编译、批处理和集群调度,优势容易被软件栈抵消。

8tx 争夺的是集群互联

8tx 的目标更集中:大规模训练与超级计算。

这类客户关心的不是“一次请求多快返回”,而是几千、几万颗加速器能否作为一个整体运行。常见瓶颈包括节点内带宽、跨节点网络、同步策略、checkpoint 写入,以及故障后的恢复时间。

大模型训练还有自己的节奏。早期计算往往不是最贵的部分,数据加载、专家并行通信和 checkpoint 都可能制造空转。高带宽、低延迟互联的价值,是减少加速器等数据的比例。

这也是为什么不能拿 8tx 和 8i Max 做简单的“谁更强”。前者优化集群总吞吐量与并行训练效率,后者优化在线推理服务成本。目标函数不同,赢家也不同。

对模型团队来说,比较 8tx 时应该看完整训练周期:

  • 相同模型和 batch size 下的 samples/sec;
  • 扩展到更多节点后的线性效率;
  • 通信密集型模型与计算密集型模型分别测;
  • checkpoint、恢复和监控工具是否成熟;
  • 从试验集群迁到生产集群,配置是否可复用。

第三方 benchmark 出来前,我不会根据芯片名称猜训练速度,也不会直接推导“训练成本下降多少”。

Google 在重画云端产品边界

Google Cloud 这次并不是在通用 GPU 之外简单增加两种 TPU,而是在重组服务边界。

专用 TPU 与通用 GPU 会长期并存。GPU 生态成熟,模型兼容性和软件工具更完整,适合快速试错、多模型混跑及特殊工作负载。TPU 通过芯片、互联、编译器和云服务协同,换取特定工作负载的成本优势。

这套逻辑与过去卖裸计算资源不同。客户最后购买的不是芯片 SKU,而是一整套服务:

应用
  ↓
模型与推理框架
  ↓
编译器、运行时、调度器
  ↓
TPU 集群与高速网络
  ↓
存储、监控、权限与运维

Google 更有机会把 TPU 包装成完整 AI 基础设施服务。对已经使用 Google Cloud 的团队,这种整合可能减少数据搬迁和系统拼接。对只买机器做训练的研究团队,则仍要看价格、供货和迁移门槛。

8i Max 与 8tx 的分层也更像一套产品组合:在线推理与离线训练分别优化,避免用一个硬件指标同时解释两个 workload。

开发者热度不等于采购结论

这条新闻登上 Hacker News 首页,获得 203 分、48 条评论。讨论热度说明 TPU 新品进入了开发者的信息流,但评论区关注什么,与企业是否迁移工作负载,是两回事。

开发者通常会追问:

  • 支持哪些框架和精度格式;
  • 调试与 profiling 是否顺手;
  • 迁移现有 CUDA 代码要改多少;
  • vLLM、Triton 或自定义算子是否兼容;
  • 实际吞吐和每 token 成本是多少。

企业采购还要多问一层:

  • 能否按需获得足够规模;
  • SLA 和配额是否稳定;
  • 故障恢复与技术支持是否可靠;
  • 三年总成本是否包含迁移和运维;
  • 供应商锁定会不会比硬件成本更高。

所以,Hacker News 的 203 分可以证明“有人在意”,不能证明“值得买”。价格、区域可用性、第三方 benchmark 和真实 workload 数据,目前都不该靠猜。

编辑思考

这次新品真正重要的,不是 Google 又多了两种芯片规格,而是 AI 基础设施竞争正在从单颗 accelerator,转向整套集群成本。芯片、HBM、互联、编译器、调度和运维被绑成一个交付物。8i Max 面向持续发生的推理账单,8tx 面向训练期间的通信和空转,两者对应完全不同的预算。

它与过去几轮 TPU 发布不同之处,在于 Google 更明确地把训练与推理拆成两套产品逻辑。这不意味着企业从此二选一,更可能意味着同一模型生命周期里,训练和在线服务会使用不同硬件。

我的判断是,未来最影响迁移成本的,不会是峰值算力差 20%,而是软件适配能否在两周内完成,以及调度器能否把资源利用率稳定拉高。不过,官方定位不能替代独立证据。售价、第三方 benchmark、区域可用性,以及真实 Agent 负载下的尾延迟,仍要继续等。

来源

https://blog.google/innovation-and-ai/infrastructure-and-cloud/global-network/tpu-8i-max-and-8tx/

来源: https://blog.google/innovation-and-ai/infrastructure-and-cloud/global-network/tpu-8i-max-and-8tx/