产品

Cloud AI 100 Ultra 深度解析:128GB 低功耗推理卡

Cloud AI 100 Ultra 用 128GB 内存、548GB/s 带宽和 150W 功耗押注云端推理。硬件路线清楚,但采购决策仍缺吞吐、延迟、兼容性与迁移成本数据。

字号

150W 功耗、128GB 内存、548GB/s 带宽。Cloud AI 100 Ultra 不和英伟达硬拼峰值算力,而是押注云端大模型推理的内存与能效。

官方将 Cloud AI 100 Ultra 定位为数据中心 AI 加速卡,面向云端 AI 推理部署。Qualcomm 产品页列出的规格包括 150W 功耗、128GB 内存和 548GB/s 内存带宽。

根据原始素材,Hacker News 讨论当时在首页获得 49 points 和 19 条评论。讨论规模不算大,但问题很集中:这究竟是一张有实际部署价值的推理卡,还是又一款依赖工作负载适配的专用加速器?

参数重点不是峰值算力

先看三组参数。

  • 功耗:150W
  • 内存:128GB
  • 内存带宽:548GB/s

评价训练卡时,人们习惯先问 FP16、BF16 或 FP8 的峰值算力,再看显存容量和带宽。对推理卡来说,顺序应该反过来。

大模型推理经常受制于三个环节:

  1. 模型权重是否已经放进内存;
  2. 每生成一个 token,需要读取多少权重;
  3. 多个请求同时进来后,系统如何调度。

如果模型没有完整驻留,系统就要在 CPU 内存、加速器内存和外部存储之间搬运权重。计算单元可能还没忙起来,瓶颈先出现在 I/O。

Cloud AI 100 Ultra 的 548GB/s 内存带宽,目标显然不是击败所有高端 GPU,而是提高单卡驻留能力并减少权重搬运。150W 的意义也在这里:它允许更密的机架部署,也降低了每个实例的散热需求。

当然,这不等于它天然拥有更低延迟。延迟还取决于量化方式、算子实现、批处理策略、主机连接和软件栈。参数能说明路线,不能替代实测。

128GB 才是主要卖点

128GB 是这张卡最值得讨论的参数。

过去两年,大模型推理越来越强调 KV cache。长上下文、Agent 多轮调用、RAG 和高并发,会持续吃掉显存。上下文窗口写进产品页是一回事,模型运行后还能留下多少空间给 KV cache,是另一回事。

更大的统一内存带来几个直接好处。

少一次换入,延迟更稳定

当一个中等规模模型的量化权重可以完整驻留,推理服务就不必频繁从主机内存或 SSD 换入权重。请求到来时,系统可以直接计算。

这对于交互式服务尤其重要。用户感受到的是首 token 延迟和后续生成速度,而不是板卡宣传页上的理论峰值。

长上下文不必立即牺牲并发

长上下文带来的额外压力通常不只来自权重,还来自 KV cache。128GB 如果能由软件有效管理,部署者就有更多空间调整上下文长度、batch size 和并发数。

但这里必须加一个限定:128GB 是总内存,不是全部都能无条件留给 KV cache。运行时仍需要工作空间、通信缓冲区,以及框架本身的占用。

MoE 模型更适合大内存路线

MoE 架构在每个 token 的计算过程中只激活部分专家,但全部专家权重仍要驻留或被访问。大内存可以减少路由之外的权重搬运压力。

因此,Cloud AI 100 Ultra 的逻辑并不是“容量越大,任何模型都越快”,而是:当工作负载受到内存和带宽约束时,更大的容量有机会换来更低的换页成本、更稳定的延迟,以及更高的服务密度。

150W 改变了采购账

对云服务商来说,推理加速器首先是采购成本,其次才是性能。

150W 意味着什么?

假设一个机架部署 32 张卡,单卡功耗就是 4.8kW,还没算 CPU、内存、网络和电源冗余。如果换成 700W 的高端 GPU,同样数量的板卡已经达到 22.4kW。机架供电、液冷设计和机房空间都要跟着调整。

这里的 700W 只用于说明功耗差异,不是 Cloud AI 100 Ultra 的对比产品参数,也不能据此推导两者性能差距。正确的算法是看每个有效 token 的成本:

每 token 成本 =
(设备折旧 + 电费 + 机房与散热成本)
÷ 部署期间产出的有效 token 数

如果 Cloud AI 100 Ultra 的实际吞吐较低,它必须靠更低功耗、更高部署密度和更少运维成本追回差距。如果吞吐接近,同时功耗低一个数量级,采购账会很好看。

这才是 150W 的价值。它不是省电宣传词,而是可能改变机架密度和单位 token 成本的设计约束。

高通绕开 CUDA 正面竞争

英伟达 GPU 的优势从来不只是芯片。

CUDA、cuDNN、NCCL、TensorRT-LLM、vLLM 支持,以及大量已经调好的算子和量化流程,共同构成了迁移成本。开发者遇到不支持的算子,通常可以沿生态找到替代方案或现成实现。

Cloud AI 100 Ultra 不需要在这一整套维度上赢。它只要在一类稳定工作负载里做到足够好,就能形成部署价值。

这类工作负载通常具备这些特征:

  • 模型结构相对固定;
  • 输入输出以文本或图像 token 为主;
  • 业务可以接受编译和算子适配;
  • 部署方愿意为更低功耗和更大内存接受一定软件成本。

这也是专用推理卡常见的产品逻辑。不追求“什么都能跑”,而是围绕明确模型和明确服务等级优化。

不过,英伟达仍有明显优势:通用性、工具完整度,以及从开发到部署的路径。Cloud AI 100 Ultra 要证明的不是“CUDA 没有的一切”,而是“在某些云推理任务里,它能以更低的总成本交付足够好的结果”。

基准测试仍是最大缺口

目前最需要看到的不是更多产品参数,而是可复现的工作负载数据。

至少要回答四个问题。

1. 实际吞吐是多少?

需要给出模型、精度、输入长度、输出长度、batch size 和并发数。单看 tokens/s 没有意义,因为一个持续输出 1,000 token 的任务和一个只输出 20 token 的任务,负载完全不同。

2. 首 token 延迟如何?

TTFT 决定用户是否感觉系统“卡住”。最好同时报告冷启动、预热后,以及不同并发下的 P50、P95 和 P99。

3. 模型兼容性怎样?

要确认主流开源模型的覆盖情况,以及量化后的精度损失。尤其要关注 MoE、长上下文和结构化生成,这些正是 128GB 内存最可能产生优势的场景。

4. 软件迁移成本多大?

部署需要多少代码修改?是否能复用 Hugging Face、vLLM 或现有服务框架?遇到不支持算子时,是小修补,还是需要重写模型?

如果这些问题没有明确答案,150W、128GB 和 548GB/s 仍然只是一组规格,不足以判断产品成败。

Qualcomm 官方页面:
https://www.qualcomm.com/data-center/products/cloud-ai-100-ultra

Hacker News 讨论:
https://news.ycombinator.com/item?id=50370654

编辑思考

这件事重要,不是因为它又多了一张 AI 加速卡,而是推理采购开始多了一个可计算的选择:不用只比较峰值算力,还要比较内存容量、功耗和单位 token 成本。对云服务商来说,这会直接影响机架密度、上下文长度与并发策略。

我的判断是,专用推理卡的突破口不会是通用模型市场,而是固定模型、稳定流量、延迟边界明确的服务。它更可能先进入内部 API、批量文本处理等场景,暂时不适合频繁换模型或依赖复杂算子的业务。

这次与过去“堆更高峰值算力”的路线不同,评价标准转向部署后的总成本和可预测性。128GB 不只是规格数字,也可能成为调度策略的一部分。不过,目前仍没有公开基准、实际模型清单和迁移案例,无法确认软件栈能否把硬件优势兑现;采购前仍需用自己的模型做压测。

来源: https://www.qualcomm.com/data-center/products/cloud-ai-100-ultra