两台 NVIDIA DGX Station 配合 vLLM,GLM-5.3 推理吞吐达到 607.8 tok/s。本文拆解这套多机部署方案,并列出生产环境需要补测的指标。
先看结论:两台 DGX 跑出 607.8 tok/s
这次测试的组合很直接:
- 模型:GLM-5.3
- 硬件:两台 NVIDIA DGX Station
- 推理框架:vLLM
- 结果:607.8 tok/s
NVIDIA 在技术文章中说明,这套方案针对单台 DGX Station 无法满足目标吞吐量的情况。两台设备协同提供同一个 GLM-5.3 推理服务,而不是各自处理完全独立的请求。
我更愿意把它看作多机推理部署案例,而不是新的 GPU 跑分榜单。它回答了一个很具体的问题:现有工作站吃不下目标吞吐量时,除了换更大的单机,还能做哪些工程尝试。
原始技术文章:https://developer.nvidia.com/blog/when-one-gpu-isnt-enough-serving-glm-5-3-across-two-nvidia-dgx-stations-with-vllm/
跨机推理,真正扩容的是吞吐
LLM 推理经常被压成一个数字:每秒生成多少 token。
但 tok/s 至少要先问三个问题:
- 是单请求的输出速度,还是多个请求加起来的总吞吐?
- 每个请求有多长的 input 和 output?
- 测试期间有多少并发请求?
缺少这些上下文,607.8 tok/s 很难换算成“每个用户感受到多快”。
跨机推理扩容通常采用模型并行。模型权重切到不同 GPU 上,每台设备计算一部分层,前向计算通过高速互联传递中间状态。这样能利用更多显存和计算资源,也避免每个节点都完整加载一份模型。
这里的核心不是复制两个服务实例,而是让两台 DGX Station 组成一个推理集群。vLLM 负责请求调度、连续批处理和并行执行,NVIDIA 的基础设施负责节点间通信。
模型并行也有明确代价:
- 节点间延迟会进入每次推理路径。
- 两台机器的负载需要保持平衡。
- 任一节点异常,都可能影响整个服务。
- 部署、排障和扩缩容比单进程复杂得多。
所以,这套方案首先扩容的是吞吐,不是所有延迟指标。它可能提高系统同时服务请求的能力,却不保证首 token 时间更快。
vLLM 为什么适合做这件事
vLLM 不是单纯追求某个模型跑得更快。它更接近高吞吐推理服务框架,解决动态请求如何共享有限 GPU 资源。
关键能力主要有三层。
第一层是 PagedAttention。它用分页方式管理 KV cache,减少显存浪费。对长上下文和高并发服务,这比单纯提高算力更直接。
第二层是 continuous batching。生成式请求的耗时不同。新请求到来时,调度器可以调整批次,不必等整批请求全部结束。离线跑固定 prompt 时,优势不明显;线上流量持续变化时,它很关键。
第三层是分布式执行。vLLM 支持把模型切到多台机器,并处理跨节点通信,让模型并行不只停留在单台多 GPU 主机内部。
这三项能力组合起来,构成这次案例的部署路径:
GLM-5.3
↓
vLLM distributed serving
↓
NVIDIA DGX Station #1 ←→ NVIDIA DGX Station #2
硬件峰值只是上限。权重如何切分、请求如何排队、KV cache 如何复用、节点间如何通信,决定系统最终能交付多少有效吞吐。
607.8 tok/s 不等于生产环境已经够快
607.8 tok/s 是一个醒目的结果,但不能单独作为生产验收指标。
我会至少补测下面几组数据:
| 维度 | 需要记录的内容 |
|---|---|
| 输入输出长度 | 短问答、长提示词、代码生成分别测试 |
| 并发量 | 单请求、典型业务峰值和压力峰值 |
| 延迟 | TTFT、TPOT、端到端 P50/P95/P99 |
| 资源 | 每节点显存、GPU 利用率、功耗 |
| 稳定性 | 连续运行数小时后的吞吐与错误率 |
| 故障行为 | 单节点退出、重启和恢复时间 |
其中,TTFT 很关键。用户发出请求后多久看到第一个 token,往往比后续 token 的生成速度更影响交互体验。批量离线任务可以接受高 TTFT,Agent 的在线调用则未必。
请求长度分布也很重要。如果测试全是短输入、长输出,吞吐会很好看。换成大量长上下文请求,KV cache 占用和 prefill 时间都可能改变结果。
更可靠的做法,是拿真实业务流量回放。没有生产流量时,至少固定 input/output token 长度、并发数、请求到达速率和模型参数,再比较单台与双机结果。否则,607.8 tok/s 只是一张测试截图。
这套方案对国产模型部署意味着什么
对已经使用 NVIDIA 基础设施的团队,这项测试的价值在于:推理栈可以是独立层,不必和某个模型绑定。
当 GLM-5.3 不再满足成本、效果或并发要求时,团队可以尝试替换模型,而不是先重做整个硬件平台。前提是目标模型能接入 vLLM,并满足分布式并行、量化和算子支持等条件。
这能把两个决策拆开:
- 模型层:比较 GLM-5.3 与 Claude、Qwen、DeepSeek 等模型的输出质量、价格和上下文能力。
- 系统层:比较 vLLM、TensorRT-LLM 等推理栈,以及单机、多机、不同并行策略的运行成本。
多机部署也会增加运维复杂度。团队要监控节点健康、网卡和互联状态,处理版本同步,还要准备节点故障时的降级与恢复方案。跨机吞吐越高,一个节点故障造成的影响也越大。
因此,607.8 tok/s 更适合被看作部署路线验证:自有 NVIDIA 基础设施可以承接开源模型,模型和推理栈也能分层替换。至于是否值得上生产,需要完整基准和故障演练来回答。
编辑思考
这次案例真正有意思的地方,不是刷新了某个吞吐数字,而是把“单台 GPU 不够”从采购问题改写成了系统问题。模型并行、连续批处理和跨节点调度,可以重新安排已有硬件的利用方式。对国产模型部署尤其如此:模型效果需要频繁迭代,底层推理系统却不必跟着重写。
我的判断是,团队评估模型时会更常采用“双层成本”:模型单 token 价格,加上达到目标 SLA 所需的有效吞吐成本。后者会直接影响选卡、并行策略和供应商选择。
这次和过去跑分不同之处,是测试对象已经从单张 GPU 变成完整服务路径。不过,现有摘要没有给出输入输出长度、并发量、TTFT 和完整配置,所以我还不能据此判断 607.8 tok/s 在生产中的性价比。值得等完整测试数据,而不是提前宣布“双机就是答案”。
来源
https://developer.nvidia.com/blog/when-one-gpu-isnt-enough-serving-glm-5-3-across-two-nvidia-dgx-stations-with-vllm/