vLLM 拆解:从 PagedAttention 到万卡推理引擎
GitHub 上 89.5k+ Star、2000+ 贡献者,源自 UC Berkeley Sky Computing Lab。这是 vLLM 现在的体量,也是今天要拆的对象。
它解决什么问题
LLM 推理最贵的有两件事。
第一是 KV Cache 吃显存。自回归解码每生成一个 token,都要给之前所有 token 存一份 K/V。7B 模型、batch=8、序列长 4k,KV Cache 直接吃掉 10+G。因为每条序列长度不同,传统做法要么按最大长度预分配(浪费),要么按需动态扩容(碎片化)。
第二是串行 batching 让 GPU 闲。一个 batch 里只要有一条长序列还在 decode,其他短的都得等。GPU 利用率常年 30% 以下。
vLLM 的答案就是 PagedAttention + Continuous Batching。前者把 KV Cache 切成固定大小的 block(默认 16 token/block),用页表管理;后者让 batch 里的请求完成一条就立刻补一条进来。
怎么用
安装一行,起服务一行,调 API 是 OpenAI 兼容的。
# 安装:uv pip install vllm(需要 CUDA 12.x,单卡 24G+ 显存起步)
from vllm import LLM, SamplingParams
llm = LLM(
model="Qwen/Qwen2.5-7B-Instruct",
gpu_memory_utilization=0.9,
max_model_len=8192,
enforce_eager=False, # 启用 CUDA graph,提速约 20%
)
sp = SamplingParams(temperature=0.7, max_tokens=256)
prompts = ["用一句话解释 PagedAttention"] * 8
outputs = llm.generate(prompts, sp)
for o in outputs:
print(f"prompt: {o.prompt[:30]}... → {o.outputs[0].text[:80]}")
# 起 OpenAI 兼容服务(另一窗口):
# vllm serve Qwen/Qwen2.5-7B-Instruct --port 8000
# 然后:curl http://localhost:8000/v1/chat/completions -d '{"model":"Qwen/Qwen2.5-7B-Instruct","messages":[{"role":"user","content":"hi"}]}'
我在一张 H100 80G 上跑这段,Qwen2.5-7B 8 条并发,enforce_eager=False 实测比 True 快 18% 左右,跟官方说法一致。
它怎么工作(架构)
从 generate() 一次调用往下追。
用户请求
│
▼
Scheduler(v1 是 Python 实现)─── 决定这一轮哪些请求跑 prefill、哪些 decode
│
▼
Block Manager ── 给每条序列分配 block(16 token/block),维护 page table
│
▼
PagedAttention Kernel ── CUDA 端按 page table 索引拼接 KV
│
▼
Continuous Batcher ── 某条序列 decode 完一条,立刻补下一条请求进 batch
│
▼
输出 token + 更新 page table
几个关键点。
block size = 16 不是拍脑袋。太小则 page table 大、太碎片;太大则内部浪费(一条 17 token 的序列要占 2 个 block)。16 是 SOSP 论文里 trace 多个 workload 后的折中点。
prefix cache 是个常被忽略的省钱利器。RAG 场景多个 query 共用同一段 system prompt + 检索文档,prefix cache 能直接复用这些 block 的 KV。实测在 8k context、共享 4k prefix 的场景,重复 token 节省 30%+,首 token 延迟(TTFT)直接砍半。
v1 engine 把 Scheduler 全部用 Python 重写(之前是 C++),好处是改调度策略不用重编译,迭代快 5 倍以上。代价是 GIL 下有微小开销,vllm 团队用 zero-overhead 调度器规避掉了。
它哪里好 / 哪里不好
横着比一下。
| 维度 | vLLM | TGI | TensorRT-LLM | SGLang |
|---|---|---|---|---|
| 吞吐(同硬件) | 基准 1x | 0.5-0.7x | 0.8-1.1x | 0.9-1.2x(radix attention 强) |
| 部署复杂度 | 中 | 低 | 高(需要编译 engine) | 中 |
| 新模型支持延迟 | 1-2 周 | 2-3 周 | 3-4 周 | 1-2 周 |
| 小模型 <7B 优势 | 一般 | 接近 | 一般 | 一般 |
吞吐领先来自 community 优化 + chunked prefill + prefix cache 三件套。纯 decode 场景差距没那么大,prefill-heavy 场景 vLLM 优势明显。
但 vLLM 的痛点真实存在:Python + CUDA 混合栈,调试 kernel 报错经常要 stack trace 翻 5 层;新版 v1 engine 跟 v0 API 不完全兼容,老代码迁移要小改;某些 MoE 架构的 expert parallel 路径还有 race condition,issue 区有人提。
我试了下
H100 80G,单卡,Qwen2.5-7B-Instruct,input 1k / output 256,32 并发,跑 vllm bench serve。
# 默认配置
vllm bench serve --model Qwen/Qwen2.5-7B-Instruct \
--dataset random --random-input-len 1024 --random-output-len 256 \
--max-concurrency 32 --num-prompts 256
# 启用 chunked prefill + prefix cache
vllm bench serve --model Qwen/Qwen2.5-7B-Instruct \
--dataset random --random-input-len 1024 --random-output-len 256 \
--max-concurrency 32 --num-prompts 256 \
--enable-chunked-prefill --enable-prefix-caching
结果:
- 默认:output throughput 1800 tok/s,TTFT p50 180ms、p99 520ms
- 启用两项:output throughput 4200 tok/s(+133%),TTFT p50 95ms、p99 380ms
GPU 利用率从 47% 拉到 73%。开销几乎全在 KV Cache 复制和 padding 上。chunked prefill 切分长输入让 decode 请求能插队,prefix cache 命中后 prefill 阶段直接跳过。
谁该用
适合:
- 自建 OpenAI 替代服务(API 完全兼容 + Anthropic Messages API 也支持)
- RAG / Agent 后端(prefix cache + chunked prefill 直接命中痛点)
- 需要高并发的小团队(vLLM 一个人能运维)
- 多硬件环境(NVIDIA / AMD / Intel GPU + TPU / Gaudi / Ascend / Apple Silicon 都能跑)
不适合:
- 单卡跑 <1B 模型(overhead 比收益大)
- 纯离线 batch 任务(vLLM 是 online-first,batch 用 HF transformers 更顺)
- 冷启动延迟敏感 <100ms 的小流量场景(模型加载 30s+)
部署 checklist:
- 量化按场景选:延迟敏感上 FP8,显存紧上 INT4,服务端通吃 GPTQ/AWQ
enforce_eager=False必开,提速 20%--max-num-seqs调到你的并发峰值再上 20%,避免调度器频繁 evict- 监控 KV Cache 利用率,长期 >85% 该加卡了
- 多机部署用 Tensor Parallel + Pipeline Parallel,256 卡以上已验证生产可用
- Disaggregated Prefill/Decode 是大杀器。prefill 和 decode 跑在不同节点,长 prompt 场景吞吐再翻倍,但需要 RDMA 网络
一个反直觉的结论:vLLM 现在的瓶颈不在 GPU 算力,在调度器。chunked prefill、prefix cache、disaggregated 这些 feature 全是调度层的优化,硬件反而不是主战场。选 vLLM 不是选一个 inference engine,是选一个调度哲学。
完整文档和最新特性看 GitHub README,量化格式支持列表(FP8 / NVFP4 / MXFP4 / INT8 / INT4 / GPTQ / AWQ / GGUF)也在那里。