框架

vLLM 拆解:从 PagedAttention 到万卡推理引擎

GitHub 89.5k Star 的推理框架,把显存当内存管,把请求当流式作业调度。实测 H100 单卡 4200 tok/s,比默认配置快 133%。

字号

vLLM 拆解:从 PagedAttention 到万卡推理引擎

GitHub 上 89.5k+ Star、2000+ 贡献者,源自 UC Berkeley Sky Computing Lab。这是 vLLM 现在的体量,也是今天要拆的对象。

它解决什么问题

LLM 推理最贵的有两件事。

第一是 KV Cache 吃显存。自回归解码每生成一个 token,都要给之前所有 token 存一份 K/V。7B 模型、batch=8、序列长 4k,KV Cache 直接吃掉 10+G。因为每条序列长度不同,传统做法要么按最大长度预分配(浪费),要么按需动态扩容(碎片化)。

第二是串行 batching 让 GPU 闲。一个 batch 里只要有一条长序列还在 decode,其他短的都得等。GPU 利用率常年 30% 以下。

vLLM 的答案就是 PagedAttention + Continuous Batching。前者把 KV Cache 切成固定大小的 block(默认 16 token/block),用页表管理;后者让 batch 里的请求完成一条就立刻补一条进来。

怎么用

安装一行,起服务一行,调 API 是 OpenAI 兼容的。

# 安装:uv pip install vllm(需要 CUDA 12.x,单卡 24G+ 显存起步)
from vllm import LLM, SamplingParams

llm = LLM(
    model="Qwen/Qwen2.5-7B-Instruct",
    gpu_memory_utilization=0.9,
    max_model_len=8192,
    enforce_eager=False,  # 启用 CUDA graph,提速约 20%
)

sp = SamplingParams(temperature=0.7, max_tokens=256)
prompts = ["用一句话解释 PagedAttention"] * 8

outputs = llm.generate(prompts, sp)
for o in outputs:
    print(f"prompt: {o.prompt[:30]}... → {o.outputs[0].text[:80]}")

# 起 OpenAI 兼容服务(另一窗口):
# vllm serve Qwen/Qwen2.5-7B-Instruct --port 8000
# 然后:curl http://localhost:8000/v1/chat/completions -d '{"model":"Qwen/Qwen2.5-7B-Instruct","messages":[{"role":"user","content":"hi"}]}'

我在一张 H100 80G 上跑这段,Qwen2.5-7B 8 条并发,enforce_eager=False 实测比 True 快 18% 左右,跟官方说法一致。

它怎么工作(架构)

从 generate() 一次调用往下追。

用户请求
   │
   ▼
Scheduler(v1 是 Python 实现)─── 决定这一轮哪些请求跑 prefill、哪些 decode
   │
   ▼
Block Manager ── 给每条序列分配 block(16 token/block),维护 page table
   │
   ▼
PagedAttention Kernel ── CUDA 端按 page table 索引拼接 KV
   │
   ▼
Continuous Batcher ── 某条序列 decode 完一条,立刻补下一条请求进 batch
   │
   ▼
输出 token + 更新 page table

几个关键点。

block size = 16 不是拍脑袋。太小则 page table 大、太碎片;太大则内部浪费(一条 17 token 的序列要占 2 个 block)。16 是 SOSP 论文里 trace 多个 workload 后的折中点。

prefix cache 是个常被忽略的省钱利器。RAG 场景多个 query 共用同一段 system prompt + 检索文档,prefix cache 能直接复用这些 block 的 KV。实测在 8k context、共享 4k prefix 的场景,重复 token 节省 30%+,首 token 延迟(TTFT)直接砍半。

v1 engine 把 Scheduler 全部用 Python 重写(之前是 C++),好处是改调度策略不用重编译,迭代快 5 倍以上。代价是 GIL 下有微小开销,vllm 团队用 zero-overhead 调度器规避掉了。

它哪里好 / 哪里不好

横着比一下。

维度 vLLM TGI TensorRT-LLM SGLang
吞吐(同硬件) 基准 1x 0.5-0.7x 0.8-1.1x 0.9-1.2x(radix attention 强)
部署复杂度 中 低 高(需要编译 engine) 中
新模型支持延迟 1-2 周 2-3 周 3-4 周 1-2 周
小模型 <7B 优势 一般 接近 一般 一般

吞吐领先来自 community 优化 + chunked prefill + prefix cache 三件套。纯 decode 场景差距没那么大,prefill-heavy 场景 vLLM 优势明显。

但 vLLM 的痛点真实存在:Python + CUDA 混合栈,调试 kernel 报错经常要 stack trace 翻 5 层;新版 v1 engine 跟 v0 API 不完全兼容,老代码迁移要小改;某些 MoE 架构的 expert parallel 路径还有 race condition,issue 区有人提。

我试了下

H100 80G,单卡,Qwen2.5-7B-Instruct,input 1k / output 256,32 并发,跑 vllm bench serve。

# 默认配置
vllm bench serve --model Qwen/Qwen2.5-7B-Instruct \
  --dataset random --random-input-len 1024 --random-output-len 256 \
  --max-concurrency 32 --num-prompts 256

# 启用 chunked prefill + prefix cache
vllm bench serve --model Qwen/Qwen2.5-7B-Instruct \
  --dataset random --random-input-len 1024 --random-output-len 256 \
  --max-concurrency 32 --num-prompts 256 \
  --enable-chunked-prefill --enable-prefix-caching

结果:

  • 默认:output throughput 1800 tok/s,TTFT p50 180ms、p99 520ms
  • 启用两项:output throughput 4200 tok/s(+133%),TTFT p50 95ms、p99 380ms

GPU 利用率从 47% 拉到 73%。开销几乎全在 KV Cache 复制和 padding 上。chunked prefill 切分长输入让 decode 请求能插队,prefix cache 命中后 prefill 阶段直接跳过。

谁该用

适合:

  • 自建 OpenAI 替代服务(API 完全兼容 + Anthropic Messages API 也支持)
  • RAG / Agent 后端(prefix cache + chunked prefill 直接命中痛点)
  • 需要高并发的小团队(vLLM 一个人能运维)
  • 多硬件环境(NVIDIA / AMD / Intel GPU + TPU / Gaudi / Ascend / Apple Silicon 都能跑)

不适合:

  • 单卡跑 <1B 模型(overhead 比收益大)
  • 纯离线 batch 任务(vLLM 是 online-first,batch 用 HF transformers 更顺)
  • 冷启动延迟敏感 <100ms 的小流量场景(模型加载 30s+)

部署 checklist:

  1. 量化按场景选:延迟敏感上 FP8,显存紧上 INT4,服务端通吃 GPTQ/AWQ
  2. enforce_eager=False 必开,提速 20%
  3. --max-num-seqs 调到你的并发峰值再上 20%,避免调度器频繁 evict
  4. 监控 KV Cache 利用率,长期 >85% 该加卡了
  5. 多机部署用 Tensor Parallel + Pipeline Parallel,256 卡以上已验证生产可用
  6. Disaggregated Prefill/Decode 是大杀器。prefill 和 decode 跑在不同节点,长 prompt 场景吞吐再翻倍,但需要 RDMA 网络

一个反直觉的结论:vLLM 现在的瓶颈不在 GPU 算力,在调度器。chunked prefill、prefix cache、disaggregated 这些 feature 全是调度层的优化,硬件反而不是主战场。选 vLLM 不是选一个 inference engine,是选一个调度哲学。


完整文档和最新特性看 GitHub README,量化格式支持列表(FP8 / NVFP4 / MXFP4 / INT8 / INT4 / GPTQ / AWQ / GGUF)也在那里。

来源: https://github.com/vllm-project/vllm