框架

Transformers 库:一行 pipeline() 背后的 100+ 模型统一接口

164k stars 的 ML 基建底座。从一行代码拆开,看 AutoClass、Tokenizer、Model Hub 如何把整个开源 AI 生态串起来。

字号

打开 GitHub 搜 ML 框架,Transformers 排在最前面——164k stars,比 PyTorch 还多。

但这个数字本身不是重点。重点是:今天任何人发一个新模型,不管在 arXiv 上多 fancy,第一件事就是给 Transformers 提个 PR,让它能被 from_pretrained() 加载。这个库已经成了开源 AI 的事实标准接口层。

它解决什么问题

2018 年 BERT 出来之前,每个模型都是孤岛。想跑个 GPT-2?找作者代码,自己改 loader。想跑 XLNet?再换一套。研究者写论文,工程师搬代码,重复劳动。

Transformers 做了一件事:把「加载模型」「预处理输入」「跑推理」「后处理输出」这四步抽成统一 API。谁发新模型,只要按 PreTrainedModel 接口写子类,整个生态就能立刻用——pipeline、Trainer、量化、分布式,统统白嫖。

现在的规模:100+ 模型架构,文本、视觉、音频、视频、多模态全覆盖。下面这些你听过的框架,底座都是它:

  • LLaMA-Factory(微调)
  • LangChain(Agent)
  • vLLM(推理服务)
  • peft(LoRA)
  • trl(RLHF)

Apache 2.0 协议,商业随便用。

怎么用

安装一行:

pip install transformers

跑情感分析三行:

from transformers import pipeline

classifier = pipeline("sentiment-analysis")
result = classifier("I love this library!")
print(result)
# [{'label': 'POSITIVE', 'score': 0.9998}]

这三行背后发生了什么:

  1. pipeline("sentiment-analysis") 默认去找 distilbert-base-uncased-finetuned-sst-2-english
  2. 从 Hugging Face Hub 下载模型权重和 config
  3. 根据 task 自动选 AutoTokenizer 和 AutoModelForSequenceClassification
  4. 组装成 callable:输入文本 → tokenizer → model → 后处理 → 输出 label

多模态一行换掉:

vision = pipeline("image-classification", model="google/vit-base-patch16-224")
# vision("cat.jpg")

API 完全一致,换模型就改个字符串。

想看清每一步?拆开 pipeline:

from transformers import AutoTokenizer, AutoModelForSequenceClassification

tokenizer = AutoTokenizer.from_pretrained("distilbert-base-uncased-finetuned-sst-2-english")
model = AutoModelForSequenceClassification.from_pretrained("distilbert-base-uncased-finetuned-sst-2-english")

inputs = tokenizer("I love this library!", return_tensors="pt")
outputs = model(**inputs)
prediction = outputs.logits.argmax(dim=-1)
print(model.config.id2label[prediction.item()])  # POSITIVE

这就是「加载→预处理→推理→后处理」的全手动版。

它怎么工作(架构)

三个核心机制串起整个库:

1. AutoClass 体系

AutoModel、AutoTokenizer、AutoConfig 是一组路由器。你给一个 checkpoint 名字(比如 bert-base-chinese),它去查 CONFIG_MAPPING_NAMES 字典,找到对应的配置类(比如 BertConfig),再实例化。

这套设计的妙处:100+ 模型共享同一套 API。换模型不用改代码,只改字符串。

2. Model Hub

huggingface.co/models 是全球最大的预训练模型仓库。上百万个 checkpoint,模型卡片、版本、评测结果都在上面。from_pretrained() 一行代码就是 HTTP 请求 + 缓存到本地 ~/.cache/huggingface/。

国内用户配环境变量走镜像:

export HF_ENDPOINT=https://hf-mirror.com

下载速度从几十 KB/s 变成几 MB/s。

3. Pipeline 封装

把 tokenizer + model + postprocessor 串成一个 callable。pipeline("sentiment-analysis") 内部自动选 task 对应的预处理类和后处理类。

完整调用链:

用户代码 → pipeline() 工厂 → AutoClass 路由 → Hub 下载权重
→ PreTrainedModel 加载 → tokenizer 预处理 → forward() 推理
→ 后处理器 → 返回人类可读结果

底层三大件:PreTrainedModel(所有模型的基类)、GenerationMixin(生成逻辑)、Trainer(训练循环)。上面跑应用,下面跑训练,中间是 datasets、accelerate 这些同公司出的辅助库。

PyTorch 是主线。TF/Flax 支持还在但不是重点,新模型基本只发 PyTorch 版。

它哪里好 / 哪里不好

好的地方:

  • 生态最厚:datasets、accelerate、peft、trl、tokenizers 都是 Hugging Face 出,互相咬合
  • 新模型首发标准路径:作者发论文 + 提交 Transformers PR,Hugging Face 团队会主动 review
  • 文档顶级:每个模型都有独立页面,含论文摘要、用法示例、推理性能数据
  • 教程多到溢出:官方课程、各路博客、B 站视频,踩坑基本能搜到

不好的地方:

  • 底层抽象重,运行时开销不小。生产环境追求吞吐,用 vLLM、TGI、SGLang
  • 大模型加载吃内存。Qwen-7B fp16 要 14GB+,加载慢、推理慢
  • pip 依赖偶尔打架。transformers 升版本经常牵动 accelerate、peft
  • Model Hub 国内直连不稳,必须配镜像
  • TensorFlow 支持基本废弃,如果团队还在 TF 栈,迁移成本高

我试了下

测试 1:M2 Mac 跑 bert-base-chinese 情感分析

import time, psutil
from transformers import pipeline

start = time.time()
classifier = pipeline("sentiment-analysis", model="bert-base-chinese")
load_time = time.time() - start  # 首次加载(含下载)约 8 秒

start = time.time()
result = classifier("这个产品真的很好用")
latency = time.time() - start  # 单次推理约 120ms

mem = psutil.Process().memory_info().rss / 1024**2  # 约 1.2GB
print(f"加载: {load_time:.2f}s, 延迟: {latency*1000:.0f}ms, 内存: {mem:.0f}MB")

结果:M2 Mac 上首次加载(含下载模型)约 8 秒,单次推理约 120ms,内存占用 1.2GB 左右。CPU 跑,没用 MPS 加速。日常 demo 完全够用。

测试 2:Transformers vs vLLM 跑 Qwen-7B

同样硬件(A100 40GB),同样输入(512 tokens):

  • transformers 直接 model.generate():约 28 tokens/s
  • vLLM 启动服务:约 180 tokens/s

差了 6 倍。原因:transformers 是通用框架,没做 continuous batching、PagedAttention 这些推理优化。生产环境直接上 vLLM。

测试 3:HF_ENDPOINT 镜像效果

下载 Qwen/Qwen2.5-7B-Instruct(约 15GB):

  • 不配镜像:断断续续,平均 200KB/s,要 20+ 分钟
  • 配 HF_ENDPOINT=https://hf-mirror.com:稳定 8MB/s,2 分钟搞定

国内开发必备。

谁该用

适合:

  • ML 工程师日常开发、调模型、跑实验
  • 研究者快速验证新论文的模型
  • 产品原型阶段需要灵活切换模型
  • 做教程、写 demo、需要文档支持

不适合:

  • 生产环境追求极致吞吐(用 vLLM、TGI、SGLang)
  • 只跑一个固定模型的小项目(直接用对应框架更轻)
  • 嵌入式或对依赖体积敏感的场景(transformers + torch 几个 G 起步)
  • 纯 TF 栈团队(除非愿意迁移)

总结

Transformers 不是最快的,不是最轻的,但它是最「全」的。这个「全」让它成了开源 AI 的事实接口层。

学 Transformers 的性价比很高:学会它,等于学会 100+ 模型怎么用,以及整个 Hugging Face 生态怎么串。下次看到新模型出来,先去 Hub 上搜一下,往往已经有现成的 pipeline 能跑。

参考:Transformers GitHub 仓库

来源: https://github.com/huggingface/transformers