Unsloth 7.4 万星:把本地 LLM 微调从劝退变下载即用
GitHub 上有个叫 unslothai/unsloth 的仓库,73,983 stars,2024 年 LLM 工具里涨速排前列。我自己跑了一下,下面把实测和拆解都写清楚。
实测结论
4090 上跑 Qwen2.5-7B-Instruct 的 LoRA 微调:
- HF + bitsandbytes:单步 2.3s,显存峰值 18.5GB
- Unsloth:单步 1.1s,显存峰值 11.2GB
加速 2.1×,显存省约 40%。和官方宣传的 2–5×、40–70% 一致。
它解决什么问题
本地跑模型有三道坎。
第一道,显存门槛。Qwen2.5-7B 全精度加载要 14GB+,普通消费卡直接 OOM。
第二道,环境配置。bitsandbytes、flash-attn、xformers、PyTorch 版本对齐,新机器从头配能折腾一下午。
第三道,训练成本。一次微调几个小时电费几十块,跑两次就劝退。
Unsloth 把这三件事压成一个 Electron 桌面 App。一个 .exe / .dmg 下载就能跑 Qwen、Llama、DeepSeek、Mistral、Gemma、Phi,覆盖微调、LoRA、DPO、RAG、Agent 调用。
怎么用
两条路径。
桌面端:去 GitHub releases 下对应平台的安装包,Windows / macOS / Linux / ARM64 都有,双击装完开箱即用。
Python 端:pip install unsloth,不用单独装 bitsandbytes。4 行代码加载模型。
最小微调代码(Qwen2.5-7B LoRA):
# pip install unsloth 即可
from unsloth import FastLanguageModel
import torch
from trl import SFTTrainer
from transformers import TrainingArguments
# 1. 加载模型 + 自动 4bit 量化
model, tokenizer = FastLanguageModel.from_pretrained(
model_name = "unsloth/Qwen2.5-7B-Instruct-bnb-4bit",
max_seq_length = 2048,
load_in_4bit = True,
)
# 2. 套 LoRA
model = FastLanguageModel.get_peft_model(
model,
r = 16,
target_modules = ["q_proj", "k_proj", "v_proj", "o_proj"],
lora_alpha = 16,
use_gradient_checkpointing = "unsloth", # 省显存关键
)
# 3. 训(示意,省略 dataset)
trainer = SFTTrainer(
model = model,
train_dataset = your_dataset, # 换成你的数据
tokenizer = tokenizer,
args = TrainingArguments(
per_device_train_batch_size = 2,
gradient_accumulation_steps = 4,
max_steps = 60,
learning_rate = 2e-4,
fp16 = not torch.cuda.is_bf16_supported(),
bf16 = torch.cuda.is_bf16_supported(),
),
)
trainer.train()
# 4. 导出 GGUF 本地推理
model.save_pretrained_gguf("./qwen-finetuned", tokenizer, quantization_method = "q4_k_m")
最后一行导出的 GGUF 直接喂给 llama.cpp,不用再回 PyTorch。
它怎么工作
三层架构。
最上层 Electron 前端,中间层 Python 后端调度,最底层是重写的 CUDA / Triton kernel。
具体技术栈:手工重写的 RoPE、CrossEntropy、MatMul kernel,以及 LLaMA Attention。这是它比 bitsandbytes 快 2–5× 的原因——不是调 cuBLAS,而是自己写了更紧的算子。
量化走 4/8-bit GGUF,配合动态内存规划。显存比 HF 原生路径省 40–70%。
兼容性:和 HuggingFace TRL、vLLM 直接打通,LoRA / QLoRA / DPO / ORPO / GRPO 套现有生态,零迁移。
好的部分
- 73k stars,issue 响应快
- 模型覆盖广(Llama 3/3.1、Qwen2.5/3、Mistral、Phi-3、Gemma 2/3、DeepSeek-V3、Kimi K2)
- 显存省 40–70%,训练快 2–5×
- 配套 Kaggle / Colab 免费 Notebook,墙内用 Kaggle 直接跑
- 支持把本地模型通过 Cloudflare 暴露成 HTTPS,给 Claude Code / Codex 接私有 Agent 用
- 顺手支持图像 / 视频 diffusion(FLUX 等)
不好的部分
- ARM 路径还在补,Apple Silicon 上部分 kernel 性能打折
- 加了奇怪 attention 变体的模型需要手动 patch
- 桌面端目前是 v0.1.800-beta,还在迭代
- 量化后精度损失对数学、代码类任务需要校验
谁该用
适用:
- 个人开发者想本地调 Qwen / Llama / Gemma
- 不熟 vllm / trl 命令行的产品经理
- 国内用 Kaggle 跑免费 GPU 的玩家
- 想给 Claude Code / Codex 接本地模型做私有 Agent 的团队
不适用:
- 生产大规模训练(需 DeepSpeed / FSDP)
- 超大规模模型(>70B 单卡搞不定)
- 需要严格控制推理延迟的在线服务(vLLM / TGI 更专业)
实测细节
硬件:4090 24GB。
模型:Qwen2.5-7B-Instruct(unsloth/Qwen2.5-7B-Instruct-bnb-4bit)。
数据:alpaca 数据集 1k 条。
方法:LoRA,r=16,target=q/k/v/o_proj。
训完导出 GGUF(q4_k_m),喂给 llama.cpp 直接出 token,没问题。整个流程 50 行代码。
结论
Unsloth 不是银弹,但它把本地 LLM 微调的门槛从「工程师活」拉到了「产品经理能上手」。如果你只是想调个 7B 模型跑点私有数据,又不想折腾环境,它是最省事的路径。
参考资料:GitHub 仓库