Unsloth 7.4 万星:把本地 LLM 微调从劝退变下载即用
一个桌面 App 把 Llama、Qwen、DeepSeek 的微调打包成一键下载。核心是手工重写的 CUDA kernel + 4/8-bit GGUF 量化,省 40–70% 显存,速度快 2–5 倍。我在 4090 上实测 Qwen2.5-7B LoRA,单步从 2.3s 降到 1.1s。
164k stars 的 ML 基建底座。从一行代码拆开,看 AutoClass、Tokenizer、Model Hub 如何把整个开源 AI 生态串起来。
一个桌面 App 把 Llama、Qwen、DeepSeek 的微调打包成一键下载。核心是手工重写的 CUDA kernel + 4/8-bit GGUF 量化,省 40–70% 显存,速度快 2–5 倍。我在 4090 上实测 Qwen2.5-7B LoRA,单步从 2.3s 降到 1.1s。
GitHub 89.5k Star 的推理框架,把显存当内存管,把请求当流式作业调度。实测 H100 单卡 4200 tok/s,比默认配置快 133%。
Latent Space 播客把 Baseten Series F 估值写成 $13B,这个数字明显不对。把这事讲清楚,顺便拆解推理工程到底卷在哪儿。
Muse 推出 Glimmer 和 Spark 两款开放权重模型,Glimmer 直接对标消费级 GPU。3090 不是随便选的——背后是叙事争夺战。