开源项目 Maple 用 Sub-2-BPW Moe Pruning 压缩 Gemma 4 26B,声称模型可放进 6GB GPU,并跑到 45 TPS。数字很亮眼,但第三方复现和剪枝损失仍待确认。
Maple 是一个开源 GitHub 项目,仓库地址是 https://github.com/AmSach/maple。
它采用 Sub-2-BPW Moe Pruning,面向每权重比特数低于 2 的稀疏化剪枝。项目声称,Gemma 4 26B 可以放进仅 6GB 显存的 GPU,生成速度达到 45 tokens per second。
两个数字放在一起很抓眼球:26B 模型、6GB 显存、45 TPS。
但先别急着换显卡。
Maple 展示的是一条工程路线,不是一份已经经过充分验证的结论。它真正值得测试的地方,是如何绕开“完整保留 26B 参数”这个前提。
26B 模型塞进 6GB,Maple 怎么做到
常规低比特量化有一个容易误解的地方:权重位宽变低,不等于计算时只剩这么多权重,也不等于显存占用会按位宽等比例下降。
推理阶段还要留出这些东西:
- KV cache
- 激活值与临时 buffer
- 框架和算子的 workspace
- batch size、上下文长度带来的额外开销
Maple 的核心取舍不是让每个权重都极端缩小,而是利用 MoE 模型的稀疏结构,减少每个 token 实际激活和参与计算的参数。
这里需要区分两件事:
- 模型总参数:Gemma 4 26B 仍是一个 26B 规模的模型。
- 单 token 激活参数:MoE 路由每次只选择部分 expert,Maple 的方案进一步围绕这部分计算做稀疏化剪枝。
“Sub-2-BPW”也不是一句“平均每个权重不到 2 bit”这么简单。它描述的是剪枝后的每权重比特预算,并要求计算路径对被剪掉的部分保持足够低的负担。标题里的 “Moe” 指向 Gemma 的混合专家结构,而不是把一个稠密模型强行改名。
这解释了为什么 26B 与 6GB 可以同时出现,但不等于所有 26B 模型都能这样跑。
如果模型结构、expert 路由、kernel 和内存分配方式不同,结果也会不同。
45 TPS 不等于 26B 全量常驻显存
“激活参数不到 2B”经常被直接写成“26B 模型只剩不到 2B”。
这种说法不够严谨。
26B 是参数总量;“不到 2B”更可能对应一次推理中实际激活或参与计算的参数子集。两者的区别,正是 MoE 能降低推理成本的原因。
但低显存运行仍需回答一个具体问题:被保留的专家权重放在哪里?
如果大量权重仍需映射到 GPU,计算可以稀疏,显存却未必低到 6GB。反过来,如果部分专家留在 CPU,45 TPS 又可能受到 PCIe 传输和 expert routing 延迟影响。
因此,看到 45 tokens per second 时,至少要核对以下条件:
- GPU 型号和显存容量
- CUDA、驱动及推理框架版本
- batch size
- prompt 长度
- 每轮生成多少 tokens
- 是否包含 prefill 和 decode 的区别
- 是否启用 streaming
- 是否统计首 token 延迟
- CPU offload、专家卸载和缓存策略
- 计时脚本是否排除了模型加载时间
Tokens per second 本身不是一个完整指标。
短 prompt、少量输出、单并发,数字通常更好看。长上下文、并发请求和持续生成,会暴露 KV cache 与带宽瓶颈。
项目声称 Gemma 4 26B 可在 6GB GPU 上达到 45 TPS。这个结果目前应按项目方口径记录:
Maple 声称 Gemma 4 26B 可在仅 6GB 显存的 GPU 上运行,速度达到 45 tokens per second。
是否达到这个数字,要以第三方复现为准。
先看剪枝损失,再看速度纪录
速度测试通常比能力测试容易。
同一张卡、同一个脚本、同一段 prompt,计时几轮就能得到 TPS。模型是否“变笨”,却需要一套更完整的评估。
剪枝不是无损压缩。哪怕权重平均只剩不到 2 bit,只要删掉关键连接,输出质量就可能下降。对 MoE 模型来说,问题还会更复杂:
- 某个 expert 是否被过度稀疏化?
- router 是否仍能把请求送到合适的 expert?
- 少数罕见任务是否因为关键 expert 被削弱而退化?
- 量化与剪枝叠加后,误差是否被放大?
- 长上下文下,错误是否会逐步累积?
判断 Maple,至少应该看到三类结果。
第一类是 perplexity。
它能给出语言建模损失,适合横向比较不同压缩方案。但如果测试数据与模型训练数据高度重合,数字也可能产生误导。
第二类是 任务准确率。
例如 MMLU、ARC、HellaSwag 或项目采用的实际任务。更有价值的是,同时给出未剪枝模型与 Maple 模型的差值,而不是只贴一个孤立的分数。
第三类是 端到端基准测试。
它需要覆盖代码生成、问答、总结、结构化输出等真实工作流。最好附上失败样例,而不仅是平均分。
截至现有素材,Maple 的亮眼信息主要集中在 6GB 显存与 45 TPS。速度数字容易复现,剪枝后的模型质量才是部署关键。
如果 README 后续没有给出可复现的评测配置,这个项目更适合被称作“值得实测的工程样例”,而不是成熟方案。
Hacker News 只有 4 赞和 1 条评论
这项成果登上 Hacker News 首页,但页面记录只有 4 个赞、1 条评论。
这个信号很弱。
它不能证明项目没有价值。开源推理项目刚发布时,Hacker News 的反馈量还会受到发布时间、社区结构和传播渠道影响。一个小众 GPU、边缘设备或量化项目,也可能天然缺乏讨论。
但它至少说明一件事:目前还没有形成广泛验证。
没有大量开发者提供硬件复现、不同卡型的速度对照、loss 曲线和任务准确率,45 TPS 就仍然主要是项目方给出的单点结果。
我会把 Maple 的定位分成三层:
- 可信事实:它是开源 GitHub 项目,采用 Sub-2-BPW Moe Pruning,目标是 MoE 稀疏化剪枝与低显存推理。
- 项目方声称:Gemma 4 26B 能在 6GB 显存 GPU 上跑到 45 TPS。
- 仍待验证:速度能否跨硬件复现,剪枝质量损失多大,以及日常任务是否仍然可用。
这样分层,比直接宣布“26B 模型已经进入 6GB 显卡”更靠谱。
编辑思考
低显存推理的竞争点,可能不是继续把每组权重压得更低,而是改变“哪些参数需要参与计算”。Maple 展示的是一条很实用的路线:对 MoE 模型做稀疏化剪枝,先减少真实激活,再控制权重存储与运行时开销。如果结果能稳定复现,消费者的选择会从“买 24GB 还是 48GB GPU”变成“哪些任务值得本地跑”。不过,这次与过去单纯量化发布不同,Maple 把剪枝、MoE 路由和 6GB 运行绑在一起,瓶颈也更多:kernel 是否匹配、expert 是否频繁卸载、质量损失是否可接受都未明确。45 TPS 与剪枝质量目前都缺少第三方验证,所以它更像一个值得拿真实工作流压测的样例,而不是可以直接用于生产的结论。