PrismML 这周放了个炸弹:他们的 Bonsai 2 27B 模型,声称在把一个约 243B 参数的基座模型压缩到 27B 之后,仍保留了 99% 的能力。9 倍体积,1% 损失。这个数字如果是真的,意味着压缩这条路终于走出实验室了。
HN 上 226 分、71 条评论的讨论量,已经说明这事儿不是营销刷出来的——程序员对"近乎无损"这种词天然过敏,他们想知道的是:到底在哪些维度损失了 1%。
9 倍压缩到底怎么做到的
先把话讲清楚:把 243B 压到 27B 不可能只是简单的 weight quantization。
把 243B 量化到 4bit 也就 121GB 左右,精度换算成 FP16 还是那个数字——参数量没变,只是每个参数占的字节少了。要真正做到 9 倍参数缩减,必须动架构。
常见的几条路:
- 结构化剪枝:砍掉注意力头、隐藏层、专家网络里的冗余模块
- 知识蒸馏:用 243B 当老师,27B 当学生,把 logits、中间特征、注意力图都当成监督信号
- 稀疏化 / MoE 化:把稠密 FFN 切成多个专家,每次推理只激活一部分
PrismML 这家公司的背景信息我没查到太多——不像是 Mistral、DeepSeek 这种有完整融资历史的团队,所以技术细节这块得打个问号。从他们放出的材料看,更像是"剪枝 + 蒸馏 + 量化"的组合拳,但没有论文,没有权重卡片的完整技术报告。
如果是我猜的路径,大概率是先用蒸馏把 243B 的能力迁移到一个 27B 的学生架构里(这一步可以损失 5-10%),再用结构化剪枝把不重要的通道砍掉,最后用 AWQ 或 GPTQ 量化到 4bit 部署。整个 pipeline 能做到 9 倍还"接近无损",前提是基座本身就有大量冗余——243B 的 Llama 3 确实符合这个描述。
社区怎么验证 "near-lossless" 这个词
HN 上的讨论几乎一边倒在问同一个问题:benchmark 呢?
厂商自己跑的 benchmark 不太可信,这是开源社区的老规矩。原因很简单:选 dataset、调 prompt、选 few-shot 数量,都能影响 2-3 个百分点的成绩。要拆穿压缩模型的"水分",标准动作就是这几个:
# 社区通常会跑这一组 bench 来验真伪
from lm_eval import simple_evaluate
results = simple_evaluate(
model="hf",
model_args="prismml/bonsai-2-27b",
tasks=[
"mmlu", # 综合知识
"humaneval", # 代码生成
"gsm8k", # 数学推理
"hellaswag", # 常识推理
"truthfulqa", # 幻觉检测
"ifeval", # 指令遵循
],
batch_size=8,
)
拿这些分数和原版 243B 基座对比,看每个任务的差距。如果大部分任务差距在 1-2 个百分点以内,"near-lossless" 才站得住脚。如果某些任务(比如 GSM8K 这种需要多步推理的)掉了 5 分以上,那就要警惕了——压缩模型最常掉链子的就是推理链。
更狠的验证是看 perplexity。同样的文本,让 243B 和 27B 各自算 cross-entropy loss,如果 27B 的 loss 涨了 0.1 以内,说明语言建模能力确实保住了。
截至现在(2025 年 1 月),PrismML 没放出完整的 benchmark 表,也没上传权重到 HuggingFace。HN 评论里有人开始自己跑量化版做盲测,结果还没出。
如果是真的,边缘 AI 的玩法变了
先算一笔部署账。
27B 模型 FP16 精度要 ~54GB 显存,单卡 H100 80G 勉强能跑,但 4090 24G 不行。用 AWQ 量化到 4bit 之后,模型大小降到 ~14GB,4090 24G 富余 10GB 给 KV cache,Mac M2/M3 Max 的 64GB 统一内存也能轻松拿下。
这意味着什么?以前跑 70B 级别的模型需要至少 2 张 A6000 或者云上租 A100,现在一张消费级显卡就能跑。这不是 30% 的成本下降,是数量级的。
对比一下同尺寸的开源选手:
| 模型 | 参数量 | 量化到 4bit 后显存 | 已知强项 |
|---|---|---|---|
| Bonsai 2 27B | 27B | ~14GB | 待验证 |
| Qwen2.5-32B | 32B | ~17GB | 中文、代码 |
| DeepSeek-V2-Lite | 16B (MoE) | ~9GB | 推理、性价比 |
| Llama 3.1-70B (quant) | 70B | ~38GB | 综合能力 |
27B 这个尺寸段竞争很激烈。Qwen2.5-32B 已经证明了中文和代码能力的天花板,DeepSeek-V2-Lite 用 MoE 把激活参数压到 16B 但保持了很高的推理分数。Bonsai 2 27B 要想在这个生态里出头,光"接近 243B"还不够——它得在某个具体任务上明显超过 Qwen2.5-32B 才有卖点。
PrismML 目前没放出和这些模型的对比数据,所以"玩法变了"这个判断还停在假设阶段。
"大就是好" 的共识要被打破了吗
不会。
这件事最大的误读是:Bonsai 跑得过 243B = 小模型能打败大模型。完全不是一回事。
压缩的逻辑是这样的:你从一个已经很强大的 243B 基座里提取能力塞进 27B,这个 27B 上限就是 243B 减去压缩损失。它不会超过原版,更不会超过更大的模型。9B 跑得过 81B?不可能。4B 跑得过 36B?也不太可能。压缩比越大,天花板越低,这是信息论决定的,不是工程问题。
Bonsai 真正的价值不是"打败大模型",而是把中等尺寸模型的能力上限显著抬高。以前 27B 只能跑到 70B 的 80%,现在如果它真能跑到 243B 的 99%,那 27B 这个尺寸段的能力天花板就被推高了——这对部署成本的影响是真实的。
这也是为什么这件事值得认真看:不是技术奇迹,而是工程优化到了某个临界点。
编辑思考
这件事真正的信号不是某个团队做出了 27B 的强模型,而是推理成本曲线开始变陡。
过去三年,模型能力的提升主要靠堆参数——从 7B 到 70B 到 400B+,每一代都比上一代明显强。但从 2024 年底开始,越来越多的能力提升来自压缩和蒸馏,而不是单纯放大基座。这意味着:用同样多的算力,你能得到的"可用能力"在加速膨胀。
对做应用层的人,这是好消息——你的推理账单会继续降,模型能塞进更多设备。对做基础模型的人,可能是坏消息——如果大家都能从 243B 蒸馏出 27B,那基座模型的护城河会变窄,竞争会往"谁有最好的蒸馏 pipeline"和"谁有最大的高质量训练数据"转移。
风险点要明确说一下:PrismML 现在没放完整 benchmark,没发论文,权重也没上 HuggingFace。"near-lossless" 目前是营销词还是实锤,需要 1-2 个月看第三方复现。HN 上 226 分说明社区有兴趣,但有兴趣不等于已经验证。在他们放出可复现的材料之前,建议把这个当作"值得关注但别下注"。