大模型

单卡 3090 跑得动:美国开源模型这次想抢的不是榜单,是你的桌面

Muse 推出 Glimmer 和 Spark 两款开放权重模型,Glimmer 直接对标消费级 GPU。3090 不是随便选的——背后是叙事争夺战。

字号

单卡 3090 跑得动:美国开源模型这次想抢的不是榜单,是你的桌面

3090 是个奇怪的锚点。4090 性能更强,5090 刚发布,为什么偏偏选这款三年前的中端旗舰?

RTX 3090 是个奇怪的锚点

3090 在 2024 年已经不是旗舰卡了——4090 性能比它强 50%,功耗还低,5090 在 CES 上刚露面。但在开源模型宣传里,3090 出现的频率远高于这两张新卡。原因不复杂:

  • 保有量大。2021-2022 矿潮期间,大量 3090 被矿工扫走。矿潮结束后这些卡流入二手渠道,现在闲鱼上一张成色不错的 3090 大约 5000 块人民币
  • 24GB 显存。这是关键——4090 只有 16GB,跑 70B 模型得靠量化+CPU offload,体验很差。3090 的 24GB 能塞下量化后的 13B-30B 模型,勉强能对话
  • 无需专用电源/机箱。大部分工作站电源能直接带起来

所以选 3090 不是因为它性能最好,是因为最多人手里有。Muse 这招定位很精明——他们的目标客户不是要买新卡的开发者,是家里本来就有一张吃灰 3090 的人。

Glimmer 和 Spark 不是一回事

Muse 这次一口气发了两个模型,但定位差很远:

模型 定位 目标硬件
Glimmer 小模型 单卡 3090(24GB)
Spark 大模型(推测) 多卡/H100

一大一小的组合不是新打法。Meta 当年发 Llama 3 也是这个套路——8B 和 70B 一起出,让开发者先用小的做 POC,觉得不够再换大的。

但 Glimmer 和 Spark 的具体参数 Muse 没公布太多。Latent Space 的报道里只提了 "Glimmer runs on a single RTX 3090"1,没给具体的参数量、上下文长度、训练数据这些细节。这是 open weights 模型的通病:放权重不放技术报告,外界只能猜。

"Personal Superintelligence" 这个词组很扎眼

Sam Altman 在今年早些时候的博客文章里第一次用 "Superintelligence" 描述 OpenAI 的愿景。Muse 现在挂出 "Personal Superintelligence promise" 这个说法,明显是在蹭热度。

问题来了——加了 "Personal" 前缀,到底是营销话术还是真有差异化?

我的判断:这个词组在 open weights + 本地部署的语境下是有实际含义的。

"Personal" 在这个场景下的意思不是"为你定制",而是:

  • 数据不出你的机器
  • 不经过第三方 API
  • 可以微调、可以改、可以商用(看许可证)
  • 不受厂商政策变化影响

这和 OpenAI 的 "Superintelligence" 是两个方向——OpenAI 是集中式的、超级强大的中心化 AI;"Personal Superintelligence" 是去中心化的、跑在你桌上的 AI。

两种叙事在抢同一个心智位置。

美国开源阵营的叙事焦虑

过去半年,开源榜单的画风变了:

  • DeepSeek V3 / R1 在 LMSys、OpenCompass 上霸榜
  • Qwen 2.5 系列在 HuggingFace 下载量稳居前三
  • Kimi K2 在长文本任务上反超 GPT-4
  • GLM-4.5 / 智谱在多语言场景占据优势

中国厂商把"开源模型"这个标签的默认联想从"美国大厂的产品"拉到了"中国团队的作品"这边。

在这种背景下看 Latent Space 给 Muse 的定性——"a small win for American open models"1——就很有意思。他们专门强调"American"这个词,说明现在这个标签是有意义的,需要被争夺。

Glimmer 在这个意义上不是技术产物,是政治正确产物。它不一定比 Qwen2.5-32B 强,甚至不一定比 Llama 3.1-8B 强,但它得是美国人做的、得在 3090 上能跑、得打 open weights 旗号。这几个条件同时满足,才能算"a small win"。

开放权重 ≠ 开源,但这次可能够了

Glimmer 是 Open Weights,不是 Open Source。区别在哪:

  • Open Weights:放模型权重文件,让你下载跑。但不放训练代码、不放训练数据、不放数据处理 pipeline
  • Open Source:上述全放,且通常用 OSI 认证的许可证

学术界对 Open Weights 一直有批评——Llama 系列被诟病的也是这点:"你只放了权重,我没法复现你的训练过程,这算什么开源?"

但对个人用户和中小公司来说,这个区分其实没那么重要。能本地跑、能微调、商业使用限制少(要看具体许可证),这三点满足就已经够用。Glimmer 的真正价值不在学术纯洁性,在可用性——一张 3090 就能跑,这比什么都实在。

一个判断:Glimmer 不会改变格局,但 Spark 可能会

我的判断:

Glimmer 不会改变格局。

小模型做 demo 没问题,做产品力不从心。8B 量级的模型现在已经是"玩具"级别——聊天可以,写代码不行,做 Agent 不够,RAG 召回质量也上不去。Qwen2.5-7B、Llama 3.1-8B 在这个段位卷了快一年,Glimmer 想突围得有差异化卖点,目前看宣传里没提。

Spark 可能会。

但这得等 benchmark。如果 Spark 真的是 70B 或以上量级,且在编程 / Agent / 长上下文这几个维度能压住 Llama 3.1-70B,那 Muse 才有重新评估的价值。现在 Latent Space 的报道对 Spark 的技术细节几乎没提,只能等 Muse 自己放消息。

写在最后

Glimmer 的 3090 锚点、Personal Superintelligence 的话术、Open Weights 的定位——这三点拼在一起,本质上是在打一张"反 SaaS"的牌:不订阅、不上传、不依赖厂商、一次下载永久使用。

这套打法 DeepSeek 也用过,而且用得更彻底。Glimmer 能不能在 3090 这个细分市场抢到一席之地,取决于它跟 Qwen2.5-32B-Instruct 的实际差距。3090 跑 32B 量化版也不是不行——这个对比 Muse 早晚得做。

至于"美国开源 vs 中国开源"的叙事争夺,这只是个开头。



  1. Latent Space, "AI News: Muse Glimmer and Spark open models", https://www.latent.space/p/ainews-muse-glimmer-and-spark-open ↩↩

来源: https://www.latent.space/p/ainews-muse-glimmer-and-spark-open