产品

DeepX 第二代 PIM 芯片:100B 推理能否压到 5W 内

DeepX 已流片第二代 LPDDR5X PIM 芯片,并宣称支持最高 100B 模型、推理功耗低于 5W、性能提升 6.7 倍。但容量、带宽、延迟、功耗边界和软件栈仍待第三方验证。

字号

DeepX 已完成第二代 LPDDR5X PIM 芯片流片。厂商宣称支持最高 100B 模型、推理功耗低于 5W。关键不只是参数规模,而是这些指标能否被独立复现。

5W 跑 100B,DeepX 到底宣称了什么

据 EETimes 报道,DeepX 已流片第二代 LPDDR5X PIM 芯片。厂商给出的数字很抢眼:相对前代提升 6.7 倍,支持最高 1000 亿参数模型,推理功耗低于 5W。

这里要先拆开“支持模型”到底指什么。1000 亿参数是模型规模上限,不等于一颗芯片能以可用速度处理完整模型。

假设每个参数只占 4 bit,100B 权重也需要约 50GB 存储;8 bit 则约 100GB。再算上 KV cache、运行时工作区,以及长上下文带来的额外占用,实际需求只会更高。

所以,“支持 100B”与“5W 内完成一次有效推理”之间,至少还隔着容量、带宽、延迟和精度四道题。

另外,低于 5W 也有前提:测的是芯片裸片,还是包含封装、内存、主机与散热的整机功耗?测的是持续生成,还是一次短时 forward?

这些口径不清楚,5W 就只是一个无法复现的数字。

省电的胜负手不是模型,而是数据搬运

传统加速器大致采用这样的数据路径:

LPDDR / HBM → 片上缓存 → 计算单元

模型每跑一层,权重都可能在这几段路径里来回搬运。计算本身不一定最耗能,把大量比特搬来搬去才是问题。

PIM,即 Processing in Memory,把计算能力放到内存附近或内部。目标很直接:少搬数据,少等数据。

DeepX 这代芯片采用 LPDDR5X 与处理内存(PIM)架构,正是为了降低模型推理中的数据搬运和能耗。对于 memory-bound 的生成任务,这有机会换来更低的能耗。

但 PIM 不是 DeepX 独有的想法。Samsung、SK hynix 等存储厂商长期在做相关研究。DeepX 选择 LPDDR5X 加自研计算架构,并把目标放在边缘推理,而不是超大规格的 HBM 方案。

路线本身合理,商业化成色仍要靠产品和实测说话。

6.7 倍提升需要一组更严格的对照

“6.7 倍”是一个方便传播、却不适合直接拿来比较的倍率。

它相对哪一代芯片?测的是同一模型吗?精度是 INT4、INT8,还是 FP16?batch size 是 1 还是 32?

延迟和吞吐也不是一回事:

  • 延迟关注一个 token 多久出来
  • 吞吐关注每秒能处理多少 token
  • 峰值 TOPS 关注芯片理论计算上限

LLM 推理常常受内存带宽限制,而不是受峰值算力限制。芯片的 TOPS 翻倍,端到端速度未必跟着翻倍。如果它把权重搬运压下来,单位 token 能耗可能下降得比 TOPS 更明显。

我更关心下面这组数据:

指标 为什么必须公开
模型与精度 决定数据量和结果可比性
prompt 长度与生成长度 决定 prefill 和 decode 的负载
batch size 决定吞吐与延迟的取舍
TTFT 与 TPOT 分别反映首 token 延迟和持续生成速度
内存容量与带宽 判断模型是否真能装下
芯片面积与良率 判断成本能否成立
编译器与算子覆盖 决定真实模型能否跑起来

如果评测用的是厂商自制小模型,而不是 Qwen、Llama 或 DeepSeek 系列模型,数字再漂亮,也只能证明芯片能做那个小模型。

更有说服力的测试,应该同时给出模型大小、量化方式、功耗测量边界和原始运行日志。

100B 模型端侧化,仍卡在软件与内存墙

5W 很适合终端设备,却不自动等于“终端可用”。

第一是内存墙。LPDDR5X 的容量虽然会增长,但消费级设备给 NPU 预留的内存通常远小于 50GB。即便理论容量够,封装、通道数和成本也会限制配置。

第二是内存带宽。100B 模型即使量化到 4 bit,每个 token 仍要读取大量权重。5W 下的持续带宽如果不够,模型虽然“跑得了”,速度也可能慢到没有产品价值。

第三是软件。开发者不会为了一个小众 NPU 重写整套推理栈。

至少要有这些能力:

  • 主流算子与量化格式支持
  • 成熟的 graph compiler
  • 与 llama.cpp、vLLM 或其他推理引擎对接
  • 明确的算子 fallback 行为
  • 可重复的 profiling 工具

如果编译器把大部分节点 fallback 到 CPU,标称芯片功耗再低也没有意义。系统功耗必须包含外置 CPU、内存和可能的加速拷贝。

第四是散热。5W 听起来很小,但它是持续负载下的预算。手机、机器人和工业摄像头还要给主 SoC、显示、无线通信与电池留余量。

因此,真正该问的不是“能不能跑 100B”,而是“在 5W 系统预算内,某类真实模型每秒能生成多少 token”。

先等量产机,再谈端侧大模型

这条消息也登上了 Hacker News 首页,获得 40 个赞和 3 条评论。

对关注边缘 AI 的人来说,这个热度不算低。但 HN 首页讨论的更多是方向与潜力,不是采购决策。

芯片“已经流片”只代表设计被送进制造流程。它和量产之间还有良率、封装测试、固件、编译器、驱动与整机验证。

我愿意等下面三样东西:

  1. 第三方拿到零售或样品版芯片,而不是只看厂商 demo
  2. 同一软件环境下跑公开模型,并发布可复现 benchmark
  3. 给出售价、功耗上限和可用的推理工具链

在此之前,“100B、5W、6.7 倍”更适合被看作三个技术目标,而不是已经定型的产品规格。

如果这些指标最终成立,端侧 LLM 的竞争会从“谁的 NPU TOPS 更高”,转向“谁能把模型、内存、编译器和整机功耗一起做对”。

编辑思考

DeepX 这代芯片真正值得关注的,不是“100B”这个标签,而是它尝试把 PIM 从论文里的能效数据变成边缘芯片的量产路线。LPDDR5X 比 HBM 更贴近真实终端,容量与成本也更符合机器人、摄像头和工业设备的需求。如果 5W 指标能在第三方测试里成立,影响会比一次跑分提升更大。

我的判断偏向谨慎乐观:PIM 减少数据搬运的方向没有大问题,但“6.7 倍”很可能混合了架构、内存代际和软件优化,不能简单归因于新芯片。

这次和过去几轮“边缘大模型”发布不同之处,在于厂商同时给出了超大模型容量与超低功耗两个目标,而不是只展示一个跑分。

不确定的地方也很明确:我不知道 DeepX 的 100B 是全权重驻留,还是允许分块加载;也不知道 5W 覆盖的是芯片还是整机。这两点会直接改变结论。下一步不该等下一场发布会,而应该等一块能被别人拆着测的量产芯片。

来源: https://www.eetimes.com/deepx-tapes-out-second-gen-chip-projects-6-7x-performance-gain-with-lpddr5x-pim/