Show HN 上有个帖子炸了。开发者 ThinkOffApp 把 Qwen 模型塞进 Raspberry Pi,接 OBD 接口,接车厂云 API,做成能离线回答「该加什么型号机油」的本地 Agent。
原话:
"I have it running an impressively intelligent and stable 35B Qwen model on a Raspberry Pi, hooked up to the car's OBD-II port for internal state data and to the manufacturer's cloud for remote control of things like AC and door locks. It's running a car manual knowledge base so it can answer questions like when should I add oil and what kind of oil even offline."
项目地址 ThinkOffApp/CarWatch。
值得拆的点:① 35B 模型跑在 Pi 上反直觉;② 本地 + 云端 Agent 协作的架构;③ 汽车可能是边缘 Agent 最先规模化的场景。
下面逐个拆。
项目到底干了啥
作者做的事:
- 本地 LLM:Raspberry Pi 跑 Qwen 35B,处理对话和工具调用
- OBD-II 接入:ELM327 兼容适配器读水温、油量、转速、故障码
- 车厂云对接:官方 API 远程控空调、车门锁、车窗
- 知识库:整车手册(几百页 PDF)喂进去,RAG 检索
- Agent 协作:本地处理实时性高、隐私敏感任务;联网时把重推理路由给云端
离线场景下,问「车该加什么型号机油」,本地直接从手册里捞答案,不联网。
为什么 35B 能在 Pi 上跑
35B 全精度 fp16 大概 70GB,Pi 5 内存最大 8GB。理论上不该成立。
可能的方案:
- 激进量化:Qwen2.5 有 Q4_K_M、Q3_K_S、IQ2_M 等 GGUF 版本。35B Q4_K_M 大概 20GB,IQ2_M 能压到 10GB,但精度损失明显
- 层卸载到 NVMe:不活跃的层 swap 到 SSD,延迟会爆
- MoE 变体:激活参数远低于 35B
- 营销口径:实际跑的是蒸馏版或极限量化的版本
我的判断:大概率 Q4_K_M 或更激进的量化 + 层卸载,不是真全精度纯内存推理。
llama.cpp 支持 layer-split 到多设备,理论上层可以分散到 Pi + SSD。但 token 生成速度估计 1-2 token/s,惨不忍睹。
最大的疑问:作者没公布推理速度和量化配置。这块的真实性需要打折扣。有读者跑过欢迎留言。
边缘 + 云端的 Agent 协作模式
作者的设计:
- 本地 Agent(小模型,实时,隐私):读 OBD、本地检索、紧急判断
- 云端 Agent 家族(大模型,重推理):行程规划、长期维护、跨车数据汇总
路由逻辑大概是这样:
if query == realtime_or_private:
→ local_agent()
→ OBD 数据 + 本地手册
elif connectivity and query == heavy_reasoning:
→ cloud_agent()
else:
→ 本地 fallback
这种「小模型在前,大模型在后」的架构,和云端全包(Mercedes MBUX、Tesla Grok 集成)有本质区别:
| 维度 | 云端全包 | 边缘 + 云端 |
|---|---|---|
| 隐私 | 数据全上传 | 敏感数据不出车 |
| 延迟 | 200-500ms | <50ms |
| 可靠性 | 依赖网络 | 离线可用 |
| 成本 | 按 token 烧钱 | 一次性硬件 |
| 能力上限 | 取决于云端模型 | 本地小模型有上限 |
汽车场景下,延迟和可靠性比智商重要。喊「Hey,水温异常」,云端 3 秒思考,水温已经拉缸。本地 7B 小模型,200ms 内决定「立刻停车」,比云端 70B 更有价值。
汽车 Agent 的真实落地点
汽车场景比一般 Agent 苛刻得多:
- 隐私:轨迹、驾驶习惯、住址,敏感度堪比医疗
- 实时性:刹车、转向、油门决策是 ms 级
- 可靠性:不能像 Siri 听不懂就摆烂
- 法规:UN-R157、ISO 26262
- 环境:-20°C 到 70°C,电磁干扰,振动,12V 电源波动
车厂做全栈 Agent 是必然的。但问题也明显:
- API 封闭,各家协议不统一
- OBD 扩展 PIDs 碎片化
- OTA 周期 6-12 个月
- 车机算力弱,还是几年前的 ARM SoC
第三方项目的价值:绕过封闭生态,开源硬件 + 开源模型做一层中间件。
做成的话,影响最大的是 汽车后市场。2018 年的老车也能享受类似新势力车的「对话式维护助手」,不是车厂给的,是你后装上去的。
复制这个项目要踩的坑
按踩坑概率排序:
硬件
- Pi 5 8GB 是下限,Pi 4 内存带宽不够
- 加 NVMe HAT(Pimoroni NVMe Base),外接 1TB SSD
- 电源:Pi 5 要 27W USB-C PD,12V→5V 转换器要稳压
模型(关键)
- Qwen2.5-32B-Instruct Q4_K_M(注意是 32B,作者口径可能有出入)
- 或 Qwen2.5-14B-Instruct Q5_K_M,平衡精度和速度
- 72B 及以上即使 IQ2 也基本不可用
OBD 适配器
- ELM327 假货多,建议 OBDLink MX+ 或 Vgate iCar Pro
- 2008 后汽油车基本都是 CAN ISO 15765,柴油可能是 ISO 14230
python-OBD或obdii库
车厂云对接(最大的坑)
各家 API:
- Toyota:Connected Services,OAuth2 + VIN 绑定
- Tesla:Fleet API,需开发者账号
- BMW:Connected Drive,文档稀缺
- 大众/奥迪:We Connect,VW Car-Net API
99% 卡在 OAuth 回调 或 VIN 绑定。从 Toyota 开始,文档最完整。
软件栈
llama.cpp跑 GGUFlanggraph做 Agent 编排,状态图管理离线/在线分支chromadb本地向量库obdPython 库- MQTT 或 WebSocket 同步云端
大概率会卡的地方
- Pi 5 跑 35B 内存还是不够,加 swap 到 SSD,延迟从 50ms 变成 2s
- 车厂 API 限流,丰田日 1000 次上限
- OBD 数据噪声,水温传感器跳变,要滤波
- Pi 散热,持续满载会热降频,需要主动散热
预算:
| 项目 | 价格 |
|---|---|
| Pi 5 8GB | $80 |
| NVMe HAT + 1TB SSD | $100 |
| OBDLink MX+ | $100 |
| 12V→5V 车载电源 | $20 |
| 散热外壳 + 风扇 | $30 |
| 总计 | $330 左右 |
不算便宜,比一台新车机便宜多了。
编辑思考
表面看,这只是 Show HN 的炫技项目——「我把 35B 塞进 Pi 啦」。只看这一层会错过真正有意思的东西。
第一,边缘 LLM 的可行性边界被往前推了一截。即便速度慢、量化损失大,这件事证明「ARM 跑大模型」不是纯理论。但作者没公布实测 token/s,「impressive」可能指智能不是速度。我的判断:未来 1-2 年真正能用的边缘部署,甜点还是 7B-14B 高质量量化,35B 更多是 demo 价值。
第二,「小模型在前、大模型在后」可能是 Agent 落地的正确姿势,不是反过来。这和云端优先的思路(手机语音助手、智能音箱、车机)完全不同。过去默认「云端更强所以全丢云端」,但隐私、延迟、可靠性三个约束下,本地小模型不是过渡方案,是终态。云端 Agent 会变成「可选增强」,不是主路径。
第三,汽车可能是边缘 Agent 最先规模化的赛道,比手机早、比 IoT 早。理由:电源稳定(12V + 发电机)、空间够(能塞 Pi + SSD)、场景封闭(一台车一个独立 Agent)、用户付费意愿强。手机反而难做——电池不够、算力被系统和 App 抢光、用户对延迟更敏感。
不确定的地方:35B 实际跑起来什么速度?车厂 API 对接稳不稳?Pi 5 散热能不能扛住持续推理?这些都要等更多实测。
但有一件事可以确定:车机 Agent 的下半场,不属于车厂,属于第三方开源生态。CarWatch 不管最后活不活,它打开了一扇门。
参考资料:
- ThinkOffApp/CarWatch GitHub
- Show HN 原帖
- Qwen2.5 技术报告