Open-AutoGLM 拆解:开源 9B 模型怎么用 ADB 让手机自己点外卖
用一句话让手机自动点外卖、查物流——开源 9B 视觉模型 + ADB 执行,端侧闭环跑通 Phone Agent。我在一台小米 14 上实测,14 步任务耗时 90 秒,单卡 4090 可跑。
48k stars 的开源项目,用 python-pptx 直接产出原生 .pptx,每一页都是可编辑 Shape、图表、动画和母版,并能把 TTS 旁白塞进演讲者备注。
用一句话让手机自动点外卖、查物流——开源 9B 视觉模型 + ADB 执行,端侧闭环跑通 Phone Agent。我在一台小米 14 上实测,14 步任务耗时 90 秒,单卡 4090 可跑。
一个桌面 App 把 Llama、Qwen、DeepSeek 的微调打包成一键下载。核心是手工重写的 CUDA kernel + 4/8-bit GGUF 量化,省 40–70% 显存,速度快 2–5 倍。我在 4090 上实测 Qwen2.5-7B LoRA,单步从 2.3s 降到 1.1s。
能跑在笔记本上的 ChatGPT 替代品,支持 Ollama、OpenAI API、RAG、插件和团队协作。自托管 AI 前端里体量最大的一个,本文从部署到架构拆开看。
微软开源的 MarkItDown,能把 PDF、Word、PPT、图片、音频、YouTube 链接统一转成适合 LLM 消费的 Markdown,定位在 RAG / Agent 数据预处理的最前端。
179k stars 的本地大模型事实标准。从一行 curl 到 Modelfile、llama.cpp 绑定、模型调度循环,把 Ollama 拆开看。
Sebastian Raschka 的开源仓库,用纯 PyTorch 把 GPT 从 token embedding 写到 SFT/DPO 全部实现,目前覆盖最完整的 LLM 教学项目之一。
GitHub 89.5k Star 的推理框架,把显存当内存管,把请求当流式作业调度。实测 H100 单卡 4200 tok/s,比默认配置快 133%。
Latent Space 播客把 Baseten Series F 估值写成 $13B,这个数字明显不对。把这事讲清楚,顺便拆解推理工程到底卷在哪儿。
创始人拿 10 亿、员工套现 60 亿,4 亿美元买算力——这笔「反向人才收购」把 AI 顶级团队和 7GW 电力一起打包进了 NVIDIA。
Muse 推出 Glimmer 和 Spark 两款开放权重模型,Glimmer 直接对标消费级 GPU。3090 不是随便选的——背后是叙事争夺战。
Apache-2.0、120 个 Rust crate、三天 10 万 Star。OpenAI 这次开源的不是模型,是 Agent 怎么跑的——这件事对做 AI 集成的工程师意味着什么。