⚠️ DRAFT — 事实未核实,暂缓发布
DeepSeek 在 GitHub 开源了名为 DeepInfer 的推理引擎,仓库地址是:
https://github.com/deepseek-ai/DeepInfer
这不是 DeepSeek 发布的新模型权重。它不是多一个聊天模型,也不是一组可以直接下载的 checkpoint。
它更像是模型公司把推理栈的一部分拆出来,交给开发者自己组合、修改和部署。
这件事有意思的地方在于:开源的对象从模型权重,移到了推理基础设施。
开源的不是模型,是推理控制权
先拆清 DeepInfer 的定位。
DeepInfer 属于推理基础设施项目,不是 DeepSeek 新发布的模型权重。
模型权重决定模型"会什么"。推理引擎决定模型"怎么跑"。
后者至少碰到几层问题:
- 请求如何排队
- batch 怎么切
- KV cache 怎么管理
- GPU 显存怎么利用
- 多机、多卡如何通信
- 模型结构如何适配硬件
- 吞吐和延迟怎么取舍
如果模型只能通过官方 API 跑,开发者通常只能调 temperature、max_tokens 和提示词。
推理引擎开源后,选择空间变了。你可以根据业务负载重做 batching,替换 kernel,检查内存行为,甚至把推理过程嵌进自己的服务。
这不等于"你可以随意改模型能力"。
但你确实获得了更多控制权:不是只接受平台给出的默认配置,而是自己决定模型如何在机器上运行。
对 LLM 应用来说,这比再发布一个同名模型更直接。
DeepInfer 为什么值得关注
推理层过去经常被包装成"部署细节"。
实际上,部署细节会直接影响成本和体验。
同样一组模型权重,在不同硬件、不同 batch 策略、不同上下文长度下,吞吐可能差很多。线上业务也不是只看平均速度。
你需要看:
- 首 token 延迟
- 每 token 延迟
- 并发请求数
- 峰值显存
- 长上下文下的稳定性
- 请求失败后的恢复速度
尤其是 Agent 和 RAG 应用。请求往往不是一次生成结束,而是连续调用工具、检索文档、重新提交上下文。链路越长,推理层的排队、缓存和调度越容易成为瓶颈。
官方 API 方便,但封闭。你很难知道内部到底如何安排请求,也很难针对自己的 GPU、CPU 或网络条件做优化。
开源推理引擎给了开发者另一条路:直接管理运行时。
这会影响部署、定制和优化 LLM 推理能力的方式。你可以把模型放到自有机器上,针对固定业务压测 batch 和缓存策略;也可以在代码里观察调度行为,而不是只看 API 返回时间。
不过,别把"开源"直接等同于"更容易"。
如果 DeepInfer 的价值只是让 CLI 能启动模型,那它和现有推理工具没有太大区别。真正的判断标准是:它能不能把内核、内存、调度和硬件适配这些难做的部分,整理成开发者可以修改的接口。
GitHub 和 Hacker News 的热度信号
相关项目登上 Hacker News 首页,获得 551 分和 197 条评论。
这个信号比单纯 GitHub star 更有价值。
star 可以是收藏,HN 首页则说明项目正在进入工程师的讨论范围。551 分和 197 条评论,至少说明两件事:
第一,开发者愿意停下来读它。
第二,大家不只是在看 README,而是在讨论它对生产部署、硬件生态和模型公司的影响。
当然,HN 热度不等于生产采用率。
开源项目常见的路径是:发布时讨论很多,真正被使用要过几周甚至几个月。开发者会先看许可证、依赖、issue、benchmark,再决定是否把它放进自己的服务。
所以我会把 551 分和 197 条评论看作传播信号,而不是性能证明。
原始项目地址:
https://github.com/deepseek-ai/DeepInfer
相关 Hacker News 数据来自项目发布后的页面记录。
对于关注 LLM 基础设施的人,这已经足够值得建立自己的测试环境。
开源之后,难点从训练转向运维
真正的问题不是把仓库 clone 下来。
clone 下来之后,才有工程工作开始。
第一关是显存。
模型能加载,不代表能稳定服务。需要测单卡、多卡、不同 batch 和不同上下文长度下的显存峰值。还要看长请求是否导致内存碎片。
第二关是吞吐。
离线 benchmark 很好看,不代表线上并发下仍然有效。要把 prefill 和 decode 分开测,因为两者的瓶颈不一样。
第三关是延迟。
平均延迟可能掩盖尾延迟。对 Agent 来说,工具调用链里的 P95、P99 延迟更重要。一个请求慢 200 毫秒,在多次调用后会不断叠加。
第四关是兼容性。
CUDA 版本、GPU 架构、驱动、量化格式、模型实现,都可能影响结果。
第五关是线上稳定性。
推理服务还要处理超时、取消请求、坏输入、OOM、服务重启和流量尖峰。这些内容通常不会出现在 README 的快速示例里。
因此,评估 DeepInfer 的方式不该是"能不能跑起来",而应该是:
- 同一组请求下,吞吐是否可重复
- 长上下文是否出现 OOM
- 并发增加后,P99 延迟如何变化
- 修改调度策略后,显存和吞吐是否同时改善
- 失败请求能否被正确取消和释放资源
对开发者和企业来说,这些才是推理基础设施的价值所在。
开源给了控制权,也把工程责任交回了使用的人手里。
编辑思考
DeepInfer 的重要性不在于 DeepSeek 又多了一个 GitHub 项目,而在于模型公司开始争夺推理入口。过去模型公司的竞争重点是训练成本、参数规模和公开榜单;现在,模型能力越来越接近,真正拉开差距的可能变成谁能更好地服务请求、更低成本地占用显存,以及谁能进入企业的推理栈。开源引擎把竞争从"谁的模型更强"推进到"谁的控制面更开放"。我的判断是,模型 API 仍会占据多数开发者的第一选择,但高并发、长上下文、Agent 工具链和私有化部署会逐渐把更多注意力推向可修改的运行时。不同之处在于,过去的开源主要开放权重,调用、调度和硬件细节仍掌握在平台手里;这次公开的是更靠近执行层的基础设施。至于 DeepInfer 能否形成长期生态,还要看兼容性、benchmark、维护节奏和真实生产案例。目前这些信息还不足以下结论。