导语
SAM 3 原生 tracker 约 8 fps,长视频还可能耗尽显存。开源项目 tamserve 将低频检测与轻量跟踪结合,在单张 RTX 4090 上提速 4 倍。本文拆解它如何处理多路视频,以及这些数字能否用于真实部署。
仓库视频里的核心玩法
多摄像头视频追踪有个常见误区:目标识别交给大模型,运动跟踪也交给大模型。结果就是显存占用增加,实时流越来越慢。
开源项目 tamserve 换了一种做法:SAM 3 负责发现目标,EdgeTAM 负责帧间跟踪。两个模型各司其职。
根据项目提供的测试数据,在单张 RTX 4090 上,指定目标处理速度比 Meta SAM 3 tracker 快 4 倍,同时保留其 92% 的准确率。
演示场景是多路实时视频。用户先输入:
forklift
系统随即找到并跟踪两辆叉车,画面里的目标被持续标记,追踪流程没有停止。
接着,用户再输入:
person
系统把人员加入目标列表,继续运行。用户无需停止任务,也不用重新处理整段视频。
这里有两个值得关注的细节:
- 新目标通过文本加入已经运行的追踪任务。
- 多个摄像头共享同一组模型实例,而不是每路视频各加载一份。
所以,tamserve 演示的不是离线的“给一段视频打框”,更像一个可持续修改目标集合的实时视频 Agent。
为什么不是直接用 SAM 3
Meta SAM 3 自带 tracker,但原生 tracker 一次只处理一段录制视频,速度约为 8 fps。长视频容易耗尽内存,显存压力尤其明显。
对实时摄像头来说,这套路径还有两个麻烦。
第一,8 fps 不等于稳定实时。目标快速移动、遮挡或离开画面时,较低的帧率会拉长响应延迟。
第二,视频越长,SAM 3 的内存占用越难控制。多路摄像头再乘上视频路数,模型重复实例化会进一步放大问题。
这正是计算机视觉里常见的工程取舍:不是所有帧都需要重新做高成本的语义检测。
tamserve 的工程取舍
tamserve 采用混合架构:每隔数帧调用 SAM 3 检测目标,再由轻量级 EdgeTAM 跟踪帧间运动。
可以把它理解为两级流水线:
每 N 帧:SAM 3 检测目标
其余帧:EdgeTAM 延续目标位置
SAM 3 负责理解“什么是叉车”“什么是人”。EdgeTAM 则处理相邻帧里的位移。两者组合后,没有必要让语义检测模型每一帧都重新推理。
资源管理是另一项关键设计。tamserve 在所有摄像头之间共享每个模型的一份实例。
假设有 8 路视频,每路都单独加载一套 SAM 3 和 EdgeTAM,显存占用会按路数增长。共享实例后,模型常驻显存,各路视频主要承担自己的输入与跟踪状态。
这也让“输入新目标后继续运行”成为可能。新增 person 只需要更新目标集合,不必重建整个多摄像头流水线。
单张 RTX 4090 的结果
项目给出的测试数字很直接:
- 硬件:单张 RTX 4090
- 对比对象:Meta SAM 3 tracker
- 指定目标处理速度:快 4 倍
- 准确率:保留 SAM 3 tracker 的 92%
如果 SAM 3 tracker 约为 8 fps,那么按相同倍数粗略换算,接近 32 fps。实际端到端延迟还会受到摄像头帧率、检测间隔、视频解码和目标数量影响,因此不能把 32 fps 当成所有部署环境的保证。
工程方向是成立的:把昂贵、低频的检测和便宜、高频的跟踪拆开,收益不只体现在速度上,也体现在显存峰值和多路视频的可扩展性上。
原始项目地址:
- GitHub:aryamandarda/tamserve
编辑思考
tamserve 的价值不在于提出了新模型,而在于把检测与跟踪解耦。SAM 3 负责语义,EdgeTAM 负责时序,两者按不同频率运行。这和过去常见的端到端视觉方案不同:系统不让一个模型包办识别、定位和记忆,而是按任务成本拆分计算。
我的判断是,这类混合架构比“单模型处理所有帧”更容易进入仓库、园区和零售场景。多摄像头数量上升后,共享模型实例和控制显存峰值,通常比单帧准确率高出几个百分点更值钱。
不过目前数字来自作者自己的测试。92% 准确率的指标定义、目标数量、遮挡条件和吞吐量统计方式,都需要结合仓库代码继续核对。真实环境还可能出现逆光、粉尘和摄像头帧率不一致。更适合先做概念验证,再根据实际路数压测,不能直接承诺固定延迟。
来源
- https://github.com/aryamandarda/tamserve