dettato 用约 21M 参数完成音频转 MIDI,模型体积约为 muscriptor 1.3b 的 1/60。本文拆解它的工程价值、评测疑点与版权风险。
把音乐转换成可编辑的 MIDI,难点不只是“能不能转”,还包括运行成本。
云端调用大模型时,几秒延迟和一次几毛钱的推理费用可能不算什么。可到了本地工作流里,用户要批量处理录音、接 DAW、跑自动化 pipeline,模型能否装进显存、能否利用 CPU 或 Apple Silicon,才决定它是不是一个可用工具。
这也是 dettato 值得关注的原因。
开发者发布了一个开放权重的音频转 MIDI 模型 dettato,并公开了研究页。项目称,dettato 的模型体积约为 muscriptor 1.3b 的 1/60,效率提升约 60 倍;在项目使用的全部测试集上,它也超过了 muscriptor 1.3b。
换句话说,这个项目把争论从“最大模型能转多准”拉到了“每个参数和每单位算力能换来多少可用结果”。
60 倍小,不只是省显存
先看部署门槛。
muscriptor 1.3b 是 1.3B 参数级别。dettato 约为 21M 量级,两者相差接近 60 倍。这个差距不是把权重从硬盘挪到显存那么简单,它会直接改变工程选择:
- 本地处理更容易,不必依赖云端 API;
- 批量转谱时,延迟和推理费用更容易控制;
- CPU、边缘设备或 Apple Silicon 上运行的可能性更高;
- 开发者更容易在本地保留音频,不需要上传第三方服务。
如果按 FP16 粗略计算,1.3B 参数仅权重就大约需要 2.6GB;21M 参数则约为 42MB。当然,实际部署还涉及运行时、缓存和输入输出处理,不能只看文件大小。但数量级已经足够明显。
音频转 MIDI 的成本往往不只来自模型。音乐文件可能很长,任务也可能一次处理几十首。参数缩小后,batch size、并发数和重试策略都能更激进。对个人开发者或小型团队来说,“跑得完”比“榜单高 0.5 个点”更实际。
dettato 的路线不只刷新精度榜。它试图把模型从云服务里的昂贵组件,变成可以嵌入本地工具链的轻量模块。
反超 muscriptor 1.3b
根据项目摘要,dettato 在所有测试集上均超过 muscriptor 1.3b。项目同时将模型体积缩小约 60 倍,并把效率提升描述为约 60 倍。
这两项结果放在一起看,才有意思。
通常我们看到的小模型反超大模型,会先怀疑评测是否公平:训练数据是否不同?预处理是否不同?测试集有没有数据泄漏?指标是否能代表真实使用?
dettato 的公开材料给出了研究入口,但没有消除这些疑问。项目方结论可以作为一个信号,不能直接当成最终定论。尤其在音频任务里,音高、时值、踏板、力度和分轨方式都会显著影响结果。单一聚合分数也可能掩盖不同错误类型。
这次发布登上了 Hacker News 首页,获得 149 分和 26 条评论。开发者也公开了模型权重与研究页。对垂直模型来说,这种发布方式比只有论文摘要的页面更有用。用户可以下载、运行,再检查项目方的结论是否成立。
目前仍缺少足够完整的独立 benchmark。至少需要拿到同一批真实录音,在同一硬件、同一输入格式和同一后处理条件下比较,才能把“模型更准”和“整套系统更好用”区分开。
没用受版权录音训练
项目称,dettato 的训练过程没有使用受版权保护的录音。
这一点对音乐 AI 很重要。
音频训练集通常比文本语料更难整理。录音的权利链可能涉及表演者、词曲作者、录音制作方和发行方。模型即使不直接复制某段音频,也可能学习到受保护作品中的旋律、演奏或音色特征。
数据来源不透明,会直接影响模型能否用于商业产品,也影响研究者能否检查数据和复现训练过程。
不依赖受版权录音,至少能减少一层直接的许可风险。但这里必须把两个概念分开:
- “没有使用受版权保护的录音”;
- “拥有完整、清晰的训练数据许可”。
前者不等于后者。训练素材还可能涉及 MIDI 标注、合成音频、既有标注库、数据生成代码,以及第三方工具和素材的许可。模型权重可以开放,也不代表数据管线的每个环节都自动没有风险。
相比来源不明的音乐录音,公开且可审计的数据流程更有利于研究和复用。开发者能继续追问:用了什么数据、如何清洗、标签从哪里来、是否排除了特定作品。
开放权重能降低什么门槛
开放权重的价值,不是“免费”这么简单。
它把模型从 API 黑箱变成开发者可以控制的本地组件。用户能够修改推理参数、替换后处理、接入现有 DAW,也能决定数据是否离开本机。对于音乐制作这类经常涉及未发行作品的工作流,本地运行不是加分项,而是产品设计的一部分。
dettato 可以进入几类具体流程:
- 把哼唱、钢琴录音或现场演奏转成 MIDI,供 DAW 继续编辑;
- 在素材库里批量提取旋律和和声,做检索或标记;
- 为视频配乐、播客和游戏原型快速生成可编辑片段;
- 接进自动转谱 pipeline,再交给人工校正。
开放权重也方便做社区验证。发现边界情况后,开发者可以直接分析模型行为、调整量化方式,或针对特定乐器补数据。它不必等厂商开放 API,才能进入自己的产品。
研究页:https://kobi.music/research/dettato
小模型胜出,靠的可能不是模型
我的判断是,dettato 的优势可能更多来自数据清洗、训练目标和评测设置,而不是网络结构本身。
音频转 MIDI 包含多个具体子任务:节奏识别、音高跟踪、和弦判断、踏板处理,以及音符与力度标注。参数多,不保证每个子任务都处理得更好。小模型如果专门针对 MIDI 目标训练,配上更干净的数据和更合适的后处理,可能超过参数更多、但训练目标不够聚焦的通用模型。
模型小 60 倍和推理快 60 倍不是同一句话。权重体积更小会影响加载时间和内存占用,但实际速度还取决于算子、序列长度、硬件、batch size 与输入解码方式。
项目把效率提升描述为约 60 倍。若没有公开端到端测量,就不宜把“体积比”直接写成“速度比”。
接下来我会看三组数据:
- 同一台机器、同一批音频的端到端耗时;
- 音高、时值、力度等分项指标,而不是只看总分;
- 鼓、钢琴、旋律、复调、人声和带踏板录音的失败案例。
如果这些结果稳定,dettato 的意义就不是“21M 打赢了 1.3B”,而是垂直模型找到了更合理的资源分配方式。
编辑思考
dettato 真正重要的,不是用约 21M 参数击败一个 1.3B 模型,而是把垂直 AI 的衡量单位改成了“单位资源产出”。过去讨论音频转 MIDI,模型大小、参数量和单点精度占主导。真实落地还要算本地延迟、批量成本、隐私、版权来源和人工修订时间。一个更小、许可更清晰、可以离线运行的模型,即使复杂样本仍有错误,也可能更适合产品。
这次不同之处在于,开放权重、公开研究页和 HN 社区验证同时出现。它让“60 倍效率”不只是发布稿里的说法,也有了可下载、可运行的项目对象。我的预测是,未来音乐工具会更多采用小型开放模型加专用数据,而不是一味依赖通用大模型 API。
但 60 倍目前主要是项目方说法。它究竟指文件体积、算力还是完整链路效率,需要独立 benchmark;版权友好也需要落实到具体数据集和许可文件。dettato 值得试,但还不该急着下结论。