Block 旗下 Dessa 发布全双工语音模型,并登上 Hacker News 首页。它能否把实时语音变成可交付的 Agent?本文给出一套可复现的评测方法。
项目原文:block.xyz/dessa
Dessa 到底新在哪
传统语音流程通常采用回合制:
- 用户开始说话;
- 系统判断用户是否说完;
- 用户停顿后,模型开始回答;
- 用户再等下一轮。
Dessa 试图换成全双工路径。模型输出语音时,仍可继续理解新输入。用户说“别,先别退款”,模型不必等整句结束才决定停下。
项目页面称它是“the most authentic full-duplex speech model ever built”。按页面描述,它支持处理自然打断,并把打断后的语境纳入后续响应,而不是简单取消上一段播放。
这和“播放 TTS 时挂着一个麦克风”不是一回事。后者只能收音,不能实时重写尚未播出的回答。全双工模型需要同时处理三件事:
- 持续理解用户输入;
- 判断输入是在补充、质疑,还是要求停止;
- 根据新语境调整当前响应。
这也是它与固定脚本式语音机器人的主要区别。固定脚本可以插入几句安抚话,但很难处理“把地址改成上海”这类中途修改。
不过,项目页面里的能力描述不能自动等同于可交付效果。模型是否经常误判打断、是否能稳定保留多轮信息,还得看真实测试。
92 分热度背后的真问题
92 分和 26 条评论说明开发者确实关心实时语音。
但讨论热度不能替代评测。线上客服每天可能跑数万通电话。每多一次误打断,就会浪费一次模型生成;每多一次漏打断,用户就得重复。放到支付场景里,这类问题会直接转成工单。
更重要的是,开发者容易把“自然”当成主观感受。
一次演示里,模型在用户开口后 300 毫秒内停下,看起来很聪明。换成嘈杂环境、长上下文或弱网条件,结论可能完全不同。自然对话至少包含三层:
- 响应速度:延迟够低;
- 交互判断:知道什么时候该停、该继续;
- 任务表现:理解变化后仍能把事情做完。
前两层做得再好,任务失败也没有用。
HN 评论区里最值得观察的不是“看起来像真人”的评价,而是开发者会拿什么指标反驳。真实产品团队应该直接测失败样本,而不是截取最好的几段录音。
全双工不等于自然对话
“the most authentic full-duplex speech model ever built”是一句强宣传语,但里面有两个需要拆开的概念。
第一是全双工。这是通信机制:模型说话时仍然接收和理解输入。它解决的是信息流是否可以同时进行。
第二是自然。它属于交互结果:用户不必学习机器的话术,打断也无需重复固定唤醒词。
实现全双工,不保证结果自然。反过来也一样。团队可以预录大量拟真话术,甚至根据用户语速调整停顿,但这仍然是单轮脚本配上较好的节奏控制。
评估时至少应分开记录:
| 层面 | 要回答的问题 |
|---|---|
| 音频体验 | 音色、语速、停顿是否适合连续对话 |
| 交互体验 | 模型能否正确区分插话、附和与沉默 |
| 任务体验 | 被打断后能否继续完成原任务 |
只录一段“用户说到一半改地址”的 demo,覆盖不了“用户咳嗽”“旁边有人讲话”“用户说嗯但没有纠正”等普通情况。
实战评测该测什么
我建议先固定模型版本、音频设备、采样率和网络条件,再记录下面五组指标。
1. 首字延迟
从用户完成意图表达,到首个可感知音频开始播放,统计 P50、P90、P95。
不要只报平均值。客服场景里,P95 更接近大量用户实际感受到的等待。不要把网络延迟和模型延迟混在一起,否则定位问题会很慢。
2. 打断后恢复时间
用户打断后,记录两段时间:
- 停止延迟:模型从收到打断到停止播放用了多久;
- 恢复延迟:模型从停止播放到重新给出有效回应用了多久。
停止得快不等于恢复得快。有些实现会立刻静音,然后重新跑一遍完整推理,听感依然笨拙。
3. 误触发率
准备非指令性声音,包括咳嗽、键盘声、环境电视声和简单附和。
建议同时报告:
- 误停播率;
- 错误继续播报率;
- 唤醒词外有效指令的漏识别率。
真实对话里,误触发的破坏通常比漏触发更大。模型突然闭嘴,用户会直接挂断。
4. 多轮上下文保持
连续测试至少 10 轮,并在中途修改关键约束。例如:
“帮我订明天去上海的票。”
“改成后天下午。”
“预算不要超过 800 元。”
观察模型是否继续使用旧日期、旧城市或旧预算。
这类测试比单轮“它记不记得住”更难,因为全双工模型可能保留音频状态,也可能只有一段不断增长的文本上下文。两者在打断后的表现并不相同。
5. 任务完成率
客服场景最后要落到任务结果,而不是聊天评分。
至少记录:
- 意图识别准确率;
- 必填信息收集完成率;
- 工具调用成功率;
- 端到端任务完成率;
- 转人工率;
- 平均处理时长。
还要保留失败转写。不要只留下成功录音。没有失败分布,就不知道问题来自 ASR、对话策略、模型推理,还是下游 API。
语音 Agent 的产品边界
全双工最适合减少用户等待感。
在客服、预约和售后咨询里,用户不必等长答案播放完,可以直接说“不对,是订单 1234”。这对短任务尤其有价值。
陪伴类产品的限制更多。用户愿意多说几句,不等于系统就能无限保存和利用这些内容。录音保存、敏感信息识别、未成年人场景和删除机制都要单独设计。
还有一类任务不能靠“听起来自然”解决:
- 身份确认;
- 支付授权;
- 地址与金额复核;
- 隐私授权;
- 退款和订单取消。
这些环节需要确定性工具链兜底。比如语音模型负责收集意图,状态机负责确认当前步骤,工具负责提交动作,关键字段由用户明确复述或按键确认。
一个更稳妥的边界是:
模型负责理解与表达,业务系统负责状态,规则负责授权。
不要因为模型能自然打断,就让它同时承担全部责任。自然交互和强约束执行不是同一件事。
编辑思考
全双工语音真正稀缺的部分,不是“模型能否随时插话”。这项能力已有清楚的技术定义,Block 旗下 Dessa 也把它做成了可发布的产品能力。
更关键的是,打断后能否重新抓住任务。用户说“等等,改成另一个地址”,系统不能只表现出“听到了”,还要知道哪些参数已经失效、哪些步骤要重做。
这次与过去的语音机器人不同:竞争点从脚本是否自然,转向实时状态能否随用户输入持续更新。它因此更接近 AI Agent,而不只是语音界面。
但我还不确定 Dessa 在真实电话环境中的误触发率、长上下文稳定性和端到端任务完成率。92 分与 26 条评论证明需求存在,不证明产品指标已经足够。下一步该看公开评测和失败案例,而不是再看一段完美 demo。