N環球 N GLOBE
美国・科技

Block 发布语音原生模型 Dessa:只靠「听」学会说话的全双工 AI

· N GLOBE

Jack Dorsey 旗下 Block 的 AI 研究实验室发布全双工语音对话模型 Dessa,宣称完全从人类真实对话音讯从零训练、无文本语料,可同时听与说并感知情绪。目前仅向小批 AI 安全研究人员开放早期访问。

为何重要

今天的语音 AI 大多是「先转文字再回答」:你的声音被转成文字,大量语气、情绪、停顿资讯在转换中被丢掉,回答又慢又生硬。Block 旗下小型 AI 研究实验室发布的 Dessa 是一条完全不同的路线——全双工语音直达模型,音讯进、音讯出,像真人一样边听边说,能打断、能附和(「嗯!」「懂了!」),推理速度快于即时,在 MacBook Pro M4 Max 或更高等级的电脑上即可本地运行。

最引人注目的是它的训练方式:Block 宣称 Dessa 完全从人类真实对话音讯从零训练,没有文本语料、没有预训练模型,并称这可能是全球第一个「只靠听人类说话就学会即时对话」的 AI。它原生感知情绪、讽刺、笑声、叹息与哽咽的声音——这些正是传统语音管线丢掉的东西。

全文

Dessa 由 Block 内部 AI 研究实验室开发,团队由多伦多深度学习新创 Dessa 的前成员创立,直接向 Block 共同创办人 Jack Dorsey 汇报,负责人为 Ragavan Thurairatnam。官方页面展示了多段真人与 Dessa 的即时对话录音:它会在笑点出现的当下就笑出声、会把对方想不起的电影名接下去、被要求大声一点就真的提高音量——官方强调这些都没有人事先编排。

Block 表示,整个模型只用一台 NVIDIA GB200 NVL72 完成训练,所需词汇量仅为大语言模型的数百分之一(官方也坦言,大语言模型还要学程式语言等额外知识,比较并不完全对等)。开发动机有三:好奇心、人机之间更好的理解,以及安全——Block 认为,今天的语音 AI 对人声中的情绪近乎「耳聋」,在医疗等场景可能带来危险,而 Dessa 是修正这一点的一步。

目前 Dessa 为研究预览阶段:Block 向一小批 AI 安全研究人员开放早期访问,请他们协助发现尚未预见的风险;未公布定价、公开发布时间表,也未开源模型权重。值得注意的是,公司尚未公布参数量、训练资料集规模与基准测试分数,以上技术主张均为 Block 单方面宣称,有待第三方验证。

💬 留言

暂时还没有留言,来抢沙发!