N環球 N GLOBE
美國・科技

Block 發布語音原生模型 Dessa:只靠「聽」學會說話的全雙工 AI

· N GLOBE

Jack Dorsey 旗下 Block 的 AI 研究實驗室發布全雙工語音對話模型 Dessa,宣稱完全從人類真實對話音訊從零訓練、無文本語料,可同時聽與說並感知情緒。目前僅向小批 AI 安全研究人員開放早期訪問。

為何重要

今天的語音 AI 大多是「先轉文字再回答」:你的聲音被轉成文字,大量語氣、情緒、停頓資訊在轉換中被丟掉,回答又慢又生硬。Block 旗下小型 AI 研究實驗室發布的 Dessa 是一條完全不同的路線——全雙工語音直達模型,音訊進、音訊出,像真人一樣邊聽邊說,能打斷、能附和(「嗯!」「懂了!」),推理速度快於即時,在 MacBook Pro M4 Max 或更高等級的電腦上即可本地運行。

最引人注目的是它的訓練方式:Block 宣稱 Dessa 完全從人類真實對話音訊從零訓練,沒有文本語料、沒有預訓練模型,並稱這可能是全球第一個「只靠聽人類說話就學會即時對話」的 AI。它原生感知情緒、諷刺、笑聲、嘆息與哽咽的聲音——這些正是傳統語音管線丟掉的東西。

全文

Dessa 由 Block 內部 AI 研究實驗室開發,團隊由多倫多深度學習新創 Dessa 的前成員創立,直接向 Block 共同創辦人 Jack Dorsey 匯報,負責人為 Ragavan Thurairatnam。官方頁面展示了多段真人與 Dessa 的即時對話錄音:它會在笑點出現的當下就笑出聲、會把對方想不起的電影名接下去、被要求大聲一點就真的提高音量——官方強調這些都沒有人事先編排。

Block 表示,整個模型只用一台 NVIDIA GB200 NVL72 完成訓練,所需詞彙量僅為大語言模型的數百分之一(官方也坦言,大語言模型還要學程式語言等額外知識,比較並不完全對等)。開發動機有三:好奇心、人機之間更好的理解,以及安全——Block 認為,今天的語音 AI 對人聲中的情緒近乎「耳聾」,在醫療等場景可能帶來危險,而 Dessa 是修正這一點的一步。

目前 Dessa 為研究預覽階段:Block 向一小批 AI 安全研究人員開放早期訪問,請他們協助發現尚未預見的風險;未公布定價、公開發布時間表,也未開源模型權重。值得注意的是,公司尚未公布參數量、訓練資料集規模與基準測試分數,以上技術主張均為 Block 單方面宣稱,有待第三方驗證。

💬 留言

暫時還沒有留言,來搶沙發!