N環球 
Block представляет Dessa, полнодуплексную речевую модель, обученную только на разговоре
Собственная исследовательская лаборатория Блока в области искусственного интеллекта выпустила Dessa, полнодуплексную модель преобразования речи в речь, которая, по ее словам, была обучена с нуля только на реальном звуке человеческого разговора — ни текста, ни предварительно обученных моделей. Ранний доступ ограничен небольшой группой исследователей безопасности ИИ.
Почему это важно
Большинство голосовых ИИ сегодня работают, сначала превращая вашу речь в текст, отбрасывая при этом тон, эмоции и время, а также отвечая медленно и жестко. Десса из небольшой исследовательской лаборатории искусственного интеллекта внутри компании Block идет по другому пути: настоящая полнодуплексная модель преобразования речи в речь, аудиовход и аудиовыход, которая слушает и говорит одновременно, как это делает человек. Он может прерывать и передавать по обратному каналу («да!», «понял!»), работает быстрее, чем в реальном времени, и может работать локально на MacBook Pro M4 Max или лучше.
Поразительно то, как его обучали: Блок говорит, что Десса обучалась с нуля только на реальном звуке человеческого разговора — ни текста, ни заранее обученных моделей — и описывает его как, возможно, первый в мире ИИ, который научился вести реалистичный живой разговор, просто слушая. Он изначально слышит и производит эмоции, сарказм, смех, вздохи и голос, ломающийся от печали — именно ту информацию, которую отбрасывают обычные голосовые конвейеры.
Полный отчет
Dessa была создана исследовательской лабораторией Block по искусственному интеллекту, основанной бывшими членами Dessa, стартапа глубокого обучения в Торонто и подчиняющейся непосредственно соучредителю Block Джеку Дорси. Руководитель проекта – Рагаван Турайратнам. На официальной странице представлены живые записи разговоров людей с Дессой: он смеется, когда что-то смешно, заканчивает предложение, когда говорящий замолкает на названии фильма, и говорит громче, когда его спрашивают — причем, подчеркивает Блок, без человеческого вмешательства.
Блок говорит, что модель была обучена на одном NVIDIA GB200 NVL72, изучая язык, используя в сотни раз меньше слов, чем большие языковые модели (он признает, что сравнение не совсем сопоставимо, поскольку LLM также должны изучать такие вещи, как языки программирования). Лаборатория называет три мотивации: любопытство, лучшее взаимопонимание между людьми и ИИ и безопасность — утверждая, что сегодняшний голосовой ИИ почти глух к эмоциям в наших голосах, что может быть опасно в таких сферах, как здравоохранение, и что Dessa — шаг к исправлению этой ситуации.
Dessa в настоящее время является предварительной версией исследования: Блок предоставляет небольшой группе исследователей безопасности ИИ ранний доступ к поверхностным рискам, которые команда не ожидала. Никакие цены, дата публичного выпуска или открытый вес не были объявлены. Обратите внимание, что компания не раскрыла количество параметров, размер набора данных или результаты тестов, поэтому приведенные выше технические заявления принадлежат Блоку и ожидают независимой проверки.
💬 Comments
No comments yet. Be the first!