N環球 
Block, 대화만으로 훈련된 전이중 음성 모델 Dessa 공개
Block의 사내 AI 연구실은 텍스트나 사전 훈련된 모델이 아닌 실제 인간 대화 오디오만을 대상으로 처음부터 훈련되었다고 말하는 전이중 음성 대 음성 모델인 Dessa를 출시했습니다. 조기 액세스는 소규모 AI 안전 연구원 그룹으로 제한됩니다.
왜 중요한가요?
오늘날 대부분의 음성 AI는 먼저 음성을 텍스트로 변환하는 방식으로 작동합니다. 그 과정에서 어조, 감정, 타이밍을 버리고 느리고 뻣뻣하게 대답합니다. Block 내부의 소규모 AI 연구실 출신인 Dessa는 사람처럼 동시에 듣고 말하는 진정한 전이중 음성 대 음성 모델, 오디오 입력 및 오디오 출력이라는 다른 길을 택합니다. 중단 및 백채널("예!", "알겠습니다!")이 가능하고 실시간보다 빠르게 실행되며 MacBook Pro M4 Max 이상에서 로컬로 실행될 수 있습니다.
눈에 띄는 부분은 훈련 방법입니다. Block은 Dessa가 텍스트나 사전 훈련된 모델 없이 실제 인간 대화 오디오만을 대상으로 처음부터 훈련을 받았다고 말하며 순전히 듣는 것만으로 현실적인 실시간 대화를 진행하는 방법을 배운 세계 최초의 AI일 수 있다고 설명합니다. 이는 기본적으로 감정, 풍자, 웃음, 한숨, 슬픔으로 갈라지는 목소리를 듣고 생성합니다. 이는 기존 음성 파이프라인이 폐기하는 정보와 정확히 같습니다.
전체 보고서
Dessa는 토론토 딥 러닝 스타트업인 Dessa의 전 멤버들이 설립하고 Block의 공동 창업자인 Jack Dorsey가 직접 보고하는 Block의 AI 연구실에서 구축되었습니다. 프로젝트 리더는 Ragavan Thurairatnam입니다. 공식 페이지에는 Dessa와 대화하는 사람들의 라이브 녹음이 포함되어 있습니다. Dessa는 재미있는 순간에 웃고, 영화 제목에 대해 스피커가 공백이 되면 문장을 끝내고, 질문을 받으면 더 크게 말합니다. 블록 스트레스를 사용하고 사람이 조종하지 않습니다.
Block은 이 모델이 단일 NVIDIA GB200 NVL72에서 학습되었으며 대규모 언어 모델보다 수백 배 적은 단어로 언어를 학습했다고 말했습니다(LLM도 프로그래밍 언어와 같은 것을 배워야 하기 때문에 비교가 완전히 유사하지는 않다는 점을 인정합니다). 연구실은 호기심, 인간과 AI 사이의 더 나은 이해, 안전이라는 세 가지 동기를 인용하며 오늘날의 음성 AI는 의료와 같은 환경에서 위험할 수 있는 우리 목소리의 감정을 거의 무시하며 Dessa는 이를 고치기 위한 단계라고 주장합니다.
Dessa는 현재 연구 미리보기입니다. Block은 소규모 AI 안전 연구원 그룹에게 팀이 예상하지 못한 표면 위험에 대한 조기 액세스를 제공합니다. 가격, 공개 출시 날짜 또는 공개 가중치는 발표되지 않았습니다. 회사는 매개변수 수, 데이터 세트 크기 또는 벤치마크 점수를 공개하지 않았으므로 위의 기술적 주장은 Block의 자체 것이며 독립적인 검증을 기다리고 있습니다.
💬 Comments
No comments yet. Be the first!