ElevenLabs dévoile sa plateforme vocale d'entreprise à New York : modèles personnalisables, appli ElevenAI et place de marché

La société américaine d'IA vocale ElevenLabs a dévoilé une série de produits d'entreprise lors de son sommet de New York, mardi 11 novembre : les entreprises pourront affiner certains modèles de langage open source et ses modèles vocaux à partir des données de leurs déploiements réels ; une nouvelle application professionnelle, ElevenAI, écoutera les réunions et prendra des notes ; et la société lance un programme partenaires ainsi qu'une place de marché sectorielle, en plus d'un calcul accru avec NVIDIA.

Des modèles affinés avec les données de chaque entreprise

Les entreprises travailleront avec les chercheurs d'ElevenLabs pour affiner les modèles selon leurs propres clients et leur contexte d'exploitation, en choisissant des critères d'optimisation comme la satisfaction client ou la fiabilité. Comme les données proviennent de déploiements réels, les entreprises pourront continuer à améliorer les modèles à mesure que les interactions s'accumulent, plutôt que de s'appuyer uniquement sur un modèle sectoriel général. L'entreprise applique déjà cette approche avec Scribe v3 Medical, un modèle de transcription médicale conçu pour reconnaître la terminologie spécialisée, et un modèle dédié aux services financiers est également en développement. Le travail de personnalisation doit commencer dans les prochains mois.

Un moteur d'interaction pour piloter la conversation

Le moteur d'interaction présenté en avant-première décide du déroulement d'une conversation : il gère les tours de parole et les interruptions et peut confier différentes parties d'un échange à différents modèles de langage, en utilisant un modèle moins coûteux pour le tri et un modèle de pointe pour les tâches complexes, afin de limiter l'usage de jetons. ElevenAgents, la plateforme de déploiement d'agents vocaux et conversationnels, ajoutera Memory et Routines. Memory reconnaîtra les clients authentifiés de retour et résumera chaque conversation en un dossier structuré de préférences, de contraintes et d'événements futurs, tandis que le système de gestion de la relation client restera le dossier principal. Routines est conçu pour automatiser le travail en plusieurs étapes avant, pendant et après les conversations, comme la présélection d'un demandeur de prêt hypothécaire avec un rappel en quelques minutes, le rappel des rendez-vous des patients et l'attribution des créneaux annulés aux patients en liste d'attente, l'envoi de rapports ou l'écriture dans un système de gestion de la relation client.

ElevenAI prend des notes de réunion ; l'accès anticipé gratuit est ouvert

ElevenAI, destinée aux employés, écoute les conversations orales, y compris les réunions en personne, et produit des notes, des résumés et des actions à suivre. Elle peut aussi fournir une assistance en direct et transmettre le contexte entre les personnes et les agents. ElevenLabs indique que l'application prend des notes de réunion avec le consentement des participants et comprend des mécanismes d'information et de consentement. L'accès anticipé gratuit a été ouvert avec l'annonce. La dictée et les notes de réunion utilisent Scribe v3, le modèle de transcription audio couvrant 102 langues.

Plus de 550 partenaires ; des achats sur la place de marché dès 2027

ElevenLabs compte plus de 550 partenaires dans 44 pays, dont Google Cloud, IBM, Deloitte, DXC et Genesys. Le nouveau programme partenaires permet aux cabinets de conseil, intégrateurs, éditeurs de logiciels et agences d'intégrer ElevenAgents dans les architectures technologiques des entreprises ou de travailler avec ses ingénieurs déployés sur site pour des déploiements complexes. Une alliance avec McKinsey et QuantumBlack, AI by McKinsey, a été annoncée en même temps. La place de marché qui l'accompagne propose d'abord un catalogue sélectionné d'applications développées par des partenaires pour la santé, les services financiers, l'assurance, l'éducation et le commerce de détail. Les entreprises peuvent parcourir les applications et contacter leurs développeurs ; les achats via les engagements ElevenLabs existants devraient débuter en 2027.

Partenariat NVIDIA : nouveau modèle en ligne et 15 MW de calcul en plus

ElevenLabs et NVIDIA ont annoncé que Nemotron 3.5 Super VL est disponible dans ElevenAgents et qu'ElevenLabs prévoit d'ajouter 15 MW de capacité de calcul NVIDIA Vera Rubin à ses systèmes Blackwell Ultra existants, pour les grands déploiements ayant des exigences de sécurité ou de résidence des données, ainsi que pour ses chercheurs. Cette collaboration élargie couvre aussi un agent vocal sur site pour Centralna e-Rejestracja, le système central de rendez-vous de la plateforme nationale de santé électronique de Pologne, avec EasyCall pour la mise en œuvre. L'agent appelle les patients qui n'ont qu'une ligne fixe pour leur rappeler leurs rendez-vous et les aider à les reporter. ElevenLabs indique que le système central traite 40 millions de rendez-vous par an, avec des taux d'absence de 10 % à 20 %, et que le déploiement utilise NVIDIA Confidential Computing pour conserver les données et l'audio des citoyens au sein de l'infrastructure gouvernementale.

Le PDG Mati Staniszewski a déclaré que les agents conversationnels deviendraient « une infrastructure critique pour chaque entreprise, aussi essentielle que le cloud ou les paiements » d'ici quelques années. Sources : Unite.AI, ElevenLabs, Blockchain.News.