Google DeepMind dévoile Genie 4, un modèle de monde qui parle et se pilote en direct

Google DeepMind a annoncé Genie 4 le 27 octobre, un nouveau modèle de monde interactif en temps réel qui génère des mondes photoréalistes explorables à partir d’une invite textuelle ou d’une image. C’est le premier modèle de monde en temps réel de DeepMind avec audio natif : la musique, les sons d’ambiance et les dialogues interactifs sont générés en même temps que la scène, et non doublés après coup, et les personnages conversent et réagissent en temps réel aux entrées de l’utilisateur ou aux événements du monde.

Un monde que l’on peut réécrire pendant qu’il tourne

Les utilisateurs peuvent piloter une simulation en cours avec des invites en langage courant — changer la météo, déplacer la caméra ou ajouter une personne ou un objet — sans redémarrer la scène. Gemini Omni ancre l’apparence et le comportement réalistes du monde, tandis que Gemini 3.8 Flash joue le rôle d’agent guide dans la boucle de génération, décomposant les objectifs de l’utilisateur et ajustant l’état du monde image par image pour préserver la cohérence. DeepMind affirme que la simulation physique a aussi progressé, notamment l’aérodynamique et les collisions, avec le bond le plus visible chez les personnages : ils se déplacent naturellement, réagissent à leur environnement et peuvent être pilotés en mouvement.

Deux minutes de cohérence, toujours en avant-première de recherche

Genie 4 peut maintenir une scène cohérente pendant environ deux minutes, soit le double de la limite d’environ une minute de son prédécesseur Genie 3 — même si DeepMind reconnaît franchement que les détails visuels et la permanence des objets peuvent encore dériver sur des simulations plus longues, après plusieurs modifications complexes d’invites ou en naviguant. Pour l’instant, Genie 4 est une avant-première de recherche réservée à des testeurs de confiance, déployée d’abord auprès des abonnés Google AI Ultra via le projet Genie et auprès des partenaires à accès anticipé de l’API Gemini et de Google AI Studio, avec une liste d’attente ouverte aux autres; tout ce qu’il génère porte SynthID, le filigrane imperceptible de DeepMind.