Google DeepMind annonce Genie 3, modèle révolutionnaire de génération vidéo interactive capable de créer de la vidéo contrôlable et temporellement cohérente répondant aux actions de l'utilisateur en temps réel. Contrairement aux modèles vidéo précédents produisant des séquences figées, Genie 3 fonctionne comme un world model — comprenant relations spatiales, physique et causalité — et permet des expériences interactives générées par IA, y compris des jeux jouables créés à partir de descriptions textuelles ou d'images.
Innovation centrale : la génération contrôlable
un jeu de plateforme en forêt
L'avancée fondamentale est le contrôle utilisateur pendant la génération. Genie 3 accepte des entrées continues — flèches du clavier, mouvements de souris, commandes d'action — et génère une vidéo qui y répond de façon appropriée. Exemple : l'utilisateur demande « un jeu de plateforme en forêt », Genie génère la première image, puis l'utilisateur contrôle les mouvements du personnage, le modèle générant les frames suivantes (sauts, déplacements, interactions avec l'environnement). Cette boucle interactive crée des expériences jouables plutôt que des vidéos passives.
Architecture de world model et entraînement
Genie 3 implémente un world model latent : représentation compressée de la physique d'un environnement, compréhension des relations spatiales et de la permanence des objets, prédiction des conséquences des actions, cohérence temporelle sur des séquences étendues. Le modèle n'exécute pas une physique préprogrammée : il a appris les règles physiques en observant d'immenses volumes de séquences de jeux vidéo (jeux de plateforme en 2D comme données primaires, annotations d'actions, styles visuels variés), développant une compréhension émergente de la gravité, des collisions et de la dynamique du mouvement. Ses 11 milliards de paramètres lui permettent de capturer les relations fines entre actions et conséquences visuelles.
Cohérence temporelle et applications
Les modèles vidéo peinent à maintenir l'apparence, la position et la physique des objets entre les frames. Genie 3 y répond par des mécanismes de mémoire long terme, des priors informés par la physique, de l'attention spatiale et le conditionnement par actions, avec une cohérence nettement améliorée. Applications : prototypage rapide de jeux, jeux éducatifs sur mesure, accessibilité, contenu procédural, outils créatifs sans code — une démocratisation du développement de jeux.
Limites et concurrence
Limites reconnues : plafond de complexité des mécaniques, dégradation de la cohérence sur les très longues séquences, fidélité de contrôle imparfaite, coût d'inférence élevé, biais des données d'entraînement. Face à Runway Gen-3, OpenAI Sora ou Make-A-Video de Meta, le contrôle interactif de Genie 3 est le différenciateur clé, étape vers des world models généralistes. À long terme, Genie 3 dessine la trajectoire vers des simulateurs de mondes généralistes, des expériences IA interactives au-delà du jeu et des mondes virtuels générés par IA répondant à l'agentivité de l'utilisateur.