Google DeepMind présente Genie 4, une nouvelle génération de son modèle d’intelligence artificielle capable de créer des environnements interactifs en temps réel. La principale innovation réside dans l’intégration d’un audio généré nativement, comprenant des ambiances, de la musique et des dialogues, tandis que les utilisateurs peuvent modifier le monde durant la simulation à l’aide de simples commandes. Ce modèle d’IA est proposé pour la première fois à un groupe restreint de testeurs.
Genie 4 : transformez une description en un monde exploratoire
Contrairement aux générateurs de vidéos traditionnels, Genie 4 ne se contente pas de produire une séquence à visionner. Ce modèle d’IA construit un environnement en temps réel en générant des images et des réactions du monde lors de l’exploration. L’objectif de Google est d’offrir à l’utilisateur la possibilité d’interagir avec un scénario virtuel dont les éléments évoluent en fonction de ses actions et de ses demandes.
La génération audio est l’une des principales nouveautés de cette version. Le modèle peut simultanément produire plusieurs composants sonores liés à l’environnement :
- Ambiances : vent, bruits environnementaux et sons associés à la scène.
- Musique : éléments musicaux adaptés au monde simulé.
- Dialogues interactifs : personnages capables de parler et de réagir aux changements dans la simulation.
Cette approche multimodale devrait rendre les environnements plus réalistes et immersifs. Le son n’est pas simplement ajouté à une vidéo terminée : il est généré au fur et à mesure de l’évolution du monde.
Modifications en temps réel et amélioration de la physique
Genie 4 permet également de modifier une scène sans avoir à recommencer depuis le début. L’utilisateur peut demander un changement de météo, déplacer la caméra ou ajouter des personnages et des objets pendant que la simulation est en cours. Les ajustements s’intègrent dans le monde en cours de génération.
Pour coordonner ces interactions, Google s’appuie sur ses modèles Gemini. Gemini Omni contribue au réalisme visuel et comportemental, tandis que d’autres modèles offrent des capacités de raisonnement pour maintenir la cohérence de la scène. Google souligne également les avancées dans la simulation physique, en particulier en ce qui concerne les collisions et l’aérodynamique, ainsi que des personnages dont les mouvements et réactions sont pensés pour être plus naturels.
Cependant, ces améliorations sont toujours soumises à une limitation majeure : Genie 4 peut maintenir une scène cohérente pendant environ deux minutes. Ainsi, la continuité lors de longues sessions reste un défi pour ce type de modèle.
Applications pour les jeux vidéo, le cinéma et la robotique
Google présente ces mondes simulés comme des outils potentiels pour divers secteurs. Dans les jeux vidéo, ils pourraient accélérer la création de prototypes interactifs. Pour le cinéma et les effets visuels, ils permettraient d’explorer rapidement des décors, des mouvements de caméra ou des idées de mise en scène. La robotique est une autre avenue : les environnements virtuels pourraient être utilisés pour tester des comportements et des scénarios avant de les confronter au monde réel.
Genie 4 est actuellement disponible en avant-première de recherche pour des testeurs sélectionnés. Google prévoit ensuite de le déployer auprès de développeurs partenaires via l’API Gemini et Google AI Studio, ainsi qu’aux abonnés de Google AI Ultra via le Projet Genie. La société n’a pas encore annoncé de calendrier précis pour une disponibilité plus large.
