Des chercheurs de l’entreprise technologique Virtuals Protocol ont publié un article sur un nouveau modèle d’IA texte-vidéo, MarioVGG, qui peut simuler des séquences de Super Mario Bros. via quelques entrées de texte de base (merci, ArsTechnica).
Le modèle a été alimenté par plus de 737 000 images de Mario Bros., montrant le plombier vedette de Nintendo dans 32 niveaux différents avec divers degrés de succès et d’échec (141 victoires et 139 défaites, selon Github). En se basant sur ces images et sur la façon dont elles sont disposées, le modèle d’IA « apprend » à quelles commandes telles que « sauter » et « courir » correspondent à l’écran et est ensuite capable de simuler ces commandes dans un format vidéo, en tenant compte de la physique.
Le document du Virtuals Protocol présente le modèle en action via une série de courtes vidéos qui, de loin, ressemblent beaucoup au jeu de plateforme emblématique de la NES. L’éditeur a mis en avant une sélection de ces vidéos sur Twitter, affirmant : « L’ère des mondes interactifs infinis est arrivée » :
Bien que le modèle soit capable de recréer certains mouvements de Mario, ce n’est pas comme si nous étions en présence d’une simulation un à un. Pour simplifier les choses, les chercheurs se sont concentrés uniquement sur deux entrées, « courir à droite » et « courir à droite et sauter ». La résolution a été réduite de 256×240 sur NES à 64×48, beaucoup plus petite et les images de sortie sont une fraction de l’entrée (produisant sept images générées à partir des 35 qui lui ont été fournies), donc les choses sont loin d’être fluides.
Ce n’est pas non plus très rapide. La seule carte graphique RTX 4090 utilisée dans l’étude n’était capable de produire qu’une séquence vidéo de six images toutes les six secondes, et bien que l’image finale d’une séquence puisse être utilisée comme première image pour la suivante – se rapprochant de quelque chose qui ressemble à un niveau réel – les chercheurs admettent que ce n’est « pas pratique et convivial pour les jeux vidéo interactifs » pour le moment.
En plus de tout cela, les résultats sont remplis de bugs. Un examen plus approfondi des vidéos ci-dessus révèle que Mario change de couleur à la volée, se transforme en ennemis, glisse à travers des objets habituellement infranchissables et disparaît parfois complètement. Ce n’est pas un Mario officiel.
Les chercheurs ne perdent pas espoir qu’un tel modèle puisse être utilisé à l’avenir pour le développement de jeux. « Bien que le remplacement complet du développement et des moteurs de jeu par des modèles de génération vidéo ne soit pas encore pratique et plausible à l’heure actuelle », conclut l’étude, « nous montrons que c’est possible et qu’il s’agit d’une option avec un ensemble limité de données sur un seul domaine de jeu ».
Une IA capable de déterminer la relation de cause à effet entre la saisie de l’utilisateur et le gameplay à l’écran est un concept époustouflant, mais cette note finale de « remplacer le développement de jeux » comme possibilité laisse un goût amer.
Comme si vous aviez besoin d’un rappel, 2024 a été l’une des pires années de l’industrie en termes de licenciements de développeurs de jeux, les grands comme les petits studios ayant vu leurs effectifs diminuer pour réduire les coûts. Un outil d’IA capable de reproduire avec précision le gameplay est peut-être encore loin, mais la manière dont il s’intègre aux pratiques de travail actuelles deviendra de plus en plus une source de préoccupation au cours des prochaines années s’il continue de progresser à ce rythme.
La semaine dernière, l’actrice de doublage de Bayonetta 3, Jennifer Hale, a déclaré que l’IA « venait pour nous tous » alors que les négociations autour de la grève en cours du SAG-AFTRA se sont tournées vers son utilisation dans le travail d’acteur de jeux vidéo.