Ce n’était qu’une question de temps avant que quelqu’un ne combine le générateur d’images Stable Diffusion AI et la ligne de commande Minecraft. C’est probablement l’une des meilleures utilisations des générateurs d’images AI que j’ai vues jusqu’à présent, utilisant essentiellement une combinaison de captures d’écran Minecraft et d’invites de texte pour créer des images très détaillées chaque fois que l’utilisateur apporte des modifications à leur conception dans le monde du jeu Minecraft.
Sean Simon, plus connu sous le nom de TheseSixFaces (ou Lozmosis sur Reddit (s’ouvre dans un nouvel onglet)), a posté la vidéo ci-dessus hier montrant une version accélérée de leurs scripts en direct alors qu’ils s’amusaient dans le jeu.
Cela fonctionne en prenant des captures d’écran sous un angle spécifique pendant que le jeu est joué, en les redimensionnant ou en les recadrant à 512×512 pixels et en les enregistrant dans un dossier. Chaque image est générée sur « un intervalle fixe, ou chaque fois que le joueur place/supprime un bloc ». Utiliser une version d’InvokeAI (s’ouvre dans un nouvel onglet) que Sean a modifié, le modèle va ensuite « cibler la dernière image du dossier et produire l’image de diffusion stable ». Un autre script affiche ensuite l’image de sortie à l’aide de tkinter (s’ouvre dans un nouvel onglet).
Diffusion stable (s’ouvre dans un nouvel onglet) est la principale chose qui traduit chaque image en superbes images générées par l’IA, cependant, ce que Sean explique « débruit sur une valeur aléatoire entre 0,47 et 0,5 ». Ainsi, bien que Sean soit capable d’utiliser des invites pour pousser l’IA dans la direction préférée en utilisant image2image (s’ouvre dans un nouvel onglet)il y a encore une petite marge de manœuvre quant au caractère aléatoire des résultats générés.
Dans l’état actuel des choses, le processus implique l’exécution de plusieurs scripts, bien que Sean « tienne à compresser tout cela en un seul script ».
C’est un projet fascinant, et l’un de mes professeurs d’art à l’université serait très heureux de le voir fonctionner ; ils semblaient avoir l’obsession de traduire le travail sur différents supports, puis de le retraduire. Sur cette note, un commentateur de Reddit suggère en plaisantant un processus inverse à Sean, dans lequel l’IA « transformerait les arts en minecrafts ».
Sean répond par « J’ai commencé à cuisiner quelque chose », donc il ne faudra peut-être pas longtemps avant que nous voyions des mondes Minecraft générés à l’aide d’invites d’image AI. Ou bien les mondes Minecraft étant traduits en images, puis de nouveau dans les mondes Minecraft.
Ouf, dans quel monde vivons-nous.
Malheureusement, les scripts de Sean ne sont pas encore disponibles au téléchargement sur Github, mais gardez un œil sur leur Twitter (s’ouvre dans un nouvel onglet) pour les mises à jour.
Maintenant, nous avons vu Stable Diffusion être utilisé en VR (s’ouvre dans un nouvel onglet)et le PDG de Discord image bot Midjourney spécule que les futures consoles auront une « puce IA géante et tous les jeux seront des rêves (s’ouvre dans un nouvel onglet). » Ce projet Minecraft est un autre ajout au récit passionnant axé sur l’IA qui émerge actuellement dans la sphère du jeu.