Il y a quelque temps, j’ai repéré quelqu’un travaillant sur la génération d’images d’IA en temps réel dans la réalité virtuelle et j’ai dû le porter à votre attention car franchement, je ne peux pas exprimer à quel point il est majestueux de regarder la RA modulée par l’IA transformer le monde devant nous en paysages de rêve glorieux et émergents. .
L’application de l’IA à la réalité augmentée ou virtuelle n’est pas un concept nouveau, mais il y a eu certaines limites à son application, la puissance de calcul étant l’un des principaux obstacles à son utilisation pratique. Le logiciel de génération d’images Stable Diffusion, cependant, est un algorithme simplifié destiné à être utilisé sur du matériel grand public et a été publié sous une licence Creative ML OpenRAIL-M. Cela signifie non seulement que les développeurs peuvent utiliser la technologie pour créer et lancer des programmes sans louer d’énormes quantités de silicium de serveur, mais ils sont également libres de profiter de leurs créations.
J’ai été réveillé au milieu de la nuit pour conceptualiser ce projet
Scotty Fox – Développeur Stable Diffusion VR
ScottieFoxTTV (s’ouvre dans un nouvel onglet) est un créateur qui a montré son travail avec l’algorithme en VR sur Twitter. « J’ai été réveillé au milieu de la nuit pour conceptualiser ce projet », dit-il. En tant que créateur moi-même, je comprends que les Muses aiment frapper à des heures indues.
Ce qu’ils lui ont apporté était une fusion de Stable Diffusion VR et TouchDesigner (s’ouvre dans un nouvel onglet) moteur de création d’applications, dont il appelle les résultats « l’espace latent immersif en temps réel ». Cela peut sembler un non-sens hippie pour certains, mais l’espace latent est un concept qui fascine le monde en ce moment.
À la base, c’est une phrase qui, dans ce contexte, décrit le potentiel de gonflement que l’intelligence artificielle apporte à la réalité augmentée en rassemblant des idées à partir de l’immensité de l’inconnu. Bien que ce soit un concept intéressant, c’en est un pour une fonctionnalité à une date ultérieure. En ce moment, je m’intéresse à la façon dont Stable Diffusion VR parvient à fonctionner si bien en temps réel sans activer aucun GPU grand public (même le récent RTX 4090 (s’ouvre dans un nouvel onglet)) dans une flaque fumante.
Stable Diffusion VR Espace latent immersif en temps réel. ?Des petits clips sont envoyés depuis le moteur pour être diffusés. Une fois prêts, ils sont renvoyés dans la file d’attente de la projection.11 octobre 2022
« La diffusion de petits morceaux dans l’environnement permet d’économiser des ressources », explique Scotty. « De petits clips sont envoyés depuis le moteur pour être diffusés. Une fois prêts, ils sont renvoyés dans la file d’attente de la projection. » Les cases bleues dans les images ici montrent les parties de l’image sur lesquelles l’algorithme travaille à tout moment. C’est un moyen beaucoup plus efficace de le faire fonctionner en temps réel.
Quiconque a utilisé un outil de génération d’images en ligne comprendra qu’une seule image peut prendre jusqu’à une minute à créer, mais même si cela prend un peu de temps pour travailler sur chaque section individuelle, les résultats donnent toujours l’impression qu’ils se produisent immédiatement comme vous n’attendez pas qu’une seule image finisse de se diffuser. Et bien qu’elles ne soient pas au niveau du photoréalisme comme elles pourraient l’être un jour, les vidéos que Scotty a publiées sont à couper le souffle.
Des poissons volants dans le salon, des idées de design d’intérieur en constante évolution, des forêts luxuriantes et des paysages nocturnes qui évoluent sous vos yeux. Avec l’IA capable de faire des projections sur notre monde physique en temps réel, il y a tellement de potentiel d’utilisation dans l’espace de jeu.
Le PDG de Midjourney, David Holz, décrit le potentiel des jeux à devenir un jour des « rêves » (s’ouvre dans un nouvel onglet) et on a certainement l’impression que nous nous dirigeons rapidement dans cette direction. Cependant, la prochaine étape importante consiste à naviguer dans le champ de mines que sont les problèmes de droit d’auteur et de protection des données (s’ouvre dans un nouvel onglet) survenant autour des ensembles de données sur lesquels des algorithmes comme Stable Diffusion se sont entraînés.