Un nouvel outil d’intelligence artificielle vous permet de générer un monde virtuel à partir d’une simple invite. Nommé Holodeck d’après le centre de loisirs et d’entraînement de l’Enterprise dans Star Trek, il peut générer n’importe quoi, d’une arcade à un spa, et dans le style de votre choix.
Des chercheurs de plusieurs universités de premier plan ont été impliqués dans le projet. Il utilise plusieurs modèles d’IA et une bibliothèque d’actifs 3D open source pour générer l’environnement virtuel.
En plus de créer des mondes virtuels à partir de texte, la technologie Holodeck peut être utilisée pour aider d’autres outils d’intelligence artificielle à apprendre à naviguer dans des environnements jusqu’alors inexplorés. Cela est vital à mesure que les robots, les dispositifs de recherche et de sauvetage et les véhicules deviennent plus autonomes.
Comment fonctionne le Holodeck ?
🛸 Annoncez Holodeck, un système incitatif capable de générer des environnements simulés 3D diversifiés, personnalisés et interactifs, prêts pour les applications Embodied AI 🤖. Site Web : https://t.co/v7yN1EuAvbPaper : https://t.co/4JlZfmlKrpCode : https : //t.co/OmRDLKIZQj#GenerativeAI [1/8] pic.twitter.com/IodCNlNNzN18 décembre 2023
Holodeck est construit sur une série d’actifs 3D open source pré-étiquetés. Lorsqu’un utilisateur saisit une invite de texte, il utilise ensuite le GPT-4 d’OpenAI « pour une connaissance de bon sens de ce à quoi la scène pourrait ressembler », puis génère les exigences spatiales et le code nécessaire.
Une fois le texte converti, Holodeck est alors capable de tirer parti des ressources 3D pour créer le monde. Les exemples présentés dans l’aperçu incluent le « bureau d’un professeur fan de Star Wars » et « une salle d’arcade avec une table de billard placée au milieu ».
L’utilisation de GPT-4 résout le problème du positionnement correct des objets dans un environnement. Pour ce faire, le modèle OpenAI crée des contraintes spatiales qui sont réinjectées dans le code.
Lors des évaluations humaines du modèle, ceux qui ont effectué les tests ont constaté que Holodeck fonctionnait particulièrement bien dans la création de scènes résidentielles.
Qu’est-ce que l’IA incorporée ?
L’IA incarnée est essentiellement la façon dont les robots alimentés par l’IA voient le monde qui les entoure. Cela nécessite une compréhension des informations en constante évolution qui ne sont pas incluses dans les ensembles de données pré-entraînés.
L’un des cas d’utilisation du Holodeck consiste à permettre à ces robots de créer une copie virtuelle de l’environnement réel dans lequel ils se trouvent et de l’utiliser pour faciliter la navigation d’une pièce à l’autre.
Yue Yang, doctorant à l’Université de Pennsylvanie et auteur principal du projet Holodeck, a expliqué que « les environnements simulés en 3D jouent un rôle essentiel dans l’IA incorporée, mais leur création nécessite une expertise et un effort manuel considérable, limitant leur diversité et leur portée ».
Pour résoudre le problème, ils ont créé un mécanisme qui construit automatiquement ces environnements 3D à partir d’une quantité minimale d’informations. Holodeck peut correspondre à une invite utilisateur et générer une gamme diversifiée de scènes, ajouter des objets à la scène et modifier le style de l’environnement.
Que se passe-t-il ensuite ?
Il s’agit de l’un des nombreux projets de recherche explorant les moyens de relier les mondes numérique et physique. La semaine dernière, j’ai écrit sur une étude qui utilise GPT-4 pour permettre aux robots humanoïdes de créer de nouveaux mouvements sans que quelqu’un code en dur les processus.
Nous constatons également des progrès dans la manière dont les véhicules sans conducteur peuvent utiliser les technologies d’apprentissage automatique et de vision par ordinateur pour naviguer dans des régions auparavant non cartographiées.
Cela pourrait être le début d’un métaverse utile. Pas un environnement dans lequel les humains traînent maladroitement dans un bureau virtuel en faisant semblant de ne pas remarquer le casque encombrant, mais un environnement dans lequel des agents virtuels agissent en notre nom dans une copie directe du monde réel.
Soit cela, soit cela pourrait simplement être la prochaine étape dans la génération d’un métaverse « à la volée », similaire à Minecraft où un monde est créé en réponse à votre façon de jouer.