Un nouveau modèle d’intelligence artificielle de conversion texte-3D a été créé par la startup Luma Labs. L’outil d’IA vous permet de transformer une simple phrase ou un mot en un objet que vous pouvez imprimer en 3D ou utiliser dans un jeu.
Nommé Genie, l’outil crée une gamme de sorties, notamment des fichiers qui peuvent être ouverts dans des applications de modélisation 3D pour l’édition, l’ajout de nouvelles textures ou l’intégration dans d’autres modèles.
L’outil est disponible sur le site Web de Luma, sous forme d’application iPhone où vous pouvez également utiliser l’appareil photo pour capturer des modèles 3D de vos propres objets du monde réel, ou via le serveur Discord de la communauté Luma.
Avec la version du site Web, vous avez la possibilité de mettre à niveau le modèle que vous venez de créer en HD, de le télécharger dans une gamme de formats ou de générer différentes versions si la première ne fonctionne pas, son utilisation est actuellement gratuite.
Comment ça marche?
Contrairement aux outils de conversion texte-image comme MidJourney ou DALL-E, Luma Genie crée des objets avec lesquels vous pouvez interagir et voir de tous les côtés.
En moins de 10 secondes, il génère un élément avec les matériaux, les couleurs et tout le reste nécessaire à l’impression ou à l’utilisation dans un environnement de production.
Vous attendrez un peu plus longtemps si vous souhaitez d’abord mettre à l’échelle l’objet dans Genie, mais si vous êtes satisfait de la basse résolution, vous pouvez passer de la saisie de texte au téléchargement de l’objet en quelques secondes.
Vous pouvez ensuite exporter votre modèle vers des moteurs graphiques comme Blender, Unity et Unreal, pour les restituer avec encore plus de détails et les utiliser comme bon vous semble, y compris pour le développement de jeux.
Pourquoi est-ce une grosse affaire?
L’IA générative semble arriver dans tous les secteurs de l’écosystème créatif. Nous avons des modèles vidéo, photo et même musicaux – la 3D est la prochaine évolution logique.
Des plateformes comme Leonardo.ai offrent déjà la possibilité de créer des textures pour des objets 3D, mais avec Luma Genie, vous pouvez également générer l’objet lui-même.
Dans un communiqué annonçant un cycle de financement de série B de 43 millions de dollars, les fondateurs de Luma ont déclaré qu’il s’agissait de créer une véritable multimodalité dans l’IA.
« Nous pensons que la multimodalité est essentielle au renseignement », ont-ils déclaré. Ajoutez cela pour aller au-delà des modèles de langage comme GPT-4 d’OpenAI et créer des systèmes plus conscients et plus performants dont ils ont besoin pour comprendre le monde réel.
« Nous travaillons à la formation et au développement de modèles de base multimodaux pour des systèmes capables de voir et de comprendre, de montrer et d’expliquer, et éventuellement d’interagir avec notre monde pour provoquer des changements », ont-ils déclaré.
L’origine du Holodeck ?
Genie nous donne un indice sur ce qui se passera dans le futur. Aujourd’hui, il génère des objets uniques, mais nous pouvons voir une situation où vous pouvez dire Génie, emmène-moi à Paris dans les années 1920 et cela créera un environnement 3D totalement immersif pour votre casque VR.
De nombreuses technologies que nous tenons pour acquises aujourd’hui s’inspirent de la science-fiction et le fait de pouvoir créer un environnement virtuel immersif à partir d’une simple instruction me semble beaucoup comme le Holodeck de Star Trek.