L’IA pourrait être sur le point de faire modélisation 3D dans un ensemble beaucoup plus rapide et plus facile, si Nvidia réussit.
Fraîchement sorti du laboratoire de recherche de l’entreprise, Neuralangelo est un modèle d’IA qui transforme des clips vidéo 2D en structures 3D « extrêmement haute fidélité ».
« Les professionnels de la création peuvent ensuite importer ces objets 3D dans des applications de conception, les éditer davantage pour les utiliser dans l’art, le développement de jeux vidéo, la robotique et les jumeaux numériques industriels », a expliqué la société dans son dernier article.
Haute-fidélité du monde réel
L’utilisation de vidéos comme points de référence n’a pratiquement rien de nouveau – même lorsque vous ajoutez une IA relativement nouvelle et expérimentale dans le mélange. Mais, comme le note Nvidia dans son dernier article, « les méthodes actuelles ont du mal à récupérer les structures détaillées des scènes du monde réel ». En d’autres termes, ils peuvent reproduire des objets et des scènes, mais cela ne se sentir réaliste.
Et c’est cette haute fidélité que Neuralangelo promet de livrer. Selon Nvidia Research, les esprits derrière le modèle, il est capable de recréer de manière vivante les textures de différents matériaux, comme le verre, le marbre et même les bardeaux de toit. Le modèle s’est également avéré capable de reconstruire l’intérieur et l’extérieur des bâtiments.
« Les capacités de reconstruction 3D offertes par Neuralangelo seront un énorme avantage pour les créateurs, les aidant à recréer le monde réel dans le monde numérique », a déclaré Ming-Yu Liu, directeur principal de la recherche et l’un des co-auteurs de l’article.
Les applications de Neuralangelo dans le développement de l’art et des jeux sont déjà claires : pensez aux vastes paysages urbains de Grand Theft Autole cadre historique réel de Assassin’s Creed. Des villes virtuelles entières pourraient bientôt être réalisées à partir de vidéos enregistrées sur un smartphone. Mais ce n’est qu’une question de temps avant que des modèles d’IA comme ceux-ci ne fassent également partie intégrante de tous les meilleur logiciel d’architecture et meilleur logiciel de conception de paysage, si cela peut vraiment rationaliser les reconstructions réelles.
Dans une démo publiée par la société, les résultats étaient certes impressionnants : des rendus IA très détaillés du David de Michel-Ange basés sur des séquences vidéo à la hauteur des vantardises de « reconstruction détaillée de scènes à grande échelle à partir de vidéo RVB ». Mais nous sommes encore loin de déposer des modèles AI 3D directement dans des projets sans nécessiter de touches finales.