Le laboratoire de recherche en intelligence artificielle OpenAI a annoncé des détails sur sa dernière technologie qui apportera d’énormes améliorations au rendu 3D.
OpenAI est la société à l’origine du générateur de texte en image, DALL-E, qui s’est maintenant concentrée sur la traduction des invites de texte en nuages de points 3D, qu’elle appellera POINT-E.
Selon un papier (s’ouvre dans un nouvel onglet) publié par OpenAI, POINT-E « produit des modèles 3D en seulement 1-2 minutes sur un seul GPU », par rapport aux autres solutions actuelles qui peuvent prendre des heures et nécessiter plusieurs GPU.
OpenAI POINT-E
Un extrait de l’article détaille la place actuelle de POINT-E dans le monde de la construction de modèles 3D :
« Bien que notre méthode ne soit toujours pas à la pointe de la technologie en termes de qualité d’échantillon, elle est d’un à deux ordres de grandeur plus rapide à prélever, offrant un compromis pratique pour certains cas d’utilisation. »
Il fonctionne en générant une seule vue synthétique avec un modèle de diffusion texte-image. Ensuite, un nuage de points 3D est généré, ce qui est plus facile à synthétiser d’où la charge réduite sur les GPU, bien qu’il ne capture pas les petits détails d’où le compromis mentionné dans l’article.
Une IA secondaire a été formée pour atténuer une partie de cela, mais le travail explique que cela peut « parfois manquer des parties minces/éparses d’objets », comme les tiges d’une plante, donnant l’illusion de fleurs flottantes.
OpenAI promet d’avoir entraîné l’intelligence artificielle sur plusieurs millions de modèles 3D et leurs métadonnées, même si ses cas d’utilisation restent pour l’instant assez limités.
Un tel exemple inclut le rendu d’objets du monde réel pour l’impression 3D, mais à mesure que la technologie se développe et s’affine, il est probable que nous la verrons être utilisée dans des cas plus avancés tels que les jeux et même la télévision.
Le code open-source du projet est disponible sur GitHub (s’ouvre dans un nouvel onglet),