Lors du GTC 2022, l’équipe de recherche NVIDIA a dévoilé une technologie impressionnante appelée Instant NeRF qui pourrait transformer des photos 2D en scènes 3D en quelques secondes seulement.
Pour ce faire, les chercheurs ont exploité la puissance de l’IA, plus précisément à travers les champs dits de rayonnement neuronal. Les NeRF utilisent des réseaux de neurones pour reconstruire la scène à partir des images en prédisant la couleur de la lumière rayonnant dans n’importe quelle direction. NVIDIA affirme qu’Instant NeRF est la technologie la plus rapide de son genre à ce jour, permettant une accélération multiplicative de plus de 1 000x dans certains cas, de sorte que le rendu à 1080p se produit en quelques millisecondes.
Comme discuté par le chercheur scientifique principal Thomas Muller dans une conférence GDC 2022 intitulée Instant Neural Graphics Primitives, cet effet composé est le résultat de trois améliorations principales : une implémentation GPU spécifique à la tâche de l’algorithme de rendu/formation, qui utilise le grain fin du GPU contrôler les capacités de flux pour être beaucoup plus rapides que les tenseurs denses ; une implémentation entièrement fusionnée d’un petit réseau neuronal, qui est plus rapide que les routines de multiplication matricielle à usage général ; enfin, NVIDIA a développé une technique appelée codage de grille de hachage multirésolution qui est indépendante des tâches et offre un meilleur compromis vitesse/qualité que les travaux préexistants.
Sans surprise, le modèle pour Instant NeRF a été développé avec la boîte à outils CUDA et la bibliothèque Tiny CUDA Neural Networks. Vous pouvez approfondir la recherche et même accéder à son code sur cette page ; selon NVIDIA, le réseau de neurones est suffisamment léger pour fonctionner facilement sur un seul GPU, surtout s’il est équipé de Tensor Cores.
David Luebke, vice-président de la recherche graphique chez NVIDIA, a déclaré dans un communiqué :
Si les représentations 3D traditionnelles comme les maillages polygonaux s’apparentent à des images vectorielles, les NeRF sont comme des images bitmap : elles capturent de manière dense la façon dont la lumière rayonne à partir d’un objet ou à l’intérieur d’une scène. En ce sens, Instant NeRF pourrait être aussi important pour la 3D que les appareils photo numériques et la compression JPEG l’ont été pour la photographie 2D, augmentant considérablement la vitesse, la facilité et la portée de la capture et du partage 3D.
Les applications de la technologie Instant NeRF peuvent être nombreuses, allant de la numérisation rapide d’environnements réels ou de personnes afin que les créateurs de jeux puissent ensuite utiliser les numérisations numériques dans leurs projets, à la formation de voitures ou de robots autonomes pour comprendre la forme et la taille d’objets réels.