Si vous pensiez que le dernier DLSS 3 de Nvidia (s’ouvre dans un nouvel onglet) la technologie d’accélération de la fréquence d’images était assez astucieuse, vous n’avez, comme on dit, rien vu. Pouvons-nous vous présenter les NeRF ou Neural Radiance Fields, (s’ouvre dans un nouvel onglet) une méthode accélérée par l’IA incroyablement intelligente pour générer des scènes 3D complètes à partir d’une poignée de photos.
L’idée est conceptuellement simple. Prenez quelques images 2D de quelque chose. Exécutez-le à travers certains algorithmes d’IA. Effectuez le rendu de la chose ou des choses, ou de toute une scène complexe, en 3D intégrale. Et en temps réel.
C’est similaire à la numérisation de photos pour créer des scènes 3D, mais avec une qualité d’IA supplémentaire. C’est du moins l’argumentaire de vente. Les NeRF ne sont pas uniques à Nvidia. Mais la société fait des choses particulièrement intéressantes avec les NeRF qui sont pertinentes pour les jeux sur PC par opposition à la réalisation de films, ce qui a fait beaucoup de bruit autour des NeRF jusqu’à présent.
Vous pouvez regarder cette vidéo détaillée de Corridor Crew (s’ouvre dans un nouvel onglet) plus tôt cette année montrant à quel point la technologie NeRF est incroyable pour créer une vidéo photoréaliste à partir de quelques photos seulement. Mais un mot d’avertissement. Une fois que vous l’aurez vu, vous vous demanderez si tout ce que vous voyez dans une vidéo ou un film est réel ou restitué avec des NeRF. Il est effrayant.
En effet, il existe même des applications basées sur NeRF disponibles pour les smartphones Android et Apple, telles que Luma AI, afin que vous puissiez essayer la technologie par vous-même.
Pour en revenir au PC, mis à part le fait que tout le processus est incroyablement intelligent, il offre un certain nombre d’avantages immédiats et évidents. Au lieu d’avoir besoin de modèles 3D détaillés et de nombreuses textures haute résolution gourmandes en bande passante, il suffit de quelques photos ou images pour rendre une scène complexe.
Nvidia pousse cela à de nouveaux extrêmes, les NeRF dits « compacts » qui nécessitent environ 100 fois moins de données pour restituer une scène. Les avantages que cela peut avoir en termes de bande passante et de stockage sont assez évidents.
Cependant, les implémentations précédentes de la technologie NeRF nécessitaient un temps considérable pour former et traiter le modèle d’IA. Les NeRF « instantanés » de Nvidia, en revanche, peuvent effectuer l’ensemble du processus en quelques secondes.
Tout cela pointe évidemment dans une direction assez alléchante, à savoir l’utilisation des NeRF pour le rendu de jeu en temps réel. Imaginez la bande passante et les performances potentielles remplaçant toutes ces données de modèle, de texture et d’éclairage pour une scène de jeu avec quelques images. Et puis ajoutez le kicker que les résultats semblent plus réalistes que les moteurs de jeu et l’art conventionnels.
Écoutez, nous ne disons pas que ce truc est juste au coin de la rue. Mais la technologie NeRF évolue incroyablement vite. Le concept n’est apparu qu’il y a environ deux ans et il génère déjà des résultats incroyables. Que cela révolutionne le jeu sur PC, eh bien, le temps nous le dira. Pendant que nous attendons, vous pouvez vous plonger dans le document de recherche de Nvidia sur le sujet ici (s’ouvre dans un nouvel onglet).