Les photographes pourraient bientôt être en mesure de « voir dans le noir » efficacement après que Google Research ait ajouté un nouvel outil de réduction du bruit de l’IA à son MultiNeRF (s’ouvre dans un nouvel onglet) projet.
Le programme RawNeRF peut lire les images, en utilisant l’intelligence artificielle pour ajouter des niveaux de détail plus élevés (et beaucoup moins d’artefacts disgracieux) aux photos prises dans des conditions plus sombres et des paramètres de faible luminosité. Selon l’équipe à l’origine du projet, cela fonctionne mieux que tout autre outil de réduction du bruit.
« Lorsqu’il est optimisé sur de nombreuses entrées brutes bruyantes, NeRF produit une représentation de scène si précise que ses nouvelles vues rendues surpassent les débruiteurs bruts profonds dédiés à une ou plusieurs images exécutés sur les mêmes images d’entrée de base larges », a déclaré le les chercheurs ont expliqué (s’ouvre dans un nouvel onglet) dans un article de l’Université Cornell.
Qu’est-ce que NeRF ?
NeRF est un synthétiseur de vue – un outil capable de scanner des milliers de photographies (s’ouvre dans un nouvel onglet) reconstituer avec précision Rendus 3D.
Selon Ben Mildenhall, l’un des chercheurs du projet, NeRF fonctionne mieux avec des photographies bien éclairées et à faible niveau de bruit. En d’autres termes, il est conçu pour les prises de vue de jour.
Les prises de vue en basse lumière et de nuit se sont révélées problématiques, masquant les détails dans l’ombre ou devenant plus bruyantes lors de l’augmentation de la luminosité en post-production. Le problème que Mildenhall et l’équipe ont découvert était que les outils de débruitage peuvent quelque peu réduire le bruit, mais au détriment de la qualité de l’image.
Avec l’avènement de RawNeRF, l’intelligence artificielle est configurée pour atténuer le bruit sans supprimer les détails – permettant ainsi aux obturateurs de « voir dans le noir ».
Dans un démonstration vidéo (s’ouvre dans un nouvel onglet), NeRF dans le noir, – initialement publié en mai 2022 et passé largement inaperçu à l’époque – Mildenhall prend un téléphone portable éclairé uniquement à la lueur des bougies. RawNeRF est « capable de combiner des images prises à partir de nombreux points de vue différents pour débruiter et reconstruire conjointement la scène », explique le chercheur de Google.
Les images reconstruites sont rendues dans un espace colorimétrique HDR linéaire, permettant aux utilisateurs de manipuler davantage les angles, les expositions, le mappage des tons et la mise au point. Dans sa vidéo, Mildenhall note comment la variation de chacun de ces ensembles « crée un effet atmosphérique qui peut attirer l’attention sur différentes régions de la scène ».
Bien qu’il soit encore en phase de recherche et qu’il ne soit pas (encore) un produit Google officiellement pris en charge, RawNeRF offre un aperçu alléchant de la façon dont l’IA pourrait aider les créatifs à mieux refléter le monde qui les entoure.