La plupart des nouvelles fonctionnalités et expériences annoncées récemment par Adobe impliquent l’IA, comme l’ajout et la suppression d’objets pour Premiere Pro et la génération d’images basées sur du texte dans Photoshop. Aujourd’hui, la société a dévoilé VideoGigaGAN, une fonctionnalité expérimentale d’IA qui, selon elle, peut multiplier par huit la vidéo sans les artefacts habituels tels que le scintillement ou la distorsion. Le bord signalé.
Selon Adobe, VideoGigaGAN bat les autres méthodes de super résolution vidéo (VSR) car il évite les artefacts et le scintillement habituels introduits par le GAN (General Adversarial Networks). En même temps, cela ajoute de la netteté et des détails, là où la plupart des autres systèmes ne parviennent pas à faire ces deux choses à la fois.
Bien sûr, le système invente des détails qui n’existent pas de toutes pièces, donc cela ne conviendrait pas à des choses comme l’amélioration vidéo médico-légale, à la Émissions policières de style CSI. Mais les détails qu’il ajoute semblent incroyablement réels, comme les textures de peau, les poils fins, les détails en plumes de cygne et bien plus encore.
Le modèle s’appuie sur un suréchantillonneur d’images à grande échelle appelé GigaGAN, selon les chercheurs d’Adobe. Les modèles VSR précédents avaient du mal à générer des détails riches dans les résultats, c’est pourquoi Adobe a associé « l’attention temporelle » (réduisant les artefacts qui s’accumulent au fil du temps), la propagation des fonctionnalités (en ajoutant des détails là où il n’en existe pas), l’anticrénelage et quelque chose appelé « navette HF » (navette fonctionnalités haute fréquence) pour créer le résultat final.
S’il est ajouté à des produits comme Premiere Pro ou After Effects, il pourrait permettre aux producteurs de vidéos de rendre les prises de vue en basse résolution bien meilleures, bien que l’utilisation de l’IA pour améliorer également les personnes soit une pratique controversée. On ne sait pas encore si Adobe envisage de le faire (actuellement, les clips sont courts et ne sont lus qu’à 12 ips), mais de nombreuses entreprises, dont NVIDIA, Microsoft, Blackmagic Design et d’autres, travaillent également sur la technologie de mise à l’échelle de l’IA.