Des chercheurs de l’Université de Californie et d’Intel ont développé un algorithme complexe qui exploite l’IA et certaines routines intelligentes pour extrapoler de nouvelles images, avec une latence d’entrée inférieure à celle des méthodes actuelles de génération d’images, tout en conservant une bonne qualité d’image. Rien n’indique qu’Intel envisage d’implémenter le système pour ses GPU Arc pour l’instant, mais si le travail se poursuit, nous aurons probablement une génération de cadres alimentée par Intel dans un avenir proche.
Annoncé lors de l’événement Siggraph Asia de cette année en Australie (via Wccftech), un groupe de chercheurs de l’Université de Californie a été sponsorisé et soutenu par Intel pour développer un système qui crée artificiellement des images pour améliorer les performances des jeux et autres applications effectuant du rendu.
Plus communément appelé génération d’images, nous le connaissons tous depuis que Nvidia l’a inclus dans son package DLSS 3 en 2022. Ce système utilise un réseau neuronal d’apprentissage en profondeur, ainsi qu’une analyse de flux optique sophistiquée, pour examiner deux images rendues et en produire un entièrement nouveau, qui est inséré entre eux. Techniquement, il s’agit d’une interpolation d’images et elle est utilisée dans le monde des téléviseurs depuis des années.
Plus tôt cette année, AMD nous a proposé sa version de génération de frame dans FSR 3 mais plutôt que de s’appuyer sur l’IA pour faire tout le gros du travail, les ingénieurs ont développé le mécanisme pour qu’il fonctionne entièrement via des shaders.
Cependant, AMD et Nvidia ont tous deux un petit problème avec leurs technologies de génération d’images, à savoir une augmentation de la latence entre les entrées d’un joueur et sa visualisation en action à l’écran. Cela se produit parce que deux images complètes doivent être rendues d’abord avant que celui interpolé puisse être généré puis intégré dans la chaîne de trames.
La nouvelle méthode proposée par Intel et UoC est assez différente. Tout d’abord, c’est trois méthodes, toutes regroupées dans un long algorithme. L’étape initiale évite l’utilisation de vecteurs de mouvement ou d’analyse de flux optique et s’appuie plutôt sur des mathématiques intelligentes pour examiner les tampons géométriques créés lors du rendu des images précédentes.
Cette étape crée une nouvelle trame partiellement complète qui est ensuite introduite dans l’étape suivante de l’ensemble du processus, avec d’autres données. Ici, un petit réseau de neurones est utilisé pour compléter les pièces manquantes. Les résultats des étapes un et deux passent ensuite par l’étape finale, impliquant un autre réseau neuronal.
C’est beaucoup trop complexe pour entrer dans les détails ici mais le résultat est tout ce qui compte : une image générée qui est extrapolé à partir des images précédentes et inséré après eux. Vous obtiendrez toujours un peu de latence d’entrée mais, en théorie, elle devrait être inférieure à ce que vous obtenez avec les méthodes AMD et Nvidia, mais les images réelles sont présentées immédiatement après le rendu.
Si tout cela semble un peu trop beau pour être vrai, il y a une mise en garde notable à tout cela et à ses performances. Les chercheurs ont testé le temps d’exécution de l’algorithme, en utilisant une GeForce RTX 3090 et TensorRT pour gérer les réseaux neuronaux.
À partir de 540p, avec l’image finale générée à 1080p, le processus a pris 4,1 millisecondes. C’est très rapide, même si le document de recherche note également qu’à partir de 1080p, l’algorithme prenait 13,7 ms, ce qui équivaut à une performance de 72 ips.
Plus de travail sera clairement fait sur l’ensemble et toute mise en œuvre nécessiterait un système supplémentaire pour gérer le rythme des images réelles et fausses, sinon les fps augmenteraient partout.
Et si Intel le commercialise, le fait qu’il gère deux réseaux de neurones signifie que tout GPU doté d’un matériel matriciel dédié constituerait un net avantage (c’est-à-dire Intel et Nvidia).
Une chose est sûre cependant : l’upscaling et la génération de frames sont là pour rester et deviendront de plus en plus importants dans la manière dont les cartes graphiques et les jeux fonctionneront ensemble à l’avenir.
Vous n’en êtes peut-être pas fan pour le moment, mais éventuellement, il viendra un moment où vous ne pourrez plus les remarquer en action. Vous apprécierez simplement le jeu, soit avec des niveaux de graphismes méga, soit avec des fréquences d’images très élevées.