Nvidia Video Super Resolution – Nvidia VSR – devient officiellement disponible au public aujourd’hui. Présenté pour la première fois au CES 2023, et à ne pas confondre avec le VSR (Virtual Super Resolution) d’AMD, Nvidia VSR vise à faire pour la vidéo ce que sa technologie DLSS fait pour les jeux. Eh bien, en quelque sorte. Vous aurez besoin de l’une des meilleures cartes graphiques de Nvidia pour commencer, c’est-à-dire d’un GPU RTX 30 ou 40. Bien sûr, vous voudrez également définir vos attentes de manière appropriée – l’image principale ci-dessus, par exemple, est truquée et exagérée et pas du tout représentative de VSR.
À présent, tout le monde devrait se familiariser avec une partie de ce que les modèles d’apprentissage en profondeur et d’IA peuvent accomplir. Qu’il s’agisse de génération d’art du texte à l’image avec Stable Diffusion, etc., de ChatGPT répondant aux questions et d’écriture d’articles, de voitures autonomes ou de nombreuses autres possibilités, l’IA fait désormais partie de notre vie quotidienne.
Le résumé de base de l’algorithme devrait sembler familier à toute personne connaissant le DLSS. Prenez un tas d’images appariées, chaque paire contenant une version basse résolution et à débit binaire inférieur d’une image vidéo de résolution supérieure (et de qualité supérieure), et exécutez-la via un algorithme d’apprentissage en profondeur pour apprendre au réseau comment améliorer et améliorer idéalement images d’entrée de qualité inférieure en sorties plus belles. Il y a bien sûr de nombreuses différences entre VSR et DLSS.
D’une part, DLSS obtient des données directement du moteur de jeu, y compris l’image actuelle, les vecteurs de mouvement et les tampons de profondeur. Combiné avec la ou les trames précédentes et le réseau d’IA formé pour générer des trames mises à l’échelle et anti-aliasées. Avec VSR, il n’y a pas de tampon de profondeur pré-calculé ou de vecteurs de mouvement à proprement parler, donc tout doit être fait en se basant uniquement sur les images vidéo. Ainsi, alors qu’en théorie, VSR pourrait utiliser les données de trame actuelles et précédentes, il semble que Nvidia ait opté pour une approche de mise à l’échelle spatiale pure. Mais quels que soient les détails exacts, parlons de son apparence.
Nvidia a fourni un exemple de vidéo montrant la sortie avant et après de VSR. Si vous voulez les originaux, voici la mise à l’échelle 1080p via une source d’échantillonnage bilinéaire et la version mise à l’échelle 4K VSR — hébergée sur un compte Drive personnel, nous verrons donc comment cela se passe. (Envoyez-moi un e-mail si vous ne pouvez pas télécharger les vidéos en raison du dépassement du plafond de bande passante.)
Nous allons contourner les problèmes potentiels de droits d’auteur et ne pas inclure un tas de nos propres vidéos, bien que nous ayons pris quelques captures d’écran de la sortie résultante de quelques émissions sportives pour montrer comment cela fonctionne sur d’autres contenus. Ce que nous pouvons dire, c’est que les vidéos lentes (comme les échantillons de Nvidia) fournissent les meilleurs résultats, tandis que les choses plus rapides comme le sport sont plus difficiles, car les changements d’image à image peuvent être assez importants. Mais en général, VSR fonctionne plutôt bien. Voici une galerie de captures d’écran de comparaison (capturées via Nvidia ShadowPlay).
Image 1 de dix
Toutes ces images sont au format JPG 4K, avec une qualité maximale – pas sans perte, mais nous ne pouvons pas dépasser 10 Mo, donc une légère compression était nécessaire. Vous pouvez toujours voir clairement les différences entre la mise à l’échelle normale (dans Chrome) et la mise à l’échelle VSR. Ce n’est pas un massif amélioration dans l’un des échantillons de sport, mais il y a certainement une netteté et un déblocage qui, du moins de notre point de vue subjectif, semblent meilleurs.
VSR ne peut pas faire de miracles. Commencer avec une source 720p et passer à 4K (upscaling 9x) sera plus difficile que de passer de 1080p à 4K (upscaling 4x). Et le haut de gamme 480p à 4K (20,25x haut de gamme !) manque encore une tonne de détails, comme vous ne pouvez pas voir les brins du net dans le contenu VSR ou non VSR. Même le logo Tottenham Hotspurs en haut à droite est bien meilleur sur l’échantillon mis à l’échelle 720p que sur la mise à l’échelle 480p (désolé pour cette superposition sur une image).
La bonne nouvelle : si vous avez une carte graphique RTX 30 ou 40, vous pouvez télécharger les derniers pilotes Nvidia et essayer VSR. Vous aurez également besoin du dernier navigateur Chrome ou Edge, du moins pour le moment. Mais avec le logiciel approprié, VSR semble fonctionner sur toutes les vidéos que nous avons essayées jusqu’à présent.
La mauvaise nouvelle : les utilisateurs de la série RTX 20 sont laissés pour compte, du moins pour le moment. Nous avons posé des questions sur cette exigence et n’avons pas encore de réponse précise quant à l’omission. Il est possible que Nvidia ait formé le réseau pour ses cœurs Tensor avec parcimonie, ce qui signifie qu’il ne peut actuellement fonctionner que sur les architectures Ampere et ultérieures. Mais il semble qu’il aurait pu facilement opter pour la compatibilité Turing dès le départ, s’il l’avait voulu, car la charge de travail de calcul réelle semble relativement faible.
Pour le montrer, nous avons testé VSR sur la même séquence vidéo – le jeu 720p NHL mis à l’échelle en 4K – sur deux extrêmes différents du spectre VSR, avec les paramètres VSR Quality 1 et VSR Quality 4. En haut, nous avons le RTX 4090 Founders Edition, tandis qu’en bas, nous avons l’EVGA RTX 3050. Le 4090 a un calcul théorique de 661 téraflops FP16, avec parcimonie. Le RTX 3050 fait pencher la balance à seulement 73 téraflops, encore une fois avec parcimonie. En pratique, les deux cartes se ressemblaient. Plus important encore, nous avons capturé les données de puissance uniquement pour les cartes graphiques, ce qui s’avère révélateur.
| GPU | VSR désactivé | VSR activé (1) | VSR activé (4) |
|---|---|---|---|
| RTX 4090 (watts) | 28,9 | 32,8 | 36,9 |
| RTX 3050 (watts) | 13.0 | 15.9 | 15.9 |
De toute évidence, aucun des GPU n’est poussé même à distance par l’algorithme VSR. Le 4090 utilise 4 W de puissance supplémentaire avec la qualité VSR à 1 et 8 W de puissance supplémentaire avec VSR 4. En revanche, le RTX 3050 n’avait besoin que de 3 W de puissance supplémentaire pour l’un ou l’autre des paramètres VSR. Cela signifie que les cœurs Tensor ne sont même pas au maximum, sur l’un ou l’autre GPU, ce qui signifie également que même si vous avez un RTX 3050 mobile modeste avec 4 Go de VRAM, vous pouvez toujours exécuter VSR.
Dans l’ensemble, c’est une approche intéressante de l’amélioration de la vidéo. Il existe de nombreux autres algorithmes qui n’utilisent pas l’apprentissage automatique et qui ont également été tentés pour la mise à l’échelle et l’amélioration, et certains pourraient être en mesure de correspondre à VSR, mais ils ne sont pas pris en charge simplement en téléchargeant les derniers pilotes Nvidia et les mises à jour du navigateur Chrome. .
En ce qui concerne ce que vous devez faire pour activer VSR, il s’agit d’une bascule dans les derniers pilotes (nous avons reçu un accès anticipé aux pilotes 531.14 de Nvidia aux fins de cet examen). Tout d’abord, cochez la case « Super résolution » sous Amélioration vidéo RTX, puis sélectionnez la qualité souhaitée. Nvidia indique que des paramètres de qualité supérieure peuvent peser davantage sur votre GPU, donc peut-être que si vous regardez un flux vidéo sur un deuxième moniteur tout en jouant à un jeu, vous voudrez peut-être vous en tenir à un paramètre inférieur. Si vous ne regardez qu’une vidéo, vous pouvez tout aussi bien vous déchaîner et régler la qualité sur 4.