Dans le cadre de sa série de révélations et d’annonces à la GDC 2022, l’équipe verte a dévoilé aujourd’hui Nvidia Streamline. En bref, il s’agit d’un cadre que Nvidia a conçu pour faciliter l’intégration des technologies de super-résolution dans les jeux. Heureusement, Streamline est à la fois open-source et peut prendre en charge les technologies de super-résolution de divers fournisseurs de matériel et de moteurs de jeu. Intel est déjà à bord, mais nous n’avons aucun mot d’AMD sur ses plans.
La vitesse à laquelle les technologies de super-résolution progressent et prolifèrent peut être ahurissante pour les utilisateurs. Si vous vous sentez ainsi, partagez un peu d’empathie avec les développeurs de jeux qui devront peut-être danser autour du codage et du recodage de leurs jeux pour fonctionner correctement et être optimisés pour les goûts de DLSS (Deep Learning Super Sampling), NIS (Nvidia Image Scaling), FSR (AMD FidelityFX Super Resolution), XeSS (Intel’s Xe Super Sampling), mises à jour potentielles de ces techniques, et d’autres options en plus.
Il est généralement admis que le meilleur endroit pour accrocher une technologie de super-résolution avancée est dans le pipeline graphique, avant le rendu final de l’écran, de sorte que l’imagerie du jeu est mise à l’échelle en utilisant les différentes techniques mais des éléments graphiquement légers comme le commun- or-garden HUD ne l’est pas, il reste donc net au pixel près. Certaines solutions fonctionnent à la fin du pipeline, elles peuvent donc fonctionner sans aucun support significatif pour les développeurs de jeux (ou n’ont pas besoin du tout de support pour les développeurs), mais elles sont souvent considérées comme des compromis sous-optimaux.
Nvidia Streamline a été conçu pour que les développeurs disposent d’un cadre plug and play facile entre le jeu et l’API de rendu. En tant que créateur de Streamline, Nvidia a déjà les plugins DLSS et DLAA prêts, et il prépare un plugin NIS, ainsi qu’un filtre de débruitage en temps réel.
« Au lieu d’intégrer manuellement chaque SDK, les développeurs identifient simplement quelles ressources (vecteurs de mouvement, profondeur, etc.) sont nécessaires pour les plug-ins de super-résolution cibles, puis définissent où ils veulent que les plug-ins s’exécutent dans leur pipeline graphique, » explique Nvidia. « Rendant l’intégration de plusieurs technologies plus facile pour les développeurs, Streamline profite aux joueurs avec plus de technologies dans plus de jeux. »
Ajoutant un peu de poids à la valeur de son travail, à ce stade précoce, Nvidia a déjà Intel à bord. Dans le diagramme ci-dessus, vous pouvez voir que les plugins Intel sont en cours de préparation pour Streamline, ce qui activera Intel XeSS avec juste un minimum d’effort de la part des développeurs qui ont le framework prêt, en particulier par rapport aux jours pré-Streamline. Enfin, Nvidia a laissé la porte ouverte au « fournisseur de matériel #3 » (alias He Who Must Not Be Named, alias AMD) pour jouer au ballon et produire un plugin, afin d’accélérer l’intégration de leur technologie de super-résolution aux côtés de les choix des équipes verte et bleue.
Le framework open source ci-dessus semble être une solution attrayante pour l’industrie du développement de jeux. S’il est adopté en masse, cela pourrait s’avérer un gain significatif pour Nvidia, qui rendra presque certainement DLSS accroché à tous les jeux qui utilisent ce framework. Nvidia a une avance assez établie avec l’adoption de la technologie de mise à l’échelle de l’image à l’heure actuelle, et Streamline ne va pas lui faire de mal. À certains égards, Streamline pourrait s’assurer que DLSS ne sera jamais usurpé par des technologies rivales, en particulier des technologies plus ouvertes qui pourraient avoir fleuri séparément plus tard en 2022.
D’autre part, Streamline pourrait simplement aider tout le monde et garantir que les utilisateurs choisissent la litière en ce qui concerne les techniques de super résolution. Le FSR d’AMD est déjà open-source, donc même si AMD ne prend pas directement en charge Streamline, quelqu’un de la communauté OSS pourrait créer le plugin requis. Le XeSS d’Intel est un peu un retardataire, mais tout jeu utilisant Streamline pour DLSS pourrait également facilement ajouter le support XeSS. Pourquoi pas, puisqu’il s’agit simplement de mettre quelques hameçons ?
« Intel croit fermement en la puissance des interfaces ouvertes », a déclaré Andre Bremer, vice-président d’AXG et directeur de l’ingénierie des jeux chez Intel. « Nous sommes ravis de prendre en charge Streamline, un cadre ouvert et inter-IHV pour de nouveaux effets graphiques. Cela simplifiera les efforts d’intégration des développeurs de jeux et accélérera l’adoption de nouvelles technologies. »
Nvidia indique que Streamline est disponible aujourd’hui sur GitHub prenant en charge à la fois DLSS et DLAA (Deep Learning Anti-Aliasing). La prise en charge de NIS « arrive bientôt ». Le framework est extensible au-delà des super-échantillonneurs, comme en témoigne Nvidia avec notamment son Denoiser en temps réel. Veuillez noter que Streamline prend en charge les titres DirectX 11 et DirectX 12, mais la compatibilité Vulkan est encore en phase de test bêta.