Nvidia vient d’annoncer ACE for Games, une version de son Omniverse Avatar Cloud Engine, pour animer et donner la parole aux PNJ du jeu en temps réel.
Le PDG Jensen Huang a expliqué qu’ACE for Games intègre la synthèse vocale, la compréhension du langage naturel – ou, selon les mots de Huang, « essentiellement un grand modèle de langage » – et un animateur facial automatique. Le tout sous l’égide de l’ACE.
Essentiellement, un PNJ créé par l’IA écoutera l’entrée d’un joueur, par exemple en posant une question au PNJ, puis générera une réponse dans le personnage, dira ce dialogue à haute voix et animera le visage du PNJ comme il le dit.
Huang a également présenté la technologie dans une démo en temps réel conçue dans Unreal Engine 5 avec la startup AI Convai. Il se déroule dans un environnement cyberpunk, car bien sûr (désolé, Katie), et montre un joueur entrant dans un magasin de ramen et parlant au propriétaire. Le propriétaire n’a pas de dialogue scénarisé mais répond aux questions du joueur en temps réel et l’envoie en mission de fortune.
Vous pouvez regarder la démo par vous-même ici.
C’est assez impressionnant, et sans aucun doute un aperçu de la façon dont les jeux pourraient utiliser cette technologie à l’avenir. Comme l’a dit Huang, « l’IA sera une très grande partie de l’avenir des jeux vidéo ».
Bien sûr, il dirait ça. Nvidia est la société la plus susceptible de profiter de la soudaine augmentation de la demande d’IA avec les ventes de ses accélérateurs d’IA. Et nous avons déjà vu quelques intégrations de base de ChatGPT dans les jeux, comme lorsque Chris l’a ajouté à son compagnon Skyrim et qu’il n’a pas réussi à résoudre un simple casse-tête. Mais cette nouvelle plate-forme ACE semble beaucoup plus raffinée et correctement en temps réel.
Ce que nous ne savons pas, c’est ce qu’il a fallu pour exécuter la démo ACE for Games, mais seulement qu’elle exécutait également le lancer de rayons et DLSS. Cela pourrait nécessiter plus que votre GPU GeForce moyen pour fonctionner en ce moment, ou nécessiter un composant basé sur le cloud. Huang était un peu léger sur les détails, mais je suis sûr que nous en entendrons plus sur cet outil car certains jeux font en fait des mouvements pour l’utiliser.
« Les réseaux de neurones permettant à NVIDIA ACE for Games sont optimisés pour différentes capacités, avec différents compromis de taille, de performances et de qualité. Le service de fonderie ACE for Games aidera les développeurs à affiner les modèles pour leurs jeux, puis à les déployer via NVIDIA DGX Cloud, PC GeForce RTX ou sur site pour l’inférence en temps réel », explique Nvidia.
« Les modèles sont optimisés pour la latence, une exigence essentielle pour des interactions immersives et réactives dans les jeux. »
La latence va être importante ici. Je détesterais être soumis à l’équivalent NPC d’une pause gênante pendant qu’il se charge dans sa réponse depuis le cloud.
Jusqu’à présent, Nvidia a confirmé deux jeux utilisant le composant technologique d’animation faciale d’ACE for Games, appelé Audio2Face. C’est STALKER 2: Heart of Chernobyl et Fallen Leaf, mais j’espère que nous aurons quelques exemples de l’ensemble de la plate-forme combinée. Je serais ravi de voir la technologie en action en dehors d’une démo.