Lundi, au Consumer Electronics Show (CES), Nvidia a présenté les dernières avancées de ses PNJ génératifs basés sur l’IA, présentant des conversations automatisées entre un joueur et des personnages générés par ordinateur qui pourraient changer la façon dont les jeux sont créés. La technologie Avatar Cloud Engine (ACE) de Nvidia combine la reconnaissance parole-texte et les réponses texte-parole avec une animation faciale générative par IA et des personnages automatisés pour cracher des interactions de personnages créées par ordinateur.
Le discours spécial de Nvidia au CES 2024 mettait en vedette Seth Schneider, chef de produit senior chez ACE, faisant une démonstration des technologies fonctionnant en tandem. Selon Schneider, la démo interprète le discours d’un joueur et le transforme en texte. Ce texte est ensuite transmis à un modèle en grand langage basé sur le cloud pour générer une réponse d’un PNJ. Le texte de la réponse est introduit dans Omniverse Audio2Face, qui synchronise les lèvres de l’audio parlé généré, qui est ensuite restitué dans le jeu.
La démo est une mise à jour d’une version précédente de la technologie présentée au Computex de 2023, qui mettait en vedette un personnage parlant à un propriétaire de magasin de ramen futuriste, Jin. La nouvelle démo de Nvidia développe cela en permettant à Jin et à un autre PNJ, Nova, d’avoir des conversations générées par l’IA qui peuvent être uniques à chaque partie.
La démo du CES 2024 présente également une nouvelle technologie d’une autre société appelée Convai, qui permet aux PNJ basés sur l’IA de faire plus que simplement converser. Ces PNJ peuvent également interagir avec des objets de leur environnement. Dans la démo la plus récente, Jin est montré en train de sortir une bouteille d’alcool lorsque Schneider lui demande de « faire ressortir les bonnes choses ». Selon un actif partagé par Convai, les PNJ IA conscients de l’environnement seraient capables d’interagir avec un certain nombre d’objets, notamment des bols, des bouteilles, des lumières et d’autres accessoires de la scène.
Image : Convai/Nvidia
Nvidia affirme qu’un certain nombre de développeurs de jeux utilisent déjà ses services de production ACE, qui incluent l’IA générative d’animation faciale Audio2Face et la reconnaissance vocale automatique Riva. Schneider nommé « meilleurs développeurs d’avatars numériques » GenshinImpact l’éditeur Mihoyo, NetEase Games, Tencent et Ubisoft parmi les sociétés fabriquant des PNJ alimentés par l’IA pour leurs produits.
On ne sait pas encore quels jeux intégreront ces types de PNJ générés par l’IA, mais Nvidia et Convai affirment que la technologie s’intégrera « de manière transparente » aux moteurs de jeu comme Unreal Engine et Unity. On ne sait pas non plus si le résultat dans le monde réel sera bon ou, comme la conversation de Jin et Nova, terriblement étrange. Les deux personnages semblent robotiques et étranges dans leurs discours respectifs, malgré le résultat intelligent de conversations presque convaincantes.
Une chose est presque garantie de sortir de la nouvelle démo de Nvidia : une suspicion accrue selon laquelle les mauvaises interactions avec les PNJ que nous connaîtrons dans les futurs jeux sont conçues par l’IA plutôt que par un être humain réel.