Il existe de nombreuses façons d’avoir une conversation textuelle avec un grand modèle de langue, de ChatGPT à Google Bard ou MLC LLM, un chatbot local qui peut fonctionner sur votre téléphone. La prochaine frontière pour l’IA est d’apporter la puissance des LLM aux PNJ (personnages non joueurs) dans les jeux où, au lieu d’avoir un ensemble d’interactions en conserve, vous pouvez avoir une conversation ouverte.
Lors de son discours d’ouverture sur le Computex 2023, le PDG de Nvidia, Jensen Huang, a dévoilé ACE for Games, un service de fonderie de modèles d’IA, conçu pour donner vie aux personnages du jeu à l’aide de la conversation en langage naturel, de l’expression audio-faciale et de la synthèse vocale. -Capacités de texte. Huang a montré une démo de jeu où un PNJ nommé Jin, qui dirige un magasin de nouilles ramen, a interagi avec un joueur humain qui posait des questions avec la voix et récupérait des réponses réalistes qui correspondent à la trame de fond du PNJ.
Dans la démo, le joueur (nommé Kai) entre dans la boutique de Ramen de Jin, lui demande comment il va (à voix haute) et a une conversation sur le fait que la région a un taux de criminalité élevé. Kai demande s’il peut aider et Jin répond en disant que « si vous voulez faire quelque chose à ce sujet, j’ai entendu des rumeurs selon lesquelles le puissant seigneur du crime Kumon Aoki causerait toutes sortes de chaos dans la ville. Il pourrait être à l’origine de cette violence ». . » Kai demande où trouver Aoki et Jin lui dit, lançant l’utilisateur dans sa quête.
« Non seulement l’IA contribuera au rougissement et à la synthèse de l’environnement, mais elle animera également les personnages », a déclaré Huang. « L’IA jouera un rôle très important dans l’avenir des jeux vidéo. »
Nvidia ACE for Games offrira un accès haut débit à trois composants différents déjà existants. Le premier, Nvidia NeMo, est un cadre d’IA pour la formation et le déploiement de LLM et il comprend NeMo Guardrails, qui est conçu pour empêcher les conversations d’IA inappropriées / « dangereuses ». Vraisemblablement, cela empêcherait les PNJ de répondre aux invites inappropriées et hors sujet des utilisateurs. Guardrails dispose également d’une sécurité qui devrait empêcher les utilisateurs ou les injecteurs potentiels de « jailbreaker » les bots et de les amener à faire de mauvaises choses.
Nvidia Riva est la solution de synthèse vocale / synthèse vocale de l’entreprise. Dans le flux de travail ACE pour les jeux, un joueur posera une question via son microphone et Riva la convertira en texte qui sera transmis au LLM. Le LLM générera alors une réponse textuelle que Riva transformera en parole que l’utilisateur entendra. Bien sûr, nous nous attendons à ce que les jeux affichent également les réponses sous forme de texte. Vous pouvez essayer vous-même les capacités de synthèse vocale et de synthèse vocale de Nvidia Riva sur le site de la société.
Nvidia Omniverse Audio2Face fournit la dernière étape du flux de travail ACE pour les jeux car il permet aux personnages d’avoir des expressions faciales qui correspondent à ce qu’ils disent. La société propose actuellement ce produit en version bêta et vous pouvez l’essayer ici.
La démo, qui s’appelle Kairos, a été conçue par Convai, une startup d’IA dans le jeu qui fait partie du programme Inception de Nvidia qui relie les entreprises émergentes au capital-risque. Sur le site de la société, il propose un ensemble d’outils qui permet aux développeurs de jeux de créer des PNJ réalistes avec des histoires complexes.
L’entreprise a une excellente vidéo explicative sur le fonctionnement de ses outils et ce qu’ils peuvent faire. Dans la vidéo, vous pouvez voir des joueurs parler à des PNJ et leur demander de faire des choses qui impliquent des objets réels et d’autres personnages dans le jeu.
Par exemple, dans la vidéo, un joueur demande à un PNJ de lui remettre une arme posée sur une table et le PNJ s’exécute. Dans une autre partie de la vidéo, le joueur demande à un PNJ soldat de tirer sur une cible située à un endroit précis. Nous voyons également comment les outils de Convai rendent tout cela possible.
Avoir ce contexte supplémentaire pour que le PNJ soit au courant de ce qui se passe dans le jeu est si important. Récemment, nous avons testé un plugin Minecraft AI qui vous permet de parler aux PNJ dans ce jeu, mais les PNJ n’ont aucune conscience de la situation. Nous avons pu continuer une conversation avec un mouton après l’avoir tué (et il ne savait pas qu’il était mort), par exemple.