Microsoft
La technologie qui sous-tend ChatGPT a le potentiel de faire bien plus que simplement parler. Linxi « Jim » Fan, chercheur en intelligence artificielle chez le fabricant de puces Nvidia, a travaillé avec des collègues pour trouver un moyen de définir le puissant modèle de langage GPT-4 – le « cerveau » derrière ChatGPT et un nombre croissant d’autres applications et services – lâche à l’intérieur le jeu vidéo en bloc Minecraft.
L’équipe Nvidia, qui comprenait Anima Anandkumar, directrice de l’apprentissage automatique de la société et professeur à Caltech, a créé un Minecraft bot appelé Voyager qui utilise GPT-4 pour résoudre des problèmes à l’intérieur du jeu. Le modèle de langage génère des objectifs qui aident l’agent à explorer le jeu et un code qui améliore les compétences du bot dans le jeu au fil du temps.
Voyager ne joue pas au jeu comme une personne, mais il peut lire l’état du jeu directement, via une API. Il peut voir une canne à pêche dans son inventaire et une rivière à proximité, par exemple, et utiliser GPT-4 pour suggérer l’objectif de pêcher pour acquérir de l’expérience. Il utilisera ensuite cet objectif pour que GPT-4 génère le code nécessaire pour que le personnage l’atteigne.
La partie la plus nouvelle du projet est le code généré par GPT-4 pour ajouter des comportements à Voyager. Si le code initialement suggéré ne fonctionne pas parfaitement, Voyager essaiera de l’affiner en utilisant des messages d’erreur, des commentaires du jeu et une description du code généré par GPT-4.
Au fil du temps, Voyager construit une bibliothèque de code afin d’apprendre à créer des choses de plus en plus complexes et à explorer davantage le jeu. Un graphique créé par les chercheurs montre à quel point il est capable par rapport à d’autres Minecraft agents. Voyager obtient plus de trois fois plus d’objets, explore plus de deux fois plus loin et construit des outils 15 fois plus rapidement que les autres agents IA. Fan dit que l’approche pourrait être améliorée à l’avenir avec l’ajout d’un moyen pour le système d’incorporer des informations visuelles du jeu.
Alors que les chatbots comme ChatGPT ont séduit le monde avec leur éloquence et leur connaissance apparente, même s’ils inventent souvent des choses, Voyager montre l’énorme potentiel des modèles de langage pour effectuer des actions utiles sur les ordinateurs. L’utilisation de modèles de langage de cette manière pourrait peut-être automatiser de nombreuses tâches de bureau routinières, potentiellement l’un des impacts économiques les plus importants de la technologie.
Le processus que Voyager utilise avec GPT-4 pour comprendre comment faire les choses dans Minecraft peut être adapté pour un assistant logiciel qui détermine comment automatiser des tâches via le système d’exploitation sur un PC ou un téléphone. OpenAI, la startup qui a créé ChatGPT, a ajouté des « plugins » au bot qui lui permettent d’interagir avec des services en ligne tels que l’application de livraison d’épicerie Instacart. Microsoft, qui détient Minecraft, forme également des programmes d’IA pour y jouer, et la société a récemment annoncé Windows 11 Copilot, une fonctionnalité du système d’exploitation qui utilisera l’apprentissage automatique et les API pour automatiser certaines tâches. Il peut être judicieux d’expérimenter ce type de technologie dans un jeu comme Minecraftoù un code défectueux peut faire relativement peu de mal.
Les jeux vidéo ont longtemps été un banc d’essai pour les algorithmes d’IA, bien sûr. AlphaGo, le programme d’apprentissage automatique qui a maîtrisé le jeu de société extrêmement subtil Aller en 2016, a fait ses armes en jouant à de simples jeux vidéo Atari. AlphaGo a utilisé une technique appelée apprentissage par renforcement, qui entraîne un algorithme à jouer à un jeu en lui donnant des commentaires positifs et négatifs, par exemple à partir du score à l’intérieur d’un jeu.
Il est plus difficile pour cette méthode de guider un agent dans un jeu ouvert tel que Minecraft, où il n’y a pas de score ou d’objectifs et où les actions d’un joueur peuvent ne porter leurs fruits que bien plus tard. Que vous pensiez ou non que nous devrions nous préparer à contenir la menace existentielle de l’IA dès maintenant, Minecraft semble être un excellent terrain de jeu pour la technologie.
Cette histoire est apparue à l’origine sur filaire.com.