L’intelligence artificielle est un mot à la mode à l’heure actuelle, avec des outils comme Gemini de Google qui fouillent Internet pour trouver des réponses ou des générateurs de voix imitant Morgan Freeman. Si vous recherchez une image légèrement étrange d’un clown sur un monocycle en 2056, il existe probablement un outil alimenté par l’IA pour vous aider dans cette tâche.
Mais tout cela semble plutôt réducteur, comme si l’on mettait la professeure Mary Beard, experte de la Rome antique, dans un épisode de Selling Sunset.
L’intelligence artificielle pourrait être utilisée pour bien plus que la formulation de banals discours de mariage – nous n’en avons peut-être pas encore vu le meilleur.
Dans notre bulle de jeux vidéo de course et de sport automobile, les joueurs connaissent depuis longtemps l’« IA » – pour nous, le concept de base n’a rien de nouveau. Nous courons « contre l’ordinateur » depuis des décennies, car le jeu et le matériel qui l’exécute obligent les rivaux à rouler sur le même circuit que vous.
Certains le font sans aucun doute mieux que d’autres. Une critique relativement simple d’un jeu ou d’une simulation est que « l’IA est mauvaise », avec un manque de vigilance, des accélérations au premier tour ou des accidents répétés au même endroit.
C’est parce que, à un niveau de base, ils ne le font jamais vraiment. apprendreIls ne peuvent pas comprendre mquand ils font une erreur et ont du mal à changer leur comportement en fonction de ce qui se passe autour d’eux.
Lorsque Gran Turismo Sophy a été lancé au sein de Gran Turismo 7 pour le public fin 2023, l’agent alimenté par l’intelligence artificielle a été une révélation. Vos adversaires pouvaient attaquer, se défendre et éviter d’éventuels incidents de manière plus naturelle.
Une différenciation clé entre l’« IA » préprogrammée à laquelle beaucoup sont habitués et un agent tel que GT Sophy est sa capacité à s’adapter au contexte.
C’est l’aboutissement de près de cinq ans de travail, jusqu’à présent, avec la mise à jour de Gran Turismo 7 de juillet 2024 qui élargit la liste des pistes sur lesquelles il peut courir.
Un nouvel agent de course IA de Sony qui a des yeux
Mais pour l’équipe mondiale de Sony AI, cela n’a pas suffi. Elle a travaillé avec diligence sur un agent d’IA exploratoire, en parallèle de GT Sophy.
En utilisant à nouveau Gran Turismo comme banc d’essai, et encore en grande partie au stade de prototype, la façon dont il reçoit et interprète les informations est différente : il peut « voir ».
« Lorsque vous ou moi jouons, nous regardons bien sûr l’interface utilisateur et nous analysons ces informations d’une manière qui nous semble raisonnable, et nous utilisons ces informations pour piloter », explique Kaushik Subramanian, chercheur scientifique principal chez Sony AI.
Il travaille aux côtés de Takuma Seno, un collègue chercheur et l’un des principaux auteurs d’un article de recherche récemment publié couvrant les derniers développements.
« Cependant, lorsque nous entraînons GT Sophy, nous lui fournissons des informations très précises sur l’endroit où elle se trouve sur la piste ; la forme de la piste, sa vitesse exacte, son accélération et où se trouvent les autres voitures.
« Il y a donc une différence entre ce que Sophy assimile et ce que les joueurs humains assimilent.
« Ce que nous voulions explorer, c’était si nous pouvions former un agent qui travaille sur des entrées d’images. »
« Si je devais prendre une image de ce à quoi ressemble le jeu – une voiture roulant sur une piste avec des lignes, des barrières, des arbres et des nuages – et essayer de former l’agent de course avec cela comme entrée, serait-ce possible ? »
C’est exactement ce qu’utilise l’agent exploratoire. Imaginez une caméra installée à l’intérieur d’une voiture ou une paire d’yeux (une vue de caméra égocentrique dans le jargon de Sony AI). La nouvelle IA « regarde » à l’extérieur du véhicule et interprète ce qu’elle peut « voir », expérimentant la vélocité en combinaison avec des données sous la forme de la vitesse exacte.
L’objectif est donc de faire correspondre ce à quoi les humains ont accès lorsqu’ils jouent au jeu, l’image aidant à expliquer la forme de la piste. Contrairement à GT Sophy, il ne reçoit pas d’informations telles que la forme précise de la piste, l’angle de glissement des pneus (et le taux de glissement) ou la charge des roues.
« L’une de nos motivations internes était d’essayer de voir dans quelle mesure nous pouvions assouplir certaines des entrées de données entrant dans l’agent », poursuit le diplômé en doctorat du Georgia Institute of Technology, qui travaille chez Sony AI depuis 2019 et a travaillé sur des projets adjacents à Gran Turismo depuis le début.
« Ce qui est fascinant dans tout cela, c’est que nous n’avons pas à contrôler ce sur quoi l’IA se concentre. Nous fournissons l’image et l’approche de l’IA apprend sur quoi se concentrer pour obtenir le résultat qui nous intéresse.
« Nous disons à l’IA que son objectif est de conduire le plus vite possible, de rester sur la bonne voie et d’éviter d’entrer en collision avec les barrières.
« Avec un peu de temps d’entraînement, l’algorithme apprend à se concentrer sur les parties pertinentes de l’image pour atteindre cet objectif. Sur une section droite, l’IA se concentre sur ce qui arrive au loin.
« Alors que s’il regarde dans un coin, les points de marquage roses [used to determine its focus] pourraient s’aligner sur les bords de la piste pour l’aider à rester dans les limites du parcours. »
Un agent d’apprentissage inédit au monde pour la simulation de course automobile
Pour l’instant, le nouveau modèle ne fonctionne que dans une situation de contre-la-montre, même si « cela semble être une prochaine étape raisonnable de poursuivre ce travail et d’améliorer d’autres situations, y compris les courses avec des voitures adverses », théorise Subramanian.
Une IA qui parcourt rapidement une piste est une prouesse, l’aider à comprendre l’étiquette de la course en est une autre.
En l’état actuel des choses, il s’agit d’une seule voiture, d’une seule piste, et dans ce cas, elle a appris à être nettement plus rapide que la majorité des joueurs humains. Elle peut prendre la trajectoire optimale, au millimètre près, à chaque fois.
Cela fait suite à un exercice qui dure 10 à 14 jours sur un groupe de PlayStation avec accès à Gran Turismo 7 – ce nouveau modèle n’est en aucun cas garanti de faire son apparition dans les versions commerciales et est encore largement dans une phase exploratoire.
Pendant ce temps, l’IA utilise l’apprentissage par renforcement pour se mettre à niveau. Il s’agit en substance d’une forme d’essais et d’erreurs, commençant de manière aléatoire mais finissant par devenir un maître.
« Au final, le résultat est ce que nous appelons une politique, une politique qui agit comme un contrôleur », explique Subramanian. Basé en Allemagne, il est co-auteur de deux articles de recherche sur la course automobile et d’un autre sur la conduite autonome.
« Après deux semaines de formation, le contrôleur est prêt et a appris à faire le meilleur tour possible. J’appuie sur Start. Il me donne simplement ce temps au tour dès la première tentative. »
Le résultat net, jusqu’à présent, est un agent capable de fournir des temps à peu près similaires à ceux du GT Sophy existant, mais sans nécessiter d’instrumentation externe. Il s’agit de la création du premier agent de simulation de course automobile surhumain avec entrée de capteur local.
On ne peut s’empêcher de penser que l’équipe d’IA de Sony souhaite repousser encore plus loin les limites.
« De notre côté, il y a plusieurs objectifs, y compris plusieurs questions de recherche en interne, pour lesquels nous essayons de repousser les limites », explique l’expert expérimenté en apprentissage par renforcement.
« Élargir notre vision à d’autres situations nous intéresse certainement. Nous allons essayer de faire le maximum dans ce domaine.
« Il y a bien sûr GT Sophy déployé dans le jeu également et c’est une pensée passionnante dans notre esprit pour nous assurer que les joueurs sont satisfaits de la version qui est dans le jeu.
« Lorsque nous avons commencé le projet, nous n’étions pas sûrs qu’il soit réellement possible d’apprendre, car nous savons que les humains le font, mais la question était de savoir si l’IA pouvait le faire aussi. Il a fallu du temps, plusieurs années, pour arriver là où nous en sommes aujourd’hui, et les résultats jusqu’à présent sont très prometteurs. »
Aperçu du dernier agent de course autonome de Sony AI
- L’équipe d’IA de Sony a utilisé des PlayStations et Gran Turismo 7 pour évaluer l’agent exploratoire, mais sa sortie publique n’est pas confirmée
- Un agent IA différent de Gran Turismo Sophy, actuellement en phase de recherche
- Le premier agent de simulation de course automobile surhumain basé sur la vision
- Il peut surpasser les meilleurs pilotes Gran Turismo de la planète sur un seul tour
- Contrairement à GT Sophy, qui s’appuie sur une instrumentation externe telle que des informations précises sur la forme de la piste, l’angle de dérapage, le rapport de dérapage et la charge des roues (entre autres), le nouvel agent peut « voir » les pixels (l’« image ») via une « vue de caméra égocentrique » tout en recevant des informations sur la vitesse et l’accélération.