Clive Rose – Gran Turismo/Gran Turismo via Getty Images
Une équipe de chercheurs de Sony AI a utilisé l’apprentissage par renforcement profond pour apprendre à jouer à une intelligence artificielle Gran Turismo à un niveau de classe mondiale. Alors que les expériences précédentes ont appris à l’IA à conduire très vite, c’est la première fois que l’on apprend à faire de la course. Et pour le prouver, l’IA a battu certains des meilleurs au monde GT joueurs en compétition en tête-à-tête, comme décrit dans un nouvel article publié dans Nature cette semaine.
La course n’est pas facile, et cela implique plus que de savoir conduire une voiture très vite. Le contrôle de la voiture est évidemment important, mais la tactique, la stratégie et le concept quelque peu nébuleux de l’étiquette le sont aussi.
Ou, comme le disent les auteurs, « [a]la course automobile est un domaine qui pose exactement ces défis ; cela nécessite un contrôle en temps réel des véhicules avec une dynamique complexe et non linéaire tout en opérant à quelques centimètres des adversaires. « Certains conducteurs peuvent avoir un succès limité par l’agressivité et saisir toutes les opportunités de dépassement qu’ils voient. une meilleure opportunité – pour ne pas se faire doubler à la fin de la ligne droite suivante, par exemple – est au moins aussi importante, tout comme savoir quand céder à un rival pour ne pas se retrouver dans le mur ou un bac à gravier.
Créer des adversaires IA réalistes pour les jeux de course n’est pas particulièrement facile, comme les fans du genre peuvent vous le dire. L’approche peut-être la plus avancée que nous ayons vue jusqu’à présent a été dans le Forza Motorsport franchise, qui a en fait commencé sa vie en tant que projet de réseau neuronal chez Microsoft Research. Depuis 2005, Forza les jeux ont utilisé des données de joueurs humains pour former des PNJ, bien qu’avec beaucoup d’incidents au premier tour en cours de route.
Clive Rose – Gran Turismo/Gran Turismo via Getty Images
Les adversaires de l’IA n’ont pas été une force du Gran Turismo franchise dans le passé; en général, ils sont restés fidèles à la ligne de course et ont rarement offert beaucoup de défis, même aux joueurs humains de capacité moyenne. Il est donc d’autant plus remarquable que Sony AI a pu former une IA appelée GT Sophy pour surpasser les coureurs de sports électroniques de niveau championnat.
Les agents de l’IA ont été formés avec un certain nombre de scénarios sur trois combinaisons de voitures et de pistes dans Gran Turismo : sport (Dragon Trail Seaside dans une voiture de route performante, Lago Maggiore GP dans une voiture Gr3 et Circuit de la Sarthe dans une voiture Redbull X2019 Competition). Certaines courses avaient l’agent IA seul sur la piste, et d’autres ajoutaient jusqu’à sept adversaires PNJ de jeu normal. Les positions de piste, les vitesses de départ, l’espacement entre les voitures et les niveaux de compétence des adversaires ont tous été randomisés pour chaque course.
L’agent IA contrôlait la direction, ainsi que le freinage et l’accélération (mais pas les deux simultanément) et ne changeait pas de vitesse manuellement ni n’ajustait le contrôle de traction ou la polarisation des freins. Et il interagissait avec le jeu à 10 Hz, ce qui, selon les auteurs, ne devrait pas lui donner un avantage sur les joueurs professionnels ou les athlètes.
L’IA a été récompensée en fonction de sa progression sur la piste depuis la dernière observation, et elle a reçu un bonus pour avoir dépassé une autre voiture. Des pénalités ont été infligées pour avoir coupé les virages, heurté des murs ou glissé des pneus. Il devait également éviter les PNJ à l’arrière ou toute autre collision, tous ces critères étant pondérés différemment pour sélectionner l’IA de course optimale.
Clive Rose – Gran Turismo/Gran Turismo via Getty Images
Apprendre à se déplacer sur la piste n’a nécessité que quelques heures d’entraînement, et en un jour ou deux, GT Sophy était meilleur qu’environ 95% de GT : Sportive joueurs. Après 10 jours – 45 000 heures de conduite au total – GT Sophy « a réalisé des performances surhumaines en contre-la-montre sur les trois pistes ». En fait, les humains n’étaient que proches des performances de GT Sophy sur la piste Maggiore, où ses temps au tour constants étaient à peu près égaux au meilleur tour humain enregistré.
Mais comme cela a déjà été mentionné, d’autres IA ont appris à établir des temps au tour très rapides par elles-mêmes, dans des jeux ou même dans de vraies voitures sur de vraies pistes. Pour prouver les compétences de GT Sophy, il a affronté certains des meilleurs au monde GT : Sportive joueurs. Le premier test humain contre IA a eu lieu en juillet 2021, lorsque Emily Jones, Valerio Gallo et Igor Fraga ont été invités à battre les temps au tour de GT Sophy dans un contre-la-montre. Bien qu’il ait pu voir un fantôme sur les genoux de l’IA, aucun n’a pu le battre.
Fait intéressant, GT Sophy avait identifié certaines lignes de course qui avaient échappé même aux meilleurs joueurs humains du monde. Jones a été battu par le temps au tour de l’IA à Dragon Trail, 107,964 secondes contre 106,417 secondes. « Il y avait certains virages où je sortais largement puis je revenais, et l’IA faisait tout le tour, alors j’ai beaucoup appris sur les lignes », a-t-elle déclaré. « Et aussi savoir quoi prioriser. En entrant dans le virage 1 par exemple, je freinais plus tard que l’IA, mais l’IA obtiendrait une bien meilleure sortie que moi et me devancerait jusqu’au virage suivant. Je ne l’ai pas remarqué jusqu’à ce que je J’ai vu l’IA et j’ai dit : « OK, je devrais faire ça à la place. » »