La toxicité dans les jeux n’est pas amusante, et en cette année de notre seigneur 2020, il semble y avoir une tendance croissante à utiliser l’intelligence artificielle pour trouver et traiter les joueurs toxiques. Je ne veux pas seulement dire dans le chat textuel non plus; les sociétés Modulate et FaceIt ont toutes deux créé une IA qui peut soi-disant détecter la toxicité dans le chat vocal à partir de la façon dont quelqu’un dit quelque chose.
Une partie de moi qui pense que c’est une bonne idée. Avoir un moyen de s’en débarrasser rapidement et facilement est génial. Cependant, j’ai entendu trop d’histoires sur l’IA apprenant à être raciste, alors je me demande si c’est le meilleur type de technologie à mettre dans les jeux vidéo.
La semaine dernière, Modulate a dévoilé un nouvel outil de modération basé sur l’IA appelé ToxMod. Il utilise des modèles d’apprentissage automatique pour comprendre ce que les joueurs disent et comment ils le disent pour reconnaître si quelqu’un est méchant dans le chat vocal. L’idée est que si quelqu’un prononce un juron, ces IA peuvent dire s’il s’agit d’un juron méchant ou d’un juron bien intentionné (pensez « Va te faire foutre ! » ou « Putain ouais ! »).
De même, FaceIt a récemment annoncé que son système d’administration d’IA anti-toxicité, Minerva, peut désormais contrôler également le chat vocal. Ils gèrent une plate-forme pour des tournois et des ligues tiers dans des jeux tels que CS:GO, Rocket League et Dota 2, et affirment que Minerva a déjà détecté plus de 1,9 million de messages toxiques et interdit plus de 100 000 joueurs. La grande nouvelle est que Minerva est désormais capable d’analyser des conversations complètes entre les joueurs et de détecter un chat vocal toxique potentiel, ainsi que des comportements et des sons répétitifs ennuyeux. C’est une technologie impressionnante, bien sûr, mais je ne peux pas m’empêcher de me demander si cela fonctionnerait si ce type d’IA était plus courant.
Pour commencer, je pense que mon scepticisme est principalement dû aux humains. Avec la technologie de ToxMod, si les joueurs savent qu’une IA écoute leur ton de voix, ils pourraient simplement dire des choses horribles d’une manière agréable. Si nous laissions tout aux systèmes d’automodération comme celui-ci, il y a beaucoup de gens intelligents mais affreux qui pourraient encore être considérés comme des joueurs polis et ne pas se faire prendre.
Si l’apprentissage automatique d’une IA est dynamique, alors elle apprend directement sur le tas auprès d’humains qui peuvent être, soyons honnêtes, très manipulateurs. Mais s’il apprend à partir de données qui lui sont fournies par un humain, il pourrait tout aussi bien absorber ses préjugés.
Cela ne veut pas dire que je pense que toute l’IA et l’apprentissage automatique sont stupides ou quoi que ce soit, mais c’est un peu comme enseigner à un extraterrestre (ou à un tout-petit) comment les humains sont censés agir. Il existe de nombreux exemples d’IA apprenant de mauvais comportements étranges et directs. L’un des plus célèbres était Tay, le chatbot de Microsoft qui a appris à être raciste sur Twitter (par des personnes qui l’ont spammé avec des trucs racistes). Un cas plus grave impliquait un logiciel américain conçu pour effectuer des évaluations des risques sur les prisonniers, qui a commis des erreurs en étiquetant les Noirs comme des récidivistes probables deux fois plus vite que les Blancs (ce qu’il a appris à partir des données qui lui ont été fournies). Les jeux vidéo sont, évidemment, beaucoup moins sérieux que cela – mais dans le même ordre d’idées, j’ai l’impression qu’il est possible qu’une sorte d’IA de jeu puisse apprendre (ou même apprendre) que certains accents ou dialectes sonnent plus mesquins que d’autres. Je ne dis pas que toutes ces IA sympas vont finir racistes – mais ! Historiquement, nous ne sommes pas doués pour leur apprendre à ne pas l’être.
Je joue à un tas de jeux où il y a beaucoup de crétins vocaux désireux de débiter leurs opinions désagréables. Je ne m’embête pas avec le chat vocal comme Overwatch ou Valorant. J’ai connu tous les commentaires stupides et sexistes, et ils ne me mettent même plus particulièrement en phase (le genre de gens qui disent que c’est comme ça, deux blagues), j’en ai juste marre. Ce que j’ai appris de cela, cependant, c’est que si les gens veulent être des connards avec vous et ne peuvent pas le faire avec leur voix, ils trouveront un moyen. Faire du deuil, tuer en équipe, lancer des matchs, rester AFK – certaines personnes sont tout simplement trop déterminées à faire chier les jeux vidéo.
L’IA est une technologie cool, et si elle fonctionne comme prévu, tant mieux ! Mais cela semble assez avancé lorsque les systèmes de signalement et de blocage de base dans de nombreux jeux ne fonctionnent pas aussi bien qu’ils le devraient en premier lieu. Pour moi, les joueurs appelant d’autres joueurs semblent être le meilleur moyen de gérer les comportements toxiques, mais cela doit bien fonctionner main dans la main avec des systèmes automatisés pour éliminer les méchants pour de bon. Construire des systèmes de reporting plus robustes afin que nous puissions faire encore mieux, ce serait ma priorité. Malheureusement, je pense que beaucoup d’humains sont trop intelligents et trop méchants pour se laisser prendre par la seule intelligence artificielle.