Lorsque Google a révélé Project Gameface, la société était fière de présenter une souris de jeu mains libres alimentée par l’IA qui, selon son annonce, « permet aux gens de contrôler le curseur d’un ordinateur en utilisant les mouvements de la tête et les gestes du visage ». Bien qu’il ne s’agisse peut-être pas du premier outil de jeu basé sur l’IA, il a certainement été l’un des premiers à mettre l’IA entre les mains des joueurs plutôt que des développeurs.
Le projet a été inspiré par Lancy Carr, un streamer de jeux vidéo tétraplégique qui utilise une souris de suivi de la tête dans le cadre de sa configuration de jeu. Après que son matériel existant a été perdu dans un incendie, Google est intervenu pour créer une alternative open source, hautement configurable et peu coûteuse au matériel de remplacement coûteux, alimentée par l’apprentissage automatique. Alors que l’existence plus large de l’IA s’avère source de discorde, nous avons cherché à découvrir si l’IA, lorsqu’elle est utilisée à bon escient, pourrait être l’avenir de l’accessibilité des jeux.
Il est important de définir l’IA et l’apprentissage automatique pour comprendre clairement comment ils fonctionnent dans Gameface. Lorsque nous utilisons les termes « IA » et « apprentissage automatique », nous faisons référence à la fois aux mêmes choses et à des choses différentes.
« L’IA est un concept », a déclaré à WIRED Laurence Moroney, responsable du plaidoyer en matière d’IA chez Google et l’un des esprits derrière Gameface. « L’apprentissage automatique est une technique que vous utilisez pour mettre en œuvre ce concept. »
L’apprentissage automatique s’inscrit donc dans le cadre de l’IA, ainsi que des implémentations telles que les grands modèles de langage. Mais là où des applications familières comme ChatGPT d’OpenAI et Stable Diffusion de StabilityAI sont itératives, l’apprentissage automatique se caractérise par l’apprentissage et l’adaptation sans instruction, en tirant des conclusions à partir de modèles lisibles.
Moroney explique comment cela s’applique à Gameface dans une série de modèles d’apprentissage automatique. « Le premier était de pouvoir détecter où se trouve un visage dans une image », explique-t-il. « La seconde était, une fois que vous aviez une image d’un visage, de pouvoir comprendre où se trouvent les points évidents (yeux, nez, oreilles, etc.) ».
Après cela, un autre modèle peut cartographier et déchiffrer les gestes de ces points, en les attribuant aux entrées de la souris.
Il s’agit d’une implémentation explicitement assistée de l’IA, par opposition à celles souvent présentées comme rendant l’intervention humaine redondante. En effet, c’est ainsi que Moroney suggère que l’IA est mieux appliquée, pour élargir « notre capacité à faire des choses qui n’étaient pas réalisables auparavant ».
Ce sentiment va au-delà du potentiel de Gameface pour rendre le jeu plus accessible. L’IA, suggère Moroney, peut avoir un impact majeur sur l’accessibilité pour les joueurs, mais aussi sur la façon dont les développeurs créent des solutions d’accessibilité.
« Tout ce qui permet aux développeurs d’être des ordres de grandeur plus efficaces pour résoudre des classes de problèmes qui étaient auparavant irréalisables », dit-il, « ne peut être que bénéfique dans l’accessibilité, ou dans tout autre espace ».
C’est quelque chose que les développeurs commencent déjà à comprendre. Artem Koblov, directeur créatif de Perelesoq, a déclaré à WIRED qu’il souhaitait voir « plus de ressources consacrées à la résolution de tâches routinières plutôt qu’à l’invention créative ».
Cela permet à l’IA de faciliter les processus techniques chronophages. Avec les bonnes applications, l’IA pourrait créer un cycle de développement plus léger et plus permissif dans lequel elle aide à la fois à la mise en œuvre mécanique des solutions d’accessibilité et laisse plus de temps aux développeurs pour les considérer.
« En tant que développeur, vous souhaitez disposer d’autant d’outils qui peuvent vous aider à faciliter votre travail », déclare Conor Bradley, directeur créatif de Soft Leaf Studios. Il souligne les gains dans les implémentations actuelles de l’IA en matière d’accessibilité, y compris « la génération de synthèse vocale et de synthèse vocale en temps réel, et la reconnaissance vocale et d’image ». Et il voit un potentiel pour les développements futurs. « Avec le temps, je peux voir de plus en plus de jeux utiliser ces puissants outils d’IA pour rendre nos jeux plus accessibles. »
Koblov pense que cela peut aller encore plus loin. Il aimerait voir l’IA s’entraîner sur des modèles spécifiques pour créer un cadre d’accessibilité de base adaptable qui pourrait être injecté dans les jeux. « Un tel cadre adapterait les aspects visuels, audio et interactifs des jeux », dit-il. « En d’autres termes, les petits développeurs comme nous n’auraient pas à mener des recherches coûteuses, à développer des solutions uniques et à passer par de nombreuses itérations de tests par eux-mêmes. »
Bradley appelle à la prudence lorsqu’il s’agit d’éloigner la primauté de l’apport humain. Lorsqu’on lui a demandé si l’IA pouvait apporter une aide ou une distraction aux efforts d’accessibilité existants, il s’est dit optimiste quant à son potentiel, mais a souligné que l’IA n’est pas un raccourci.
« Vous ne pouvez pas dire : ‘IA, rendez mon jeu accessible !’ et hop, vous avez maintenant le jeu le plus accessible de l’année », dit-il. «Nous avons besoin de joueurs, y compris ceux des communautés handicapées et neurodiverses, pour tester nos jeux. En fin de compte, c’est un humain qui jouera à votre jeu, pas une machine.