Alors que l’événement Google I/O de mercredi a largement fait la promotion des plus grandes initiatives d’IA de l’entreprise, l’entreprise a également annoncé des mises à jour du suite d’apprentissage automatique qui alimente les fonctionnalités de Google Lens et Google Meet telles que le suivi et la reconnaissance d’objets, le contrôle des gestes et, bien sûr, la détection faciale. La dernière mise à jour permet aux développeurs d’applications, entre autres, de créer des filtres de visage et un suivi des mains de type Snapchat, la société affichant un GIF qui n’est certainement pas un Memoji.
Cette mise à jour sous-tend un projet spécial annoncé lors de la keynote développeur I/O: une application d’accessibilité open-source appelée Project Gameface, qui vous permet de jouer à des jeux… avec votre visage. Lors de la keynote, Google a diffusé un mini-documentaire très Wes Anderson-esque révélant une tragédie qui a incité l’entreprise à concevoir Gameface.
Streamer du jeu Lance Carrqui s’appelle GimpyG et dont la forme rare de dystrophie musculaire l’a rendu incapable d’utiliser ses mains, était en train de diffuser un Foyer session lorsqu’un incendie s’est déclaré dans son garage. Il a pu partir avant que cela ne se propage au reste de sa maison, mais malheureusement, l’équipement qui lui permettait de profiter de son passe-temps favori – sa souris de suivi de tête et son PC de jeu – a dû rester derrière et a été détruit.
Remplacer ce truc n’est pas bon marché. L’équipement de souris de suivi de la tête peut coûter plusieurs centaines de dollars, et cela ne veut rien dire de sa configuration de jeu. Le nouveau logiciel de Google vise à supprimer l’un de ces obstacles coûteux.
La société affirme avoir travaillé avec Carr pour concevoir un logiciel qui permettrait à toute personne disposant d’une webcam de contrôler son ordinateur avec des mouvements de tête et des gestes, le tout traduit à l’écran par le logiciel Windows uniquement.
Je l’ai testé, et c’est très cool, même dans son état naissant. L’installer n’est pas assez aussi simple que de télécharger un programme d’installation – c’est sur GitHub, après tout. Vous devrez télécharger le Version 0.3.30 du côté droit de l’écran, extrayez le fichier .zip résultant et ouvrez l’application en y accédant dans le menu de navigation du programme Windows run.exe. Facile, tu vois ?
Une fois que vous avez ouvert l’application, cependant, l’interface est d’une simplicité rafraîchissante. L’écran d’accueil présente quatre options. Il y a Appareil photo, où vous sélectionnerez votre webcam. La vitesse du curseur vous permet de personnaliser à la fois la vitesse de la souris (dans chacune des quatre directions), la gigue du pointeur de la souris, la réduction du scintillement et même la durée pendant laquelle un geste doit être maintenu avant de déclencher une action. Deux autres menus vous permettent de lier des gestes à divers boutons de la souris et du clavier et à d’autres actions, y compris le recentrage de la souris, qui est extrêmement nécessaire car il perd beaucoup de vue le centre.
J’ai tout de suite su avec quel jeu je voulais l’essayer : un de mes favoris de tous les temps, Rez. Rez est un jeu de tir sur rails qui a fait ses débuts sur la Dreamcast dans les jours grisants des premières années, et il n’a que trois actions dans le jeu : déplacer un curseur ; tirer avec votre arme ; et déclencher la capacité spéciale oh-merde-panique-tirer-tout. (Le fait que la bataille du jeu pour infiltrer une IA avancée soit thématiquement appropriée pour la semaine Google I/O ne m’est pas venu à l’esprit jusqu’à maintenant au moment où j’écris ceci.)
Il a fallu un peu de bricolage, mais après trois essais avec les paramètres de Gameface, j’ai pu régler les sensibilités pour tous les gestes, et j’ai plongé. La courbe d’apprentissage n’a pas été aussi difficile que prévu ! Tourner la tête pour déplacer le réticule et ouvrir la bouche pour maintenir le bouton de tir enfoncé pendant que je sélectionne mes cibles était facile (et étonnamment faible latence), et recentrer le curseur est rapidement devenu une seconde nature, peut-être parce que je devais l’utiliser ainsi souvent. Je n’étais pas aussi doué qu’avec une configuration traditionnelle de clavier et de souris pour la version Steam, mais je pouvais voir comment y arriver.
Gameface est très soigné, mais actuellement, il est également limité. Avec seulement six gestes faciaux à contrôler, vous manquez rapidement d’entrées – ne vous attendez pas à jouer à des jeux FPS intenses et alambiqués avec lui de sitôt. Mais je pouvais envisager de le combiner avec quelque chose comme une application de saisie vocale pour obtenir un meilleur contrôle. Et qui sait? Peut-être que Google ajoutera plus d’options de reconnaissance gestuelle pour donner aux joueurs plus de façons de jouer.