Google travaille sur un « nouveau langage d’interaction » depuis des années, et aujourd’hui, il partage un aperçu de ce qu’il a développé jusqu’à présent. La société présente un ensemble de mouvements définis dans son nouveau langage d’interaction dans le premier épisode d’une nouvelle série intitulée En labo avec Google ATAP. Cet acronyme signifie Advanced Technology and Projects, et c’est la division plus expérimentale de Google que la société appelle son « studio d’invention matérielle ».
L’idée derrière ce « langage d’interaction » est que les machines qui nous entourent pourraient être plus intuitives et perceptives de notre désir d’interagir avec elles en comprenant mieux nos signaux non verbaux. « Les appareils qui nous entourent… devraient se sentir comme un meilleur ami », a déclaré à Engadget Lauren Bedal, designer d’interaction senior chez ATAP. « Ils devraient avoir la grâce sociale. »
Plus précisément (jusqu’à présent, en tout cas), ATAP analyse nos mouvements (par opposition aux tonalités vocales ou aux expressions faciales) pour voir si nous sommes prêts à nous engager, afin que les appareils sachent quand rester en arrière-plan au lieu de nous bombarder d’informations. L’équipe a utilisé le capteur radar Soli de l’entreprise pour détecter la proximité, la direction et les voies des personnes qui l’entourent. Ensuite, il a analysé ces données pour déterminer si quelqu’un regarde, passe, s’approche ou se tourne vers le capteur.
Google a officialisé cet ensemble de quatre mouvements, les appelant Approche, Regard, Tourner et Passer. Ces actions peuvent être utilisées comme déclencheurs de commandes ou de réactions sur des éléments tels que des écrans intelligents ou d’autres types d’ordinateurs ambiants. Si cela vous semble familier, c’est parce que certains de ces gestes fonctionnent déjà sur les appareils compatibles Soli existants. Le Pixel 4, par exemple, disposait d’une fonctionnalité appelée Motion Sense qui interrompt les alarmes lorsque vous lui faites signe ou réveille le téléphone s’il détecte que votre main se dirige vers lui. Le Nest Hub Max de Google a utilisé sa caméra pour voir quand vous avez levé la paume ouverte et mettra en pause votre lecture multimédia en réponse.
L’approche ressemble aux implémentations existantes. Il permet aux appareils de dire quand vous (ou une partie du corps) vous rapprochez, afin qu’ils puissent afficher des informations que vous pourriez être assez près pour voir. Comme le Pixel 4, le Nest Hub utilise une approche similaire lorsqu’il sait que vous êtes à proximité, en récupérant vos rendez-vous ou rappels à venir. Il affichera également les commandes tactiles sur un écran de compte à rebours si vous êtes à proximité et passera à une police plus grande et facile à lire lorsque vous êtes plus loin.
Bien que Glance puisse sembler chevaucher Approach, Bedal a expliqué que cela peut être pour comprendre où se trouve l’attention d’une personne lorsqu’elle utilise plusieurs appareils. « Disons que vous êtes au téléphone avec quelqu’un et que vous jetez un coup d’œil sur un autre appareil dans la maison », a-t-elle déclaré. « Puisque nous savons que vous pouvez avoir votre attention sur un autre appareil, nous pouvons proposer une suggestion pour peut-être transférer votre conversation vers un appel vidéo. » Glance peut également être utilisé pour afficher rapidement un extrait d’information.
Ce qui est moins familier, ce sont les virages et les passes. « En se tournant vers et en s’éloignant, nous pouvons permettre aux appareils d’aider à automatiser les tâches répétitives ou banales », a déclaré Bedal. Il peut être utilisé pour déterminer quand vous êtes prêt pour la prochaine étape d’un processus en plusieurs étapes, comme suivre une recette à l’écran, ou quelque chose de répétitif, comme démarrer et arrêter une vidéo. Pass, quant à lui, indique à l’appareil que vous n’êtes pas prêt à vous engager.
Il est clair que Approach, Pass, Turn et Glance s’appuient sur ce que Google a implémenté en morceaux dans ses produits au fil des ans. Mais l’équipe ATAP a également joué en combinant certaines de ces actions, comme passer et regarder ou approcher et regarder, ce que nous n’avons pas encore vu beaucoup dans le monde réel.
Pour que tout cela fonctionne bien, les capteurs et les algorithmes de Google doivent être incroyablement aptes non seulement à reconnaître quand vous faites une action spécifique, mais aussi quand vous ne le faites pas. Une reconnaissance gestuelle inexacte peut transformer une expérience censée être utile en une expérience incroyablement frustrante.
Le responsable de la conception d’ATAP, Leonardo Giusti, a déclaré: « C’est le plus grand défi que nous ayons avec ces signaux. » Il a déclaré qu’avec des appareils branchés, il y a plus de puissance disponible pour exécuter des algorithmes plus complexes que sur un appareil mobile. Une partie de l’effort pour rendre le système plus précis consiste à collecter plus de données pour entraîner les algorithmes d’apprentissage automatique, y compris les actions correctes ainsi que les actions similaires mais incorrectes (afin qu’ils apprennent également ce qu’il ne faut pas accepter).
« L’autre approche pour atténuer ce risque consiste à utiliser la conception UX », a déclaré Giusti. Il a expliqué que le système peut proposer une suggestion plutôt que de déclencher une réponse entièrement automatisée, pour permettre aux utilisateurs de confirmer la bonne saisie plutôt que d’agir sur un geste potentiellement inexact.
Pourtant, ce n’est pas comme si nous allions être frustrés par les appareils Google qui interpréteraient mal nos quatre mouvements dans un avenir immédiat. Bedal a souligné « Ce sur quoi nous travaillons est purement de la recherche. Nous ne nous concentrons pas sur l’intégration de produits. » Et pour être clair, Google partage ce regard sur le langage d’interaction dans le cadre d’une série de vidéos qu’il publie. Les épisodes ultérieurs de Au labo avec ATAP couvrira d’autres sujets au-delà de ce nouveau langage, et Giusti a déclaré qu’il était destiné à « donner aux gens un aperçu de certaines des recherches que nous explorons ».
Mais il est facile de voir comment ce nouveau langage peut éventuellement trouver sa place dans les nombreuses réalisations de Google. L’entreprise parle depuis des années de sa vision d’un monde « d’informatique ambiante », où elle envisage divers capteurs et appareils intégrés dans les nombreuses surfaces qui nous entourent, prêts à anticiper et à répondre à tous nos besoins. Pour qu’un monde comme celui-ci ne se sente pas intrusif ou invasif, il y a de nombreux problèmes à résoudre (la protection de la vie privée des utilisateurs en tête). Avoir des machines qui savent quand rester à l’écart et quand aider fait partie de ce défi.
Bedal, qui est également chorégraphe professionnel, a déclaré : « Nous pensons que ces mouvements laissent vraiment entrevoir une future façon d’interagir avec les ordinateurs qui semble invisible en tirant parti des moyens naturels que nous déplaçons. »
Elle a ajouté : « Ce faisant, nous pouvons faire moins et les ordinateurs peuvent… fonctionner en arrière-plan, ne nous aidant qu’aux bons moments. »
Tous les produits recommandés par Engadget sont sélectionnés par notre équipe éditoriale, indépendante de notre maison mère. Certaines de nos histoires incluent des liens d’affiliation. Si vous achetez quelque chose via l’un de ces liens, nous pouvons gagner une commission d’affiliation.