Une session de développement Apple a offert un aperçu approfondi des nombreuses façons dont les utilisateurs contrôleront (éventuellement) son nouveau casque Vision Pro, y compris un clavier virtuel sur lequel vous pourrez taper dans les airs. Il nous parvient grâce au Séance « Design for spatial input »dans lequel deux membres de l’équipe de conception d’Apple expliquent aux développeurs potentiels les meilleures pratiques de conception d’applications pour la nouvelle plate-forme.
Apple semble vouloir que les utilisateurs interagissent principalement avec le casque en regardant simplement les éléments de l’interface utilisateur et en faisant de petits gestes de la main avec leurs bras détendus sur leurs genoux. Mais dans sa session de développement, le designer Apple Israel Pastrana Vicente admet que « certaines tâches sont mieux adaptées pour interagir directement », ce qui peut impliquer d’atteindre et de toucher des éléments de l’interface utilisateur (une fonctionnalité qu’Apple appelle « toucher direct »). Il existe également un support pour l’utilisation de claviers physiques et de trackpads ou de contrôleurs de jeu.
« Certaines tâches sont plus adaptées pour interagir directement »
Parlons donc du clavier virtuel du Vision Pro. Le designer d’Apple, Eugene Krivoruchko, explique qu’il est important d’offrir de nombreux retours visuels et audio lors de son utilisation, pour compenser les « informations tactiles manquantes » liées au toucher d’un périphérique de lecture. « Lorsque le doigt est au-dessus du clavier, les boutons affichent un état de survol et une surbrillance qui devient plus lumineuse à mesure que vous vous approchez de la surface du bouton », explique Krivoruchko. « Il fournit un signal de proximité et aide à guider le doigt vers la cible. Au moment du contact, le changement d’état est rapide et réactif, et s’accompagne d’un effet sonore spatial correspondant.
Il existe également une prise en charge de la saisie vocale, la même session de développeur notant que le fait de concentrer vos yeux sur l’icône du microphone dans le champ de recherche déclenchera une fonction « Parler pour rechercher ». Cela tirera probablement des données audio du six micros intégré au Vision Pro.
Le toucher direct peut également être utilisé pour interagir avec d’autres éléments du système. Il est possible de taper et de faire défiler comme si vous interagissiez avec un écran tactile, et une démo Apple montre que le porteur fait un mouvement de stylo dans les airs pour écrire un mot et dessiner une forme de cœur dans Markup. Bien que l’interaction principale se fasse via la main de l’utilisateur, Krivoruchko explique comment il utilise également le suivi oculaire pour augmenter les gestes. « Vous contrôlez le curseur du pinceau avec votre main, comme un pointeur de souris, mais si vous regardez de l’autre côté de la toile et appuyez dessus, le curseur saute là où vous regardez. Cela crée un sentiment de précision et aide à couvrir rapidement la grande toile », explique le designer.
Nous avons encore beaucoup de questions sur le fonctionnement pratique du nouveau casque Vision Pro coûteux d’Apple (en particulier la possibilité de le coupler avec des contrôleurs de mouvement d’autres fabricants), mais entre notre expérience pratique et des sessions de développement comme celles-ci, le l’expérience commence à se préciser.