Le prochain grand chose en VR n’est peut-être pas une résolution plus élevée ou un son plus immersif, mais une expérience augmentée par des sensations physiques ou des pièces mobiles qui trompent vos sens en confondant le virtuel avec la réalité. Les chercheurs de SIGGRAPH, de Meta à des groupes d’étudiants internationaux, ont affiché leurs dernières tentatives pour rendre la réalité virtuelle et la réalité augmentée plus convaincantes.
La conférence sur l’infographie et les domaines associés a lieu cette semaine à Los Angeles, et tout le monde, de Meta à Epic, en passant par les universités et les studios de cinéma, a fait la démonstration de ses produits.
C’est le 50e SIGGRAPH, donc une partie disproportionnée de l’événement a été consacrée aux rétrospectives et autres, bien que la salle d’exposition soit pleine des derniers VFX, de la production virtuelle et du matériel et des logiciels de capture de mouvement.
Dans la salle des « technologies émergentes », ou la grotte comme le sentait la pièce sombre et drapée de noir, des dizaines d’approches expérimentales aux frontières de la réalité virtuelle semblaient décrire l’état de l’art : visuellement impressionnant, mais avec une immersion reposant presque entièrement sur cela. Que pourrait-on faire pour rendre l’illusion plus complète ? Pour beaucoup, la réponse ne réside pas dans le monde virtuel avec un meilleur son ou des graphismes, mais dans le monde physique.
Le casque VR varifocal de Meta change votre perspective, littéralement
Meta était très présent dans la salle, avec sa première démonstration de deux casques expérimentaux, baptisés Butterscotch et Flamera. Flamera adopte une approche intéressante de la vidéo « passthrough », mais c’est l’approche « varifocale » de Butterscotch qui change vraiment les choses dans le monde virtuel.
Les casques VR comprennent généralement une paire de minuscules écrans haute résolution fixés à une pile de lentilles qui les font apparaître comme remplissant le champ de vision du porteur. Cela fonctionne assez bien, comme peuvent en témoigner tous ceux qui ont essayé un casque récent. Mais il y a une lacune dans le simple fait que rapprocher les choses ne vous permet pas vraiment de mieux les voir. Ils restent à la même résolution, et bien que vous puissiez en distinguer un peu plus, ce n’est pas comme ramasser un objet et l’inspecter de près dans la vraie vie.
Prototype de casque Butterscotch de Meta, en morceaux.
Le prototype Butterscotch de Meta, que j’ai testé et dont j’ai parlé aux chercheurs, reproduit cette expérience en suivant votre regard dans le casque, et lorsque votre regard tombe sur quelque chose de plus proche, glisser physiquement les écrans plus près de vos yeux. Le résultat est choquant pour quiconque s’est habitué à la mauvaise approximation de « regarder de près » quelque chose en VR.
L’affichage ne se déplace que sur une plage d’environ 14 millimètres, m’a dit un chercheur du stand Meta, et c’est plus que suffisant à cette distance, pas seulement pour créer une image plus claire de l’élément de près – remarquablement clair, je dois dire – mais pour permettre aux yeux de changer plus naturellement leur «accommodation» et leur «convergence», la façon dont ils suivent et se concentrent naturellement sur les objets.
Bien que le processus ait extrêmement bien fonctionné pour moi, il a totalement échoué pour un participant (que je soupçonne d’être un supérieur de la division VR de Sony, mais son expérience semblait authentique) qui a déclaré que l’approche optique était en contradiction avec sa propre déficience visuelle, et l’activation de la fonction a en fait rendu tout pire. C’est une expérience, après tout, et d’autres à qui j’ai parlé l’ont trouvée plus convaincante. Malheureusement, les affichages changeants peuvent être quelque peu peu pratiques sur un modèle grand public, ce qui rend la fonctionnalité peu susceptible d’arriver à Quest de sitôt.
Packs Rumble (et Tumble)
Ailleurs sur le plancher de démonstration, d’autres testent des méthodes physiques beaucoup plus farfelues pour tromper votre perception.
L’un des chercheurs de Sony pousse le concept d’un pack de grondements à l’extrême : un contrôleur monté sur une sorte de bâton, à l’intérieur duquel se trouve un poids qui peut être entraîné de haut en bas par des moteurs pour changer le centre de gravité ou simuler un mouvement.
Conformément aux autres expériences haptiques que j’ai essayées, cela ne ressemble pas à grand-chose en dehors du contexte de la réalité virtuelle, mais lorsqu’il est associé à un stimulus visuel, il est très convaincant. Une série de démos à tir rapide m’a d’abord ouvert un parapluie virtuel – pas un jeu auquel vous joueriez longtemps, évidemment, mais un excellent moyen de montrer comment un changement de centre de gravité peut donner l’impression qu’un faux objet est réel. Le mouvement de l’ouverture du parapluie semblait juste, puis le poids (à sa limite la plus éloignée) donnait l’impression que la masse s’était effectivement déplacée vers l’extrémité de la poignée.
Ensuite, un deuxième bâton a été fixé au premier de manière perpendiculaire, formant une forme de pistolet, et en effet la démo m’a fait exploser des extraterrestres avec un fusil de chasse et un pistolet, chacun ayant une « sensation » distincte en raison de la façon dont ils ont programmé le poids pour se déplacer et simuler le recul et le rechargement. Enfin, j’ai utilisé un sabre laser virtuel sur un monstre à proximité, qui a fourni une rétroaction tactile lorsque le faisceau est entré en contact. Le chercheur à qui j’ai parlé a déclaré qu’il n’était pas prévu de le commercialiser, mais que la réponse a été très positive et qu’ils travaillent sur des améliorations et de nouvelles applications.
SomatoShift, présenté sur un stand par des chercheurs de l’Université de Tokyo, a été une approche inhabituelle et intelligente de cette idée de changement de poids. Là, j’ai été équipé d’un bracelet motorisé, sur lequel deux gyroscopes rotatifs s’opposaient, mais pouvaient voir leur orientation modifiée afin de produire une force qui s’opposait ou accélérait le mouvement de la main.
Crédits image : Devin Coldewey / TechCrunch
Le mécanisme est un peu difficile à comprendre, mais les poids qui tournent comme celui-ci veulent essentiellement rester « debout », et en changeant leur orientation par rapport à la gravité ou à l’objet sur lequel ils sont montés, cette tendance à se redresser peut produire des vecteurs de force assez précis. . La technologie est utilisée dans les satellites depuis des décennies, où elles sont connues sous le nom de «roues de réaction», et le principe a également fonctionné ici, retardant ou aidant les mouvements de ma main lorsqu’elle se déplaçait entre deux boutons. Les forces impliquées sont faibles mais perceptibles, et on peut imaginer une utilisation intelligente des gyroscopes créant toutes sortes de poussées et de tractions subtiles mais convaincantes.
Le concept a été poussé à l’extrême à quelques mètres du stand de l’Université de Chicago, où les participants ont été équipés d’un grand sac à dos motorisé avec un poids motorisé qui pouvait monter et descendre rapidement. Cela a été utilisé pour donner l’illusion d’un saut plus haut ou plus bas, car en déplaçant le poids au bon moment, on semble être allégé ou accéléré vers le haut, ou alternativement poussé vers le bas – si une erreur dans le jeu de saut associé est commise.
Nos collègues d’Engadget ont rédigé les détails de la technologie avant ses débuts la semaine dernière.
Alors que le mécanisme volumineux et le cas d’utilisation étroit le marquent comme les autres comme une preuve de concept, il montre que la perception du mouvement corporel, pas seulement d’un objet ou d’un appendice, peut être affectée par une utilisation judicieuse de la force.
La théorie des cordes
En ce qui concerne la sensation de tenir des objets, les contrôleurs VR actuels sont également insuffisants. Alors que les capacités de suivi de mouvement des derniers casques Quest et PlayStation VR2 sont tout simplement incroyables, on ne se sent jamais vraiment interagir avec les objets dans un environnement virtuel. L’équipe du Tokyo Institute of Technology a créé une méthode ingénieuse et hilarante pour simuler la sensation de toucher ou de tenir un objet du bout des doigts.
L’utilisateur est équipé de quatre petits anneaux sur chaque main, un pour chaque doigt à l’exception de l’auriculaire. Chaque anneau est équipé d’un tout petit moteur sur le dessus, et de chaque moteur dépend une toute petite boucle de fil, qui est ajustée autour du coussinet de chaque bout de doigt. Les positions des mains et des doigts sont suivies avec un capteur de profondeur attaché (à peine) au casque.
Dans une simulation VR, une table est recouverte d’une variété de cubes et d’autres formes. Lorsque le tracker détecte que votre main virtuelle croise le bord d’un bloc virtuel, le moteur tourne un peu et tire sur la boucle – ce qui ressemble beaucoup à quelque chose qui touche la pulpe de vos doigts !
Crédits image : Devin Coldewey / TechCrunch
Tout cela semble très janky, et c’était certainement le cas – mais l’idée de base et la sensation valaient la peine d’être expérimentées et la configuration n’était clairement pas trop chère. Les gants haptiques capables de simuler la résistance sont rares et assez compliqués à démarrer (en fait un autre chercheur présent a travaillé sur cet appareil, une version plus complexe d’un principe similaire). Une version raffinée de ce système pourrait être faite pour moins de 100 $ et fournir une expérience de base qui est toujours transformatrice.
SIGGRAPH et cette salle en particulier regorgeaient de ces expériences et bien d’autres qui faisaient la distinction entre le physique et le numérique. Alors que la réalité virtuelle n’a pas encore décollé dans le courant dominant, beaucoup ont pensé que cela signifiait qu’ils devaient redoubler d’efforts pour l’améliorer et l’étendre, plutôt que de l’abandonner en tant que plate-forme morte.
La conférence a également présenté de nombreux chevauchements entre les jeux, les effets visuels, l’art, la production virtuelle et de nombreux autres domaines. Les cerveaux derrière ces expériences et les produits les plus établis sur le sol de l’exposition sentent clairement que l’industrie converge tout en se diversifiant, et une expérience multimodale, multisupport et multisensorielle est l’avenir.
Mais ce n’est pas inévitable – quelqu’un doit le faire. Alors ils se mettent au travail.