Mojo Vision rapproche un peu plus de la réalité ses lentilles de contact à suivi oculaire et à affichage

Une série de marqueurs directionnels contextuels apparaissent, en minuscules lignes vertes à travers ma vision. En me tournant, je peux voir dans quelle direction se trouve le nord. Ce sont des marqueurs sur une boussole, projetés sur un petit écran MicroLED, perché sur une lentille de contact, tenu devant mon œil sur un bâton.

L’objectif Mojo, un objectif autonome compatible avec l’affichage que j’ai déjà essayé dans une itération antérieure avant la pandémie au CES 2020, est de retour sous une forme qui, selon la société, est enfin prête pour les tests internes.

J’ai testé le dernier prototype d’objectif de Mojo Vision dans un immeuble de bureaux du centre de Manhattan il y a quelques semaines, alors que l’entreprise se préparait pour sa prochaine phase de développement interne. Bien que les lentilles de contact de Mojo ne soient toujours pas approuvées pour un usage quotidien, ces lentilles sont une autre étape sur la voie et représentent le package technologique complet de la société pour ce qui sera inclus dans la version 1.0.

La technologie de Mojo Vision est, en un sens, la réalité augmentée. Mais pas de la manière à laquelle vous pourriez penser. L’écran vert monochrome de la lentille dure peut afficher du texte, des graphiques de base et même des illustrations, mais il est conçu pour fonctionner davantage comme une montre intelligente. L’accéléromètre, le gyroscope et le magnétomètre de l’objectif lui donnent également quelque chose que je n’avais pas essayé auparavant : suivi de l’oeil.

Un monde dans tes yeux

Contrairement à la technologie de suivi oculaire des lunettes VR et AR, qui utilise des caméras pour détecter le mouvement des yeux, ces lentilles suivent le mouvement des yeux en s’asseyant réellement sur votre œil. Les capteurs, comme sur une smartwatch, peuvent calculer ce mouvement avec plus de précision que les lunettes VR ou AR, selon les dirigeants de Mojo Vision. Je ne les ai pas vraiment portés à mes yeux, car les lentilles ne sont pas encore prêtes à être portées. J’ai tenu l’objectif très près de mon œil et j’ai bougé la tête pour voir l’effet de suivi.

Lorsque j’ai essayé l’objectif de Mojo en 2020, c’était une version qui n’avait pas la technologie de suivi de mouvement intégrée, ni aucune batterie. La nouvelle version dispose d’un réseau de batteries, d’un suivi de mouvement et d’une connectivité sans fil à courte portée.

Mais l’objectif n’est pas un appareil autonome ; une connexion sans fil personnalisée communique directement avec un appareil supplémentaire porté sur le cou, que Mojo appelle un relais, qui servira d’ordinateur compagnon pour les lentilles. Je n’ai pas pu voir cette partie du matériel Mojo Vision, seulement les lentilles.

Les objectifs ne se connectent pas directement aux téléphones pour le moment, car les objectifs nécessitaient une connexion sans fil à courte portée plus économe en énergie. « Bluetooth LE était trop bavard et gourmand en énergie », déclare Steve Sinclair, SVP of Product de Mojo Vision, qui m’a guidé à travers les dernières démos. « Nous avons dû créer le nôtre. » La connexion sans fil de Mojo Vision est dans la bande 5 GHz, mais Sinclair dit que la société a encore du travail à faire pour s’assurer que la connexion sans fil ne reçoit pas ou ne cause pas d’interférences.

« Un téléphone n’a pas la radio dont nous avons besoin », dit Sinclair. « Il doit être un peu près de la tête en raison de la puissance de transmission de l’objectif. » Il dit que la technologie pourrait être intégrée dans un casque, ou même des lunettes, mais pour le moment, un appareil de type tour de cou était le plus pratique.

Mojo vise idéalement des connexions à plus longue portée à l’avenir. Le processeur porté au cou pourra cependant se connecter aux téléphones. Il retire le GPS des téléphones et utilise le modem du téléphone pour la connectivité, faisant de ce tour de cou un pont.

Naviguer dans une petite interface

Lever la tête et regarder autour de la pièce avec une lentille sur un bâton devant mon visage n’est pas la même chose que de porter une lentille de contact à suivi oculaire et à affichage. Même après cette démo, l’expérience réelle de porter les lentilles de Mojo Vision dans la nature reste une inconnue. Mais même par rapport à ma dernière démo Mojo en janvier 2020, voir comment l’interface fonctionne sur l’objectif rend l’expérience beaucoup plus réelle.

À bien des égards, cela rappelle une paire de lunettes intelligentes appelées Focals fabriquées par North, une entreprise Google a acquis en 2020. North Focals a projeté un petit écran LED dans l’œil qui fonctionnait comme une petite lecture, mais n’avait pas de suivi oculaire. Je peux voir comment regarder autour de l’objectif peut faire apparaître des informations, un peu comme une montre connectée sur la tête, ou comme lunettes Google… sauf différent, aussi. L’affichage lumineux est suspendu dans l’air comme une lumière gravée, puis disparaît.

Je vois une interface en forme d’anneau, quelque chose que j’ai vu simulé en 2020 sur un suivi oculaire Vive Pro Casque VR lors de ma dernière visite à Mojo Vision à Las Vegas. Je peux voir un petit réticule qui atterrit sur de petites icônes d’application autour de l’anneau, et rester dessus pendant quelques secondes l’ouvre. L’anneau autour de la périphérie de ma vision reste invisible jusqu’à ce que je regarde les bords, où des widgets ressemblant à des applications apparaissent.

Je vois une application de voyage, qui simule la recherche d’informations sur les vols d’avion, et un petit graphique qui montre où se trouve mon siège. Je peux jeter un coup d’œil sur d’autres fenêtres (mes informations sur le trajet Uber, ma porte). Un autre widget semblable à une application montre à quoi cela ressemblerait de voir des données de condition physique contextuelles sur l’écran (fréquence cardiaque, informations sur les tours, comme une lecture de smartwatch). Un autre widget affiche des images : je vois un petit bébé Yoda (alias Grogu), rendu dans des tons de vert. En outre, un cliché classique de Star Wars de Han Solo. Ces images montrent que l’affichage semble assez bon pour afficher des images et lire du texte. Un autre, un téléprompteur, sort du texte que je peux lire à haute voix. Lorsque je détourne les yeux des applications, revenant à l’anneau extérieur, les informations de tête haute disparaissent à nouveau.

Il n’est pas facile de comprendre comment se déplacer exactement, mais je n’essaie même pas ces lentilles comme elles sont destinées. À mes yeux, ils bougeaient comme mes yeux bougeaient, contrôlant directement l’interface. En dehors de mes yeux, je dois incliner la tête de haut en bas. Mojo Vision promet que l’expérience visuelle rendra l’affichage encore plus présent, remplissant mon champ de vision. C’est logique, puisque je tiens un peu l’écran hors de mes yeux. L’écran de l’objectif est censé s’asseoir juste au-dessus de l’endroit où se trouverait ma pupille, et sa fenêtre d’affichage étroite s’aligne sur la zone où se trouverait la fovéa, la partie la plus riche en détails du centre de notre vision. Regarder en arrière à l’extérieur du ring est censé fermer une application ou en ouvrir une autre.

Prochaine étape : le porter réellement ; puis les ordonnances

L’objectif Mojo Vision que je regarde maintenant a certainement plus de matériel embarqué que la version 2020 que j’ai vue précédemment, mais il n’est pas encore entièrement activé. « Il a une radio, il a un écran, il a trois capteurs de mouvement, il y a une foule de batteries intégrées et le système de gestion de l’alimentation. Il y a toutes ces choses là-dedans », me dit Sinclair. Mais le système d’alimentation de l’objectif n’a pas encore été activé pour fonctionner dans les yeux. Au lieu de cela, en ce moment, l’objectif est fixé à un petit support de bras que je tiens pendant que l’alimentation lui est délivrée. Pour le moment, la démo que j’essaie utilise la puce sans fil pour extraire et extraire les données de l’objectif afin qu’elles s’affichent.

L’objectif Mojo dispose d’un petit processeur Arm Core M0 sur l’objectif lui-même, qui gère les données cryptées fonctionnant sur et hors de l’objectif, et la gestion de l’alimentation. L’ordinateur du tour de cou exécutera les applications, interprétera les données de suivi oculaire et mettra à jour le placement de l’image en boucles de 10 millisecondes. Bien que, à certains égards, les données graphiques ne soient pas intenses (il s’agit d’un « diamètre de contenu de 300 pixels », explique Sinclair), le processeur devra continuer à mettre à jour ces données rapidement et de manière fiable. Si les choses ne sont pas synchronisées, cela pourrait devenir désorientant assez rapidement sur un globe oculaire.

Le PDG de Mojo Vision, Drew Perkins, portera d’abord la lentille dans les yeux. Ensuite, les autres dirigeants de l’entreprise, dit Sinclair, et quelque temps après, le reste de leur équipe de direction. De la société partenariats fitness et sport annoncés plus tôt cette année sont conçus pour ouvrir des tests préliminaires pour voir comment les lentilles pourraient fonctionner avec des applications de fitness et d’entraînement sportif.

Mojo Vision s’efforce également de faire en sorte que ces lentilles fonctionnent comme des appareils de vision assistée médicalement approuvés, mais ces étapes peuvent encore être plus avancées. « Nous pourrions imaginer que les utilisateurs malvoyants aient une deuxième caméra haute résolution intégrée à une paire de lunettes, ou suspendue au-dessus de leur oreille – ils regardent quelque chose et cela prend une image très haute résolution, puis elle apparaît simplement dans leurs yeux. , puis ils peuvent effectuer un panoramique et un zoom et voir des choses », déclare Sinclair à propos de l’avenir. Mojo Vision n’est pas encore là, mais tester ces micro-écrans portables de suivi oculaire va être le début.

De plus, ces lentilles auront besoin d’une autorisation de la FDA en tant que lentilles de contact, un processus sur lequel travaille Mojo Vision. Ils devront également être fabriqués dans diverses prescriptions, et la société vise à protéger le matériel de la puce avec un iris artificiel pour rendre les lentilles plus normales.

« Nous avons du travail à faire pour en faire un produit. Ce n’est pas un produit », souligne Sinclair à propos de la situation des objectifs Mojo Vision. Je serais assez nerveux à l’idée d’être la première personne à essayer de tester ces lentilles dans les yeux, mais pourquoi ne le serais-je pas ? Ce type de technologie n’a jamais existé auparavant. Une seule autre entreprise que je connaisse, DansAvec, travaille sur des lentilles de contact intelligentes. Je n’ai jamais vu de démos sur le fonctionnement de ces lentilles souples concurrentes, et celles-ci ne semblent pas encore avoir d’affichage. La frontière des minuscules écrans portables fait que les lunettes intelligentes auparavant à la pointe de la technologie semblent démodées en comparaison.