Dans la semaine où les amateurs de gadgets du monde entier sont enchantés par Vision Pro, une jeune et courageuse startup tente de se tailler une place pour son appareil de réalité augmentée qui présente un facteur de forme radicalement différent de l’appareil d’Apple.
Aujourd’hui, Brilliant Labs, basé à Singapour, a annoncé son nouveau produit, Frame, une paire de lunettes AR légères alimentées par un assistant IA multimodal appelé Noa. Les lunettes ont attiré l’attention et l’investissement de John Hanke, PDG de Niantic, la plateforme de réalité augmentée derrière des jeux comme Pokémon GO. Brilliant Labs a refusé de divulguer le montant du financement reçu de Hanke.
Dans une démo vidéo vue par TechCrunch, l’un des fondateurs de Brilliant Labs a demandé à Noa par la voix de se présenter. Après environ trois secondes, l’agent générait et projetait une réponse sous forme de texte sur les lentilles.
En plus des commandes vocales, Noa est capable de traitement visuel, de génération et de traduction d’images, grâce à la poignée de modèles d’IA qu’il a intégrés : le moteur de recherche conversationnel Perplexity AI ; Le modèle texte-image de Stability AI, Stable Diffusion ; Le dernier modèle de génération de texte d’OpenAI, GPT4 ; et le système de reconnaissance vocale Whisper. Les objectifs de Frame ont une résolution de 640 x 400 pour afficher des vidéos et des photos.
Grâce à ces fonctionnalités, un utilisateur faisant ses achats dans un centre commercial peut demander à Noa de vérifier les prix en ligne d’une paire de chaussures qu’il regarde via Frame, par exemple.
« L’avenir de l’interaction humain/IA prendra vie dans les wearables innovants et les nouveaux appareils, et je suis très heureux d’apporter le moteur de réponse en temps réel de Perplexity au cadre de Brilliant Labs », Aravind Srinivas, PDG et fondateur de Perplexity, a déclaré dans un communiqué.
La question est de savoir si Frame sera suffisamment réactif pour que l’une de ses réponses générées par l’IA soit utile. Les appareils compatibles Bluetooth de Brilliant Labs s’appuient aujourd’hui sur un smartphone pour accéder aux différents modèles d’IA. À terme, cependant, les fondateurs souhaitent supprimer l’hôte téléphonique et intégrer des modèles légers d’apprentissage automatique directement dans les lunettes.
Co-fondateurs de Brilliant Labs. Crédits images : Des laboratoires brillants
Frame est venu après le premier produit de Brilliant Labs, Monocle, un appareil AR à objectif unique qui a attiré un public fidèle dans la communauté du matériel open source grâce à sa programmabilité et son prix abordable. Un groupe d’étudiants de Stanford a un jour transformé l’appareil en un assistant de rencontre qui faisait des suggestions en temps réel sur ce qu’il fallait dire à son rendez-vous.
Frame continuera d’être open source comme son prédécesseur, ce qui signifie que les développeurs auront accès à des ressources, notamment une documentation évolutive, une base de code open source et des schémas matériels. Ils pourront également ajuster les paramètres des modèles d’IA pris en charge par Noa.
Contrairement à l’encombrant Vision Pro, Frame est destiné à être porté tous les jours et est livré avec des verres correcteurs. Pesant 39 grammes et dotées d’épaisses montures rondes en plastique nylon, les lunettes sont, comme le dit l’entreprise, un « hommage aux innovations et idées révolutionnaires introduites par des personnalités de l’histoire telles que John Lennon, Steve Jobs et Gandhi ».
Frame sera disponible en précommande à partir d’aujourd’hui et coûtera 349 $, le même prix que le prix de Monocle. Les appareils commenceront à être expédiés en avril.
Depuis sa création en 2019, Brilliant Labs a réussi à attirer une série d’investisseurs providentiels notables. En juin, nous avons annoncé l’investissement de 3 millions de dollars de Brendan Iribe, co-fondateur d’Oculus ; Adam Cheyer, co-fondateur de Siri ; Eric Migicovsky, fondateur de Pebble et ancien partenaire chez Y Combinator ; et d’autres. La nouvelle injection de capital de Hanke porte le financement total de l’entreprise à 6 millions de dollars.