Des chercheurs de l’Université Cornell ont développé un écouteur qui utilise un sonar pour détecter l’expression faciale du porteur afin de créer un avatar de son visage. Le système dit « earable » s’appelle EarIO.
Cela fonctionne en faisant rebondir le son sur les joues du porteur – le son est émis par des haut-parleurs de chaque côté de l’écouteur. Un microphone capte les échos, qui changent lorsque le visage bouge et que le porteur parle. Le système utilise ensuite un algorithme d’apprentissage en profondeur pour transformer les échos en une réplique de l’expression de la personne. EarIO peut transmettre les mouvements du visage à un appareil mobile en temps réel et l’avatar peut être utilisé dans les appels vidéo.
Les appareils basés sur une caméra qui suivent les mouvements du visage sont « gros, lourds et gourmands en énergie, ce qui est un gros problème pour les appareils portables », a déclaré Cheng Zhang, chercheur principal du Smart Computer Interfaces for Future Interactions Lab, co-auteur d’un article sur EarIO. « Aussi important, ils capturent beaucoup d’informations privées. » Une approche basée sur le sonar peut renforcer la confidentialité, l’abordabilité, le confort et la durée de vie de la batterie, a-t-il déclaré.
Lors des premiers tests, l’équipe a constaté que l’appareil fonctionnait lorsque les porteurs étaient assis et marchaient, et que des facteurs tels que les bruits de fond, le vent et le bruit ambiant de la route n’avaient pas d’impact sur la signalisation acoustique. Cependant, la sensibilité élevée de la méthode de détection peut entraîner certains problèmes. « C’est bien, parce qu’il est capable de suivre des mouvements très subtils, mais c’est aussi mauvais parce que quand quelque chose change dans l’environnement, ou quand votre tête bouge légèrement, nous captons aussi cela », a déclaré le co-auteur Ruidong Zhang, étudiant au doctorat en sciences de l’information. Les chercheurs espèrent atténuer ces perturbations dans les futurs modèles.
EarIO a certaines limites dans l’état actuel des choses. L’appareil fonctionne pendant environ trois heures sur une seule charge, bien qu’il soit beaucoup plus économe en énergie qu’un système basé sur une caméra que l’équipe utilisait auparavant. Les chercheurs espèrent améliorer la durée de vie de la batterie à l’avenir. Ils visent également à faire d’EarIO un appareil plug-and-play, mais il nécessite actuellement 32 minutes de formation sur les données faciales avant la première utilisation.
Tous les produits recommandés par Engadget sont sélectionnés par notre équipe éditoriale, indépendante de notre maison mère. Certaines de nos histoires incluent des liens d’affiliation. Si vous achetez quelque chose via l’un de ces liens, nous pouvons gagner une commission d’affiliation.