Meta’s AI researchers are advancing robotics by enabling machines to replicate the sense of touch. The new tools from Meta’s Fundamental AI Research (FAIR) division allow robots to detect and respond to physical stimuli, improving their handling of delicate objects. Innovative technologies like Sparsh and Digit 360 enhance tactile sensitivity. This could enhance robotic applications in surgeries and manufacturing while making virtual experiences more realistic. Other AI research mirrors human senses, such as taste and smell, for more sophisticated robotic interactions.
—
Les chercheurs en IA de Meta progressent dans la robotique en permettant aux machines de reproduire le sens du toucher. Les nouveaux outils du département de recherche fondamentale en IA (FAIR) de Meta permettent aux robots de détecter et de réagir aux stimuli physiques, améliorant ainsi leur capacité à manipuler des objets délicats. Des technologies innovantes comme Sparsh et Digit 360 renforcent la sensibilité tactile. Cela pourrait améliorer les applications robotiques dans la chirurgie et la fabrication tout en rendant les expériences virtuelles plus réalistes. D’autres recherches en IA imitent les sens humains, tels que le goût et l’odorat, pour des interactions robotiques plus sophistiquées.
L’intelligence artificielle a permis aux robots de “voir” et “entendre” le monde afin de comprendre les ordres humains et d’exécuter des tâches de manière plus efficace. Cependant, les chercheurs en IA de Meta testent désormais des méthodes pour permettre aux robots de reproduire également le sens du toucher. La division de recherche fondamentale en IA (FAIR) de Meta vient de présenter un ensemble d’outils qui pourrait doter les outils robotiques de la capacité à détecter, interpréter et réagir aux objets avec lesquels ils entrent en contact. Cela pourrait rendre même le bras robotique le plus élémentaire suffisamment sensible pour manipuler des objets fragiles sans les endommager, élargissant ainsi leurs domaines d’application.
Meta a présenté une combinaison de nouvelles technologies et fonctionnalités qui permettent aux robots de ressentir les choses. La technologie de détection de toucher Sparsh offre aux IA un moyen d’identifier des éléments tels que la pression, la texture et le mouvement sans nécessiter une vaste base de données. C’est comme une version IA de la capacité humaine à sentir un objet dans l’obscurité et à en décrire la texture même sans savoir de quoi il s’agit.
Pour transmettre des informations sur ce que le robot touche à son modèle d’IA, Meta a collaboré avec une entreprise nommée GelSight pour créer essentiellement un doigt robotique appelé Digit 360. Les capteurs de Digit 360 sont très sensibles, permettant à l’IA de déterminer non seulement les détails de l’objet mais aussi d’appliquer la pression appropriée en fonction de la tâche impliquant cet objet, comme le soulever ou le faire pivoter.
Concernant le reste de la main robotique (ou un dispositif équivalent), Meta a développé un système appelé Plexus en collaboration avec Wonik Robotics pour disposer plusieurs capteurs de toucher sur le dispositif. Meta affirme que Plexus peut imiter suffisamment le sens du toucher humain pour manipuler des objets fragiles ou difficiles à manier. Voici comment ces trois technologies fonctionnent ensemble dans une main robotique.
IA Sensible
« La main humaine est merveilleuse pour transmettre des informations de toucher au cerveau à travers la peau, des doigts à la paume. Cela permet d’actionner les muscles de la main lors de la prise de décisions, par exemple lorsque l’on tape sur un clavier ou interagit avec un objet trop chaud », a expliqué Meta dans un billet de blog. « Atteindre une IA incarnée exige une coordination similaire entre la perception tactile et l’actionnement moteur d’une main robotique. »
Il existe de nombreuses façons dont les mains robotiques capables de “ressentir” et reliées à une IA interprétant ces sensations pourraient être utiles. Imaginez des assistants chirurgicaux robotiques capables de détecter de minuscules changements dans le corps et de réagir plus rapidement, avec des mouvements précis mais doux, correspondant ou surpassant les réactions humaines. Ceci pourrait également s’appliquer à la fabrication d’appareils délicats sans les endommager, et peut-être à une meilleure coordination entre plusieurs mains robotiques, comme le font les humains avec leurs deux mains. Cela pourrait même rendre les expériences virtuelles plus réalistes pour les humains, avec une compréhension de ce que les objets et les environnements devraient ressentir, utilisée pour informer leurs homologues virtuels.
Utiliser l’IA pour imiter le sens du toucher pour les robots n’est pas la seule expérience humaine que l’IA tente de reproduire pour les machines. Des chercheurs de l’Université d’État de Pennsylvanie ont récemment démontré comment des modèles d’IA connectés à une langue électronique peuvent simuler un sens du goût suffisamment précis pour détecter de légères différences de saveur. Pendant ce temps, une entreprise appelée Osmo a appris à des modèles d’IA à émuler un sens de l’odorat bien supérieur à celui des humains. L’entreprise a démontré comment son IA peut analyser une odeur avec suffisamment de précision pour même la recréer à partir de zéro en sélectionnant et combinant des produits chimiques sans intervention humaine.