Apple a dévoilé un nouveau projet de recherche appelé HUGS, un outil d’intelligence artificielle générative capable de transformer un court clip vidéo d’une personne en avatar numérique en quelques minutes.
Il s’agit de la dernière d’une série de recherches et d’annonces de produits Apple conçues pour mélanger les mondes physique et virtuel. Alors que CÂLINS n’a pas d’application immédiate, il fera probablement partie de l’écosystème de réalité mixte Apple Vision à l’avenir.
Avec l’annonce du casque Vision Pro plus tôt cette année, Apple a révélé des techniques permettant de créer des versions virtuelles du porteur pour le représenter lors des appels et des réunions Facetime. Il s’agit probablement d’une extension fournissant des avatars complets sans équipement de numérisation 3D.
Qu’est-ce que HUGS et comment ça marche ?
HUGS, ou Human Gaussian Splats, est une méthode d’apprentissage automatique qui permet de numériser des images du monde réel d’une personne, de créer un avatar à partir de ces images et de le placer dans un environnement virtuel.
La grande avancée d’Apple réside dans la création du personnage à partir de seulement 50 images vidéo et en 30 minutes environ, ce qui est nettement plus rapide que les autres méthodes.
La société affirme pouvoir créer un rendu animé de qualité « de pointe » de l’humain et de la scène montrée dans la vidéo en haute définition et disponible à 60 images par seconde.
Une fois l’avatar humain créé, il pourrait être utilisé dans d’autres scènes ou environnements, animé comme bon vous semble et même utilisé pour créer de nouvelles vidéos de danse.
Quels sont les cas d’utilisation des HUGS ?
Imaginez que vous portez votre casque Vision Pro (ou une version moins chère qui devrait arriver l’année prochaine) et que vous jouez à un jeu à la troisième personne comme GTA 6 ou Assassin’s Creed.
Imaginez maintenant qu’au lieu du personnage intégré, ou d’un avatar qui a votre visage mais pas votre corps, vous ayez un clone de vous-même, mais dans le monde numérique.
Cela est déjà possible mais nécessite un temps de traitement long ou des caméras coûteuses. Si HUGS devient plus qu’un projet de recherche, il pourrait s’agir d’une fonctionnalité native de visionOS qui vous permet de télécharger une vidéo de vous-même et de vous transformer en un personnage pouvant être utilisé dans un jeu.
Quand les HUGS seront-ils disponibles ?
Il est peu probable que HUGS soit disponible de si tôt. Il s’agit d’un autre document de recherche d’Apple et, même si la société en intègre certains aspects en coulisses, il s’agit d’un travail à un stade précoce.
Ce que nous pourrions voir à la WWDC en 2024 est une forme de cette technologie disponible pour les développeurs Apple créant des applications et des interfaces pour Vision Pro.
La réalité est que pour l’instant, les Digital Personas d’Apple seront probablement des portraits pouvant être placés dans le cadre d’un appel FaceTime. Mais c’est une bonne indication de la direction que prend l’entreprise.