Mark Zuckerberg, grand patron de l’organisation anciennement connue sous le nom de Facebook, a terminé sa première interview entièrement réalisée au sein du Metaverse éponyme de son entreprise. Et c’est plutôt impressionnant, plutôt énervant et plutôt meh, tout en un.
Zuckerberg a rencontré Lex Fridman pour l’interview, un podcasteur par qui il a été interviewé à plusieurs reprises. Zuckerberg et Fridman étaient éloignés l’un de l’autre, Fridman à Austin au Texas et Zuckerberg probablement au siège social de Meta en Californie.
Pour l’entretien, les deux ont été soumis à des analyses physiques détaillées ainsi qu’à une sorte de processus d’entraînement aux expressions faciales et aux mouvements, peut-être semblable à une version plus complexe des routines d’entraînement utilisées pour apprendre les données biométriques pour la sécurité des smartphones, notamment les empreintes digitales et les visages.
Zuckerberg explique que ces données sont ensuite regroupées dans un codec qui à son tour est combiné avec les données des capteurs d’un casque VR pour créer un avatar numérique réaliste. Ce qui est assez astucieux, c’est que cette approche codec signifie que la bande passante requise est relativement limitée. Une fois que chaque partie dispose d’une copie de l’avatar numérique de l’autre, les données nécessaires pour les animer sont bien moindres que pour, par exemple, transmettre une vidéo numérique haute définition.
En théorie, vous avez donc quelque chose de beaucoup plus réaliste que la vidéo, mais avec moins de bande passante. Mais à quel point est-il réaliste ? Jusqu’à un certain point, vous pouvez juger par vous-même. Fridman a mis en ligne une représentation 2D de l’interview sur sa chaîne YouTube comprenant les deux avatars.
Malheureusement, la vidéo n’est qu’en 1080p. Mais même à cette résolution relativement basse, il est possible de voir que les avatars ont une ambiance CGI assez sans ambiguïté. Ils sont bons, bien sûr, mais personne, même modérément familier avec les CGI modernes, ne les confondrait avec de la vidéo en direct.
Bien sûr, le caractère des protagonistes eux-mêmes n’aide sans doute pas. Vous ne qualifieriez pas Fridman ou Zuckerberg de terriblement émotifs. Leur vrai moi peut être assez robotique. La question reste donc ouverte de savoir dans quelle mesure la sensation synthétique de ces avatars numériques dépend de la traduction en codecs, ou simplement de l’attitude réelle de ces protagonistes plutôt inhabituels.
Néanmoins, les avatars ont une sensation légèrement plate et numérisée qui n’est probablement pas entièrement due à l’attitude physique de Zuckerberg et Fridman. Cela dit, l’expérience est sans aucun doute bien plus impressionnante et immersive lorsqu’on utilise réellement un casque VR.
De même, d’après la vidéo mise en ligne, il semble que Meta ait à peu près résolu le problème de la latence. Les deux semblent avoir une conversation parfaitement naturelle et fluide malgré le traitement assez lourd qui doit avoir lieu entre toute parole ou expression faciale et ces comportements détectés, traduits dans le codec et transmis à l’autre utilisateur.
Quant au matériel utilisé, il ressemble à première vue à des casques Meta Quest Pro, plus un ensemble de canettes assez lourdes. Et cela reste vraiment la principale objection à ce genre d’expérience : le matériel encombrant que vous devez porter.
Quoi qu’il en soit, regardez la vidéo par vous-même en attendant le nouveau casque VR de Meta, le Quest 3, qui sera lancé le 10. Restez à l’écoute très prochainement pour notre propre version du matériel.