Le premier film, Roundhay Garden Scene, a été tourné il y a un peu plus de 130 ans. Pendant ce temps, les humains que nous avons vus dans les films d’action réelle étaient de vraies personnes, mais depuis l’avènement de l’infographie, cela a commencé à changer.
Nous quittons l’Uncanny Valley
Les visages humains ont été la chose la plus difficile à reproduire de manière convaincante à l’aide d’infographies (CG) ou même d’effets spéciaux pratiques. Le cerveau humain est parfaitement adapté pour reconnaître les visages, à tel point que nous voyons des visages qui ne sont même pas là. Tromper le public en lui faisant croire qu’un visage CG est réel ne fonctionne presque jamais, certains qui se rapprochent de tomber dans la soi-disant «vallée étrange».
La vallée étrange est un point dans le continuum du réalisme facial où nous commençons à nous sentir effrayés par des visages humains artificiels. Certains films, comme le Polar Express, sont connus pour cela. Les progrès de la puissance de traitement et des méthodes de rendu, ainsi que les solutions d’apprentissage automatique comme les deepfakes faciaux, changent cette situation. Même les graphismes en temps réel sur les consoles de jeu modernes peuvent se rapprocher de visages photoréalistes.
le Matrice se réveille La démo Unreal Engine 5 le montre de manière étonnante. Il fonctionne sur une humble console de salon, mais dans de nombreuses scènes, la reproduction d’acteurs réels et les personnages originaux de CG semblent réels. Un autre exemple fantastique est la série d’anthologies Netflix Amour, Mort + Robots. Certains des épisodes ont des visages CG impossibles à classer comme CG ou réels.
L’âge d’or de la capture de performances
Quitter la vallée étrange ne se limite pas à faire un visage photoréaliste, vous devez également saisir le moment du visage et du corps du personnage. Les cinéastes et les développeurs de jeux vidéo disposent désormais des outils nécessaires pour capturer avec précision les mouvements et les expressions faciales d’acteurs comme Andy Sirkis, qui se spécialise dans les performances capturées numériquement.
La plupart des travaux pionniers étaient évidents dans James Cameron Avatar, qui tient encore aujourd’hui. Mais il ne manque pas de grands travaux de capture de mouvement modernes à admirer. Thanos, de l’univers cinématographique Marvel, est un autre exemple notable et plus récent.
La force de la capture de performance est que l’interprète n’a pas à ressembler du tout au personnage CG. Ils n’ont même pas besoin d’être de la même espèce ! Cela signifie également qu’un seul acteur ou un petit groupe d’acteurs peut jouer tout un casting de personnages. Vous pouvez également avoir des acteurs et des cascadeurs fournissant des données de mouvement pour le même personnage.
Les voix profondes sont en cours de perfectionnement
Créer un acteur synthétique crédible, c’est bien plus qu’une production visuelle photoréaliste. Les acteurs utilisent leur voix pour compléter leurs performances et c’est peut-être tout aussi important que tout le reste mis en place. Lorsque vous souhaitez donner une voix à votre acteur CG, vous avez quelques options.
Vous pouvez utiliser un doubleur, ce qui est bien, c’est un personnage original. Si vous recréez un personnage dont l’acteur d’origine est toujours en vie, vous pouvez simplement doubler sa performance vocale. Vous pouvez également utiliser un imitateur lorsque vous ramenez quelqu’un qui est décédé ou qui a un grave conflit d’horaire. Dans Rogue One, lorsque nous avons rencontré une ressemblance ressuscitée de Peter Cushing en tant que Grand Moff Tarkin, Guy Henry a fourni à la fois la voix et la capture de la performance.
L’exemple le plus intéressant vient de l’apparition de Luke Skywalker en tant que jeune lui-même dans le Mandalorien (et plus tard dans le livre de Boba Fett). Plutôt que de laisser Mark Hamill enregistrer les répliques de la scène, qui utilisait un acteur remplaçant avec un visage CG, un logiciel d’IA a été utilisé.
L’application s’appelle Respeecher, et en l’alimentant en matériel enregistré de Mark Hamill de cette époque de sa carrière, il a été possible d’en créer une réplique synthétique. Il ne fait aucun doute que les deepfakes audio ont parcouru un long chemin en peu de temps puisque la plupart des gens ne se sont même pas rendu compte qu’ils n’écoutaient pas réellement Hamill.
Les deepfakes en temps réel émergent
Les deepfakes deviennent une véritable concurrence pour les visages CG traditionnels. Le visage CG de Luke Skywalker dans le Mandalorien n’avait pas l’air génial, mais YouTubers Shamook a utilisé la technologie deepfake pour embellir ce visage, le faisant glisser du côté le plus agréable au goût de la vallée étrange. VFX YouTubers Corridor Crew est allé plus loin et a refait toute la scène avec son propre acteur, en utilisant la technologie deepfake au lieu d’un visage CG.
Les résultats sont étonnants, mais même les ordinateurs haut de gamme mettent beaucoup de temps à créer une vidéo deepfake de cette qualité. Cela n’a rien à voir avec les exigences de la ferme de rendu du CG moderne, mais ce n’est pas non plus trivial. Cependant, la puissance des ordinateurs ne cesse de progresser et il est désormais possible de faire un certain niveau de deepfakery en temps réel. À mesure que les puces informatiques spécialisées dans l’apprentissage automatique s’améliorent, il pourrait éventuellement être beaucoup plus rapide, moins cher et réaliste d’avoir une technologie deepfake pour gérer les visages d’acteurs synthétiques.
L’IA peut créer des visages originaux
Tout le monde peut reconnaître Brad Pitt ou Patrick Stewart grâce à avoir vu leurs visages dans des films et à la télévision des centaines de fois. Ces acteurs utilisent leurs vrais visages pour représenter des personnages et nous associons donc leurs visages à ces personnages. Les choses sont différentes dans le monde de l’animation 2D et 3D ou de la bande dessinée. Les artistes créent des personnages qui ne ressemblent à aucune personne réelle. Eh bien, du moins pas exprès !
Avec le logiciel AI, il est désormais possible de faire quelque chose de similaire avec des visages humains photoréalistes. Vous pouvez vous diriger vers Cette personne n’existe pas et générer un visage réaliste de quelqu’un qui n’est pas réel en quelques secondes. Face Generator va plus loin et vous permet de modifier les paramètres de votre personne imaginaire. Si ces visages vous semblent encore un peu faux, consultez StyleGAN, le logiciel de génération de visages AI de NVIDIA, qui est disponible pour tout le monde en tant que logiciel open source.
Des visages générés comme ceux-ci peuvent être combinés avec des voix synthétisées et une capture de performance pour nous donner un personnage qui ne ressemble à aucun acteur qui existe réellement. Finalement, nous n’aurons peut-être pas besoin d’un humain pour fournir la performance. Promettant un avenir où des histoires entières pourront être racontées par un marionnettiste aux commandes d’un casting synthétique.
La vérité est plus étrange que la fiction
Dans le film de 2002 S1m0ne, Al Pacino joue un réalisateur qui découvre un logiciel expérimental qui lui permet de créer une actrice synthétique CG tout en tissu. Il la transforme en célébrité, mais finalement, le masque glisse et le monde découvre qu’ils ont adoré quelqu’un qui n’a jamais existé.
La trajectoire de la technologie dans le monde réel aujourd’hui fait d’une actrice comme Simone une possibilité réaliste à un moment donné, et non plus de la science-fiction. La seule différence est que Simone devait être gardée secrète ou le public se révolterait. Dans le monde réel, nous saurons tous que nos acteurs sont synthétiques, nous nous en ficherons.
EN RELATION: Comment gérer les deepfakes indétectables