L’avenir des effets visuels avec le gourou Rob Legato — Q&R

IndieWire fête ses 25 ans cette année. Pour marquer l’occasion, nous publions une série d’essais sur l’avenir de tout ce que nous couvrons.

Dans le cadre de la série du 25e anniversaire d’IndieWire, qui de mieux prédire l’avenir des effets visuels que le superviseur des effets visuels trois fois oscarisé Rob Legato (« Le livre de la jungle », « Hugo », « Titanic ») ? Le récipiendaire 2021 du VES Award for Creative Excellence, Legato a traduit la production virtuelle en une méthodologie photoréaliste en direct pour James Cameron, Martin Scorsese et Jon Favreau. En fait, l’expérimentation VR de Legato avec Favreau sur « Le Roi Lion » a directement conduit au travail de pionnier du réalisateur avec Industrial Light & Magic sur la série « The Mandalorian » sur Disney +. Ils ont créé la plate-forme StageCraft, qui a éliminé le besoin de tournages coûteux et chronophages. Les acteurs se produisent dans un mur et un plafond vidéo LED immersifs et massifs aux Manhattan Beach Studios à LA, où les décors pratiques sont combinés avec des extensions numériques sur les écrans. Cela permet aux cinéastes de générer des arrière-plans numériques complexes et exotiques en temps réel (à l’aide du moteur de jeu Unreal d’Epic).

À la suite de ce changement de jeu, les scènes murales LED ont fait leur apparition dans le monde entier : ILM en a trois à LA, une à Pinewood à Londres et une à Vancouver ; Weta et Unity en ont un en Nouvelle-Zélande ; Warner Bros. Leavesden en a un en Angleterre ; DNEG et Dimension en ont également un à Londres ; et Trilith Studios en a un à Atlanta. Cela a encore réduit la taille et la portée des tournages, des décors et des scènes de foule, et Legato discute de l’importance de la scène murale LED avec IndieWire, ainsi que de son impact futur sur l’industrie.

Pendant ce temps, un autre sujet brûlant abordé par Legato est l’avenir de la performance numérique, alors que les logiciels d’animation continuent de progresser et de dépasser l’étrange vallée de l’étrangeté. Cela inclut le vieillissement, qui est enfin arrivé à maturité, résultant en des performances plus jeunes et plus crédibles. Lola Visual Effects, le leader de l’industrie du vieillissement et le spécialiste incontournable de Marvel, a perfectionné la technique de lissage de la peau et de déformation de la forme semblable à celle de Photoshop grâce à la composition 2D. Cependant, l’émergence de la technologie deepfake offre une nouvelle innovation, dans laquelle un logiciel d’apprentissage informatique analyse et combine des photographies et des images de jeunes acteurs pour créer des composites CG de leurs visages.

L’entretien a été édité et condensé pour plus de clarté.

IndieWire : Comment évalueriez-vous où nous en sommes avec la production virtuelle et l’impact de la scène du mur LED après le succès de « The Mandalorian » ?

Rob Legato: Nous avons fait quelque chose du genre, mais pas aussi facile, avec des trucs sur écran bleu. Avec l’avènement de la scène murale à LED, vous pouvez désormais pré-fabriquer votre décor comme vous le feriez pour construire un décor, l’allumer, le texturer – vous feriez toutes les décorations de décor, puis vous tourneriez une scène contre elle. Seulement maintenant, la scène murale à LED facilite la visualisation. Il n’est même pas nécessaire que ce soit un effet visuel ; ce pourrait être un bureau ou un bar ou une grotte. Cela signifie que lorsque cela devient de moins en moins cher à faire, où tout le monde a la scène murale LED, vous pouvez avoir une plus grande imagination et ne pas être limité par le budget.

ILM StageCraft 2.0 « Le Mandalorien »

Lumière industrielle et magie

Parlez de la possibilité de tout visualiser dans l’espace VR sur « Le Roi Lion » comme une expérience photoréaliste pour émuler l’action en direct.

Sur « Le Roi Lion », nous avions moi-même et [cinematographer] Caleb Deschanel, une poignée de chariot, un assistant caméra, faisant la mise au point, quelqu’un faisant le bras de cardan – c’était vraiment comme un film d’action réelle, avec tous les avantages et les inconvénients. Si vous parlez de l’avenir, c’est de profiter des avancées informatiques et du suivi et de toutes les autres choses, mais je pense que nous aimons toujours la réaction chimique que vous avez entre les acteurs sur le plateau et le réalisateur. Nous ne nous débarrasserons jamais totalement de ces trucs analogiques, et nous ne le devrions pas non plus. C’est juste que maintenant vous pouvez rendre un « Roi Lion » ou un « Livre de la jungle » plus photoréaliste et pouvoir le photographier dans un laps de temps beaucoup plus court. Sans la tâche ardue de tourner sur place.

J’utilise toujours « The Revenant » comme exemple de certains films que nous aimons voir, mais personne ne veut les refaire parce que c’était si difficile à faire. Et si épuisant physiquement pour Leo [DiCaprio], quand vous êtes dans un froid glacial et que vous êtes là toute la journée pour obtenir 20 minutes de matériel utilisable. Il a même dit : « Je ne ferai plus jamais ça. » Mais il était toujours très vénéré et il a remporté l’Oscar. Vous n’avez tout simplement pas à traverser ce genre de chagrin pour créer la même créativité. Il pourrait aussi s’agir d’un film augmenté numériquement, tout aussi puissant visuellement.

Et nous en assistons maintenant avec l’évolution continue de ce changeur de jeu de production virtuelle.

Le mur le rend absolument accessible, ce qui était un gros point de friction avec tous les trucs CG il y a des années. Ce n’est plus le cas. Vous [can] projetez une scène sur un mur vidéo, filmez de vrais acteurs à ce moment-là, déplacez la caméra comme vous le souhaitez et, une fois que vous avez terminé, vous pouvez passer à un autre plateau sans avoir à quitter cet espace de studio. C’est d’une efficacité folle. Quels que soient les mondes que vous pourriez construire, orientés science-fiction ou autre, vous pouvez simplement faire des films réguliers et augmenter la valeur de votre production.

« Le roi Lion »

Disney

Mais le mur LED n’est pas une solution universelle. C’est fait sur mesure pour « The Mandalorian », mais pas pour « Dune ». Et j’entends des critiques à propos de l’éclairage qui n’est pas assez authentique.

Je ne pense pas que ça va jamais prendre le dessus [completely], mais cela va créer une nouvelle avenue pour tourner des scènes ardues. Je travaille sur ce film en ce moment. Nous tournons une scène de marais à la Nouvelle-Orléans. Nous arrêtons trois ou quatre fois par jour à cause de la foudre, et dès qu’il pleut en milieu de journée, tous les véhicules s’enlisent dans la boue. [LED walls are] le tout juste pour avoir un aperçu de la scène et pouvoir tourner 10 heures par jour au lieu de quatre. Toutes les choses arrivent à cause de l’argent. Si je ne vois pas la différence et que vous pouviez tourner une scène qui nous prendrait deux semaines sur place et la tourner en trois jours, vous pouvez surmonter vos problèmes d’éclairage et tout le reste avec habileté. Vous pouvez l’allumer pour que ce ne soit pas artificiel.

Les moteurs en temps réel tels que Unreal 5 font toutes sortes de progrès en matière d’éclairage.

Ouais, et puisque tu parles du futur, le futur n’est pas tout de suite maintenant. C’est juste dans cette direction. Je ne le comprends pas tout à fait, mais cette technologie vous permet d’avoir un zillion de choses en plus qui produisent les images et de pouvoir le faire en temps réel. Vous savez, si je devais apprendre à un caméraman comment entrer dans un environnement de réalité virtuelle et amener votre gaffer avec vous, et que vous l’allumez en disant : « Je veux un 20K par ici et je le veux 12 x 12 par ici », ils commencerait à dire : « Oh merde, je peux l’allumer comme je l’aurais allumé sur une grande scène. » Le résultat serait le même [but] il y a un recul et une peur.

« Le livre de la jungle »

Disney

Il n’y a pas beaucoup de Calebs ou John Tolls ou Vittorio Storaros, mais [cinematographers] peut être adapté pour cela. C’est un peu comme à l’époque des synthétiseurs. Tout le monde déteste la façon dont ils sonnent. Et puis tout d’un coup, quand un gars peut faire un overdub et être l’ensemble de l’orchestre — s’il est assez talentueux, la musique qui en sort est [surprising]. Maintenant, nous pourrions faire plus, car il n’y a pas besoin d’un orchestre de 80 musiciens. Il a besoin de son imagination et d’un ordinateur et il peut maintenant reproduire quelque chose de spectaculaire.

Encore une fois, c’est l’avenir et l’adoption et les gens sont très résistants au changement. Ils craignent que cela élimine leur travail au lieu d’améliorer leur travail, [but] le concepteur de la production est toujours en train de construire des décors – que ce soit physique ou sur le mur, c’est toujours la même œuvre d’art. La même chose avec les cameramen. Ils vont devoir allumer un ensemble numérique comme ils allument un ensemble normal. S’ils font du bon travail, ils peuvent l’éclairer presque à l’identique en mettant des lampes presque au même endroit. Ce ne sont que des lumières virtuelles, pas des lumières physiques qui doivent être branchées sur un mur.

Où voyez-vous cela se diriger dans les cinq prochaines années?

D’ici cinq ans, nous éliminerons les entreprises qui ne le font pas très bien.

Je veux dire, je ne vais pas dire de noms, mais j’ai récemment travaillé avec un couple qui était parmi les premiers à adopter. Ils ont réussi à surmonter l’obstacle de la partie technique, comment l’obtenir pour qu’il ne scintille pas à l’écran, quel logiciel utiliser, tous les divers trucs techniques. Ce qui manquait, c’est l’art. Je suis entré et j’ai redirigé l’art de celui-ci et le résultat était très bon. Ce qui sépare les hommes des garçons, pour ainsi dire, ce sont les compétences photographiques et artistiques et de valeur de production, et cela sera probablement [happen] d’ici cinq ans. Presque chaque émission de télévision, chaque grand studio ou chaque scène qui monte aura une scène murale LED. Pensez à l’efficacité de pouvoir tourner cinq scènes avec mon acteur invité en changeant de plateau en appuyant simplement sur un interrupteur. Je peux faire en sorte que Tom Hanks soit dans mon film et ne l’embaucher que pour trois jours pour faire un rôle que je ne pourrais pas me permettre autrement.

Parlons de la technologie en rapport avec la performance : maquillage numérique et anti-âge.

L’avènement du maquillage numérique lui donne un aspect photoréaliste, qui concerne le lancer de rayons, l’éclairage global et toutes les choses. Ceux-ci se prêtent vraiment à mélanger la ligne entre ce qui était traditionnellement fait avec quelques limitations, à ce qui pourrait être fait maintenant sans limitations. Vous pouvez faire jouer n’importe quel acteur avec n’importe quel autre acteur, n’importe quel personnage, n’importe quelle taille. Cela arrivera au point, dans les prochaines années, où ce sera assez fluide. [You’ll have] un acteur jouant une autre personne sans avoir à se maquiller pendant six heures pour le faire. L’œuvre d’art et tout ça sera là pour rester; la possibilité de l’ajouter après coup et de le rendre photoréaliste sera une chose courante.

Un Mark Hamill âgé apparaît comme Luke Skywalker dans la finale de la saison 2 de « The Mandalorian »

Disney

Je pense qu’il n’y aura jamais un moment où vous pourrez remplacer un acteur par un acteur synthétique, mais il pourrait y avoir une personne qui crée un personnage et la combinaison des deux devient une star de cinéma. Cela pourrait arriver où une petite personne pourrait jouer une star d’action et personne ne le saurait. Je ne peux pas citer de noms, mais il y a des stars d’action qui ne peuvent littéralement pas faire beaucoup d’action et elles sont remplacées par des doubles avec une sorte de remplacement de visage. Je pourrais donc imaginer qu’il y aura une star de cinéma combo où le look de quelqu’un et son avatar de capacité d’acteur sont très différents.

De plus, le vieillissement ne cesse de s’améliorer. Regardez ce que Lola a fait avec Mark Hamill dans le rôle de Luke dans la finale de la saison 2 de « The Mandalorian ». Ils ont combiné leur approche 2 1/2D avec la technologie deepfake dans le cadre de leur préparation à la compilation de photographies et d’images de « Le retour du Jedi ».

[Deepfake’s] un morceau de technologie remarquable, de quelqu’un qui n’est pas tout à fait un artiste, qui a l’air plus naturel et moins cher que « The Irishman » [technique at ILM that’s markerless and light-based]. Et cela va prendre le relais de la partie maquillage numérique, où, si vous n’avez pas à vous asseoir sur la chaise pendant cinq heures et à avoir des choses collées sur votre visage, ça a l’air tout aussi bien.

Son utilisation entre de bonnes mains est incroyable et contribuera à le rendre maintenant très facile à faire. Vous verrez ces trucs deepfake [use machine learning] où vous aurez Bill Hader sur l’un des talk-shows faisant ses grandes impressions, et ils changent très subtilement son visage pour ressembler à Arnold [Schwarzenegger].

La ligne se brouille et se mélange et les gens qui travaillent dans mon domaine doivent ressembler davantage à un cinéaste. Le look est le même et l’art est le même. Et, vous savez, cela ne remplace le travail de personne.

S’inscrire: Restez au courant des dernières nouvelles du cinéma et de la télévision ! Inscrivez-vous à nos newsletters par e-mail ici.