Les outils de la modernité le cinéma est devenu de plus en plus accessible aux cinéastes indépendants et même amateurs, mais les personnages réalistes en CG (qu’on les aime ou non) sont restés l’apanage des projets à gros budget. Wonder Dynamics vise à changer cela avec une plate-forme qui permet aux créateurs de faire glisser et déposer littéralement un personnage CG dans n’importe quelle scène comme s’il avait été capturé et édité par des professionnels.
Oui, cela semble un peu trop prometteur. Votre scepticisme est justifié, mais en tant que sceptique moi-même, je dois dire que j’ai été extrêmement impressionné par ce que la startup a montré de Wonder Studio, l’éditeur Web de la société. Ce n’est pas un jouet comme un filtre AR – c’est un outil à grande échelle, et celui que les co-fondateurs Nikola Todorovic et Tye Sheridan ont souhaité pour eux-mêmes. Et surtout, il est destiné à faciliter le travail des artistes, pas à les remplacer purement et simplement.
« L’objectif était de créer un outil pour artistes, pour les responsabiliser. Quelqu’un qui a de grands rêves n’a pas toujours les ressources pour les réaliser », a déclaré Sheridan, que beaucoup auront vu jouer dans l’adaptation cinématographique de Spielberg. Prêt joueur un – donc sa familiarité avec les complexités de la production assistée par CG et de la capture de mouvement est de première main.
Todorovic et Sheridan se connaissent et travaillent ensemble depuis des années et se sont souvent heurtés à ce mur : « Tye et moi écrivions des films que nous ne pouvions pas nous permettre de faire », a déclaré Todorovic. Leur entreprise, qui a fonctionné principalement de manière furtive jusqu’à présent, a levé un tour de table de 2,5 millions de dollars au début de 2021 et un tour supplémentaire de 10 millions de dollars A plus tard cette année-là.
Le fait est que, bien que les logiciels de création de modèles 3D, d’édition, de composition et de coloration (entre autres étapes du processus de réalisation d’un film) soient beaucoup plus faciles à acheter et à utiliser de nos jours, le processus pour mettre réellement un personnage CG dans une scène est encore très compliqué .
Les fondateurs de Wonder Dynamics, Nikola Todorovic, à gauche, et Tye Sheridan, à droite. Crédits image : Wonder Dynamics (à gauche) / Matt Winkelmeyer / Getty (à droite)
Supposons que vous souhaitiez inclure un robot compagnon pour une scène de votre film de science-fiction. Un artiste qui crée un modèle et des textures, etc., n’est que la toute première étape. À moins que vous ne vouliez l’animer à la main (non recommandé !), Vous aurez besoin d’un studio de capture de mouvement ou d’un équipement sur le plateau, de boules réfléchissantes, d’écrans verts et de tout. À partir de celles-ci, les primitives de mouvement doivent être appliquées au squelette CG et le personnage remplacé par l’acteur. Mais ensuite, le modèle 3D doit correspondre à la direction et à la couleur de l’éclairage, à la distribution et au grain du film, etc. J’espère que vous avez embauché des personnes pour les capturer et les caractériser également.
À moins qu’ils ne soient des experts en tous de ces processus individuels de pré- et post-production et ont beaucoup de temps libre, c’est tout simplement hors de portée et de budget pour la plupart des cinéastes. À la fin de la journée, vous pourriez envisager jusqu’à 20 000 $ par seconde pour des travaux VFX majeurs, comme l’ajout d’un dragon ou d’un super-héros, sans parler de plusieurs jours de travail technique. Ainsi, les films indépendants ont tendance à ne pas du tout avoir de VFX proéminents, et encore moins des personnages entièrement animés.
Wonder Studio est une plate-forme qui rend ce processus aussi simple que de sélectionner un filtre ou un pinceau dans Photoshop. Cela semble trop beau pour être vrai, mais Sheridan et Todorovic y travaillent depuis trois ans maintenant et les résultats le montrent. « Nous voulions construire quelque chose de fondamental – c’est pourquoi cela a pris si longtemps », a déclaré Sheridan.
« Nous avons construit quelque chose qui automatise tout ce processus, l’anime en direct, image par image, il n’y a pas besoin de mocap. Il détecte automatiquement les acteurs basés sur une seule caméra. Il fait le mouvement de la caméra, l’éclairage, la couleur, remplace entièrement l’acteur par CG », a expliqué Todorovic.
Mais surtout, il ne se contente pas de le faire en direct à huis clos en le collant là-bas à la TikTok, ou de cracher un produit douteusement « final ». Toutes les pièces réelles que les artistes VFX créeraient normalement ou avec lesquelles interagiraient sont toujours générées. Et, a-t-il pris soin de souligner, rien de tout cela n’est formé sur le travail existant des artistes.
Prise de vue finale, données mocap, masque et environnement 3D générés par Wonder Studio. Crédits image : Dynamique des merveilles
« Vous obtenez du mocap, une assiette propre, des masques, une scène de mélangeur, il analyse le bruit et le grain », a-t-il poursuivi. C’est-à-dire : les données d’animation et de mouvement (y compris les mains et le visage), le plan sans l’acteur ni son remplacement, les contours des personnages et des objets image par image, une représentation 3D de l’environnement avec le terrain et d’autres caractéristiques. Et tout est automatiquement adapté aux qualités de la prise de vue – ou des prises de vue, car il peut suivre les acteurs sur une scène complète sous plusieurs angles.
Voici un aperçu du fonctionnement du processus :
Beaucoup plus d’exemples et de détails peuvent être vus sur le site de l’entreprise.
Une grande partie de ce genre de choses est un travail par cœur, une grande partie de la corvée, fait de la même manière encore et encore dans le cadre du processus global d’effets visuels. Ces tâches « objectives non créatives » – ainsi appelées parce qu’elles sont des nécessités techniques plutôt que des résultats expressifs – relèveraient certainement du « terne » dans « sale, ennuyeux et dangereux »: les trois D de l’automatisation.
« Vous ne pouvez pas remplacer les artistes par l’IA, nous voulons les améliorer et les responsabiliser. Cela ne perturbe pas ce qu’ils font; il automatise 80 à 90 % du travail VFX objectif et leur laisse le travail subjectif », a expliqué Todorovic. « La beauté de l’IA est de prendre quelque chose de si compliqué et de le simplifier. »
De peur que vous vous inquiétiez de savoir si cela mettra beaucoup de gens au chômage, cela ne semble pas probable. L’industrie des effets visuels est positivement submergée par le travail, d’autant plus que des entreprises comme Marvel et Netflix insistent sur la publication régulière de travaux CG incroyablement exigeants qui doivent être effectués par des dizaines de maisons d’effets visuels indépendantes. L’un fait les capes, un autre les explosions, un autre le maquillage numérique, un autre encore les surfaces déformables. Et ils sont tous complets depuis des années. Bien sûr, ils paient les factures, mais s’ils pouvaient assumer deux fois plus de tâches parce qu’ils passent deux fois moins de temps à définir manuellement un acteur cible sur chaque image, ils le feraient probablement en une seconde.
Tout dépend de la qualité des résultats, bien sûr, et c’est là que l’automatisation de ces processus a tendance à s’effondrer. Bien sûr, vous pouvez obtenir un outil qui détecte automatiquement le mouvement dans l’acteur sélectionné et génère une animation approximative pour un modèle. Mais vous devez lui dire quel acteur dans chaque plan, et une fois que vous avez tout cela, cela ne devient pas comme par magie un personnage CG ; il doit aller à l’équipe suivante, qui sait quoi faire avec un tas de coordonnées et de courbes de Bézier.
Crédits image : Dynamique des merveilles
Sheridan et Todorovic voulaient que Wonder Studio soit un système suffisamment simple à utiliser pour un enfant, mais suffisamment puissant pour un professionnel des effets visuels – d’où la sortie de données brutes si vous le souhaitez, mais la fonctionnalité glisser-déposer prête à l’emploi.
Wonder Studio est livré avec un tas d’exemples de modèles prêts à l’emploi, mais personne ne s’attend à ce qu’ils les utilisent simplement dans leur film – cela ressemble plus à un ensemble d’archétypes de personnages CG que vous pouvez voir en action : un père et une fille de type Pixar, quelques robots de gravité variable, un « Sam » (petit homme extraterrestre) étrangement semblable à Gollum, et plus encore.
« Nous voulons que les artistes créent les leurs. Vous obtenez votre FBX [a common 3D media format] et vos textures et c’est assemblé sur la plate-forme, tout comme vous l’importeriez dans Blender ou Unreal ou quoi que ce soit d’autre », a déclaré Todorovic. Des modèles peuvent également être mis à disposition à l’achat sur la plateforme.
Crédits image : Dynamique des merveilles
Même ces éléments de base pourraient suffire pour un pitch, une coupe grossière ou une prévisualisation, cette dernière étant souvent réalisée par du personnel de cascadeurs avec presque aucun VFX. Ne serait-il pas formidable de voir à quoi ressemblerait réellement le costume de Wolverine ou le monstre d’égout visqueux dans une chorégraphie de combat que vous proposez, plutôt que simplement dans les storyboards ? Que diriez-vous d’un village fantastique avec de vrais oiseaux au lieu d’un mauvais maquillage ? Ou un court métrage de science-fiction qui n’a besoin que d’un caissier robotique ou d’un balayeur de rue mutant pour lui donner une touche futuriste décontractée – pour le moment, ce n’est même pas une option. Les personnages CG d’entrée de gamme ouvrent des genres entiers qui étaient bloqués derrière de gros budgets.
D’autres fonctionnalités sont prévues, des environnements CG dans lesquels les personnages peuvent être composés, à la capture des mouvements de caméra de n’importe quel média afin qu’ils puissent être simulés, étudiés, modifiés et réutilisés.
« C’est un premier pas important, mais dans l’ensemble, nous voulons avoir une plate-forme où n’importe quel enfant peut s’asseoir et réaliser des films en s’asseyant devant son ordinateur et en tapant », a déclaré Sheridan. Un niveau gratuit sera proposé à tous, et des fonctionnalités plus avancées pour les professionnels et les gros utilisateurs seront disponibles dans divers forfaits payants. Ils prévoient de travailler directement avec les maisons VFX pour créer et améliorer les intégrations et les flux de travail.
Leur espoir est que cela commence à combler le fossé entre la réalisation de films à petit budget et sans budget et le genre de vols imaginatifs sans limites que seul quelqu’un avec les ressources de James Cameron peut concevoir, et encore moins exécuter.
La plate-forme est actuellement en version bêta, mais elle est déjà utilisée par les célèbres réalisateurs d’action Russo Brothers pour un prochain film Netflix avec Millie Bobby Brown et Chris Pratt. Aucun mot sur qui est remplacé par quoi, mais c’est néanmoins une approbation puissante.
« Je suis peut-être partial, mais faire des films doit être l’un des emplois les plus cool que vous puissiez avoir », a déclaré Sheridan dans un communiqué annonçant les débuts de Wonder Studio. « Nous sommes des conteurs dans l’âme, et nous ne construisons la technologie que comme un moyen de nous aider à raconter de meilleures histoires. L’IA présente une énorme opportunité pour que plus de films soient réalisés et que plus de voix soient entendues.