Alors que les débats sur l’utilisation de l’IA occupent une place centrale dans l’industrie du divertissement, la technologie aide discrètement les équipes d’animation et d’effets visuels depuis des années. Cela a permis de créer certaines des images visuelles les plus étonnantes possibles lorsque des artisans ont été invités à faire ce qui était auparavant considéré comme impossible.
Lorsque le réalisateur Peter Sohn voulait des personnages basés sur les éléments du feu, de l’eau, de l’air et de la terre pour son nouveau film « Elemental », le superviseur VFX Sanjay Bakshi et son équipe chez Pixar se sont tournés vers l’IA pour rendre le processus plus fluide. L’apparence des personnages dépendait d’ajustements qui les alignaient sur la vision de Sohn.
« Nous avons utilisé l’IA pour un type de problème très spécifique, et nous avons utilisé un algorithme d’apprentissage automatique appelé transfert de style neuronal », explique Bakshi. « Notre animation est tellement scrutée à la loupe. Nous passons par tellement de cycles de révision pour chaque plan et les animateurs le font vraiment à la main et il n’y a pas beaucoup d’endroits où l’apprentissage automatique est applicable sous sa forme actuelle.
« Mais sur ‘Elemental’, nous avons ce problème où nous exécutons ces simulations de feu sur les personnages pour les rendre fougueux. Ensuite, les flammes elles-mêmes traversent une simulation pyro très réaliste. C’est une simulation de fluide, une vraie simulation de température. Ainsi, les flammes qu’il produit sont très réalistes. Nous avions besoin d’un moyen de styliser ces flammes elles-mêmes. Comme vous pouvez l’imaginer, styliser une simulation n’est pas un problème facile. C’est tellement temporel. Il change constamment. Et c’est la beauté du feu. C’est toujours si différent, c’est pourquoi c’est fascinant à regarder. Il n’y a donc pas beaucoup de techniques pour styliser les flammes, mais nous en avons trouvé une, qui s’appelle le transfert de style neuronal, et c’est la technique que nous avons utilisée. C’était vraiment la seule solution envisageable.
Gavin Kelly, partenaire fondateur du Piranha Bar, une maison d’animation et d’effets visuels basée à Dublin, considère également l’IA comme une technologie qui sera de plus en plus utilisée à mesure que les animateurs et les créateurs de contenu chercheront à repousser les limites de leurs visuels.
« Au bout du compte, et nous n’en sommes pas encore là, il vous suffit de filmer quelque chose, puis de dire à l’IA en quoi vous voulez le transformer en termes de capture de performances », explique Kelly. « Ainsi, avec la capture de performance, c’est très complexe. Vous assemblez l’animation, mettez en place le casque d’écoute, parlez au logiciel qui parlera aux mains, au corps et à tout. Ce sont tous des morceaux différents, tout faire parler ensemble. Pour créer ce pipeline, c’est très, très compliqué. Et il y a beaucoup de dépannage en cours de route. Donc, actuellement, il ne fait aucun doute qu’il existe des solutions de capture de mouvement par IA dans le passé. Nous les avons examinés avant qu’ils ne soient horribles et qu’ils ne soient pas prêts pour la production. Nous sommes maintenant très proches d’être prêts pour la production avec la possibilité de faire rouler la caméra et l’IA s’en sortira et elle sera robuste. Et ça ne tremblera pas et ça aura l’air très convaincant.
Pour Bakshi et son équipe, l’IA nécessite toujours des ajustements minutieux de la part des artistes et des équipes VFX pour obtenir les visuels là où ils le souhaitent. Rien ne peut être pris pour acquis.
« La personne qui a travaillé avec nous sur l’IA était Jonathan Hoffman et il l’a décrit comme jeter du poisson dans une tornade et espérer tirer des sushis de ces algorithmes d’apprentissage automatique », rit Bakshi. « Ainsi, vous pouvez entrer ce que vous voulez et vous pouvez obtenir quelque chose de vraiment beau, mais ce n’est peut-être pas ce que vous vouliez obtenir de l’animation qui vous revient. »