Le processus de composition, ou de placement d’acteurs devant un arrière-plan qui n’existe pas réellement, est aussi ancien que le cinéma lui-même – et cela a toujours été une douleur. Netflix a une nouvelle technique qui repose sur l’apprentissage automatique pour effectuer une partie du travail acharné, mais elle nécessite d’éclairer les acteurs dans un magenta criard.
Pendant des décennies, la méthode de composition la plus simple a été l’incrustation en chrominance, dans laquelle les acteurs se tiennent sur un fond aux couleurs vives (bleu à l’origine, puis vert) qui peut facilement être identifié et remplacé par n’importe quoi, d’une carte météo à une bataille avec Thanos. Le premier plan est dit « mat » et l’arrière-plan est un canal « alpha » transparent manipulé avec les canaux rouge, vert et bleu.
C’est facile et bon marché, mais il y a quelques inconvénients à cela, parmi lesquels des problèmes avec des objets transparents, des détails fins comme les cheveux et, bien sûr, tout ce qui a une couleur similaire à l’arrière-plan. C’est généralement assez bon, cependant, pour que les tentatives de le remplacer par des méthodes plus sophistiquées et coûteuses (comme une caméra à champ lumineux) aient langui.
Les chercheurs de Netflix s’y attaquent, cependant, avec une combinaison d’ancien et de nouveau qui pourrait permettre une composition simple et impeccable – au prix d’une configuration d’éclairage infernale sur le plateau.
Comme décrit dans un article récemment publié, leur « écran vert magenta » produit des résultats impressionnants en plaçant essentiellement les acteurs dans un sandwich d’éclairage. Derrière eux, vert vif (activement éclairé, pas en toile de fond); à l’avant, un mélange de rouge et de bleu, créant des couleurs très contrastées.
Acteurs éclairés en magenta sur fond vert. Crédits image : Netflix
Le look sur le plateau qui en résulte fait probablement rechigner même l’artiste de post-production le plus chevronné. Habituellement, vous voulez éclairer vos acteurs avec une lumière assez naturelle, donc bien qu’ils puissent nécessiter un peu de coup de poing ici et là, leur apparence à huis clos est relativement normale. Mais s’ils sont éclairés exclusivement avec de la lumière rouge et bleue, cela déforme complètement cet aspect, car bien sûr, la lumière normale n’a pas une grande partie de son spectre coupée.
Mais la technique est également astucieuse en ce sens qu’en rendant le premier plan uniquement rouge/bleu et l’arrière-plan uniquement vert, elle simplifie le processus de séparation des deux. Un appareil photo ordinaire qui capturerait normalement ces couleurs capture plutôt le rouge, le bleu et l’alpha. Cela rend les caches résultants extrêmement précis, dépourvus des artefacts résultant de la séparation d’une entrée à spectre complet d’un fond de clé à spectre limité.
Bien sûr, ils semblent avoir simplement remplacé une difficulté par une autre : le processus de composition est maintenant facile, mais restaurer le canal vert aux sujets éclairés en magenta est difficile.
Cela doit être fait de manière systématique et adaptative, car les sujets et les compositions diffèrent, mais une approche linéaire «naïve» de l’injection de vert donne un aspect délavé et jaunâtre. Comment peut-il être automatisé ? L’IA à la rescousse !
L’équipe a formé un modèle d’apprentissage automatique sur ses propres données de formation, essentiellement des prises de « répétition » de scènes similaires, mais éclairées normalement. Le réseau neuronal convolutif reçoit des parcelles de l’image à spectre complet à comparer à celles éclairées en magenta, et développe un processus pour restaurer rapidement le canal vert manquant d’une manière plus intelligente qu’un simple algorithme.
Un algorithme simple conduit à de mauvais résultats (en haut) tandis qu’un modèle ML plus sophistiqué produit des couleurs très similaires à la vérité terrain. Crédits image : Netflix
Ainsi, la couleur peut être restaurée étonnamment bien en post (elle est « pratiquement impossible à distinguer » d’une vérité de terrain à huis clos) – mais il reste le problème des acteurs et du décor devant être éclairés de cette manière horrible. De nombreux acteurs se plaignent déjà de la façon dont il n’est pas naturel de travailler devant un écran vert – imaginez le faire tout en étant éclairé dans une lumière crue et inhumaine.
Le document aborde ce problème, cependant, avec la possibilité de « multiplexer dans le temps » l’éclairage, en allumant et éteignant essentiellement l’éclairage magenta/vert plusieurs fois par seconde. C’est distrayant (voire dangereux) de le faire 24 fois par seconde (c’est-à-dire la cadence de prise de vue de la plupart des films et de la télévision), mais s’ils allument la lumière plus rapidement – 144 fois par seconde – cela semble « presque constant ».
Cela nécessite cependant une synchronisation complexe avec la caméra, qui ne doit capter la lumière que pendant les brefs instants où la scène est magenta. Et ils doivent également tenir compte des images manquantes pour le mouvement…
Comme vous pouvez le voir, c’est encore très expérimental. Mais c’est aussi une manière intéressante de s’attaquer à un problème séculaire de la production médiatique avec une approche nouvelle et high-tech. Cela n’aurait pas été possible il y a cinq ans, et même si cela peut être adopté ou non sur le plateau, cela vaut clairement la peine d’essayer.