À l’heure actuelle, regarder un contenu en langue étrangère doublé en anglais est un exercice d’inconfort.
Grâce à la prolifération des films et des programmes télévisés en langue locale, qui nous sont proposés principalement par les plateformes de streaming, regarder un film policier danois doublé ou un feuilleton espagnol dans un pensionnat est une expérience cauchemardesque dans la vallée de l’étrange. C’est le terme couramment utilisé pour désigner une technologie qui ne suspend pas notre incrédulité et, en fait, prend la ressemblance humaine et la jette dans un mixeur de cauchemars dystopiques.
Entrez dans Flawless, un studio de réalisation piloté par l’IA qui veut que vous puissiez diffuser des émissions à succès tout en pouvant dormir la nuit (sans visions de mouvements de bouche discordants et de coupures de scène brutales). Fondée en 2018 par le réalisateur multi-célèbre Scott Mann et Nick Lynes, la technologie propriétaire de Flawless, TrueSync, cartographie les visages des acteurs et fournit les traductions les plus impressionnantes que nous ayons vues dans le Far West de l’IA. La société a présenté en avant-première une bande-annonce de son travail au Festival de Cannes de cette année, qui Variété peut partager exclusivement ici.
Conçu pour protéger les droits d’auteur artistiques et se conformer aux guildes du travail d’Hollywood, Flawless soulève de grandes questions sur la valeur du contenu international et son potentiel de percée sur les marchés américains. Variété peut également signaler que Flawless est officiellement dans le secteur de la distribution de films. La société a conclu une joint-venture avec XYZ Films et Tea Shop Productions pour acquérir les droits de films étrangers. Le partenariat permettra de convertir les projets en langue anglaise avec ce que Flawless promet être des « visuels parfaitement synchronisés » et de les diffuser dans les territoires concernés. Le premier titre à sortir est le film de science-fiction primé de Victor Dannell « UFO Sweden », qui sortira sous le titre national « Watch the Skies ». Une liste complète de projets est attendue dans les prochains mois*.
Mann a parlé avec Variété longuement sur la peur et la haine de l’IA dans le show business, la construction d’un code éthique et la mécanique cérébrale de l’Uncanny Valley.
Comment avez-vous commencé dans ce domaine ?
Tout a commencé en 2018. J’ai une formation de réalisateur, d’écrivain et de producteur de films. Je suis tombé sur ce qui s’est avéré être le premier article qui a présenté l’IA générative au monde. Il s’appelait « Deep Video Portrait » et est sorti de la conférence SIGGRAPH, qui est en quelque sorte les Oscars de la science. Cela m’a époustouflé.
J’ai toujours travaillé dans le domaine des effets visuels et il était évident que cette technologie pouvait avoir un impact potentiel sur notre secteur. J’ai contacté les auteurs de cet article, ce qui a conduit à la création de l’entreprise avec ces personnes et [my partner] Nick Lynes, Christian Theobalt, Pablo Garrido et Hyeongwoo Kim ont fondé notre département scientifique et en ont fait le premier département de science générative piloté par ordinateur au monde. C’est notre recette secrète.
Il y a actuellement beaucoup de craintes et d’anxiété autour de l’IA à Hollywood. Ce qui est intéressant dans votre entreprise, c’est que vous êtes optimiste.
Nous avons fondé cette entreprise dans une optique cinématographique. J’adore l’art et il est essentiel pour notre mission de considérer cette technologie comme une capacité à créer des outils. D’autres pensent que cette technologie vise à éradiquer les créatifs et à voler l’art. À faire de Napster un véritable cauchemar, à faire fi de tout et à perturber l’art pour le simple plaisir de le faire. Mais nous croyons en l’expression des histoires humaines et le cinéma en est la forme la plus avancée. La technologie amplifie cela et ajoute des couches de créativité. Il y a des avantages. Ensuite, il y a l’économie de toute cette industrie, qui repose sur certaines protections et une compréhension de son fonctionnement.
Il y a un grand manque d’éducation autour de l’IA dans cette ville. Quel impact cela a-t-il sur votre entreprise ?
Il s’agit d’un problème mondial. Il ne concerne pas seulement Hollywood. L’éducation et la compréhension sont la clé. Certaines entreprises – les mauvaises, disons – préfèrent ne pas éduquer les gens parce que cela révèle une sorte d’acteur sournois. Il faut avoir une conversation honnête sur la manière dont cela perturbe les choses et sur les points positifs. Au cours des dernières années, nous avons donné la priorité à la compréhension avec les studios et les syndicats de travailleurs – y compris SAG-AFTRA – et nous avons dit : « Écoutez, c’est ainsi que cela devrait être utilisé. » [AMPTP contract] La négociation est un sujet dont tout le monde devrait commencer à parler dès maintenant. Il y a une transformation qui s’opère dans notre secteur et nous devons nous y préparer.
Bonne remarque. L’industrie prête-t-elle une attention significative à ce sujet ?
Je peux dire avec certitude qu’il y a un changement radical dans les attitudes. Avant les grèves de l’année dernière, on procédait prudemment à l’approbation de l’utilisation de l’IA dans les projets. Les gens avaient des discussions préliminaires et semblaient comprendre les choses, et cela provenait d’une volonté d’améliorer les processus. Mais il existe une crainte de franchir le pas. L’industrie est dans une telle situation à certains endroits en ce moment que beaucoup ne veulent pas se précipiter vers la mauvaise solution.
Comment Flawless a construit son code éthique ?
C’est né de problèmes que j’ai rencontrés personnellement en tant que cinéaste. J’ai toujours voulu réparer le doublage des films. J’ai fait un film pour lequel j’avais pris beaucoup de soin, un film intitulé « Heist » avec Robert De Niro. C’était un film très intime et nuancé, et c’était un plaisir de le réaliser. J’ai vu la version en langue étrangère qui avait été doublée. Le script a été complètement réécrit et les mouvements de la bouche étaient complètement différents. Je me suis dit : « Mon Dieu, pas étonnant que les choses ne voyagent pas bien. »
J’ai trouvé un bug pour résoudre ce problème et j’ai essayé un tas d’effets visuels comme le scan de la tête et d’autres bêtises. Ce n’était pas pratique et cela ne franchissait pas la vallée de l’étrange. C’est une longue façon de dire que vous ne pouvez pas faire cela de manière éthique si vous supprimez et détruisez des zones entières qui contribuent à un film. Nous avons appris que l’éthique et les droits légaux vont de pair.
En parlant de la vallée mystérieuse, c’est tellement brutal de regarder du doublage labiale sous sa forme actuelle. Surtout quand on sait à quel point le streaming a intensifié ce phénomène.
En tant qu’êtres humains, nous nous étudions les uns les autres dans les moindres détails. Si nous voyons quelque chose qui sort de l’ordinaire, notre cerveau est programmé pour se mettre en état d’alerte. Au fil de l’évolution du cinéma, notre cerveau s’est laissé tromper et s’est rééduqué. Votre subconscient fait le travail de vérification de la réalité. Si quelque chose ne se marie pas bien – en particulier le son et la vision – vous mettez immédiatement un énorme obstacle à toute sorte d’immersion d’empathie et de crédibilité dans ce que vous regardez. Pensez à la quantité d’expression transmise par le visage, les gestes et la performance d’un acteur, sans même entendre le son. Il y a tellement de choses là-dedans. Toutes ces raisons font que [present lip dubbing] un problème. Mais c’est bien d’avoir un problème clair à résoudre.
Il y a aussi un élément qui pourrait changer la donne pour les films internationaux. Cela pourrait ouvrir un nouveau marché aux stars et éliminer de nombreux remakes en langue américaine de films célèbres.
En montrant nos films aux cinéastes, surtout au cours de l’année dernière, ils se rendent compte du potentiel qu’offre le fait de passer d’une scène locale à une scène mondiale. C’est une formidable opportunité de faire connaître son travail et c’est revigorant. Ils sont très enthousiastes à l’idée de montrer leur travail à un public plus large, et surtout aux États-Unis.
Un studio ou une société a-t-il essayé de vous acquérir directement ?
Oui, lorsque nous sommes arrivés ici à Hollywood pour la première fois, nous avions une très courte bande-annonce promotionnelle en 2021 et certains ont essayé de négocier un prix dès le départ. Nick et moi avons convenu que ce que nous voulions, c’était servir tout le monde, pas seulement les intérêts d’un studio. Nous voulons être la Suisse, car sinon, c’est très restrictif. Mais cela nous a aidés à lever des fonds et à développer l’entreprise. C’est un bon problème à avoir.
Vous souhaitez également vous lancer dans le jeu de la distribution.
Nous nous sommes toujours considérés comme un studio, dans une certaine mesure. Nous voulons être tournés vers l’avenir. Il faut tout faire correctement, de la préproduction à la sortie, en passant par la production. Toutes ces étapes sont impactées par la technologie. Je pense que nous devrions proposer des films à un public dix fois plus large, et réaliser des films incroyables à moindre coût grâce à ces outils. Si vous regardez notre premier film, « UFO Sweden », il a évidemment été traduit en anglais, mais il a également donné aux cinéastes la liberté d’ajouter et de modifier des éléments qu’ils ne pouvaient pas se permettre la première fois. Vous pouvez choisir d’être comme un composant algorithmique et d’essayer de faire un travail, mais je pense que le véritable pouvoir réside dans la réalisation des films et leur distribution. Tout le tralala. Et en termes de postproduction, nous pouvons faire plus. Regardez Pixar, ils peuvent itérer leurs films jusqu’au moment de la sortie.
*Les acquisitions pour la JV avec Flawless seront menées par Ryan Black, James Emanuel Shapiro de XYZ et James Harris de Tea Shop.