Avec de plus en plus de téléspectateurs qui regardent des émissions de télévision internationales et des films en streaming, la société israélienne Adapt Entertainment a trouvé un moyen pour que la programmation parle à tout le monde – littéralement.
Le fondateur de la société, Darryl Marks, dit que les fans se plaignent souvent de la mauvaise qualité du doublage d’une émission ou d’un film. La technologie d’Adapt combine l’intelligence artificielle et les effets visuels pour convertir de manière transparente les dialogues de films en anglais et dans d’autres langues.
Plus récemment, la technologie a été utilisée pour le transfert en anglais du film « The Champion » de Maciej Barczewski – sur un boxeur qui doit gagner ses matchs pour survivre à Auschwitz – prévu pour une sortie aux États-Unis plus tard ce
an. Barczewski qualifie la technologie de « changeur de jeu ». Le film original est en polonais et en allemand ; le réalisateur voulait tourner en anglais mais n’avait pas le budget pour le faire.
Mike Seymour, superviseur VFX du film et conseiller technique d’Adapt, explique le travail et la synchronisation après le verrouillage de l’image.
En règle générale, un réenregistrement est effectué par des acteurs de voix off, mais dans ce cas rare, Barczewski a pu ramener son casting pour réenregistrer la piste de dialogue en anglais. La piste a ensuite été complètement synchronisée et traitée avec le film original, à l’aide de la technologie de rendu neuronal AI basée sur le système logiciel PLATO (apprentissage de la physique par codage automatique et suivi d’objets).
Seymour explique le processus : « L’ordinateur étudie le visage de l’acteur dans le film ainsi que les images filmées lorsque le nouveau dialogue est réenregistré. Ensuite, en utilisant les progrès de l’IA et de l’apprentissage automatique, tout le film a remplacé le visage de l’acteur parlant en anglais. Tout est visuellement construit à partir d’acteurs enregistrant des dialogues dans un studio de son.
Grâce aux efforts combinés de l’IA et des effets visuels via PLATO, le sous-texte de la performance originale est maintenu. « Nous devons être fidèles à leurs performances, et non à une spécification technique arbitraire », déclare Seymour.
Le processus de « The Champion » a pris au total trois mois, dont une semaine pour que les acteurs
réenregistrez leurs pistes de dialogue, ce qui a considérablement réduit le coût par prise de vue du remplacement de dialogue à grande échelle.
Seymour note que la société n’a pas l’intention de remplacer les sous-titres. « Ceux-ci sont inestimables pour la communauté des malentendants », dit-il. Au contraire, Adapt vise à « ouvrir un monde de films étrangers sans sortir le spectateur de l’expérience cinématographique, et de le faire d’une manière qui a été conçue pour respecter les choix d’acteur de la distribution, l’intention des scénaristes et le créateur vision du réalisateur.