L’année dernière, le service de généalogie MyHeritage est devenu viral après avoir introduit une nouvelle fonctionnalité « deepfake » qui permettait aux utilisateurs d’animer les visages de leurs proches sur des photos fixes. Les utilisateurs de TikTok ont publié des vidéos réagissant à la technologie, appelées « Deep Nostalgia », alors qu’ils ramenaient des parents qu’ils n’avaient jamais rencontrés ou ceux dont ils pleuraient encore la perte. À ce jour, plus de 100 millions de photos ont été animées avec cette fonction. Vient maintenant la prochaine itération. Aujourd’hui, MyHeritage et son partenaire technologique D-ID développent « Deep Nostalgia » avec le lancement de « LiveStory », une fonctionnalité qui non seulement donne vie aux personnes sur les photos avec du mouvement, mais les fait parler.
MyHeritage a accordé une licence à la nouvelle technologie de D-ID, une startup basée à Tel-Aviv qui travaille à la création d’une technologie brevetée de reconstitution vidéo alimentée par l’IA et des techniques d’apprentissage en profondeur.
Les technologies de D-ID, disponibles pour les développeurs via des API, ont été utilisées par une gamme de titulaires de licence, dans les médias, l’éducation, le marketing et plus encore. Warner Bros., par exemple, a travaillé avec D-ID pour permettre aux utilisateurs de personnaliser une bande-annonce de film avec des photos animées et pour une exposition Harry Potter. Mondelēz International, l’agence de publicité Publicis et Digitas Vietnam se sont associés à D-ID pour les efforts de marketing d’un festival local. L’application vidéo abrégée indienne Josh a intégré la technologie d’animation faciale comme outil créatif. Les organisations à but non lucratif et les gouvernements ont également utilisé la technologie dans diverses campagnes de sensibilisation du public.
Avec le lancement de LiveStory, MyHeritage apporte la dernière technologie d’IA de D-ID directement aux consommateurs.
Pour utiliser cette fonctionnalité, les consommateurs peuvent créer un compte MyHeritage gratuit, ce qui leur permet d’essayer la technologie gratuitement plusieurs fois. Au-delà de cela, ils devront passer à un plan d’abonnement payant pour une utilisation illimitée de LiveStory.
La technologie fonctionne pour créer un récit vidéo animé de la vie d’un ancêtre, afin qu’il puisse raconter sa propre histoire. Ceci est alimenté par la technologie de portrait parlant en instance de brevet de D-ID, qui génère une vidéo commentée basée sur une photo téléchargée, puis la combine avec un générateur de voix synthétique. La narration de l’histoire provient de la saisie de texte par l’utilisateur.
Pour faire correspondre les lèvres aux mots, D-ID a formé un réseau de neurones sur une base de données de vidéos de personnes parlant. Sa technologie est capable de fonctionner avec n’importe quelle langue, selon l’entreprise. L’implémentation de MyHeritage, cependant, prend en charge 31 langues, dont des dizaines de dialectes, avec des options de voix masculines et féminines.
« La technologie est si bonne que vous n’avez pas besoin d’une vidéo de pilote », note le co-fondateur et PDG de D-ID, Gil Perry – ce qui signifie que la technologie ne nécessite pas une vidéo des mouvements d’une personne réelle qui sont ensuite mappés à un image fixe. « Vous ne saisissez que du texte et la photo, puis vous faites parler la personne », dit-il. La technologie n’est pas parfaite, admet Perry, la comparant plutôt à « une très bonne synchronisation labiale ».
Une fois la LiveStory créée, les utilisateurs peuvent la regarder, la partager avec des amis ou la publier sur les réseaux sociaux. Ils peuvent également personnaliser davantage l’histoire en modifiant le texte, en choisissant une voix différente ou même en téléchargeant leur propre enregistrement audio.
Crédits image : A FAIT
À plus long terme, D-ID envisage comment cette technologie pourrait être utilisée dans un environnement métavers, où des avatars numériques de personnes pourraient être animés avec l’IA – et pas seulement des visages, mais des mouvements de tout le corps dans des mondes 3D. Perry imagine comment les utilisateurs pourraient télécharger leurs propres photos d’enfance, celles de membres de la famille ou même de personnages historiques, puis les animer dans le métaverse et avoir des conversations.
« Nos enfants voudront discuter avec Albert Einstein, apprendre, l’entendre et lui poser des questions », dit-il. « Et il nous répondra. » (Et lorsque la traduction universelle est disponible, il peut même répondre dans la langue de l’utilisateur.)
Cette technologie, bien sûr, est sur la route dans plusieurs années, mais elle sera construite sur des concepts en cours de développement aujourd’hui – comme Deep Nostalgia et LiveStory – quand et si elle finit par se concrétiser.
En attendant, il y a MyHeritage et, bientôt, la propre application grand public de D-ID qui aidera à démontrer sa technologie d’une manière différente. L’application arrivera dans les « semaines à venir », indique D-ID.
La fonctionnalité MyHeritage LiveStory a été annoncée aujourd’hui lors de la conférence technologique sur l’histoire de la famille RootsTech. Cela fonctionnera sur le bureau, le Web mobile et dans l’application mobile MyHeritage.
« LiveStory fait passer la narration au niveau supérieur », a déclaré Gilad Japhet, fondateur et PDG de MyHeritage, dans un communiqué concernant le lancement. « Avec cette dernière fonctionnalité virale, MyHeritage continue de dominer le monde de l’histoire familiale en ligne à la fois en termes de vision et d’innovation. Notre utilisation de l’IA pour insuffler une nouvelle vie aux photos historiques est unique et aide des millions de personnes à cultiver un lien émotionnel renouvelé avec leurs ancêtres et leurs proches décédés. La généalogie consiste à raconter et à préserver nos histoires familiales. Nous continuons à montrer au monde à quel point la généalogie peut être amusante et convaincante.
D-ID, qui a également été cofondée par Sella Blondheim et Eliran Kuta, est une équipe de 32 personnes et prévoit de doubler en embauchant des postes aux États-Unis, au Royaume-Uni, à Singapour et en Israël.