Tavus exploite l’IA générative pour alimenter des vidéos personnalisées avec clonage de la voix et du visage

L’IA générative ressemble déjà à la tendance technologique majeure de 2023. La capacité de générer de nouveaux contenus via des algorithmes a été propulsée dans la conscience publique par des gens comme ChatGPT, une technologie de type chatbot formée sur de grands modèles de langage (LLM) capables de produire des essais, des poèmes, des paroles, des articles de presse et même des programmes informatiques. Ensuite, il y a DALL-E, du même OpenAI soutenu par Microsoft qui a engendré ChatGPT, qui sert un objectif similaire mais pour les créations visuelles à la place.

Alors que certains ont fait valoir que ChatGPT signale l’arrivée de l’IA dans le courant dominant, la vérité est que nous ne sommes qu’au début d’une nouvelle ère d’applications alimentées par l’IA qui transformera à peu près toutes les facettes de l’industrie, de la recherche des consommateurs et la photographie de stock à l’immobilier et au marketing de contenu.

C’est dans ce contexte qu’une startup naissante appelée Tavus cherche à faire sa marque en permettant aux entreprises de créer des vidéos « uniques » adaptées à un individu spécifique, mais entièrement basées sur un seul enregistrement initial.

L’idée est qu’une équipe de vente et de marketing, par exemple, peut émettre un flux infini de présentations vidéo à des clients potentiels, peut-être sur la base de données textuelles que le prospect a soumises via un formulaire en ligne. Ou peut-être qu’un chasseur de têtes utilisera la plate-forme pour envoyer plusieurs vidéos personnalisées à des candidats potentiels à l’aide de données extraites de leurs profils LinkedIn.

Fondée à San Francisco en 2020 par le PDG Hassaan Raza et Quinn Favret, Y Combinator (YC) alun Tavus a annoncé aujourd’hui qu’elle avait levé 6,1 millions de dollars lors d’un tour de table dirigé par l’investisseur de la Silicon Valley Sequoia, avec la participation d’un grand nombre de personnalités bailleurs de fonds, y compris Accel Partners, Index Ventures, Lightspeed Ventures et YC Continuity.

Comment ça fonctionne

Toute entreprise cherchant à créer plusieurs vidéos personnalisées saura qu’il s’agit d’un processus extrêmement long et répétitif : enregistrer le même message avec sensiblement le même contenu, mais modifié pour différents clients ou candidats. C’est ce que Tavus cherche à résoudre : permettre aux utilisateurs de créer leurs propres modèles de vidéo AI en quelques minutes, puis de générer un nombre illimité de versions d’une vidéo à partir de cette source d’origine.

Le processus d’intégration initial nécessite que l’utilisateur – par exemple, un recruteur ou un directeur des ventes – enregistre une vidéo de 15 minutes basée sur un script fourni par Tavus, qui est utilisé pour former l’IA. Ensuite, l’utilisateur enregistre un modèle pour chaque campagne qu’il souhaite créer.

Tavus : Lecture d’un script pour créer un modèle de base. Crédits image: Tavus

À l’aide d’un éditeur Web, les utilisateurs peuvent ensuite sélectionner les éléments de la vidéo qu’ils souhaitent personnaliser, en spécifiant chaque variable (par exemple, l’entreprise, le nom du dirigeant ou le lieu), en ajoutant des appels à l’action, etc.

Tavus : script de personnalisation avec des variables. Crédits image: Tavus

Tavus prend également en charge les variables de forme plus longue via des extraits alimentés par ChatGPT pour des introductions plus personnalisées, ce qui, selon Favret, a été fortement demandé par ses utilisateurs. Par exemple, le script de base avec lequel une vidéo est créée peut être configuré pour inclure une introduction d’une phrase générée à partir du profil LinkedIn d’un individu spécifique.

Tavus : Génération de contenu personnalisé. Crédits image: Tavus

Essentiellement, Tavus s’efforce de reproduire ce que les logiciels de marketing de masse ont fait dans le domaine des e-mails pendant des années d’âne, en les amenant dans le monde des vidéos plus engageant visuellement. En vérité, cela pourrait déclencher des signaux d’alarme pour certains : les gens seront-ils réceptifs à un argumentaire de vente personnalisé lorsqu’ils découvriront que l’expéditeur n’a pas vraiment pris la peine de faire une vidéo rien que pour eux ?

Mais plus que cela, il y a peut-être quelque chose d’un peu effrayant dans une vidéo générée par l’IA qui utilise des informations personnelles glanées dans une base de données – quelque chose conçu pour être personnel pourrait finalement apparaître comme incroyablement impersonnel lorsque l’utilisateur découvre comment il a été fabriqué.

Les questions soulevées par de tels scénarios continueront de se poser à mesure que l’IA deviendra plus ancrée dans notre vie quotidienne. Favret s’empresse de souligner que si les ventes et le marketing sont des cas d’utilisation évidents pour sa technologie, ce n’est pas le cas purement à propos de ces secteurs verticaux – il voit l’adoption d’un « groupe éclectique d’utilisateurs », y compris les recruteurs, les doyens d’université et les cadres de niveau C.

« Il y a une idée fausse commune selon laquelle Tavus ne travaille qu’avec les équipes de vente et de marketing », a déclaré Favret. « Bien que ce soit l’un de nos objectifs, nous avons des utilisateurs qui appliquent Tavus de manière innovante et puissante tout au long du parcours client. Beaucoup de nos utilisateurs expérimentés appliquent largement Tavus dans leurs organisations, y compris pour la réussite des clients, les produits, le recrutement et d’autres fonctions liées à la mise sur le marché. »

Et OMS exactement se met en avant pour le clonage ?

« Généralement, l’utilisateur se clone lui-même, mais il est également courant pour les entreprises d’avoir une figure centrale, comme un cadre ou un porte-parole, qui enregistre les vidéos pour avoir un visage cohérent de l’entreprise », a déclaré Favret. « Tavus est conçu pour que tous les types d’utilisateurs puissent facilement se cloner en quelques minutes. »

Sous le capot, Tavus dit qu’il utilise l’apprentissage automatique pour former un modèle sur les gestes du visage et les mouvements des lèvres, créant un système qui imite de manière réaliste ces mouvements en synchronisation avec l’audio synthétisé.

En ce qui concerne le déploiement, les entreprises peuvent accéder à Tavus de deux manières principales : la moitié de ses utilisateurs l’utilisent via son tableau de bord Web, tandis que les autres l’intègrent dans leurs propres systèmes via des API ou de manière native.

« Nous voyons fréquemment des équipes de vente utiliser et déployer Tavus directement via la plate-forme, car elles sont capables de générer efficacement de gros lots de vidéos pour les campagnes », a déclaré Favret. « D’autres équipes utiliseront Tavus de manière plus programmatique, en l’intégrant directement dans leurs systèmes. Cela permet aux utilisateurs de créer des flux de travail « pilotés par les événements », où une vidéo Tavus peut être générée et envoyée après un déclencheur.

À titre d’exemple « axé sur les événements », si un client potentiel devait soumettre un formulaire sur le site Web d’une entreprise, l’entreprise pourrait automatiquement générer et envoyer une vidéo Tavus personnalisée à ce prospect en utilisant les données que le client avait soumises.

« Cela permet aux entreprises de tirer parti du moment opportun pour un maximum de conversions sans avoir à attendre qu’un membre de l’équipe enregistre la vidéo », a déclaré Favret.

Abuser

À l’extrémité supérieure du spectre de l’IA générative, nous voyons Microsoft et Google se battre pour voir qui peut mettre leurs intelligences respectives entre les mains des entreprises et des consommateurs le plus rapidement, une bataille que Microsoft semble gagner à cadeau. Dans le même temps, nous voyons toute une série de startups d’IA génératives apparaître, telles que GlossAi, qui utilise l’IA pour aider les entreprises à créer facilement des sketches marketing partageables, tandis que Typeface fait quelque chose de similaire pour la copie marketing et la génération d’images dans l’entreprise.

Spécifique à Tavus, il existe déjà des entreprises comparables depuis quelques années, comme Windsor, qui fait quelque chose de similaire, mais en mettant fortement l’accent sur le commerce électronique. Nous avons également Synthesia, basée à Londres, soutenue par un groupe d’investisseurs de haut niveau, qui consiste davantage à créer des avatars numériques à partir de texte à utiliser dans la formation et les vidéos pratiques.

Il est donc clair que même avant tout le battage médiatique génératif de l’IA de ces derniers mois, il y avait un mouvement croissant dans le monde des startups dans cette direction, sur lequel Tavus cherche maintenant à capitaliser. En effet, au cours de sa courte vie jusqu’à présent, Tavus a attiré des clients assez importants, tels que la société de données immobilières CoStar et la scale-up technologique française AB Tasty.

Cependant, il convient d’envisager une utilisation abusive potentielle de ce type de technologie. Par exemple, y a-t-il quelque chose qui empêche quiconque de télécharger une vidéo de quelqu’un d’autre en train de parler, puis de créer de nouvelles vidéos à partir de ce modèle ? Certes, les exemples de deepfake chicanerie ne manquent pas dans tout le spectre vidéo et vocal. Certaines entreprises, telles que la startup Deep Voodoo des créateurs de South Park, collectent déjà des fonds de capital-risque pour leurs efforts de deepfake. Au fur et à mesure que ce type de technologie s’enracine et se normalise dans la société, il y aura plus de questions sur les implications éthiques de tout cela, même si les intentions sous-jacentes sont bien intentionnées.

Selon Favret, Tavus dispose d’une fonctionnalité intégrée qui rend plus difficile de tromper le système, car il oblige les utilisateurs à effectuer une vérification vocale et à enregistrer en direct sur la plate-forme.

« Cela signifie que les utilisateurs ne peuvent pas télécharger de vidéos d’autres personnes en train de parler », a déclaré Favret. « De plus, les utilisateurs ont tous les droits sur leurs données et leur ressemblance, ce qui leur permet de supprimer ou de retirer leurs vidéos à tout moment. Nous sommes également très attentifs à la manière dont Tavus est utilisé : nous examinons chaque cas d’utilisation avant qu’un utilisateur ne commence avec Tavus, nous nous assurons que le cas d’utilisation respecte les directives de notre communauté et qu’il est éthique. La sécurité et l’éthique sont extrêmement importantes pour nous, surtout compte tenu de la jeunesse de cette technologie dans la société. »

Montre moi l’argent

En termes de modèle commercial, Tavus propose un plan d’introduction de base destiné aux petites entreprises qui coûte 275 $ par mois et a des restrictions telles que le nombre de vidéos qu’ils peuvent créer. Le plan « d’entreprise » personnalisé supprime ces restrictions, bien qu’il n’y ait pas de prix annoncé en place – il adapte essentiellement le prix en fonction de la façon dont une entreprise a l’intention de l’utiliser.

« Les plans Tavus sont personnalisés en fonction du cas d’utilisation et des besoins spécifiques d’une entreprise, mais à un niveau élevé, nous fonctionnons sur un modèle basé sur l’utilisation, où les utilisateurs sont facturés en fonction d’une combinaison du nombre de sièges dont ils disposent ainsi que du nombre de vidéos qu’ils génèrent », a déclaré Favret.

Avant ce cycle d’amorçage, Tavus avait levé un petit montant dans le cadre de sa participation au programme YC en 2021. Sa liste complète d’investisseurs d’amorçage comprend : Sequoia, Accel Partners, Index Ventures, Lightspeed Ventures, YC Continuity, SV Angel, Hack VC, Remus Capital, Mantis Capital, Liquid2 Ventures, Zillionize, Soma Capital, GTMfund, Terra Nova et plusieurs investisseurs providentiels non divulgués.

Source-146