La génération vidéo basée sur l’IA est un marché en vogue suite à la sortie du modèle Sora par OpenAI le mois dernier. Deux anciens de DeepMind, Yishu Miao et Ziyu Wang, ont rendu public leur outil de génération vidéo Haiper avec son propre modèle d’IA en dessous.
Miao, qui travaillait auparavant chez TikTok au sein de l’équipe Global Trust & Safety, et Wang, qui a travaillé comme chercheur scientifique pour DeepMind et Google, ont commencé à travailler sur l’entreprise en 2021 et l’ont officiellement constituée en 2022.
Le duo possède une expertise en apprentissage automatique et a commencé à travailler sur le problème de la reconstruction 3D à l’aide de réseaux de neurones. Après une formation sur les données vidéo, Miao a mentionné à TechCrunch lors d’un appel qu’ils avaient découvert que la génération vidéo était un problème plus fascinant que la reconstruction 3D. C’est pourquoi Haiper a fini par se concentrer sur la génération vidéo il y a environ six mois.
Haiper a soulevé 13,8 millions de dollars lors d’un tour de table mené par Entreprises de poulpe avec la participation de Capital 5 ans. Avant cela, des anges comme Phil Blunsom et Nando de Freitas a aidé l’entreprise à lever un tour de pré-amorçage de 5,4 millions de dollars en avril 2022.
Service de génération vidéo
Les utilisateurs peuvent accéder au site de Haiper et commencer à générer des vidéos gratuitement en tapant des invites textuelles. Il existe cependant certaines limites. Vous ne pouvez générer qu’une vidéo HD de deux secondes et une vidéo de qualité légèrement inférieure pouvant aller jusqu’à quatre secondes.
Crédits images : Haiper
Le site propose également des fonctionnalités telles que l’animation de votre image et la repeinture de votre vidéo dans un style différent. De plus, la société travaille à introduire des fonctionnalités telles que la possibilité d’étendre une vidéo.
Miao a déclaré que la société vise à garder ces fonctionnalités gratuites afin de créer une communauté. Il a noté qu’il est « trop tôt » dans le parcours de la startup pour penser à créer un produit d’abonnement autour de la génération vidéo. Cependant, il a collaboré avec des sociétés comme JD.com pour explorer des cas d’utilisation commerciale.
Nous avons utilisé l’une des invites originales de Sora pour générer un exemple de vidéo : « Plusieurs mammouths laineux géants s’approchent en marchant dans une prairie enneigée, leur longue fourrure laineuse souffle légèrement dans le vent pendant qu’ils marchent, des arbres couverts de neige et des montagnes aux sommets enneigés spectaculaires. la distance, la lumière du milieu de l’après-midi avec des nuages vaporeux et un soleil haut au loin créent une lueur chaleureuse, la vue basse de la caméra est époustouflante, capturant le grand mammifère à fourrure avec une belle photographie et une profondeur de champ.
Construire un modèle vidéo de base
Alors que Haiper se concentre actuellement sur son site Web destiné aux consommateurs, l’entreprise souhaite créer un modèle de génération vidéo de base qui pourrait être proposé à d’autres. La société n’a rendu public aucun détail sur le modèle.
Miao a déclaré avoir contacté en privé un groupe de développeurs pour essayer son API fermée. Il s’attend à ce que les commentaires des développeurs soient très importants, l’entreprise réitérant rapidement le modèle. Haiper a également pensé à ouvrir ses modèles sur toute la ligne pour permettre aux utilisateurs d’explorer différents cas d’utilisation.
Le PDG estime qu’à l’heure actuelle, il est important de résoudre le problème de l’étrange vallée – un phénomène qui évoque des sentiments étranges lorsque les gens voient des figures humaines générées par l’IA – dans la génération vidéo.
« Nous ne travaillons pas à résoudre des problèmes dans le domaine du contenu et du style, mais nous essayons de travailler sur des questions fondamentales telles que l’apparence des humains générés par l’IA lorsqu’ils marchent ou que la neige tombe », a-t-il déclaré.
L’entreprise compte actuellement une vingtaine d’employés et recrute activement pour plusieurs postes dans les domaines de l’ingénierie et du marketing.
Concurrence à venir
Sora, récemment publié par OpenAI, est probablement le concurrent le plus populaire de Haiper à l’heure actuelle. Cependant, il existe d’autres acteurs comme Google et Runway, soutenu par Nvidia, qui ont levé plus de 230 millions de dollars de financement. Google et Meta disposent également de leurs propres modèles de génération vidéo. L’année dernière, Stability AI a annoncé le modèle Stable Diffusion Video dans un aperçu de recherche.
Rebecca Hunt, partenaire chez Octopus Ventures, estime qu’au cours des trois prochaines années, Haiper devra construire un modèle de génération vidéo solide pour se différencier sur ce marché.
« En réalité, seule une poignée de personnes sont en mesure d’y parvenir ; c’est l’une des raisons pour lesquelles nous avons souhaité soutenir l’équipe Haiper. Une fois que les modèles auront atteint un point qui transcende l’étrange vallée et reflète le monde réel et toute sa physique, il y aura une période où les applications seront infinies », a-t-elle déclaré à TechCrunch par courrier électronique.
Alors que les investisseurs cherchent à investir dans des startups de génération vidéo basées sur l’IA, ils pensent également que la technologie a encore beaucoup à faire.
« On a l’impression que la vidéo IA est au niveau GPT-2. Nous avons fait de grands progrès au cours de la dernière année, mais il reste encore du chemin à parcourir avant que les consommateurs ordinaires utilisent ces produits quotidiennement. Quand le « moment ChatGPT » arrivera-t-il pour la vidéo ? » Justine Moore de a16z a écrit l’année dernière.
L’article indiquait précédemment Geoffrey Hinton en tant qu’investisseur providentiel. Bien que Hinton ait travaillé avec les fondateurs de la startup avant la création de l’entreprise, il n’est pas impliqué en tant qu’investisseur.