Runway Research vient d’annoncer son prochain modèle d’IA générative, Gen-2, qui donne aux créatifs la possibilité de transformer des mots en vidéos.
Le modèle de génération vidéo Gen-2 de Runaway est formé sur « un ensemble de données interne de 240 millions d’images et un ensemble de données personnalisé de 6,4 millions de clips vidéo ». En d’autres termes, l’ensemble de données est énorme, bien qu’il n’y ait aucune indication quant à savoir si cet ensemble de données personnalisé a été créé en grattant le Web. (s’ouvre dans un nouvel onglet) pour le travail des vidéastes. Peut-être pas la meilleure chose à utiliser si vous envisagez de monétiser votre contenu généré.
Pourtant, Runway ressemble à une évolution assez puissante de l’outil Gen-1 que beaucoup utilisent déjà pour le storyboard et les visuels de pré-production. C’est similaire au générateur vidéo AI de Meta (s’ouvre dans un nouvel onglet) bien que le modèle Gen-2 semble avoir ajouté des modes vraiment intéressants.
Bientôt, l’outil vous permettra de générer une vidéo uniquement à travers du texte. De plus, il existe quelques autres modes que la société ajoute à sa pléthore d’outils de montage vidéo, dont un qui fonctionnera en alimentant l’algorithme d’un clip vidéo et qu’il peut retravailler dans d’autres styles, etc.
Un exemple passionnant dans la vidéo teaser (s’ouvre dans un nouvel onglet) montre un plan panoramique sur des livres posés sur une table. Le modèle Gen-2 l’a transformé en une scène de ville nocturne où les livres sont devenus des gratte-ciel, et bien que ce ne soit pas le plan le plus réaliste, il semble être un outil puissant pour visualiser des idées.
Générez des vidéos avec rien d’autre que des mots. Si vous pouvez le dire, vous pouvez maintenant le voir. Présentation de Text to Video. Avec Gen-2. En savoir plus sur https://t.co/PsJh664G0Q pic.twitter.com/6qEgcZ9QV420 mars 2023
Le document de recherche qui l’accompagne (s’ouvre dans un nouvel onglet) va dans beaucoup plus de détails sur le processus. Il a parcouru un long chemin depuis la conception et il ressort clairement de la vidéo teaser que le facteur de réalisme de sa sortie a connu une augmentation majeure, bien qu’il reste encore du chemin à parcourir avant de pouvoir générer un long métrage Half-Life, par exemple.
Il sera intéressant de voir comment cela se passe et le type de changements qu’il apportera à l’industrie à mesure que ces modèles deviendront de plus en plus avancés. Comme le dit Runway sur sa page à propos « Nous pensons que les techniques d’apprentissage en profondeur appliquées au contenu audiovisuel changeront à jamais l’art, la créativité et les outils de conception. »
Lorsque vous vous inscrivez (s’ouvre dans un nouvel onglet) à Runaway, vous aurez la possibilité de choisir le plan gratuit ainsi que certaines versions payantes, pensant qu’il ne semble pas y avoir d’option pour enregistrer l’intérêt pour le modèle Gen-2 pour le moment. Une plongée dans la chaîne Discord a révélé que la société est susceptible de lancer Gen-2 en tant que version bêta ouverte et payante, mais est actuellement un peu submergée d’intérêt.
Espérons que Gen-2 aura également la possibilité de former votre propre générateur vidéo AI personnalisé, autant que vous le pouvez avec de nombreux modèles d’image.
Si vous n’avez pas lu l’article de Dave où il a expliqué le processus de formation d’un modèle Diffusion sur l’art de son oncle (s’ouvre dans un nouvel onglet), cela peut être un processus plutôt ardu, bien que très gratifiant. Espérons que Runway rendra le processus un peu plus facile.