Il y a quelques semaines, nous avons rendu compte de Runway Gen-2, un outil de conversion de texte en vidéo en ligne, qui génère des clips de 4 secondes en fonction de vos invites. Jusqu’à présent, le service gratuit n’était disponible que dans une version bêta fermée qui fonctionnait via une série de canaux privés sur le serveur Discord de Runway. Cependant, à partir d’aujourd’hui, Gen-2 est disponible pour tout le monde et vous pouvez l’utiliser via le site Web de l’entreprise au lieu de Discord.
Pour utiliser Runway Gen-2, vous devrez créer un compte gratuit et sur le site de Runway, puis accéder à app.runwayml.com/ai-tools/gen-2 pour l’outil (ou cliquer sur le lien dans votre panneau de contrôle là ). La société a mis son outil Gen-1, qui modifie les vidéos existantes pour les rendre différentes (par exemple, transformer les gens en Claymation), accessible à tous pendant des mois, mais Gen-2 prend des invites textuelles simples telles que « robot buvant une bière » et les transforme en clips.
Comme nous l’avons noté dans notre histoire précédente sur Gen-2, les clips vidéo n’ont aucun son et ils ont souvent un mouvement très limité. Bien que vous puissiez télécharger les clips au format MP4, ils ressemblent souvent davantage à des GIF animés. À des fins de visualisation, j’ai converti tous les clips intégrés dans cet article en GIF, mais cela ne semble pas avoir d’effet sur leur fluidité.
Image 1 de 2
Vous pouvez également télécharger une photo, puis donner à Gen-2 une invite lui indiquant d’utiliser cette image comme source d’inspiration. J’ai téléchargé une photo de moi-même et lui ai demandé de montrer « ce type qui boit une bière ».
La personne dans la vidéo me ressemble un peu – c’est un homme blanc chauve d’âge moyen avec une barbe poivre et sel et des lunettes vertes brillantes – mais il ne boit pas vraiment de bière ; ce n’est pas tout à fait clair ce qu’il est censé mettre dans sa bouche.
Après avoir entré votre invite (et éventuellement une photo), vous cliquez sur le bouton Générer et l’outil vous indique si vous êtes dans la file d’attente pour que votre demande soit traitée. Il vous donne ensuite un pourcentage vous indiquant combien de votre vidéo est terminée. Lors de mes tests, il a toujours fallu moins d’une minute entre le moment où j’ai entré mon invite et le moment où la vidéo était terminée. Ceci est cohérent avec ce que j’ai vécu lors de l’utilisation de la version bêta de Gen-2, sauf que, dans ce cas, j’enverrais mon invite à un bot Discord qui n’afficherait pas de pourcentage de progression mais me renverrait simplement la vidéo après une minute ou deux.
Une fois la vidéo terminée, vous la verrez à l’écran et vous pourrez la lire directement ou cliquer sur un bouton pour la télécharger en tant que fichier MP4. Il sera également stocké dans la section des actifs de votre compte.
Contrairement à la version bêta de Gen-2, il semble qu’il y ait une limite au nombre de vidéos que vous pouvez générer gratuitement. Mon compte gratuit affichait une limite de 60 secondes de vidéo, ce qui, à 4 secondes par clip, équivaut à 15 clips.
Si vous utilisez vos crédits ou si vous souhaitez des fonctionnalités supplémentaires telles qu’une mise à l’échelle (résolution plus élevée) ou des vidéos qui ne contiennent pas le filigrane de Runway, vous devez payer pour un compte standard qui coûte 15 $ par mois ou 144 $ par an lorsqu’il est payé en une fois. . Pour ce prix, vous obtenez 125 secondes de vidéo par mois et pouvez payer un supplément pour plus.
Depuis que j’ai eu accès à la bêta privée il y a quelques semaines, j’ai passé beaucoup de temps à jouer avec Gen-2. Je suis impressionné par la qualité de nombreux clips, mais c’est très incohérent et les gens peuvent avoir l’air de venir tout droit de la vallée étrange, avec des expressions étranges dans les yeux ou des parties du corps déformées.
Pour le meilleur ou pour le pire, l’outil est assez mauvais pour recréer des personnages spécifiques. Je lui ai demandé, à plusieurs reprises, de créer des vidéos des personnages de dessins animés Peppa Pig, Paddington Bear et Blue de Blue’s Clues et ils ressemblent un peu à ces personnages et sont généralement des dessins animés, mais les ressemblances ne sont pas très précises. Une image particulière d’un Peppa Pig photoréaliste est vraiment effrayante et semble avoir été extraite d’un film d’horreur.
Image 1 de 4
Vous pouvez également oublier de demander quelque chose impliquant un logo d’entreprise. Je lui ai demandé plusieurs fois de créer des vidéos qui utilisaient le nom ou le logo de Tom’s Hardware et obtenaient des lettres charabia à la place.
Cependant, une chose dans laquelle Runway Gen-2 est vraiment bon est de générer des images de robots buvant des boissons alcoolisées ou faisant d’autres choses de « bar ». Chaque fois que je l’ai demandé pour des robots buvant ou fumant ou dansant ou versant de la bière ou se lavant les mains dans les toilettes des hommes d’un bar, j’ai obtenu un résultat assez décent. J’ai même eu de bons clips de robots faisant de la comédie ou du chant de salon. Demander des robots jouant au billard, au baby-foot ou aux fléchettes dans un bar était plutôt un sac mélangé.
Image 1 de 5
Parmi les autres domaines de réussite que j’ai trouvés, citons les familles qui mangent ensemble et les vues en accéléré des villes ou des scènes de la nature.
Image 1 de 3
Malgré les limites de Runway Gen-2, nous avons vu un certain nombre de personnes très créatives les transformer en films plus longs en assemblant de nombreux clips. L’exemple le plus célèbre d’un film Runway Gen-2 est peut-être la publicité pour la pizza Pepperoni Hugspot Commercial, réalisée par un créateur qui s’appelle Pizza Later. Pizza a ensuite travaillé avec un ami pour créer une publicité pour un faux médicament contre les flatulences appelé FlatuLess, que nous avons intégré ci-dessous.
Notez que la musique et les voix off ont été créées avec d’autres outils d’IA et que tous les clips ont été assemblés par des humains à l’aide d’Adobe After Effects. Les clips semblent provenir d’une ancienne publicité, car Pizza Later a utilisé le filtre VHS Red Giant dessus.
Si vous voulez essayer Runway Gen-2 et voir ce que vous pouvez créer avec, tout ce que vous avez à faire est de vous rendre sur pisteml.com et de créer un compte gratuit.