Contrairement aux IA génératives text-to-image, il n’y a presque rien de disponible pour la vidéo. Mais cela pourrait bientôt changer puisque la start-up Runway a récemment dévoilé son nouveau modèle d’IA : Gen-2.
Fonctionnant de manière similaire à Stable Diffusion (dont Runway a participé à la création, soit dit en passant), Gen-2 fonctionne en prenant des invites de texte pour créer des vidéos à partir de zéro. Comme on le voit sur le site du développeur (s’ouvre dans un nouvel onglet), vous pouvez créer des images aériennes d’une chaîne de montagnes ou d’un coucher de soleil à l’extérieur d’un loft à New York. Une mise à niveau du texte à la vidéo peut ne pas sembler si impressionnante au début, mais elle l’est si vous la comparez à l’effort précédent de Runway.
En février, le développeur a lancé son Modèle Gen-1 (s’ouvre dans un nouvel onglet) qui était plus un éditeur vidéo. Il fallait une sorte de base, comme une animation 3D inachevée ou une personne, avant que le modèle ne superpose cette séquence avec une vidéo créée par l’IA. L’ancienne IA ne pouvait rien créer à partir de zéro.
Modes IA
Les fans de l’ancien modèle pourront continuer à profiter de Gen-1 car ses fonctionnalités deviendront des modes distincts dans Gen-2.
Le mode 01, cependant, est le composant principal de la fonction texte-vidéo. Le deuxième nouveau mode vous permet d’ajouter une image à une invite de texte pour produire de meilleurs résultats. Et avec le troisième mode, il vous suffit de télécharger une image pour générer une vidéo. Une invite de texte ne sera pas nécessaire.
Tout au-delà du mode 03 est tout Trucs Gen-1 (s’ouvre dans un nouvel onglet). Mode 04 : la stylisation applique les « styles de n’importe quelle invite d’image à chaque image de votre vidéo », comme l’ajout d’un effet de feu. Mode 05 : Storyboard transforme les séquences de maquette en vidéo rendue par l’IA. Vient ensuite Masque pour isoler les sujets et les modifier avec des invites simples comme « Ajouter des taches à un labrador pour créer un dalmatien ». Le septième est Render où l’IA génère une vidéo sur un rendu 3D. Le dernier, Customization, fait la même chose que Render, mais avec des personnes.
Disponibilité
Cette technologie est encore à ses débuts. Les aperçus de la démo sont pour le moins plutôt étranges. Ils sont profondément enfoncés dans la vallée étrange alors que les bâtiments se fondent les uns dans les autres et que les gens arborent des regards vides. Même ainsi, la possibilité d’avoir une IA générative texte-vidéo accessible au public est passionnante. Cela peut ouvrir de nouvelles voies à la créativité (ou à la désinformation). Certains géants de la technologie se sont déjà essayés à la vidéo AI, tels que Google et son projet Imagen Videomais ces modèles sont toujours à huis clos.
Quelques rapports (s’ouvre dans un nouvel onglet) affirment qu’il existe une liste d’attente pour un accès anticipé à Gen-2 sur la chaîne Discord privée de Runway. Cependant, la seule version bêta que nous avons trouvée concerne Gen-1. Il est possible qu’il y ait une version bêta Gen-2 plus tard dans l’année, bien qu’il n’y ait pas de mot officiel pour le moment. En attendant, vous pouvez rejoindre le canal Discord pour les mises à jour via le site Web de Runway.