La plateforme artistique d’intelligence artificielle Leonardo a lancé un nouvel outil de conversion d’image en vidéo appelé Motion. Construit sur Stable Video Diffusion, le modèle peut transformer une image générée en courts clips vidéo avec des résultats impressionnants.
La startup d’IA générative, qui dispose également d’une application qui vous permet de transformer des croquis en œuvres d’art, a levé 31 millions de dollars le mois dernier pour développer ses services destinés aux consommateurs et aux entreprises.
L’outil d’animation AI fonctionne quel que soit le style d’image d’origine et produit entre trois et quatre secondes de séquence. Il ne vous permet actuellement pas d’augmenter la durée comme le font Pika 1.0 et Runway.
Comment ça marche?
Nous venons de mettre à jour Motion pour une cohérence et une fidélité encore meilleures. Disponible dès maintenant pour tous les utilisateurs. Plus de mises à jour bientôt. 🎬 pic.twitter.com/KMWj68yIm228 décembre 2023
Utiliser Motion est aussi simple que de cliquer sur un bouton sur n’importe quelle image dans Leonardo. Cela fonctionne à peu près de la même manière que vous pouvez remixer ou mettre à l’échelle une image. Cliquez sur le bouton et cela crée une vidéo.
Pour le moment, le seul contrôle que vous avez sur la sortie est la quantité de mouvement, mais j’ai été impressionné par la façon dont il interprète l’image et crée l’animation.
Vous pouvez également rendre toute sortie vidéo privée ou la rendre disponible sur le flux public afin que d’autres utilisateurs de Leonardo puissent la trouver. Motion est disponible pour tous les utilisateurs, produit un fichier mp4 et chaque génération prend 25 jetons.
Quel est le résultat ?
Leonardo Motion est une version adaptée de Stable Video Diffusion construite par StabilityAI, mais contrairement à l’implémentation brute, elle applique certains des réglages fins déployés sur d’autres modèles Leonardo.
Le résultat peut être aléatoire en termes de qualité du mouvement, mais quand cela fonctionne, il est incroyablement impressionnant. Les gens ont partagé des extraits de mouvements humains réalistes, de lumière se reflétant sur le verre et même de feux d’artifice explosant dans le ciel.
L’apparence réelle de la sortie dépend de la qualité de l’entrée. Plus la résolution de l’image de départ est élevée, meilleur est l’aspect de la vidéo de sortie.
Autres nouveautés
Leonardo.ai s’appuie en grande partie sur les différents modèles de diffusion stable, adaptés avec des fonctionnalités affinées et des images sources améliorées dans les données d’entraînement. Au fil du temps, ils intègrent d’autres outils de diffusion stable au fur et à mesure qu’ils deviennent disponibles.
Motion est basé sur Stable Video Diffusion et une autre nouvelle fonctionnalité, Realtime Gen, s’appuie sur SDXL Turbo que j’ai examiné au début du mois. Il permet la génération d’images IA au fur et à mesure que vous tapez et constitue un bon moyen de tester des idées rapides sans attendre la génération d’une image complète.
Vous pouvez utiliser Realtime Gen pour tester une idée, utiliser la fonction créative de mise à l’échelle pour la transformer en une image de plus haute résolution, puis l’exécuter via Motion pour créer une courte vidéo.
Global Motion est un bon ajout à la gamme croissante d’outils vidéo IA. Il n’est pas aussi riche en fonctionnalités que les modèles les plus établis, mais fait un bon travail d’animation des images existantes et est susceptible de s’améliorer avec le temps à mesure que de nouvelles versions de Stable Video Diffusion sont publiées.