Adobe affirme qu’il construit un modèle d’IA pour générer de la vidéo. Mais cela ne révèle pas exactement quand ce modèle sera lancé – ni grand-chose à ce sujet en dehors du fait qu’il existe.
Proposé comme une sorte de réponse à Sora d’OpenAI, Imagen 2 de Google et aux modèles du nombre croissant de startups dans l’espace vidéo naissant de l’IA générative, le modèle d’Adobe – qui fait partie de la famille en expansion de produits d’IA générative Firefly de la société – fera son chemin dans Premiere Pro, la suite de montage vidéo phare d’Adobe, sera disponible plus tard cette année, selon Adobe.
Comme de nombreux outils vidéo d’IA générative aujourd’hui, le modèle d’Adobe crée des séquences à partir de zéro (soit une invite, soit des images de référence) – et il alimente trois nouvelles fonctionnalités dans Premiere Pro : l’ajout d’objets, la suppression d’objets et l’extension générative.
Ils sont assez explicites.
L’ajout d’objets permet aux utilisateurs de sélectionner un segment d’un clip vidéo (le tiers supérieur, par exemple, ou le coin inférieur gauche) et de saisir une invite pour insérer des objets dans ce segment. Lors d’un briefing avec TechCrunch, un porte-parole d’Adobe a montré une photo d’une mallette réelle remplie de diamants générés par le modèle d’Adobe.
Crédits images : Diamants générés par l’IA, gracieuseté d’Adobe.
La suppression d’objets supprime les objets des clips, comme les micros sur perche ou les tasses à café en arrière-plan d’une prise de vue.
Supprimer des objets avec l’IA. Notez que les résultats ne sont pas tout à fait parfaits. Crédits images : Adobe
Quant à l’extension générative, elle ajoute quelques images au début ou à la fin d’un clip (malheureusement, Adobe n’a pas précisé combien d’images). L’extension générative n’est pas destinée à créer des scènes entières, mais plutôt à ajouter des images tampon pour les synchroniser avec une bande-son ou à conserver un plan pendant un rythme supplémentaire, par exemple pour ajouter du poids émotionnel.
Crédits images : Adobe
Pour répondre à la peur des deepfakes qui surgissent inévitablement autour des outils d’IA générative tels que ceux-ci, Adobe annonce qu’il apporte les informations d’identification de contenu (métadonnées permettant d’identifier les médias générés par l’IA) à Premiere. Les informations d’identification de contenu, une norme de provenance des médias qu’Adobe soutient à travers sa Content Authenticity Initiative, étaient déjà présentes dans Photoshop et faisaient partie des modèles Firefly de génération d’images d’Adobe. Dans Premiere, ils indiqueront non seulement quel contenu a été généré par l’IA, mais également quel modèle d’IA a été utilisé pour le générer.
J’ai demandé à Adobe quelles données (images, vidéos, etc.) étaient utilisées pour entraîner le modèle. L’entreprise ne dirait pas, ni comment (ou si) elle rémunère les contributeurs à l’ensemble de données.
La semaine dernière, Bloomberg, citant des sources proches du dossier, a rapporté que les photographes et artistes d’Adobe payaient jusqu’à 120 dollars sur sa plateforme média, Adobe Stock, pour la soumission de courts clips vidéo afin de former son modèle de génération vidéo. Le salaire devrait varier d’environ 2,62 $ par minute de vidéo à environ 7,25 $ par minute en fonction de la soumission, les images de meilleure qualité nécessitant des tarifs proportionnellement plus élevés.
Ce serait un changement par rapport à l’accord actuel d’Adobe avec les artistes et photographes d’Adobe Stock dont il utilise le travail pour former ses modèles de génération d’images. La société verse à ces contributeurs un bonus annuel, et non des frais uniques, en fonction du volume de contenu qu’ils ont en stock et de la manière dont il est utilisé – bien qu’il s’agisse d’un bonus soumis à une formule opaque et non garanti d’année en année.
Le rapport de Bloomberg, s’il est exact, décrit une approche qui contraste fortement avec celle de ses concurrents vidéo génératifs comme OpenAI, qui aurait récupéré des données Web accessibles au public, y compris des vidéos de YouTube, pour former ses modèles. Le PDG de YouTube, Neal Mohan, a récemment déclaré que l’utilisation de vidéos YouTube pour former le générateur de texte en vidéo d’OpenAI constituerait une infraction aux conditions de service de la plateforme, soulignant la fragilité juridique de l’argument d’utilisation équitable d’OpenAI et d’autres.
Des entreprises, dont OpenAI, sont poursuivies en justice pour des allégations selon lesquelles elles violeraient la loi sur la propriété intellectuelle en entraînant leur IA sur du contenu protégé par le droit d’auteur sans fournir de crédit ou de paiement aux propriétaires. Adobe semble avoir l’intention d’éviter cette fin, comme ses concurrents parfois génératifs d’IA Shutterstock et Getty Images (qui ont également des accords pour licencier les données de formation des modèles) et – avec sa politique d’indemnisation de la propriété intellectuelle – se positionnant comme une option vérifiable « sûre » pour clients d’entreprise.
En ce qui concerne le paiement, Adobe ne dit pas combien il en coûtera aux clients pour utiliser les prochaines fonctionnalités de génération vidéo dans Premiere ; on peut supposer que les prix sont toujours en cours de détermination. Mais la société a fait révèlent que le système de paiement suivra le système de crédits génératifs établi avec ses premiers modèles Firefly.
Pour les clients disposant d’un abonnement payant à Adobe Creative Cloud, les crédits génératifs se renouvellent chaque mois, avec des allocations allant de 25 à 1 000 par mois selon le forfait. Les charges de travail plus complexes (par exemple, des images générées à plus haute résolution ou des générations d’images multiples) nécessitent en règle générale plus de crédits.
La grande question dans mon esprit est la suivante : les fonctionnalités vidéo basées sur l’IA d’Adobe seront-elles valeur quel que soit leur coût final ?
Jusqu’à présent, les modèles de génération d’images Firefly ont été largement ridiculisés comme décevants et imparfaits par rapport à Midjourney, au DALL-E 3 d’OpenAI et à d’autres outils concurrents. L’absence de délai de sortie sur le modèle vidéo n’incite pas à croire qu’il évitera le même sort. Le fait qu’Adobe ait refusé de me montrer des démos en direct de l’ajout d’objets, de la suppression d’objets et de l’extension générative n’a pas non plus d’importance, insistant plutôt sur une bobine grésillante préenregistrée.
Peut-être pour couvrir ses paris, Adobe indique qu’il est également en pourparlers avec des fournisseurs tiers sur l’intégration de leurs modèles de génération vidéo dans Premiere, pour alimenter des outils tels que l’extension générative et bien plus encore.
L’un de ces fournisseurs est OpenAI.
Adobe affirme collaborer avec OpenAI sur les moyens d’intégrer Sora dans le flux de travail Premiere. (Un partenariat avec OpenAI est logique étant donné les récentes ouvertures de la startup d’IA à Hollywood ; il est révélateur que Mira Murati, directrice technique d’OpenAI, sera présente au Festival de Cannes cette année.) Parmi les autres premiers partenaires figurent Pika, une startup qui crée des outils d’IA pour générer et éditer des vidéos. , et Runway, qui a été l’un des premiers fournisseurs du marché à proposer un modèle vidéo génératif.
Un porte-parole d’Adobe a déclaré que la société serait disposée à travailler avec d’autres à l’avenir.
Maintenant, pour être clair, ces intégrations sont actuellement plus une expérience de réflexion qu’un produit fonctionnel. Adobe m’a souligné à plusieurs reprises qu’ils étaient en « préversion préliminaire » et en « recherche » plutôt que comme quelque chose avec lequel les clients peuvent s’attendre à jouer dans un avenir proche.
Et cela, je dirais, reflète le ton général du presseur vidéo génératif d’Adobe.
Adobe essaie clairement de signaler avec ces annonces qu’il réfléchit à la vidéo générative, ne serait-ce qu’à titre préliminaire. Ce serait insensé de ne pas le faire : être pris au dépourvu dans la course à l’IA générative, c’est risquer de perdre une nouvelle source de revenus potentielle précieuse, en supposant que les paramètres économiques finissent par jouer en faveur d’Adobe. (Après tout, les modèles d’IA sont coûteux à former, à exécuter et à entretenir.)
Mais ce qu’il montre – les concepts – n’est franchement pas très convaincant. Avec Sora dans la nature et sûrement d’autres innovations à venir, l’entreprise a beaucoup à prouver.