L’année dernière, Adobe a lancé Firefly, son dernier modèle d’IA générative basé sur son précédent SenseiAI, et la société montre maintenant comment elle utilisera son application de montage vidéo, Premiere Pro. Dans un premier aperçu, il a démontré quelques fonctionnalités clés arrivant plus tard cette année, notamment l’ajout et la suppression d’objets, l’extension générative et le texte en vidéo.
Les nouvelles fonctionnalités seront probablement populaires, car le nettoyage vidéo est une tâche courante (et douloureuse). La première fonctionnalité, Generative Extend, résout un problème auquel les monteurs sont confrontés dans presque chaque montage : les clips trop courts. « Ajoutez des images de manière transparente pour allonger les clips, il est donc plus facile de synchroniser parfaitement les modifications et d’ajouter des transitions fluides », déclare Adobe. Pour ce faire, il utilise l’IA pour créer des médias supplémentaires, aidant ainsi à couvrir une modification ou une transition.
Un autre problème courant concerne les éléments indésirables dont vous ne voulez pas dans une photo et qui peuvent être difficiles à supprimer, ou l’ajout d’éléments que vous faire vouloir. L’ajout et la suppression d’objets de Premiere Pro résolvent ce problème, encore une fois en utilisant l’IA générative de Firefly. « Sélectionnez et suivez simplement les objets, puis remplacez-les. Supprimez les éléments indésirables, changez la garde-robe d’un acteur ou ajoutez rapidement des éléments décoratifs tels qu’un tableau ou des fleurs photoréalistes sur un bureau », écrit Adobe.
Adobe montre quelques exemples, ajoutant une pile de diamants à une mallette via une invite de texte (générée par Firefly). Il supprime également une vilaine boîte utilitaire, modifie le cadran de la montre et ajoute une cravate au costume d’un personnage.
La société a également montré un moyen d’importer des modèles d’IA personnalisés. L’un, appelé Pika, alimente Generative Extend, tandis qu’un autre (Sora d’OpenAI) peut générer automatiquement des B-Roll (captures vidéo). Cette dernière solution sera certainement controversée car elle pourrait potentiellement supprimer des milliers d’emplois, mais elle en est encore « actuellement aux premiers stades de recherche », a déclaré Adobe dans la vidéo. La société indique qu’elle ajoutera des « informations d’identification de contenu » à ces prises de vue, afin que vous puissiez voir ce qui a été généré par l’IA, y compris la société derrière le modèle.
Une fonctionnalité similaire est également disponible dans « Text to Video », vous permettant de générer des séquences entièrement nouvelles directement dans l’application. « Tapez simplement du texte dans une invite ou téléchargez des images de référence. Ces clips peuvent être utilisés pour imaginer et créer des storyboards, ou pour créer un rouleau B pour augmenter les séquences d’action en direct », a déclaré Adobe. La société semble commercialiser cette fonctionnalité assez rapidement, étant donné que la vidéo générative d’IA est apparue pour la première fois il y a quelques mois seulement.
Ces fonctionnalités arriveront plus tard cette année, mais Adobe présentera également des mises à jour à tous les utilisateurs en mai. Ceux-ci incluent des poignées de fondu interactives pour faciliter les transitions, un badge Essential Sound avec marquage de catégorie audio (« L’IA marque automatiquement les clips audio comme dialogue, musique, effets sonores ou ambiance, et ajoute une nouvelle icône pour que les éditeurs obtiennent un accès instantané en un seul clic au bonnes commandes pour le travail »), des badges d’effet et des formes d’onde repensées dans la timeline.