Les avancées des IA génératives, notamment avec la mise à jour Vidu 1.5 de Shengshu, promettent de révolutionner la création vidéo dans l’industrie cinématographique. Cette technologie permet une meilleure cohérence visuelle, offrant un contrôle accru sur les angles de caméra et les actions des personnages sans les défauts des vidéos générées précédemment. En rendant la production vidéo plus accessible, elle vise à allier précision technique et créativité, tout en réduisant le besoin de montage manuel.
Les avancées des IA génératives dans l’industrie du cinéma
Les jumeaux numériques et le développement de jeux témoignent des progrès impressionnants des IA génératives dans le domaine des médias et du divertissement. Cependant, un tournant se dessine à l’horizon. La technologie apportée par Shengshu pourrait transformer radicalement la manière dont les cinéastes et Hollywood opèrent, selon le point de vue que l’on adopte.
Vidu 1.5 : Une révolution dans la création vidéo
Le secteur cinématographique a déjà exploré, voire tenté, d’intégrer la vidéo générative, mais des réserves subsistent. Les vidéos générées ne correspondent souvent pas aux attentes : elles apparaissent saccadées et trahissent leur nature artificielle.
Un aperçu de Sora d’OpenAI a révélé les défis liés à la cohérence visuelle. Il est fréquent que la taille et l’apparence des objets varient au fil d’une vidéo générée, rendant la post-production nécessaire. De plus, les vidéos générées par IA peinent encore à reproduire l’authenticité de la lumière interagissant avec des personnages créés numériquement.
Avec la mise à jour majeure Vidu 1.5, Shengshu vise à offrir davantage de contrôle à l’utilisateur. Les angles de caméra, les actions des personnages et les expressions subtiles sont désormais capturés sans produire de vidéos saccadées. Les séquences finales ressemblent à des vidéos traditionnelles, avec moins de sauts brusques et de transitions indésirables. Imaginez-vous dans le fauteuil du réalisateur, dirigeant des acteurs en direct, mais avec des instructions textuelles au lieu d’un équipement coûteux.
Un exemple marquant est la nouvelle fonctionnalité de cohérence multi-entités de Vidu 1.5, une première dans son genre, capable de fusionner des images disparates. Par exemple, en téléchargeant un portrait d’Elon Musk, une image d’une chemise à motifs roses et une photo d’un scooter, vous pouvez obtenir une vidéo cohérente d’Elon vêtu de la chemise tout en profitant d’une balade en scooter.
Dans un autre scénario utilisant la fonction de cohérence multi-angles, vous pouvez télécharger trois images d’un même mannequin sous des angles variés. Le résultat ? Vidu 1.5 réussit à prédire avec une précision impressionnante l’apparence du mannequin sous n’importe quel angle, tout en maintenant la continuité visuelle, même avec des détails complexes comme ceux d’une robe.
Vous pouvez également contrôler la cinématographie avec des commandes textuelles pour zoomer, panoramiquer, incliner ou faire pivoter les séquences, tout en produisant des vidéos en haute résolution de 720p ou 1080p.
Cette mise à jour 1.5 enrichit également le support pour les animateurs et les artistes 2D, avec des styles d’animation variés et des effets spéciaux, idéaux pour ceux spécialisés dans les genres de fantasy japonaise et d’anime hyper-réaliste. Vidu 1.5 offre des visuels améliorés, tels que des flammes dynamiques et un éclairage optimisé pour représenter la lumière et les ombres plus fidèlement.
En s’appuyant sur un modèle multimodal texte-image déjà performant, Vidu 1.5 vise à rendre la production vidéo de haute qualité accessible à tous. Plutôt que de remplacer la créativité humaine, cette technologie cherche à allier précision technique et potentiel créatif.
En effet, cette mise à jour pourrait réduire considérablement la nécessité d’un montage manuel, résolvant ainsi un problème majeur des vidéos génératives : l’incohérence visuelle. Cela signifie que les créatifs pressés par le temps pourront consacrer plus d’énergie à l’idéation de concepts, au lieu de passer des heures en post-production. Oserions-nous affirmer que les utilisateurs de Vidu peuvent presque produire des clips de style Hollywood sans un budget de taille Hollywood ?