Des chercheurs d’Apple ont dévoilé Keyframer, un prototype d’outil d’animation générative d’IA qui permet aux utilisateurs d’ajouter du mouvement aux images 2D en décrivant comment elles doivent être animées.
Dans un article de recherche publié le 8 février, Apple a déclaré que les grands modèles de langage (LLM) sont « sous-explorés » dans l’animation malgré le potentiel qu’ils ont montré dans d’autres supports de création comme l’écriture et la génération d’images. L’outil Keyframer basé sur LLM est présenté comme un exemple de la façon dont la technologie pourrait être appliquée.
En utilisant le GPT4 d’OpenAI comme modèle de base, Keyframer peut prendre des fichiers SVG (Scalable Vector Graphic) – un format d’illustration qui peut être redimensionné sans interférer avec la qualité – et générer du code CSS pour animer l’image en fonction d’une invite de texte. Il vous suffit de télécharger l’image, de taper quelque chose comme « faire scintiller les étoiles » dans la zone d’invite et d’appuyer sur générer. Les exemples fournis dans le document de recherche montrent comment une illustration de Saturne peut passer d’une couleur d’arrière-plan à l’autre ou montrer des étoiles apparaissant et sortant du premier plan.
Les utilisateurs peuvent produire plusieurs conceptions d’animation en un seul lot et ajuster les propriétés telles que les codes de couleur et la durée des animations dans une fenêtre séparée. Aucune expérience en codage n’est nécessaire car Keyframer convertit automatiquement ces modifications en CSS, bien que le code lui-même soit également entièrement modifiable. Cette approche basée sur la description est beaucoup plus simple que d’autres formes d’animation générées par l’IA, qui nécessitent généralement plusieurs applications différentes et une certaine expérience en codage.
Un motion designer professionnel qui a participé aux recherches d’Apple a déclaré : « Une partie de moi s’inquiète du fait que ces outils remplacent des emplois, car le potentiel est si élevé. Mais je pense qu’apprendre à leur sujet et les utiliser en tant qu’animateurs n’est qu’un outil supplémentaire dans notre boîte à outils. Cela ne fera qu’améliorer nos compétences. C’est vraiment excitant.
Il reste néanmoins un long chemin à parcourir. Keyframer n’est pas encore accessible au public et l’étude utilisateur menée dans le cadre du document de recherche d’Apple ne comprenait que 13 personnes, qui ne pouvaient utiliser que deux images SVG simples et présélectionnées lors de l’expérimentation avec l’outil.
Apple a également pris soin de mentionner ses limites dans le document, précisant que Keyframer se concentre sur les animations Web telles que les séquences de chargement, la visualisation de données et les transitions animées. En revanche, le type d’animation que l’on voit dans les films et les jeux vidéo est beaucoup trop complexe pour être produit à l’aide de seules descriptions – du moins pour l’instant.
Keyframer est l’une des nombreuses innovations en matière d’IA générative annoncées par Apple ces derniers mois. En décembre, la société a lancé Splats gaussiens humains (HUGS), qui peut créer des avatars humains prêts à être animés à partir de clips vidéo. La semaine dernière, Apple a également publié MGIE, un nouveau modèle d’IA capable de modifier des images à l’aide de descriptions textuelles.