Dall-E et Stable Diffusion n’étaient qu’un début. Alors que les systèmes d’IA générative prolifèrent et que les entreprises s’efforcent de différencier leurs offres de celles de leurs concurrents, les chatbots sur Internet acquièrent le pouvoir d’éditer des images – ainsi que de les créer – avec des sociétés comme Shutterstock et Adobe en tête. Mais ces nouvelles capacités renforcées par l’IA s’accompagnent de pièges familiers, comme la manipulation non autorisée ou le vol pur et simple d’œuvres d’art et d’images en ligne existantes. Les techniques de filigrane peuvent aider à atténuer ce dernier, tandis que la nouvelle technique « PhotoGuard » développée par MIT CSAIL pourrait aider à prévenir le premier.
PhotoGuard fonctionne en modifiant certains pixels d’une image de manière à perturber la capacité d’une IA à comprendre ce qu’est l’image. Ces « perturbations », comme les appelle l’équipe de recherche, sont invisibles à l’œil humain mais facilement lisibles par les machines. La méthode d’attaque « encodeur » pour introduire ces artefacts cible la représentation latente du modèle algorithmique de l’image cible – les mathématiques complexes qui décrivent la position et la couleur de chaque pixel d’une image – empêchant essentiellement l’IA de comprendre ce qu’elle regarde.
La méthode d’attaque « diffusion », plus avancée et plus gourmande en calculs, camoufle une image comme une image différente aux yeux de l’IA. Il va définir une image cible et optimiser les perturbations de son image pour ressembler à sa cible. Toutes les modifications qu’une IA essaie d’apporter à ces images « immunisées » s’appliqueront aux fausses images « cibles », ce qui donnera une image générée d’aspect irréaliste.
« » L’attaque de l’encodeur fait croire au modèle que l’image d’entrée (à éditer) est une autre image (par exemple une image grise) « , Hadi Salman, doctorant au MIT et auteur principal de l’article, a déclaré à Engadget. » Alors que l’attaque par diffusion oblige le modèle de diffusion à apporter des modifications à une image cible (qui peut également être une image grise ou aléatoire).
« Une approche collaborative impliquant des développeurs de modèles, des plateformes de médias sociaux et des décideurs présente une défense solide contre la manipulation d’images non autorisée. Travailler sur cette question urgente est d’une importance primordiale aujourd’hui », a déclaré Salman dans un communiqué. « Et bien que je sois heureux de contribuer à cette solution, beaucoup de travail est nécessaire pour rendre cette protection pratique. Les entreprises qui développent ces modèles doivent investir dans l’ingénierie d’immunisations robustes contre les menaces possibles posées par ces outils d’IA. »