Les artistes se tournent vers la technologie pour lutter contre la menace croissante posée par les générateurs d’images basés sur l’intelligence artificielle tels que Midjourney et Stable Diffusion. De nouvelles techniques leur permettent d’adapter leurs images de quelques pixels pour qu’elles paraissent belles aux humains mais « empoisonnent le puits » pour les outils d’IA.
Alors que certains modèles d’images d’IA utilisent uniquement du contenu sous licence, notamment Firefly d’Adobe et ceux de Google ou Meta, d’autres sont formés en grattant le Web ouvert à la recherche de matériel source.
Cela a créé un conflit entre les créatifs qui créent des œuvres d’art et les partagent en ligne, et les technologues qui affirment que l’IA s’inspire simplement des œuvres, un peu comme un étudiant en art humain.
Il y a eu des tentatives pour arrêter le scraping via des commandes de non-suivi sur une page Web, mais cela n’est pas toujours respecté. Un nouvel outil appelé Nightshade permet aux artistes de tirer parti de la façon dont l’IA est formée, ce qui entraîne des conséquences inattendues lors de la génération d’images.
Comment fonctionne Nightshade ?
Nightshade modifie subtilement les pixels d’une image d’une manière qui endommage l’algorithme d’IA et la technologie de vision par ordinateur, mais les laisse inchangés pour les yeux humains. Si celles-ci sont récupérées par le modèle d’IA, cela peut entraîner une classification incorrecte des images.
Si un utilisateur accède à un générateur d’images IA et demande, par exemple, un ballon rouge sur un ciel bleu, au lieu de la boule rouge, il pourrait recevoir l’image d’un œuf ou d’une pastèque.
C’est la preuve que le générateur d’images que vous utilisez a vu son ensemble de données empoisonné, a expliqué TJ Thomson de l’Université RMIT, non impliqué dans Nightshade.
Écrivant dans The Conversation, Thomson a expliqué : « Plus le nombre d’images « empoisonnées » est élevé dans les données d’entraînement, plus la perturbation est importante. En raison du fonctionnement de l’IA générative, les dommages causés par les images « empoisonnées » affectent également les mots-clés d’invite associés.
Pourquoi est-ce important?
Un nombre croissant de générateurs de texte en image sont formés à l’aide de données sous licence. Par exemple, Adobe a conclu un accord avec Shutterstock et Getty Images a construit son propre générateur d’IA formé sur sa bibliothèque d’images.
Les personnes formées aux images accessibles au public sur le Web ouvert sont de plus en plus confrontées à des poursuites judiciaires, à des restrictions de non-scrape de la part de différents sites Web et à des critiques de la part des artistes.
« Un nombre modéré d’attaques Nightshade peuvent déstabiliser les fonctionnalités générales d’un modèle génératif texte-image, désactivant ainsi sa capacité à générer des images significatives », a écrit l’équipe de l’Université de Chicago derrière Nightshade dans son article publié sur le serveur de pré-impression arXiv. .
Ils considèrent cet outil comme une « dernière ligne de défense », à utiliser lorsque les entreprises refusent de respecter les règles de non-grattage ou continuent d’utiliser du contenu protégé par le droit d’auteur pour la génération d’images.
Que se passe-t-il ensuite ?
Comme dans toute bataille entre deux camps travaillant dans l’espace technologique, il y aura probablement des ripostes de la part des générateurs d’images. Cela pourrait prendre la forme d’ajustements de l’algorithme pour contrer les changements de Nightshade.
Les entreprises affinent leurs modèles en classant les humains entre différentes images. Avant le lancement de la version 6, les développeurs de Midjourney ont demandé aux utilisateurs humains de « classer la plus belle » parmi une sélection de deux images.
En fin de compte, cela dépendra de la réglementation. Les lois sur le droit d’auteur devront être adaptées pour refléter les préoccupations des artistes concernant la saisie des données, mais également les résultats générés par les outils d’image de l’IA, en particulier lorsqu’il existe de nombreuses incitations à créer une image.