De fausses images d’IA sexualisant Taylor Swift se sont propagées sur X, anciennement connu sous le nom de Twitter, à partir d’un groupe Telegram dédié au partage d' »images abusives de femmes », a rapporté 404 Media.
Ces images ont commencé à circuler en ligne cette semaine, suscitant rapidement une indignation massive qui pourrait enfin forcer le grand public à prendre en compte les préjudices causés par la diffusion de la pornographie deepfake non consensuelle.
Au moins un membre du groupe Telegram a affirmé être la source de certaines des images Swift, postant sur la chaîne qu’il ne savait pas s’il « devrait se sentir flatté ou contrarié que certaines de ces photos volées sur Twitter soient de ma génération ».
Bien que l’on ne sache pas encore combien d’outils d’IA ont été utilisés pour générer ce flot d’images nuisibles, 404 Media a confirmé que certains membres du groupe Telegram ont utilisé le générateur d’IA texte-image gratuit de Microsoft, Designer.
Selon 404 Media, les images n’ont pas été créées en entraînant un modèle d’IA sur les images de Taylor Swift, mais en piratant des outils comme Designer pour contourner les protections conçues pour empêcher les outils de générer des images de célébrités. Les membres du groupe ont partagé des stratégies pour renverser ces mesures de protection en évitant les invites utilisant « Taylor Swift » et en utilisant à la place des mots-clés comme « Taylor ‘singer’ Swift ». Ils ont ensuite pu générer des images sexualisées en utilisant des mots-clés décrivant « des objets, des couleurs et des compositions qui ressemblent clairement à des actes sexuels », plutôt que d’essayer d’utiliser des termes sexuels, a rapporté 404 Media.
Il est possible que Microsoft ait déjà mis à jour l’outil pour empêcher les utilisateurs d’abuser de Designer. 404 Media et Ars n’ont pas été en mesure de reproduire les résultats sur la base des recommandations du groupe Telegram. Cependant, les images de Swift peuvent toujours être générées à l’aide du hack de mot-clé recommandé.
Jusqu’à présent, Microsoft n’a pas encore vérifié que les images ont été créées à l’aide de l’un de ses outils d’IA, mais la société prend des mesures pour renforcer les filtres sur les invites afin d’éviter toute utilisation abusive future.
Un porte-parole de Microsoft a déclaré à Ars que le géant de la technologie « enquêtait sur ces rapports » et avait « pris les mesures appropriées pour empêcher l’utilisation abusive de nos outils ». Le porte-parole a également noté que le code de conduite de Microsoft interdit l’utilisation des outils Microsoft « pour la création de contenu intime adulte ou non consensuel, et toute tentative répétée de produire du contenu allant à l’encontre de nos politiques peut entraîner une perte d’accès au service.
« Nous avons des équipes qui travaillent au développement de garde-corps et d’autres systèmes de sécurité conformément à nos principes d’IA responsable, y compris le filtrage de contenu, la surveillance opérationnelle et la détection des abus pour atténuer les utilisations abusives du système et contribuer à créer un environnement plus sûr pour les utilisateurs », a déclaré le porte-parole de Microsoft. dit.
Certains membres de la chaîne Telegram ont semblé amusés de voir les images se propager, non seulement sur les réseaux sociaux mais également sur des sites présentant des nus de célébrités et du contenu pour adultes volé, a rapporté 404 Media. Mais d’autres ont réprimandé les membres pour avoir partagé les images en dehors du groupe et avoir risqué la fermeture de la chaîne.
Telegram n’a jusqu’à présent pas répondu aux demandes de commentaires.
De fausses images Swift ont été divulguées pour la première fois sur X
Fuite de Telegram, une grande variété de fausses images ciblant Swift ont commencé à se propager sur X hier.
Ars a constaté que certains messages ont été supprimés, tandis que d’autres restent en ligne, au moment d’écrire ces lignes. Un message X a été vu plus de 45 millions de fois pendant environ 17 heures avant d’être supprimé, a rapporté The Verge. Apparemment alimentant une plus grande diffusion, X a fait la promotion de ces publications sous le sujet tendance « Taylor Swift AI » dans certaines régions, a rapporté The Verge.
The Verge a noté que depuis que ces images ont commencé à se répandre, « un déluge de nouveaux faux graphiques sont apparus ». Selon Fast Company, ces images nuisibles ont été publiées sur X mais se sont rapidement propagées à d’autres plateformes, notamment Reddit, Facebook et Instagram. Certaines plateformes, comme Xinterdisent le partage d’images générées par l’IA, mais semblent avoir du mal à détecter les contenus interdits avant qu’ils ne soient largement visionnés.
Benj Edwards, journaliste d’Ars en matière d’IA, a averti en 2022 que la technologie de génération d’images d’IA progressait rapidement, ce qui permettait de former facilement un modèle d’IA sur seulement une poignée de photos avant de pouvoir l’utiliser pour créer des images fausses mais convaincantes de cette personne en quantités infinies. . Au début, il semblait que c’était peut-être ce qui était arrivé à Swift, mais le rapport de 404 Media a confirmé que les fausses images d’IA n’étaient pas des « deepfakes » classiques mais tiraient parti d’outils gratuits formés sur de grandes quantités de données publiques.
On ne sait actuellement pas combien d’images IA non consensuelles différentes de Swift ont été générées ni dans quelle mesure ces images se sont répandues. 404 Media a trouvé « des dizaines de milliers de favoris, de likes et des milliers de republications » des images en ligne.