Une femme rousse se tient sur la lune, son visage obscurci. Son corps nu semble appartenir à une affiche que vous trouverez sur le mur de la chambre d’un adolescent hormonal – c’est-à-dire jusqu’à ce que vous atteigniez son torse, où trois bras sortent de ses épaules.
Des systèmes alimentés par l’IA comme Stable Diffusion, qui traduisent des invites de texte en images, ont été utilisés par des marques et des artistes pour créer des images conceptuelles, des impressions primées (bien que controversées) et des campagnes marketing à part entière.
Mais certains utilisateurs, désireux d’explorer le côté le plus obscur des systèmes, les ont testés pour un autre type de cas d’utilisation : la pornographie.
La pornographie IA est à peu près aussi troublante et imparfaite que vous vous y attendiez (cette tête rouge sur la lune n’a probablement pas été générée par quelqu’un avec un fétiche de bras supplémentaire). Mais à mesure que la technologie continue de s’améliorer, elle soulèvera des questions difficiles pour les éthiciens de l’IA et les travailleuses du sexe.
La pornographie créée à l’aide des derniers systèmes de génération d’images est arrivée pour la première fois sur les forums de discussion 4chan et Reddit plus tôt ce mois-ci, après qu’un membre de 4chan a divulgué le système open source Stable Diffusion avant sa sortie officielle. Puis, la semaine dernière, ce qui semble être l’un des premiers sites Web dédiés à la génération de porno AI haute fidélité a été lancé.
Appelé Porn Pen, le site Web permet aux utilisateurs de personnaliser l’apparence de modèles nus générés par l’IA – qui sont tous des femmes – en utilisant des balises basculantes telles que « babe », « modèle de lingerie », « potelé », ethnies (par exemple, « russe » et « Latina » et des arrière-plans (par exemple, « chambre », « douche » et des caractères génériques comme « lune »). Les boutons capturent les modèles de face, de dos ou de côté et modifient l’apparence de la photo générée (par exemple, « photo filmée », « selfie miroir »). Il doit y avoir un bogue sur les selfies miroir, cependant, car dans le flux d’images générées par l’utilisateur, certains miroirs ne reflètent pas réellement une personne – mais bien sûr, ces modèles ne sont pas du tout des personnes. Porn Pen fonctionne comme « Cette personne n’existe pas », mais c’est NSFW.
Sur le forum Hacker News de Y Combinator, un utilisateur prétendant être le créateur décrit Porn Pen comme une « expérience » utilisant des modèles de texte à image de pointe. « J’ai explicitement supprimé la possibilité de spécifier un texte personnalisé pour éviter la génération d’images nuisibles », ont-ils écrit. « De nouvelles balises seront ajoutées une fois que l’algorithme d’ingénierie des invites sera affiné. » Le créateur n’a pas répondu à la demande de commentaire de TechCrunch.
Mais Porn Pen soulève une foule de questions éthiques, comme les biais dans les systèmes de génération d’images et les sources des données dont ils sont issus. Au-delà des implications techniques, on se demande si une nouvelle technologie pour créer du porno personnalisé – en supposant qu’elle se propage – pourrait nuire aux créateurs de contenu pour adultes qui gagnent leur vie en faisant de même.
« Je pense qu’il est quelque peu inévitable que cela se produise lorsque [OpenAI’s] DALL-E l’a fait », Os Keyes, un Ph.D. candidat à l’Université de Seattle, a déclaré TechCrunch par e-mail. « Mais il est toujours déprimant de voir comment les options et les valeurs par défaut reproduisent un regard très hétéronormatif et masculin. »
Ashley, une travailleuse du sexe et organisatrice de pairs qui travaille sur des cas impliquant la modération de contenu, pense que le contenu généré par Porn Pen n’est pas une menace pour les travailleuses du sexe dans son état actuel.
« Il y a une infinité de médias là-bas », a déclaré Ashley, qui ne voulait pas que son nom de famille soit publié de peur d’être harcelée pour son travail. « Mais les gens se différencient non seulement en faisant les meilleurs médias, mais aussi en étant une personne accessible et intéressante. Il faudra beaucoup de temps avant que l’IA ne puisse remplacer cela. »
Sur les sites pornographiques monétisables existants comme OnlyFans et ManyVids, les créateurs adultes doivent vérifier leur âge et leur identité afin que l’entreprise sache qu’ils sont des adultes consentants. Les modèles porno générés par l’IA ne peuvent pas le faire, bien sûr, car ils ne sont pas réels.
Ashley craint cependant que si les sites pornographiques sévissent contre la pornographie IA, cela pourrait entraîner des restrictions plus sévères pour les travailleuses du sexe, qui sont déjà confrontées à une réglementation accrue de la part de législations telles que SESTA/FOSTA. Le Congrès a présenté la Safe Sex Workers Study Act en 2019 pour examiner les effets de cette législation, qui rend le travail du sexe en ligne plus difficile. Cette étude a révélé que « les organismes communautaires [had] ont signalé une augmentation du sans-abrisme des travailleuses du sexe » après avoir perdu la « stabilité économique offerte par l’accès aux plateformes en ligne ».
« SESTA a été vendu comme combattant le trafic sexuel d’enfants, mais il a créé une nouvelle loi pénale sur la prostitution qui n’avait rien sur l’âge », a déclaré Ashley.
Actuellement, peu de lois dans le monde concernent la pornographie deepfake. Aux États-Unis, seules la Virginie et la Californie ont des réglementations limitant certaines utilisations de médias pornographiques contrefaits et contrefaits.
Des systèmes tels que Stable Diffusion « apprennent » à générer des images à partir de texte par exemple. Alimentés par des milliards d’images étiquetées avec des annotations qui indiquent leur contenu – par exemple, une image d’un chien étiqueté « Teckel, objectif grand angle » – les systèmes apprennent que des mots et des phrases spécifiques font référence à des styles artistiques, une esthétique, des lieux spécifiques, etc. .
Cela fonctionne relativement bien dans la pratique. Une invite comme « une peinture d’oiseau dans le style de Van Gogh » donnera de manière prévisible une image Van Gogh-esque représentant un oiseau. Mais cela devient plus délicat lorsque les invites sont plus vagues, font référence à des stéréotypes ou traitent de sujets avec lesquels les systèmes ne sont pas familiers.
Par exemple, Porn Pen génère parfois des images sans personne du tout – probablement un échec du système à comprendre l’invite. D’autres fois, comme mentionné précédemment, cela se manifeste physiquement improbable modèles, généralement avec des membres supplémentaires, des mamelons dans des endroits inhabituels et une chair tordue.
« Par définition [these systems are] va représenter ceux dont le corps est accepté et valorisé dans la société en général », a déclaré Keyes, notant que Porn Pen n’a que des catégories pour les personnes cisnormatives. « Ce n’est pas surprenant pour moi que vous vous retrouviez avec un nombre disproportionné de femmes, par exemple. »
Alors que Stable Diffusion, l’un des systèmes qui sous-tendent probablement Porn Pen, a relativement peu d’images « NSFW » dans son ensemble de données de formation, les premières expériences de Redditors et d’utilisateurs de 4chan montrent qu’il est assez compétent pour générer des deepfakes pornographiques de célébrités (Porn Pen – peut-être pas par hasard – a une option « célébrité »). Et parce que c’est open source, rien n’empêcherait le créateur de Porn Pen d’affiner le système sur des images nues supplémentaires.
« Ce n’est certainement pas génial de générer [porn] d’une personne existante », a déclaré Ashley. « Cela peut être utilisé pour les harceler. »
Le porno deepfake est souvent créé pour menacer et harceler les gens. Ces images sont presque toujours développées sans le consentement du sujet par intention malveillante. En 2019, la société de recherche Sensity AI a découvert que 96 % des vidéos deepfake en ligne étaient de la pornographie non consensuelle.
Mike Cook, un chercheur en IA qui fait partie du collectif Knives and Paintbrushes, dit qu’il est possible que l’ensemble de données inclue des personnes qui n’ont pas consenti à ce que leur image soit utilisée pour la formation de cette manière, y compris des travailleuses du sexe.
« Un grand nombre de [the people in the nudes in the training data] peuvent tirer leurs revenus de la production de pornographie ou de contenu adjacent à la pornographie », a déclaré Cook. « Tout comme de grands artistes, musiciens ou journalistes, les œuvres produites par ces personnes sont utilisées pour créer des systèmes qui sapent également leur capacité à gagner leur vie à l’avenir. »
En théorie, un acteur porno pourrait utiliser les protections du droit d’auteur, la diffamation et potentiellement même les lois sur les droits de l’homme pour combattre le créateur d’une image falsifiée. Mais comme le note un article du MIT Technology Review, la collecte de preuves à l’appui de l’argument juridique peut s’avérer être un défi de taille.
Lorsque des outils d’IA plus primitifs ont popularisé le porno deepfake il y a plusieurs années, une enquête de Wired a révélé que les vidéos deepfake non consensuelles accumulaient des millions de vues sur des sites pornographiques grand public comme Pornhub. D’autres travaux de deepfake ont trouvé leur place sur des sites similaires à Porn Pen – selon les données de Sensity, les quatre principaux sites Web de deepfake porn ont reçu plus de 134 millions de vues en 2018.
« La synthèse d’images par IA est désormais une technologie répandue et accessible, et je ne pense pas que quiconque soit vraiment préparé aux implications de cette ubiquité », a poursuivi Cook. « À mon avis, nous nous sommes précipités très, très loin dans l’inconnu ces dernières années sans se soucier de l’impact de cette technologie. »
Pour Cook, l’un des sites les plus populaires pour la pornographie générée par l’IA s’est développé à la fin de l’année dernière grâce à des accords de partenariat, des références et une API, permettant au service – qui héberge des centaines de deepfakes non consensuels – de survivre aux interdictions de son infrastructure de paiement. Et en 2020, des chercheurs ont découvert un bot Telegram qui a généré des images deepfake abusives de plus de 100 000 femmes, y compris des filles mineures.
« Je pense que nous verrons beaucoup plus de personnes tester les limites de la technologie et les frontières de la société au cours de la prochaine décennie », a déclaré Cook. « Nous devons accepter une certaine responsabilité pour cela et travailler pour éduquer les gens sur les ramifications de ce qu’ils font. »