Le procureur de la ville de San Francisco, David Chiu, a intenté une action en justice pour faire fermer 16 des sites Web et applications les plus populaires permettant aux utilisateurs de « nudifier » ou de « déshabiller » des photos de femmes et de filles, principalement de plus en plus harcelées et exploitées par de mauvais acteurs en ligne.
Ces sites, affirme Chiu, sont « intentionnellement » conçus pour « créer de fausses images nues de femmes et de filles sans leur consentement », se vantant que n’importe quel utilisateur peut télécharger n’importe quelle photo pour « voir n’importe qui nu » en utilisant une technologie qui échange de manière réaliste les visages de vraies victimes sur des images explicites générées par l’IA.
« En Californie et dans tout le pays, il y a eu une forte augmentation du nombre de femmes et de filles harcelées et victimisées par des images intimes non consensuelles (NCII) générées par l’IA et « cette tendance inquiétante ne montre aucun signe d’atténuation », indique la plainte de Chiu.
« Étant donné la disponibilité et la popularité généralisées » des sites Web de nudification, « les habitants de San Francisco et de Californie sont confrontés à la menace qu’eux-mêmes ou leurs proches soient victimes de cette manière », prévient la plainte de Chiu.
Lors d’une conférence de presse, Chiu a déclaré que ce « procès inédit » a été intenté pour défendre non seulement les Californiens, mais aussi « un nombre choquant de femmes et de filles à travers le monde » – des célébrités comme Taylor Swift aux collégiennes et lycéennes. Si le fonctionnaire municipal gagne, chaque site de nudify risque une amende de 2 500 dollars pour chaque violation de la loi californienne sur la protection des consommateurs constatée.
En plus des rapports des médias tirant la sonnette d’alarme sur les dommages générés par l’IA, les forces de l’ordre se sont jointes à l’appel pour interdire les soi-disant deepfakes.
Chiu a déclaré que les deepfakes nuisibles sont souvent créés « en exploitant des modèles de génération d’images d’IA open source », tels que les versions antérieures de Stable Diffusion, qui peuvent être affinées ou « peaufinées » pour « déshabiller » facilement les photos de femmes et de filles qui sont fréquemment retirées des réseaux sociaux. Bien que les versions ultérieures de Stable Diffusion rendent ces formes d’utilisation abusives « dérangeantes » beaucoup plus difficiles, les responsables de la ville de San Francisco ont noté lors de la conférence de presse que les versions antérieures de Stable Diffusion, qui peuvent être peaufinées, sont toujours largement disponibles pour être utilisées à mauvais escient par des acteurs malveillants.
Aux États-Unis, les policiers sont tellement embourbés dans les signalements de fausses images sexuelles d’enfants générées par l’IA qu’il est difficile d’enquêter sur les cas d’abus d’enfants hors ligne, et ces cas devraient continuer à augmenter de manière « exponentielle ». Les abus d’IA se sont tellement répandus que « le FBI a mis en garde contre une augmentation des stratagèmes d’extorsion utilisant de la pornographie non consensuelle générée par l’IA », a déclaré Chiu lors de la conférence de presse. « Et l’impact sur les victimes a été dévastateur », portant atteinte à « leur réputation et à leur santé mentale », provoquant « une perte d’autonomie » et « dans certains cas, poussant les individus à devenir suicidaires ».
En poursuivant au nom du peuple de l’État de Californie, Chiu cherche à obtenir une injonction obligeant les propriétaires de sites de nudification à cesser l’exploitation de « tous les sites Web qu’ils possèdent ou exploitent et qui sont capables de créer des images intimes non consensuelles générées par l’IA de personnes identifiables. C’est le seul moyen, a déclaré Chiu, de tenir ces sites « responsables de la création et de la distribution d’images indécentes non consensuelles de femmes et de filles générées par l’IA et de l’aide et de l’encouragement d’autres personnes à perpétrer ce comportement ».
Il souhaite également une ordonnance obligeant « tous les bureaux d’enregistrement de noms de domaine, registres de noms de domaine, hébergeurs Web, processeurs de paiement ou sociétés fournissant des services ou interfaces d’authentification et d’autorisation des utilisateurs » à « empêcher » les opérateurs de sites nudify de lancer de nouveaux sites afin d’empêcher toute nouvelle mauvaise conduite.
La plainte de Chiu censure les noms des sites les plus dangereux découverts par son enquête, mais affirme qu’au cours des six premiers mois de 2024, les sites « ont été visités plus de 200 millions de fois ».
Bien que les victimes aient généralement peu de recours juridiques, Chiu estime que les lois fédérales et étatiques interdisant la pornographie deepfake, la pornographie de vengeance et la pornographie infantile, ainsi que la loi californienne sur la concurrence déloyale, peuvent être utilisées pour faire fermer les 16 sites. Chiu espère qu’une victoire servira d’avertissement aux autres opérateurs de sites nudify quant à la probabilité d’autres fermetures.
« Nous intentons cette action en justice pour faire fermer ces sites, mais nous voulons aussi tirer la sonnette d’alarme », a déclaré Chiu lors de la conférence de presse. « L’IA générative est très prometteuse, mais comme pour toutes les nouvelles technologies, elle entraîne des conséquences imprévues et des criminels cherchent à les exploiter. Nous devons être clairs : il ne s’agit pas d’innovation, mais d’abus sexuel. »