Les moteurs de recherche populaires comme Google et Bing facilitent la découverte de pornographie deepfake non consensuelle en la plaçant en haut des résultats de recherche, a rapporté jeudi NBC News.
Ces deepfakes controversés superposent des visages de vraies femmes, souvent des célébrités, sur les corps d’artistes adultes pour donner l’impression qu’ils se livrent à des relations sexuelles réelles. Grâce en partie aux progrès de l’IA générative, il existe désormais un marché noir en plein essor pour le porno deepfake qui pourrait être découvert grâce à une recherche Google, avait précédemment rapporté NBC News.
NBC News a découvert le problème en désactivant la recherche sécurisée, puis en combinant les noms de 36 célébrités féminines avec des termes de recherche évidents tels que « deepfakes », « deepfake porn » et « faux nus ». Bing a généré 35 fois des liens vers des vidéos deepfake dans les meilleurs résultats, tandis que Google l’a fait 34 fois. Bing a également fait apparaître « de fausses photos nues d’anciennes actrices adolescentes de Disney Channel » en utilisant des images où les acteurs semblent mineurs.
Un porte-parole de Google a déclaré à NBC que le géant de la technologie comprend « à quel point ce contenu peut être pénible pour les personnes concernées » et « travaille activement pour apporter davantage de protections à la recherche ».
Selon le porte-parole de Google, ces contenus controversés apparaissent parfois parce que « Google indexe les contenus qui existent sur le Web », « comme n’importe quel moteur de recherche ». Mais alors que les recherches utilisant des termes tels que « deepfake » peuvent générer des résultats cohérents, Google conçoit « activement » des « systèmes de classement pour éviter de choquer les gens avec un contenu inattendu, nuisible ou explicite qu’ils ne recherchent pas », a déclaré le porte-parole.
Actuellement, le seul moyen de supprimer la pornographie deepfake non consensuelle des résultats de recherche Google est pour la victime de soumettre un formulaire personnellement ou par l’intermédiaire d’un « représentant autorisé ». Ce formulaire exige que les victimes remplissent trois conditions : montrer qu’elles sont « représentées de manière identifiable » dans le deepfake ; les « images en question sont fausses et les représentent faussement » comme « nues ou dans une situation sexuellement explicite » ; et les images ont été distribuées sans leur consentement.
Bien que cela donne aux victimes un certain nombre de mesures pour supprimer le contenu, les experts craignent que les moteurs de recherche doivent faire davantage pour réduire efficacement la prévalence de la pornographie deepfake disponible en ligne, qui augmente actuellement à un rythme rapide.
Ce problème émergent touche de plus en plus les gens ordinaires et même les enfants, et pas seulement les célébrités. En juin dernier, des experts en sécurité des enfants ont découvert des milliers d’images sexuelles d’enfants, réalistes mais fausses, échangées en ligne, à peu près au même moment où le FBI avertissait que l’utilisation de deepfakes générés par l’IA dans les programmes de sextorsion était en augmentation.
Et le porno deepfake non consensuel n’est pas seulement commercialisé sur les marchés noirs en ligne. En novembre, la police du New Jersey a lancé une enquête après que des adolescents du secondaire ont utilisé des générateurs d’images IA pour créer et partager de fausses photos nues de camarades de classe.
Alors que les entreprises technologiques semblent lentes à arrêter la montée des deepfakes, certains États ont adopté des lois criminalisant la distribution de deepfake porn. En juillet dernier, la Virginie a modifié sa loi existante criminalisant la vengeance pornographique pour inclure toute « image vidéo ou image fixe faussement créée ». En octobre, New York a adopté une loi spécifiquement axée sur l’interdiction de la pornographie deepfake, imposant une amende de 1 000 dollars et jusqu’à un an de prison aux contrevenants. Le Congrès a également introduit une législation prévoyant des sanctions pénales en cas de diffusion de deepfake porn.
Bien que Google ait déclaré à NBC News que ses fonctionnalités de recherche « n’autorisent pas les médias manipulés ou les contenus sexuellement explicites », l’enquête du média a apparemment conclu le contraire. NBC News a également noté que la boutique d’applications Play de Google héberge une application qui était auparavant commercialisée pour créer de la pornographie deepfake, bien qu’elle interdise « les applications déterminées à promouvoir ou à perpétuer des images, des vidéos et/ou des textes manifestement trompeurs ou trompeurs ». Cela suggère que les efforts correctifs de Google pour bloquer les images trompeuses peuvent être incohérents.
Google a déclaré à Ars qu’il renforcerait bientôt ses politiques contre les applications présentant du contenu restreint généré par l’IA dans le Play Store. Une politique d’IA générative entrant en vigueur le 31 janvier exigera que toutes les applications se conforment aux politiques des développeurs qui interdisent le contenu restreint généré par l’IA, y compris le contenu trompeur et le contenu qui facilite l’exploitation ou l’abus des enfants.
Des experts ont déclaré à NBC News que « le manque de patrouille proactive de Google en cas d’abus en a fait, ainsi que d’autres moteurs de recherche, des plateformes utiles pour les personnes cherchant à s’engager dans des campagnes de harcèlement deepfake ».
Google est actuellement « en train de mettre en place des mesures de protection plus étendues, en mettant un accent particulier sur la suppression de la nécessité pour les victimes connues de demander la suppression de contenu une par une », a déclaré le porte-parole de Google à NBC News.
Le porte-parole de Microsoft a déclaré à Ars que Microsoft avait mis à jour son processus de signalement des problèmes liés aux recherches Bing pour inclure les images intimes non consensuelles (NCII) utilisées dans les « deepfakes » en août dernier, car elles étaient devenues une « préoccupation importante ». Comme Google, Microsoft permet aux victimes de signaler les deepfakes NCII en soumettant un formulaire Web pour demander la suppression des résultats de recherche, sachant que tout partage de NCII est « une violation flagrante de la vie privée et de la dignité personnelle avec des effets dévastateurs pour les victimes ».
Dans le passé, le président de Microsoft, Brad Smith, a déclaré que parmi tous les dangers que pose l’IA, ce sont les deepfakes qui l’inquiètent le plus, mais les deepfakes qui alimentent les « opérations de cyberinfluence étrangère » le préoccupent apparemment plus que le deepfake porno.
Cette histoire a été mise à jour le 11 janvier pour inclure des informations sur la politique de contenu généré par l’IA de Google et le 12 janvier pour inclure des informations de Microsoft.