Un tribunal pour mineurs espagnol a condamné 15 mineurs à un an de probation après avoir diffusé des images nues générées par l’IA de camarades de classe dans deux groupes WhatsApp.
Les mineurs ont été accusés de 20 chefs d’accusation pour création d’images d’abus sexuel sur mineurs et de 20 chefs d’accusation pour atteinte à l’intégrité morale de leurs victimes. En plus de la probation, les adolescents devront également suivre des cours sur le genre et l’égalité, ainsi que sur « l’utilisation responsable des technologies de l’information et de la communication », selon un communiqué du Tribunal pour mineurs de Badajoz.
De nombreuses victimes avaient trop honte pour s’exprimer lorsque les fausses images inappropriées ont commencé à se répandre l’année dernière. Avant le prononcé de la peine, la mère d’une des victimes a déclaré au Guardian que des filles comme sa fille « étaient complètement terrifiées et souffraient de terribles crises d’angoisse parce qu’elles souffraient de cela en silence ».
Le tribunal a confirmé que les adolescentes avaient utilisé l’intelligence artificielle pour créer des images où leurs camarades de classe « apparaissent nues » en récupérant des photos de leurs profils de réseaux sociaux et en superposant leurs visages sur « d’autres corps féminins nus ».
L’utilisation de l’IA par des adolescents pour sexualiser et harceler leurs camarades de classe est devenue une tendance mondiale alarmante. La police a enquêté sur des cas inquiétants dans des lycées et des collèges aux États-Unis, et plus tôt cette année, l’Union européenne a proposé d’élargir sa définition de l’abus sexuel sur enfant afin de « poursuivre plus efficacement la production et la diffusion de deepfakes et de matériel généré par l’IA ». L’année dernière, le président américain Joe Biden a publié un décret exhortant les législateurs à adopter davantage de protections.
Outre les conséquences sur leur santé mentale, les victimes ont déclaré avoir perdu confiance dans leurs camarades de classe qui les avaient prises pour cible et avoir voulu changer d’école pour éviter tout contact avec leurs harceleurs. D’autres ont arrêté de publier des photos en ligne et ont continué à craindre que les images nuisibles générées par l’IA ne réapparaissent.
Les mineurs qui ciblent leurs camarades de classe ne se rendent peut-être pas compte de la portée potentielle des images lorsqu’elles génèrent de faux contenus d’abus sexuel sur mineurs (CSAM) ; elles peuvent même se retrouver sur le dark web. Une enquête menée l’année dernière par l’Internet Watch Foundation (IWF), basée au Royaume-Uni, a révélé que « 20 254 images générées par l’IA ont été publiées sur un forum CSAM du dark web en un mois », dont plus de la moitié ont été jugées comme étant très probablement criminelles.
L’IWF a prévenu qu’elle avait identifié un marché croissant pour les images d’abus sexuels générées par l’IA et a conclu que « la plupart des images d’abus sexuels générées par l’IA sont désormais suffisamment réalistes pour être traitées comme de « véritables » images d’abus sexuels ». Une mère « choquée » d’une camarade de classe victime en Espagne a acquiescé. Elle a déclaré au Guardian que « si je ne connaissais pas le corps de ma fille, j’aurais pensé que cette image était réelle ».
Des mesures plus drastiques pour mettre fin aux deepfakes
Alors que les législateurs s’efforcent d’appliquer les protections existantes contre le CSAM aux images générées par l’IA ou de mettre à jour les lois pour poursuivre explicitement l’infraction, d’autres solutions plus drastiques pour empêcher la propagation nuisible des deepfakes ont été proposées.
Dans un éditorial publié aujourd’hui dans The Guardian, la journaliste Lucia Osborne-Crowley a plaidé en faveur de lois limitant les sites utilisés pour générer et faire apparaître de la pornographie deepfake, notamment en réglementant ce contenu nuisible lorsqu’il apparaît sur les sites de réseaux sociaux et les moteurs de recherche. Et l’IWF a suggéré que, à l’instar des juridictions qui restreignent le partage d’informations sur la fabrication de bombes, les législateurs pourraient également restreindre les guides expliquant aux mauvais acteurs comment utiliser l’IA pour générer du CSAM.
L’association Malvaluna, qui représente les familles des victimes en Espagne et milite en faveur d’une meilleure éducation sexuelle, a déclaré à El Diario qu’au-delà de la mise en place de nouvelles réglementations, il fallait davantage d’éducation pour empêcher les adolescents d’utiliser l’IA pour attaquer leurs camarades de classe. Comme les adolescents ont été sommés d’assister aux cours, l’association a accepté les mesures de condamnation.
« Au-delà de ce procès en particulier, ces faits devraient nous faire réfléchir sur la nécessité d’éduquer les gens sur l’égalité entre les hommes et les femmes », a déclaré l’association Malvaluna. L’association a appelé à ce que les enfants d’aujourd’hui ne soient pas initiés au sexe par le biais de la pornographie, qui « génère davantage de sexisme et de violence ».
Les adolescents condamnés en Espagne avaient entre 13 et 15 ans. Selon le Guardian, la loi espagnole interdit de condamner des mineurs de moins de 14 ans, mais le tribunal pour mineurs « peut les forcer à participer à des cours de réhabilitation ».
Les entreprises technologiques pourraient également faciliter le signalement et la suppression des deepfakes nuisibles. Ars n’a pas pu joindre Meta dans l’immédiat pour commenter les efforts visant à lutter contre la prolifération de contenus CSAM générés par l’IA sur WhatsApp, l’application de messagerie privée utilisée pour partager de fausses images en Espagne.
Une FAQ indique que « WhatsApp a une tolérance zéro pour l’exploitation et les abus sexuels sur les enfants, et nous bannissons les utilisateurs lorsque nous apprenons qu’ils partagent du contenu qui exploite ou met en danger les enfants », mais elle ne mentionne pas l’IA.