Le ministère américain de la Justice a arrêté la semaine dernière un homme du Wisconsin pour avoir généré et distribué du matériel pédopornographique (CSAM) généré par l’IA. À notre connaissance, il s’agit du premier cas du genre dans lequel le DOJ cherche à établir un précédent judiciaire selon lequel les matériels d’exploitation sont toujours illégaux même lorsqu’aucun enfant n’a été utilisé pour les créer. « En termes simples, le CSAM généré par l’IA reste du CSAM », a écrit la procureure générale adjointe Lisa Monaco dans un communiqué de presse.
Le DOJ affirme que l’ingénieur logiciel Steven Anderegg, 42 ans, de Holmen, WI, a utilisé un fork du générateur d’images IA open source Stable Diffusion pour créer les images, qu’il a ensuite utilisées pour tenter d’attirer un garçon mineur dans des situations sexuelles. Ce dernier jouera probablement un rôle central dans l’éventuel procès pour les quatre chefs d’accusation de « production, distribution et possession de représentations visuelles obscènes de mineurs se livrant à un comportement sexuellement explicite et transfert de matériel obscène à un mineur de moins de 16 ans ».
Le gouvernement affirme que les images d’Anderegg montraient «des mineurs nus ou partiellement vêtus exhibant ou touchant lascivement leurs organes génitaux ou ayant des rapports sexuels avec des hommes». Le DOJ affirme qu’il a utilisé des invites spécifiques, y compris des invites négatives (des conseils supplémentaires pour le modèle d’IA, lui indiquant ce que pas produire) pour inciter le générateur à créer du CSAM.
Les générateurs d’images basés sur le cloud comme Midjourney et DALL-E 3 disposent de protections contre ce type d’activité, mais Ars Technica rapporte qu’Anderegg aurait utilisé Stable Diffusion 1.5, une variante avec moins de limites. Stability AI a déclaré à la publication que Fork avait été produit par Runway ML.
Selon le DOJ, Anderegg a communiqué en ligne avec le garçon de 15 ans, décrivant comment il a utilisé le modèle d’IA pour créer les images. L’agence affirme que l’accusé a envoyé des messages directs à l’adolescent sur Instagram, y compris plusieurs images d’IA de « mineurs affichant lascivement leurs organes génitaux ». À son honneur, Instagram a signalé les images au Centre national pour les enfants disparus et exploités (NCMEC), qui a alerté les forces de l’ordre.
Anderegg risque cinq à 70 ans de prison s’il est reconnu coupable des quatre chefs d’accusation. Il est actuellement détenu par le gouvernement fédéral avant une audience prévue le 22 mai.
Cette affaire remettra en question l’idée que certains pourraient soutenir selon laquelle le caractère illégal des CSAM repose exclusivement sur les enfants exploités lors de leur création. Bien que le CSAM numérique généré par l’IA n’implique aucun humain vivant (autre que celui qui entre dans les invites), il pourrait toujours normaliser et encourager le contenu, ou être utilisé pour attirer les enfants dans des situations prédatrices. Cela semble être quelque chose que le gouvernement fédéral souhaite clarifier à mesure que la technologie progresse rapidement et gagne en popularité.
« La technologie peut changer, mais notre engagement à protéger les enfants ne changera pas », a écrit le député AG Monaco. « Le ministère de la Justice poursuivra de manière agressive ceux qui produisent et distribuent du matériel pédopornographique – ou CSAM –, quelle que soit la manière dont ce matériel a été créé. En termes simples, le CSAM généré par l’IA reste du CSAM, et nous tiendrons pour responsables ceux qui exploitent l’IA pour créer des images obscènes, abusives et de plus en plus photoréalistes d’enfants.