Aurich Lawson | Getty Images
Les policiers utilisent désormais l’IA pour générer des images de faux enfants, ce qui les aide à attraper les prédateurs d’enfants en ligne, a révélé cette semaine un procès intenté par l’État du Nouveau-Mexique contre Snapchat.
Selon la plainte, le ministère de la Justice du Nouveau-Mexique a lancé une enquête secrète ces derniers mois pour prouver que Snapchat « est une plate-forme de médias sociaux principale pour le partage de matériel d’abus sexuel sur mineur (CSAM) » et la sextorsion de mineurs, car son « algorithme sert les enfants à des prédateurs adultes ».
Dans le cadre de leur enquête, un enquêteur a « créé un compte leurre pour une fille de 14 ans, Sexy14Heather ».
Bien que Snapchat ait rendu le profil du faux mineur privé et que le compte n’ait ajouté aucun abonné, « Heather » a rapidement été largement recommandée à des « comptes dangereux, y compris ceux nommés ‘child.rape’ et ‘pedo_lover10’, en plus d’autres qui sont encore plus explicites », a déclaré le ministère de la Justice du Nouveau-Mexique dans un communiqué de presse.
Et après que « Heather » ait accepté une demande d’abonnement d’un seul compte, les recommandations sont devenues encore pires. « Snapchat a suggéré plus de 91 utilisateurs, dont de nombreux utilisateurs adultes dont les comptes incluaient ou cherchaient à échanger du contenu sexuellement explicite », a allégué la plainte du Nouveau-Mexique.
« Snapchat est un terrain fertile pour les prédateurs qui collectent des images sexuellement explicites d’enfants et qui les trouvent, les préparent et les extorquent », allègue la plainte du Nouveau-Mexique.
Se faisant passer pour « Sexy14Heather », l’enquêteur a échangé des messages avec des comptes adultes, notamment des utilisateurs qui « envoyaient des messages inappropriés et des photos explicites ». Dans un échange avec un utilisateur nommé « 50+ SNGL DAD 4 YNGR », la fausse adolescente « a noté son âge, a envoyé une photo et s’est plainte que ses parents l’obligeaient à aller à l’école », ce qui a incité l’utilisateur à envoyer « sa propre photo » ainsi que des conversations sexuellement suggestives. D’autres comptes ont demandé à « Heather » d’« échanger du contenu vraisemblablement explicite », et plusieurs « ont tenté de contraindre la personne mineure à partager des images d’abus sexuels sur mineurs », a déclaré le ministère de la Justice du Nouveau-Mexique.
« Heather » a également testé l’outil de recherche de Snapchat et a découvert que « même si elle n’utilisait aucun langage sexuellement explicite, l’algorithme a dû déterminer qu’elle recherchait du contenu pédopornographique » lorsqu’elle a recherché d’autres utilisateurs adolescents. L’algorithme « a commencé à recommander des utilisateurs associés au commerce » de contenu pédopornographique, notamment des comptes avec des noms d’utilisateur tels que « naughtypics », « addfortrading », « teentr3de », « gayhorny13yox » et « teentradevirgin », a révélé l’enquête, « suggérant que ces comptes étaient également impliqués dans la diffusion de contenu pédopornographique ».
Cette utilisation novatrice de l’IA a été motivée par l’inculpation par la police d’Albuquerque d’un homme, Alejandro Marquez, qui a plaidé coupable et a été condamné à 18 ans de prison pour avoir violé une fille de 11 ans qu’il avait rencontrée via la fonction Quick Add de Snapchat en 2022, selon la plainte du Nouveau-Mexique. Plus récemment, selon la plainte du Nouveau-Mexique, un homme d’Albuquerque, Jeremy Guthrie, a été arrêté et condamné cet été pour « avoir violé une fille de 12 ans qu’il avait rencontrée et cultivée via Snapchat ».
Par le passé, les policiers se faisaient passer pour des enfants en ligne pour attraper des prédateurs d’enfants en utilisant des photos de femmes adultes plus jeunes ou même des photos plus jeunes de policiers. L’utilisation d’images générées par l’IA pourrait être considérée comme une manière plus éthique de mener ces opérations, a déclaré à Ars Carrie Goldberg, avocate spécialisée dans les crimes sexuels, car « un profil leurre IA est moins problématique que l’utilisation d’images d’un véritable enfant ».
Mais l’utilisation de l’IA pourrait compliquer les enquêtes et entraîner ses propres problèmes éthiques, prévient Goldberg, alors que les experts en sécurité des enfants et les forces de l’ordre avertissent qu’Internet est de plus en plus inondé de contenus CSAM générés par l’IA.
« En ce qui concerne l’utilisation de l’IA pour piéger les accusés, ceux-ci peuvent se défendre s’ils affirment que le gouvernement les a incités à commettre un crime auquel ils n’étaient pas déjà prédisposés », a déclaré Goldberg à Ars. « Bien sûr, il serait éthiquement préoccupant que le gouvernement crée des images d’abus sexuel sur mineur (CSAM) falsifiées par l’IA, car ces images sont illégales et nous ne voulons pas que davantage de CSAM circulent. »
Les experts ont averti que les générateurs d’images IA ne devraient jamais être formés sur des ensembles de données combinant des images d’enfants réels avec du contenu explicite afin d’éviter tout cas de CSAM généré par l’IA, ce qui est particulièrement nuisible lorsqu’il semble représenter un enfant réel ou une véritable victime de maltraitance d’enfants.
Dans la plainte déposée au Nouveau-Mexique, une seule image générée par l’IA est incluse. On ne sait donc pas dans quelle mesure le ministère de la Justice de l’État utilise l’IA ou si les policiers utilisent peut-être des méthodes plus avancées pour générer plusieurs images du même faux enfant. On ne sait pas non plus quelles préoccupations éthiques ont été prises en compte avant que les policiers ne commencent à utiliser des leurres IA.
Le ministère de la Justice du Nouveau-Mexique n’a pas répondu à la demande de commentaires d’Ars.
Goldberg a déclaré à Ars qu’il devrait y avoir « des normes au sein des forces de l’ordre sur la manière d’utiliser l’IA de manière responsable », avertissant que « nous sommes susceptibles de voir davantage de défenses contre les pièges centrées sur l’IA si le gouvernement utilise la technologie de manière manipulatrice pour faire pression sur quelqu’un afin qu’il commette un crime ».