Des photos d’enfants brésiliens – couvrant parfois toute leur enfance – ont été utilisées sans leur consentement pour alimenter des outils d’IA, notamment des générateurs d’images populaires comme Stable Diffusion, a averti Human Rights Watch (HRW) lundi.
Cet acte présente des risques urgents pour la vie privée des enfants et semble augmenter les risques d’images non consensuelles générées par l’IA à leur image, selon le rapport de HRW.
Un chercheur de HRW, Hye Jung Han, a contribué à exposer le problème. Elle a analysé « moins de 0,0001 pour cent » de LAION-5B, un ensemble de données construit à partir d’instantanés Common Crawl du Web public. L’ensemble de données ne contient pas les photos réelles mais comprend des paires image-texte dérivées de 5,85 milliards d’images et de légendes mises en ligne depuis 2008.
Parmi les images liées à l’ensemble de données, Han a trouvé 170 photos d’enfants provenant d’au moins 10 États brésiliens. Il s’agissait principalement de photos de famille téléchargées sur des blogs personnels et parentaux que la plupart des internautes ne trouveraient pas facilement, « ainsi que des images fixes de vidéos YouTube avec un faible nombre de vues, apparemment téléchargées pour être partagées avec la famille et les amis », a rapporté Wired.
LAION, l’organisation à but non lucratif allemande qui a créé l’ensemble de données, a travaillé avec HRW pour supprimer les liens vers les images d’enfants de l’ensemble de données.
Cela ne résoudra peut-être pas complètement le problème. Le rapport de HRW prévient que les liens supprimés sont « susceptibles de représenter une sous-estimation significative de la quantité totale de données personnelles d’enfants qui existent dans LAION-5B ». Han a déclaré à Wired qu’elle craignait que l’ensemble de données fasse encore référence à des photos personnelles d’enfants « du monde entier ».
La suppression des liens ne supprime pas non plus les images du Web public, où elles peuvent toujours être référencées et utilisées dans d’autres ensembles de données d’IA, en particulier ceux qui reposent sur Common Crawl, a déclaré à Ars le porte-parole de LAION, Nate Tyler.
« Il s’agit d’un problème plus vaste et très préoccupant, et en tant qu’organisation bénévole à but non lucratif, nous ferons notre part pour aider », a déclaré Tyler à Ars.
Han a déclaré à Ars que « Common Crawl devrait cesser de récupérer les données personnelles des enfants, étant donné les risques liés à la vie privée et le potentiel de nouvelles formes d’utilisation abusive ».
Selon l’analyse de HRW, l’identité de nombreux enfants brésiliens était « facilement traçable », car les noms et lieux des enfants étaient inclus dans les légendes des images traitées lors de la création de l’ensemble de données LAION.
Et à une époque où les élèves des collèges et lycées courent un plus grand risque d’être la cible d’intimidateurs ou de mauvais acteurs transformant des « photos inoffensives » en images explicites, il est possible que les outils d’IA soient mieux équipés pour générer des clones d’enfants dont les images sont référencés dans les ensembles de données d’IA, a suggéré HRW.
« Les photos examinées couvrent l’intégralité de l’enfance », indique le rapport de HRW. « Ils capturent des moments intimes de bébés naissant entre les mains gantées de médecins, de jeunes enfants soufflant des bougies sur leur gâteau d’anniversaire ou dansant en sous-vêtements à la maison, d’étudiants faisant une présentation à l’école et d’adolescents posant pour des photos au carnaval de leur lycée. « .
Il y a moins de risques que les photos des enfants brésiliens alimentent actuellement les outils d’IA puisque « toutes les versions accessibles au public de LAION-5B ont été supprimées » en décembre, a déclaré Tyler à Ars. Cette décision est le fruit d’une « prudence excessive » après qu’un rapport de l’Université de Stanford « a trouvé des liens dans l’ensemble de données pointant vers du contenu illégal sur le Web public », a déclaré Tyler, y compris 3 226 cas suspects de matériel d’abus sexuel sur des enfants.
Han a déclaré à Ars que « la version de l’ensemble de données que nous avons examiné est antérieure à la suppression temporaire de son ensemble de données par LAION en décembre 2023 ». L’ensemble de données ne sera plus disponible tant que LAION n’aura pas déterminé que tout le contenu illégal signalé a été supprimé.
« LAION travaille actuellement avec la Fondation Internet Watch, le Centre canadien pour la protection de l’enfance, Stanford et Human Rights Watch pour supprimer toutes les références connues au contenu illégal de LAION-5B », a déclaré Tyler à Ars. « Nous sommes reconnaissants pour leur soutien et espérons republier bientôt un LAION-5B révisé. »
Au Brésil, « au moins 85 filles » ont signalé que leurs camarades de classe les harcelaient en utilisant des outils d’IA pour « créer des deepfakes sexuellement explicites des filles sur la base de photos prises à partir de leurs profils de réseaux sociaux », a rapporté HRW. Une fois que ces deepfakes explicites sont mis en ligne, ils peuvent infliger des « dommages durables », prévient HRW, et rester potentiellement en ligne toute leur vie.
« Les enfants ne devraient pas avoir à vivre dans la peur que leurs photos soient volées et utilisées comme arme contre eux », a déclaré Han. « Le gouvernement devrait adopter de toute urgence des politiques visant à protéger les données des enfants contre toute utilisation abusive alimentée par l’IA. »
Ella Irwin, vice-présidente directrice de l’intégrité chez Stability AI, fabricant de diffusion stable, a fourni à Ars une déclaration confirmant que « les modèles d’IA de stabilité ont été formés sur un sous-ensemble filtré de l’ensemble de données LAION-5B. De plus, nous avons ensuite affiné ces modèles pour atténuer comportements résiduels. »
« Stability AI s’engage à empêcher toute utilisation abusive de l’IA », a déclaré Irwin. « Nous interdisons l’utilisation de nos modèles d’images et de nos services à des fins d’activités illégales, y compris les tentatives de modification ou de création de contenu non consensuel. »