Plus de 1 000 matériels connus d’abus sexuels sur enfants (CSAM) ont été trouvés dans un vaste ensemble de données ouvertes, connu sous le nom de LAION-5B, qui a été utilisé pour former des générateurs de texte en image populaires tels que Stable Diffusion, David, chercheur à l’Observatoire Internet de Stanford (SIO). Thiel l’a révélé mercredi.
Le rapport du SIO semble confirmer les rumeurs qui circulent sur Internet depuis 2022 selon lesquelles LAION-5B incluait des images illégales, a rapporté Bloomberg. Dans un e-mail adressé à Ars, Thiel a averti que « l’inclusion de matériel pédopornographique dans les données de formation des modèles d’IA enseigne des outils pour associer les enfants à des activités sexuelles illicites et utilise des images connues d’abus d’enfants pour générer de nouveaux contenus potentiellement réalistes sur la maltraitance d’enfants ».
Thiel a commencé ses recherches en septembre après avoir découvert en juin que des générateurs d’images d’IA étaient utilisés pour créer des milliers d’images sexuelles d’enfants fausses mais réalistes, se propageant rapidement sur le dark web. Son objectif était de découvrir quel rôle CSAM pouvait jouer dans le processus de formation des modèles d’IA alimentant les générateurs d’images diffusant ce contenu illicite.
« Notre nouvelle enquête révèle que ces modèles sont formés directement sur le CSAM présent dans un ensemble de données publiques de milliards d’images, connu sous le nom de LAION-5B », indique le rapport de Thiel. « L’ensemble de données comprenait des CSAM connus provenant d’un large éventail de sources, y compris les sites Web de médias sociaux grand public » – comme Reddit, X, WordPress et Blogspot – ainsi que des « sites de vidéos pour adultes populaires » – comme XHamster et XVideos.
Peu de temps après la publication du rapport de Thiel, un porte-parole de LAION, l’organisation à but non lucratif basée en Allemagne qui a produit l’ensemble de données, a déclaré à Bloomberg que LAION « supprimait temporairement les ensembles de données LAION d’Internet » en raison de la « politique de tolérance zéro » de LAION pour les contenus illégaux. Les ensembles de données seront republiés une fois que LAION aura assuré « qu’ils sont en sécurité », a déclaré le porte-parole. Un porte-parole de Hugging Face, qui héberge un lien vers un ensemble de données LAION actuellement indisponible, a confirmé à Ars que l’ensemble de données n’est désormais pas disponible au public après avoir été rendu privé par le téléchargeur.
La suppression des ensembles de données ne résout désormais aucun problème persistant avec les ensembles de données précédemment téléchargés ou les modèles précédemment formés, comme Stable Diffusion 1.5. Le rapport de Thiel indique que les versions ultérieures de Stable Diffusion de Stability AI (2.0 et 2.1) ont filtré une partie ou la plupart du contenu jugé « dangereux », « rendant difficile la génération de contenu explicite ». Mais comme les utilisateurs n’étaient pas satisfaits de ces versions ultérieures, plus filtrées, Stable Diffusion 1.5 reste « le modèle le plus populaire pour générer des images explicites », indique le rapport de Thiel.
Un porte-parole de Stability AI a déclaré à Ars que Stability AI « s’engage à empêcher l’utilisation abusive de l’IA et à interdire l’utilisation de nos modèles d’image et de nos services à des fins d’activités illégales, y compris les tentatives de modification ou de création de CSAM ». Le porte-parole a souligné que le rapport du SIO « se concentre sur l’ensemble de données LAION-5B dans son ensemble », tandis que « les modèles d’IA de stabilité ont été formés sur un sous-ensemble filtré de cet ensemble de données » et ont été « ensuite affinés » pour « atténuer les comportements résiduels ». L’implication semble être que l’ensemble de données filtré de Stability AI n’est pas aussi problématique que l’ensemble de données plus vaste.
Le porte-parole de Stability AI a également noté que Stable Diffusion 1.5 « a été publié par Runway ML, et non par Stability AI ». Il semble y avoir une certaine confusion sur ce point, cependant, comme un porte-parole de Runway ML a déclaré à Ars que Stable Diffusion « a été publié en collaboration avec Stability AI ».
Une démo de Stable Diffusion 1.5 indiquait que le modèle était « pris en charge par Stability AI » mais publié par CompVis et Runway. Bien qu’un fil de discussion YCombinator renvoyant à un blog intitulé « Pourquoi nous avons choisi de ne pas publier Stable Diffusion 1.5 aussi rapidement » – de l’ancien directeur de l’information de Stability AI, Daniel Jeffries, ait pu apporter des éclaircissements à ce sujet, il a depuis été supprimé.
Le porte-parole de Runway ML a refusé de commenter les mises à jour envisagées pour Stable Diffusion 1.5, mais a lié Ars à un blog de Stability AI d’août 2022 qui disait : « Stability AI a co-publié Stable Diffusion aux côtés de chercheurs talentueux de » Runway ML.
Le porte-parole de Stability AI a déclaré que Stability AI n’héberge pas Stable Diffusion 1.5 mais a pris d’autres mesures pour réduire les sorties nocives. Ceux-ci incluent uniquement l’hébergement de « versions de Stable Diffusion qui incluent des filtres » qui « suppriment le contenu dangereux » et « empêchent le modèle de générer du contenu dangereux ».
« De plus, nous avons mis en place des filtres pour intercepter les invites ou les sorties dangereuses lorsque les utilisateurs interagissent avec des modèles sur notre plate-forme », a déclaré le porte-parole de Stability AI. « Nous avons également investi dans des fonctionnalités d’étiquetage de contenu pour aider à identifier les images générées sur notre plate-forme. Ces niveaux d’atténuation rendent plus difficile l’utilisation abusive de l’IA par des acteurs malveillants. »
Au-delà de la vérification de 1 008 instances de CSAM dans l’ensemble de données LAION-5B, le SIO a trouvé 3 226 instances de CSAM suspectées dans l’ensemble de données LAION. Le rapport de Thiel avertit que les deux chiffres sont « intrinsèquement sous-estimés » en raison de la capacité limitée des chercheurs à détecter et à signaler tous les CSAM dans les ensembles de données. Son rapport prédit également que « les répercussions du processus de formation de Stable Diffusion 1.5 seront présentes pendant un certain temps encore ».
« La solution la plus évidente est que la plupart de ceux qui possèdent des ensembles d’entraînement dérivés de LAION-5B les suppriment ou travaillent avec des intermédiaires pour nettoyer le matériel », indique le rapport du SIO. « Les modèles basés sur Stable Diffusion 1.5 auxquels aucune mesure de sécurité n’a été appliquée doivent être obsolètes et la distribution doit être interrompue lorsque cela est possible. »