Des générateurs d’images IA sont formés sur des photos explicites d’enfants, selon une étude

Contenu de l’article

Cachées à l’intérieur des générateurs d’images populaires de l’intelligence artificielle se trouvent des milliers d’images d’abus sexuels sur des enfants, selon un nouveau rapport qui exhorte les entreprises à prendre des mesures pour remédier à une faille préjudiciable dans la technologie qu’elles ont construite.

Ces mêmes images ont permis aux systèmes d’IA de produire plus facilement des images réalistes et explicites de faux enfants et de transformer des photos de vrais adolescents entièrement habillés sur les réseaux sociaux en nus, au grand dam des écoles et des forces de l’ordre du monde entier.

Contenu de l’article

Contenu de l’article

Jusqu’à récemment, les chercheurs anti-abus pensaient que la seule façon pour certains outils d’IA non contrôlés de produire des images abusives d’enfants était essentiellement de combiner ce qu’ils avaient appris de deux catégories distinctes d’images en ligne : la pornographie adulte et les photos inoffensives d’enfants.

Mais l’Observatoire Internet de Stanford a trouvé plus de 3 200 images d’abus sexuels présumés sur des enfants dans la base de données géante d’IA LAION, un index d’images et de légendes en ligne qui a été utilisé pour former les principaux créateurs d’images d’IA tels que Stable Diffusion. Le groupe de surveillance basé à l’Université de Stanford a travaillé avec le Centre canadien de protection de l’enfance et d’autres organismes de bienfaisance anti-abus pour identifier le matériel illégal et signaler les liens originaux des photos aux forces de l’ordre.

La réponse a été immédiate. À la veille de la publication mercredi du rapport de l’Observatoire Internet de Stanford, LAION a déclaré à l’Associated Press qu’il supprimait temporairement ses ensembles de données.

LAION, qui signifie réseau ouvert d’intelligence artificielle à grande échelle à but non lucratif, a déclaré dans un communiqué qu’il « a une politique de tolérance zéro pour les contenus illégaux et, avec beaucoup de prudence, nous avons supprimé les ensembles de données LAION pour garantir leur sécurité avant ». en les republiant.

Contenu de l’article

Bien que les images ne représentent qu’une fraction de l’index de LAION de quelque 5,8 milliards d’images, le groupe de Stanford affirme que cela influence probablement la capacité des outils d’IA à générer des résultats nuisibles et renforce les abus antérieurs contre de vraies victimes qui apparaissent plusieurs fois.

Ce n’est pas un problème facile à résoudre, et cela découle du fait que de nombreux projets d’IA générative ont été « effectivement précipités sur le marché » et rendus largement accessibles parce que le domaine est très compétitif, a déclaré David Thiel, technologue en chef de l’Observatoire Internet de Stanford, auteur du rapport.

« Prendre un grattage complet à l’échelle d’Internet et créer cet ensemble de données pour former des modèles est quelque chose qui aurait dû se limiter à une opération de recherche, voire quelque chose qui n’aurait pas dû être open source sans une attention beaucoup plus rigoureuse », Thiel dit.

L’un des principaux utilisateurs de LAION qui a contribué à façonner le développement de l’ensemble de données est la startup londonienne Stability AI, fabricant des modèles texte-image Stable Diffusion. Les nouvelles versions de Stable Diffusion ont rendu beaucoup plus difficile la création de contenu nuisible, mais une ancienne version introduite l’année dernière – que Stability AI dit ne pas avoir publiée – est toujours intégrée à d’autres applications et outils et reste « le modèle le plus populaire pour générer images explicites », selon le rapport de Stanford.

Contenu de l’article

« Nous ne pouvons pas revenir sur cela. Ce modèle est entre les mains de nombreuses personnes sur leurs machines locales », a déclaré Lloyd Richardson, directeur des technologies de l’information au Centre canadien de protection de l’enfance, qui gère la ligne d’assistance téléphonique canadienne pour signaler l’exploitation sexuelle en ligne.

Stability AI a déclaré mercredi qu’elle n’héberge que des versions filtrées de Stable Diffusion et que « depuis qu’elle a repris le développement exclusif de Stable Diffusion, Stability AI a pris des mesures proactives pour atténuer le risque d’utilisation abusive ».

« Ces filtres empêchent les contenus dangereux d’atteindre les modèles », a déclaré la société dans un communiqué préparé. « En supprimant ce contenu avant qu’il n’atteigne le modèle, nous pouvons contribuer à empêcher le modèle de générer du contenu dangereux. »

LAION est le fruit de l’imagination d’un chercheur et enseignant allemand, Christoph Schuhmann, qui a déclaré à AP cette année qu’une partie de la raison pour laquelle une telle base de données visuelles était accessible au public était de garantir que l’avenir du développement de l’IA ne soit pas contrôlé par une poignée de personnes. entreprises puissantes.

« Ce sera beaucoup plus sûr et beaucoup plus équitable si nous pouvons le démocratiser afin que l’ensemble de la communauté des chercheurs et l’ensemble du grand public puissent en bénéficier », a-t-il déclaré.

Contenu de l’article

Une grande partie des données de LAION proviennent d’une autre source, Common Crawl, un référentiel de données constamment extrait de l’Internet ouvert, mais le directeur exécutif de Common Crawl, Rich Skrenta, a déclaré qu’il était « de la responsabilité » de LAION d’analyser et de filtrer ce qu’il fallait avant de les utiliser. de celui-ci.

LAION a déclaré cette semaine qu’elle avait développé des « filtres rigoureux » pour détecter et supprimer les contenus illégaux avant de publier ses ensembles de données, et qu’elle travaillait toujours à l’amélioration de ces filtres. Le rapport de Stanford reconnaît que les développeurs de LAION ont fait quelques tentatives pour filtrer le contenu explicite « mineur », mais qu’ils auraient pu faire un meilleur travail s’ils avaient consulté plus tôt des experts en sécurité des enfants.

De nombreux générateurs de texte en image sont dérivés d’une manière ou d’une autre de la base de données LAION, même s’il n’est pas toujours clair lesquels. OpenAI, créateur de DALL-E et ChatGPT, a déclaré qu’il n’utilisait pas LAION et avait affiné ses modèles pour refuser les demandes de contenu sexuel impliquant des mineurs.

Google a construit son modèle Imagen de texte-image sur la base d’un ensemble de données LAION, mais a décidé de ne pas le rendre public en 2022 après qu’un audit de la base de données « a révélé un large éventail de contenus inappropriés, notamment des images pornographiques, des insultes racistes et des stéréotypes sociaux nuisibles ».

Contenu de l’article

Essayer de nettoyer les données de manière rétroactive est difficile, c’est pourquoi l’Observatoire Internet de Stanford appelle à des mesures plus drastiques. L’une d’entre elles s’adresse à tous ceux qui ont construit des modules d’entraînement à partir de LAION-5B – du nom des plus de 5 milliards de paires image-texte qu’il contient – ​​de « les supprimer ou de travailler avec des intermédiaires pour nettoyer le matériel ». Une autre solution consiste à faire disparaître efficacement une ancienne version de Stable Diffusion de tous les recoins d’Internet, sauf les plus sombres.

« Les plateformes légitimes peuvent cesser d’en proposer des versions en téléchargement », en particulier si elles sont fréquemment utilisées pour générer des images abusives et ne disposent d’aucune garantie pour les bloquer, a déclaré Thiel.

À titre d’exemple, Thiel a cité CivitAI, une plateforme privilégiée par les personnes créant de la pornographie générée par l’IA, mais qui, selon lui, manque de mesures de sécurité pour la comparer à la création d’images d’enfants. Le rapport appelle également la société d’IA Hugging Face, qui distribue les données de formation des modèles, à mettre en œuvre de meilleures méthodes pour signaler et supprimer les liens vers du matériel abusif.

Hugging Face a déclaré qu’elle travaillait régulièrement avec les régulateurs et les groupes de protection des enfants pour identifier et supprimer les contenus abusifs. CivitAI n’a pas répondu aux demandes de commentaires soumises sur sa page Web.

Contenu de l’article

Le rapport de Stanford se demande également si des photos d’enfants – même les plus inoffensives – devraient être introduites dans les systèmes d’IA sans le consentement de leur famille en raison des protections prévues par la loi fédérale sur la protection de la vie privée des enfants en ligne.

Rebecca Portnoff, directrice de la science des données à l’organisation de lutte contre les abus sexuels sur enfants Thorn, a déclaré que son organisation a mené des recherches qui montrent que la prévalence des images générées par l’IA parmi les agresseurs est faible, mais en croissance constante.

Les développeurs peuvent atténuer ces dommages en s’assurant que les ensembles de données qu’ils utilisent pour développer des modèles d’IA sont exempts de tout matériel abusif. Portnoff a déclaré qu’il existe également des possibilités d’atténuer les utilisations nocives sur toute la ligne une fois que les modèles sont déjà en circulation.

Les entreprises technologiques et les groupes de protection des enfants attribuent actuellement aux vidéos et aux images un « hachage » – des signatures numériques uniques – pour suivre et supprimer les matériels pédopornographiques. Selon Portnoff, le même concept peut être appliqué aux modèles d’IA mal utilisés.

« Cela ne se produit pas actuellement », a-t-elle déclaré. « Mais c’est quelque chose qui, à mon avis, peut et doit être fait. »

Notre site Web est l’endroit idéal pour les dernières nouvelles, les scoops exclusifs, les lectures longues et les commentaires provocateurs. Veuillez ajouter nationalpost.com à vos favoris et vous inscrire à nos newsletters ici.

Contenu de l’article