Un examen indépendant des outils d’IA populaires a révélé que beaucoup d’entre eux, notamment My AI, DALLE et Stable Diffusion de Snapchat, pourraient ne pas être sans danger pour les enfants. Les nouvelles critiques proviennent de Common Sense Media, un groupe de défense des familles à but non lucratif, surtout connu pour fournir des évaluations médiatiques aux parents qui souhaitent évaluer les applications, les jeux, les podcasts, les émissions de télévision, les films et les livres que consomment leurs enfants. Plus tôt cette année, la société a annoncé qu’elle ajouterait bientôt des évaluations pour les produits d’IA à ses ressources destinées aux familles. Aujourd’hui, ces évaluations sont mises en ligne et proposent des « étiquettes nutritionnelles » pour les produits d’IA, comme les chatbots, les générateurs d’images, etc.
La société a annoncé pour la première fois en juillet qu’elle visait à créer un système de notation pour évaluer les produits d’IA dans un certain nombre de dimensions, notamment si la technologie tire parti ou non des pratiques responsables de l’IA ainsi que si elle est adaptée aux enfants. Cette décision a été déclenchée par une enquête auprès des parents visant à évaluer leur intérêt pour un tel service. 82 % des parents ont déclaré qu’ils voulaient de l’aide pour évaluer si les nouveaux produits d’IA, comme ChatGPT, étaient sûrs ou non pour leurs enfants. Seulement 40 % ont déclaré connaître des ressources fiables qui pourraient les aider à prendre ces décisions.
Cela a conduit au lancement aujourd’hui des premières évaluations de produits IA de Common Sense Media. Les produits qu’il évalue reposent sur plusieurs principes de l’IA, notamment la confiance, la sécurité des enfants, la confidentialité, la transparence, la responsabilité, l’apprentissage, l’équité, les liens sociaux et les avantages pour les personnes et la société.
L’organisation a initialement examiné 10 applications populaires sur une échelle de 5 points, y compris celles utilisées pour l’apprentissage, les chatbots d’IA comme Bard et ChatGPT, ainsi que les produits d’IA générative, comme Snap’s My AI et DALL-E et d’autres. Sans surprise, c’est cette dernière catégorie qui s’en sort le moins bien.
« L’IA n’est pas toujours correcte et n’est pas non plus neutre en termes de valeurs », a fait remarquer Tracy Pizzo-Frey, conseillère principale en IA chez Common Sense Media, dans un résumé des notes. « Toute IA générative, du fait que les modèles sont formés sur des quantités massives de données Internet, héberge une grande variété de préjugés culturels, raciaux, socio-économiques, historiques et sexistes – et c’est exactement ce que nous avons découvert dans nos évaluations, » dit-elle. « Nous espérons que nos notes encourageront davantage de développeurs à mettre en place des protections qui limitent la propagation de la désinformation et à contribuer à protéger les générations futures des répercussions involontaires. »
Dans les propres tests de TechCrunch, la journaliste Amanda Silberling a découvert que les fonctionnalités d’IA générative My AI de Snapchat avaient généralement tendance à être plus étranges et aléatoires que activement nuisibles, mais Common Sense Media a attribué au chatbot IA une note de 2 étoiles, notant qu’il a produit des réponses qui ont renforcé les préjugés injustes autour de l’âgisme, du sexisme et des stéréotypes culturels. Il propose également parfois des réponses inappropriées, ainsi que des inexactitudes. Il stockait également les données personnelles des utilisateurs, ce qui, selon l’organisation, soulevait des problèmes de confidentialité.
Snap a repoussé la mauvaise critique, notant que My AI était un outil facultatif et que Snapchat indique clairement qu’il s’agit d’un chatbot et informe les utilisateurs de ses limites.
« Par défaut, My AI affiche un emoji robot. Avant que quiconque puisse interagir avec My AI, nous affichons un message dans l’application pour indiquer clairement qu’il s’agit d’un chatbot et vous informer de ses limites », a déclaré la porte-parole de Snap, Maggie Cherneff. « Mon IA est également intégrée à notre Family Center afin que les parents puissent voir si et quand les adolescents discutent avec elle. Nous apprécions les commentaires contenus dans l’évaluation alors que nous continuons à améliorer notre produit », a-t-elle ajouté.
D’autres modèles d’IA générative comme DALL-E et Stable Diffusion présentaient des risques similaires, notamment une tendance à l’objectivation et à la sexualisation des femmes et des filles et un renforcement des stéréotypes de genre, entre autres préoccupations.
Comme tout nouveau média sur Internet, ces modèles d’IA génératifs sont également utilisés pour produire du matériel pornographique. Des sites comme Hugging Face et Civitai sont devenus populaires non seulement en tant que ressources permettant de trouver de nouveaux modèles d’images, mais également en facilitant la recherche de différents modèles pouvant être combinés les uns avec les autres pour créer du porno en utilisant l’image de quelqu’un (comme une célébrité). Ce problème a atteint son paroxysme cette semaine, alors que 404Media a souligné les capacités de Civitai, mais le débat quant à la partie responsable – les agrégateurs communautaires ou les modèles d’IA eux-mêmes – s’est poursuivi par la suite sur des sites comme Hacker News.
Au milieu des notes de Common Sense se trouvaient des chatbots IA comme Bard de Google (qui hier encore a été officiellement ouvert aux adolescents), ChatGPT et Toddle AI. L’organisation a averti que des biais peuvent également se produire dans ces robots, en particulier pour les utilisateurs ayant « des origines et des dialectes divers ». Ils pourraient également produire des informations inexactes – ou des hallucinations de l’IA – et renforcer les stéréotypes. Common Sense a averti que les fausses informations produites par l’IA pourraient façonner la vision du monde des utilisateurs et rendre encore plus difficile la séparation des faits et de la fiction.
OpenAI a répondu au nouveau classement en notant les exigences d’âge imposées aux utilisateurs.
« Nous nous soucions profondément de la sécurité et de la confidentialité de tous ceux qui utilisent nos outils, y compris les jeunes, c’est pourquoi nous avons intégré des garde-fous et des mesures de sécurité solides dans ChatGPT et laissons les utilisateurs choisir quand leurs conversations sont utilisées pour améliorer nos modèles », a déclaré Kayla Wood, porte-parole d’OpenAI. « Nous exigeons que les utilisateurs âgés de 13 à 17 ans aient l’autorisation parentale pour utiliser nos outils et n’autorisons pas les enfants de moins de 13 ans à utiliser nos services », a-t-elle noté.
Les seuls produits d’IA à avoir reçu de bonnes critiques étaient le tuteur de lecture et le service de livraison de livres d’Ello, Khanmingo (de la Khan Academy) et le tuteur d’IA de Kyron Learning, tous trois étant des produits d’IA conçus à des fins éducatives. Ils sont moins connus que d’autres. (Et, comme diront certains enfants, moins amusant). Néanmoins, parce que les entreprises les ont conçus en pensant à leur utilisation par les enfants, elles ont eu tendance à utiliser des pratiques d’IA responsables et à se concentrer sur l’équité, la diversité de la représentation et des considérations de conception adaptées aux enfants. Ils ont également été plus transparents sur leurs politiques de confidentialité des données.
Common Sense Media affirme qu’il continuera à publier régulièrement des notes et des critiques sur les nouveaux produits d’IA, ce qui, espère-t-il, contribuera à informer non seulement les parents et les familles, mais également les législateurs et les régulateurs.
« Les consommateurs doivent avoir accès à une étiquette nutritionnelle claire pour les produits d’IA qui pourrait compromettre la sécurité et la vie privée de tous les Américains, mais en particulier des enfants et des adolescents », a déclaré James P. Steyer, fondateur et PDG de Common Sense Media, dans un communiqué. « En apprenant ce qu’est le produit, comment il fonctionne, ses risques éthiques, ses limites et ses utilisations abusives, les législateurs, les éducateurs et le grand public peuvent comprendre à quoi ressemble une IA responsable. Si le gouvernement ne parvient pas à « protéger les enfants » de l’IA, les entreprises technologiques profiteront de cette atmosphère non réglementée et libre au détriment de la confidentialité de nos données, de notre bien-être et de la démocratie en général », a-t-il ajouté.
Mis à jour le 16/11/23, 16 h 18 HE avec commentaire OpenAI.