Ars Technica
Mardi, Meta AI a dévoilé une démo de Galactica, un grand modèle de langage conçu pour « stocker, combiner et raisonner sur les connaissances scientifiques ». Bien que destiné à accélérer la rédaction de la littérature scientifique, les utilisateurs contradictoires exécutant des tests ont découvert que cela pouvait également générer des absurdités réalistes. Après plusieurs jours de critique éthiqueMeta a mis la démo hors ligne, rapporte MIT Technology Review.
Les grands modèles de langage (LLM), tels que le GPT-3 d’OpenAI, apprennent à écrire du texte en étudiant des millions d’exemples et en comprenant les relations statistiques entre les mots. En conséquence, ils peuvent rédiger des documents convaincants, mais ces travaux peuvent également être truffés de mensonges et de stéréotypes potentiellement dangereux. Certains critiques appellent les LLM des « perroquets stochastiques » pour leur capacité à cracher du texte de manière convaincante sans en comprendre le sens.
Entrez Galactica, un LLM visant à écrire de la littérature scientifique. Ses auteurs ont formé Galactica sur « un corpus vaste et organisé des connaissances scientifiques de l’humanité », comprenant plus de 48 millions d’articles, de manuels et de notes de cours, de sites Web scientifiques et d’encyclopédies. Selon l’article de Galactica, les chercheurs de Meta AI pensaient que ces prétendues données de haute qualité conduiraient à une sortie de haute qualité.
Méta IA
À partir de mardi, les visiteurs du site Web Galactica pourraient saisir des invites pour générer des documents tels que des revues de littérature, des articles wiki, des notes de cours et des réponses aux questions, selon des exemples fournis par le site Web. Le site a présenté le modèle comme « une nouvelle interface pour accéder et manipuler ce que nous savons de l’univers ».
Alors que certaines personnes ont trouvé la démo prometteur et utiled’autres ont vite découvert que n’importe qui pouvait taper raciste ou invites potentiellement offensantes, générant tout aussi facilement un contenu faisant autorité sur ces sujets. Par exemple, quelqu’un l’a utilisé pour auteur une entrée wiki sur un document de recherche fictif intitulé « Les avantages de manger du verre pilé. »
Même lorsque la production de Galactica n’était pas offensante pour les normes sociales, le modèle pouvait attaquer des faits scientifiques bien compris, crachant inexactitudes telles que des dates ou des noms d’animaux incorrects, nécessitant une connaissance approfondie du sujet à attraper.
J’ai demandé #Galactica à propos de certaines choses que je connais et je suis troublé. Dans tous les cas, c’était faux ou biaisé, mais ça sonnait juste et autoritaire. Je pense que c’est dangereux. Voici quelques-unes de mes expériences et mon analyse de mes préoccupations. (1/9)
– Michael Black (@Michael_J_Black) 17 novembre 2022
En conséquence, Meta tiré la démo Galactica jeudi. Par la suite, le scientifique en chef de l’IA de Meta, Yann LeCun, tweeté« La démo de Galactica est hors ligne pour le moment. Il n’est plus possible de s’amuser en l’utilisant à mauvais escient. Heureux ? »
L’épisode rappelle un dilemme éthique commun à l’IA : lorsqu’il s’agit de modèles génératifs potentiellement dangereux, est-ce au grand public de les utiliser de manière responsable ou aux éditeurs des modèles d’empêcher les abus ?
L’endroit où la pratique de l’industrie se situe entre ces deux extrêmes variera probablement d’une culture à l’autre et à mesure que les modèles d’apprentissage en profondeur mûriront. En fin de compte, la réglementation gouvernementale pourrait finir par jouer un rôle important dans l’élaboration de la réponse.