Just_Super/E+ via Getty
Le mois dernier, nous avons été témoins de la sensation virale de plusieurs chiffres extrêmement mauvais générés par l’IA, publiés dans un article évalué par des pairs dans Frontiers, une revue scientifique réputée. Les scientifiques sur les réseaux sociaux ont exprimé à la fois leur choc et leur ridicule face aux images, dont l’une montrait un rat aux organes génitaux grotesquement grands et bizarres.
Comme l’a rapporté Beth Mole, journaliste principale à la santé d’Ars, un examen plus approfondi n’a révélé que davantage de défauts, notamment les étiquettes « dissipées », « cellules souches », « iollotte sserotgomar » et « dck ». La figure 2 était moins graphique mais tout aussi mutilée, remplie de textes absurdes et d’images déroutantes. Idem pour la figure 3, un collage de petites images circulaires densément annotées de charabia.
Le document a depuis été rétracté, mais cette image époustouflante de pénis de rat restera gravée de manière indélébile dans notre conscience collective. Cet incident renforce la crainte croissante que l’utilisation croissante de l’IA ne rende les recherches scientifiques publiées moins fiables, même si elles augmentent la productivité. Alors que la prolifération des erreurs constitue une préoccupation légitime, en particulier aux débuts des outils d’IA comme ChatGPT, deux chercheurs affirment dans une nouvelle perspective publiée dans la revue Nature que l’IA présente également des risques épistémiques potentiels à long terme pour la pratique scientifique.
Molly Crockett est une psychologue à l’Université de Princeton qui collabore régulièrement avec des chercheurs d’autres disciplines dans ses recherches sur la manière dont les gens apprennent et prennent des décisions dans des situations sociales. Sa co-auteure, Lisa Messeri, est anthropologue à l’Université de Yale dont les recherches portent sur les études scientifiques et technologiques (STS), analysant les normes et les conséquences des communautés scientifiques et technologiques alors qu’elles forgent de nouveaux domaines de connaissance et d’invention, comme l’IA.
L’impulsion initiale de leur nouvel article était une étude de 2019 publiée dans les Actes de la National Academy of Sciences, affirmant que les chercheurs pouvaient utiliser l’apprentissage automatique pour prédire la réplicabilité des études sur la seule base d’une analyse de leurs textes. Crockett et Messeri ont co-écrit une lettre à l’éditeur contestant cette affirmation, mais peu de temps après, plusieurs autres études sont apparues, affirmant que de grands modèles de langage pourraient remplacer les humains dans la recherche psychologique. Les deux hommes ont réalisé qu’il s’agissait d’un problème bien plus important et ont décidé de travailler ensemble sur une analyse approfondie de la manière dont les scientifiques proposent d’utiliser les outils d’IA tout au long du parcours universitaire.
Ils ont proposé quatre catégories de visions de l’IA en science. Le premier est l’IA en tant qu’Oracle, dans lequel de tels outils peuvent aider les chercheurs à rechercher, évaluer et résumer la vaste littérature scientifique, ainsi qu’à générer de nouvelles hypothèses. La seconde est l’IA comme substitut, dans laquelle les outils d’IA génèrent des points de données de substitution, remplaçant peut-être même les sujets humains. Le troisième est l’IA en tant que Quant. À l’ère du Big Data, les outils d’IA peuvent surmonter les limites de l’intellect humain en analysant des ensembles de données vastes et complexes. Enfin, il y a l’IA comme Arbiter, qui s’appuie sur de tels outils pour évaluer plus efficacement le mérite scientifique et la reproductibilité des articles soumis, ainsi que pour évaluer les propositions de financement.
Chaque catégorie apporte des avantages indéniables sous la forme d’une productivité accrue, mais aussi certains risques. Crockett et Messeri mettent particulièrement en garde contre trois « illusions de compréhension » distinctes qui peuvent résulter d’une dépendance excessive à l’égard des outils d’IA, qui peuvent exploiter nos limitations cognitives. Par exemple, un scientifique peut utiliser un outil d’IA pour modéliser un phénomène donné et croire qu’il comprend donc ce phénomène mieux qu’il ne le fait réellement (une illusion de profondeur explicative). Ou encore, une équipe pourrait penser qu’elle explore toutes les hypothèses testables alors qu’elle n’explore réellement que celles qui sont testables à l’aide de l’IA (une illusion d’étendue exploratoire). Enfin, il y a l’illusion de l’objectivité : la croyance que les outils d’IA sont véritablement objectifs et n’ont pas de préjugés ni de point de vue, contrairement aux humains.
Le slogan du journal est « produire plus tout en comprenant moins », et c’est le message central que les deux hommes espèrent transmettre. « Le but de la connaissance scientifique est de comprendre le monde dans toute sa complexité, sa diversité et son expansion », a déclaré Messeri à Ars. « Notre préoccupation est que même si nous écrivons de plus en plus d’articles, parce qu’ils sont limités par ce que l’IA peut et ne peut pas faire, en fin de compte, nous ne faisons que poser des questions et produire beaucoup d’articles qui s’inscrivent dans le cadre de ce que l’IA peut ou ne peut pas faire. Les capacités de l’IA. »
Ni Crockett ni Messeri ne sont opposés à n’importe lequel utilisation des outils d’IA par les scientifiques. « C’est vraiment utile dans mes recherches, et j’espère continuer à l’utiliser dans mes recherches », a déclaré Crockett à Ars. Ils adoptent plutôt une approche plus agnostique. « Ce n’est pas à moi et à Molly de dire : ‘C’est ce que l’IA devrait ou ne devrait pas être' », a déclaré Messeri. « Au lieu de cela, nous observons le positionnement actuel de l’IA, puis réfléchissons au domaine de conversation que nous devrions avoir sur les risques associés. »
Ars s’est longuement entretenu avec Crockett et Messeri pour en savoir plus.