Les chercheurs ont repéré un inconvénient apparent des chatbots plus intelligents. Bien que les modèles d’IA deviennent, comme on pouvait s’y attendre, plus précis à mesure qu’ils progressent, ils sont également plus susceptibles de répondre (à tort) à des questions dépassant leurs capacités plutôt que de dire « Je ne sais pas ». Et les humains qui les incitent sont plus susceptibles de prendre leurs hallucinations confiantes pour argent comptant, créant ainsi un effet de retombée de désinformation confiante.
« Ils répondent à presque tout ces jours-ci », a déclaré José Hernández-Orallo, professeur à l’Universitat Politecnica de Valencia, en Espagne. Nature. « Et cela signifie plus correct, mais aussi plus incorrect. » Hernández-Orallo, le responsable du projet, a travaillé sur l’étude avec ses collègues de l’Institut valencien de recherche sur l’intelligence artificielle en Espagne.
L’équipe a étudié trois familles LLM, dont la série GPT d’OpenAI, LLaMA de Meta et le BLOOM open source. Ils ont testé les premières versions de chaque modèle et sont passés à des modèles plus grands et plus avancés, mais pas les plus avancés d’aujourd’hui. Par exemple, l’équipe a commencé avec le modèle ada GPT-3 relativement primitif d’OpenAI et a testé les itérations menant à GPT-4, arrivé en mars 2023. Le GPT-4o, vieux de quatre mois, n’a pas été inclus dans l’étude, et n’a pas non plus été inclus. le plus récent o1-preview. Je serais curieux de savoir si la tendance se maintient avec les derniers modèles.
Les chercheurs ont testé chaque modèle sur des milliers de questions sur « l’arithmétique, les anagrammes, la géographie et la science ». Ils ont également interrogé les modèles d’IA sur leur capacité à transformer des informations, par exemple en classant une liste par ordre alphabétique. L’équipe a classé ses invites selon la difficulté perçue.
Les données ont montré que la part des mauvaises réponses des chatbots (au lieu d’éviter complètement les questions) augmentait à mesure que les modèles se développaient. Ainsi, l’IA est un peu comme un professeur qui, à mesure qu’il maîtrise de plus en plus de sujets, croit de plus en plus avoir les réponses en or sur chacun d’eux.
Ce qui complique encore les choses, c’est que les humains incitent les chatbots et lisent leurs réponses. Les chercheurs ont chargé des volontaires d’évaluer l’exactitude des réponses des robots IA, et ils ont constaté qu’ils « classaient à tort les réponses inexactes comme étant étonnamment souvent exactes ». L’éventail des mauvaises réponses faussement perçues comme bonnes par les volontaires se situait généralement entre 10 et 40 pour cent.
« Les humains ne sont pas capables de superviser ces modèles », a conclu Hernández-Orallo.
L’équipe de recherche recommande aux développeurs d’IA de commencer à améliorer les performances pour les questions simples et à programmer les chatbots pour qu’ils refusent de répondre aux questions complexes. « Nous avons besoin que les humains comprennent : ‘Je peux l’utiliser dans ce domaine, et je ne devrais pas l’utiliser dans ce domaine' », a déclaré Hernández-Orallo. Nature.
C’est une suggestion bien intentionnée qui pourrait avoir du sens dans un monde idéal. Mais c’est par hasard que les entreprises d’IA s’y obligent. Les chatbots qui disent plus souvent « Je ne sais pas » seraient probablement perçus comme moins avancés ou moins précieux, ce qui entraînerait une utilisation moindre et moins d’argent pour les entreprises qui les fabriquent et les vendent. Ainsi, à la place, nous recevons des avertissements en petits caractères indiquant que « ChatGPT peut faire des erreurs » et « Gemini peut afficher des informations inexactes ».
Cela nous laisse le soin d’éviter de croire et de diffuser des informations erronées hallucinées qui pourraient nous nuire ou nuire aux autres. Pour plus d’exactitude, vérifiez les réponses de votre foutu chatbot, pour avoir crié à haute voix.
Vous pouvez lire l’étude complète de l’équipe dans Nature.