Le chatbot IA de Google, Bard, fait une erreur factuelle dans la première démo

Lundi, Google a annoncé son chatbot AI Bard – un rival du ChatGPT d’OpenAI qui devrait devenir « plus largement accessible au public dans les semaines à venir ». Mais le bot n’a pas pris un bon départ, les experts notant que Bard a fait une erreur factuelle dans sa toute première démo.

Un GIF partagé par Google montre Bard répondant à la question : « De quelles nouvelles découvertes du télescope spatial James Webb puis-je parler à mon enfant de 9 ans ? Bard propose trois puces en retour, dont une indiquant que le télescope « a pris les toutes premières images d’une planète en dehors de notre propre système solaire ».

Cependant, un certain nombre d’astronomes sur Twitter ont souligné que c’était incorrect et que la première image d’une exoplanète avait été prise en 2004 — comme indiqué ici sur le site Web de la NASA.

« Ce n’est pas pour être un con ~ bien, en fait ~, et je suis sûr que Bard sera impressionnant, mais pour mémoire : JWST n’a pas pris ‘la toute première image d’une planète en dehors de notre système solaire' », a tweeté l’astrophysicien Grant Tremblay. .

Bruce Macintosh, directeur des observatoires de l’Université de Californie à l’UC Santa Cruz, a également souligné l’erreur. « Parlant en tant que quelqu’un qui a imaginé une exoplanète 14 ans avant le lancement de JWST, j’ai l’impression que vous devriez trouver un meilleur exemple ? » il tweeté.

(L’erreur et les objections des experts ont d’abord été repérées par Reuter et Nouveau scientifique.)

Dans un tweet de suivi, Tremblay a ajouté: «J’aime et j’apprécie que l’une des entreprises les plus puissantes de la planète utilise une recherche JWST pour annoncer son LLM. Génial! Mais ChatGPT, etc., bien qu’impressionnant, est souvent * très confiant * dans l’erreur. Sera intéressant de voir un avenir où les LLM vérifient eux-mêmes les erreurs.

Comme le note Tremblay, un problème majeur pour les chatbots IA comme ChatGPT et Bard est leur tendance à déclarer avec confiance des informations incorrectes comme des faits. Les systèmes « hallucinent » fréquemment – c’est-à-dire inventent des informations – car ce sont essentiellement des systèmes de saisie semi-automatique.

Plutôt que d’interroger une base de données de faits avérés pour répondre à des questions, ils sont formés sur d’énormes corpus de texte et analysent des modèles pour déterminer quel mot suit le suivant dans une phrase donnée. En d’autres termes, ils sont probabilistes et non déterministes – un trait qui a conduit un éminent professeur d’IA à les qualifier de « générateurs de conneries ».

Bien sûr, Internet regorge déjà d’informations fausses et trompeuses, mais le problème est aggravé par la volonté de Microsoft et de Google d’utiliser ces outils comme moteurs de recherche. Là, les réponses des chatbots prennent l’autorité d’une machine supposée tout savoir.

Microsoft, qui a présenté hier son nouveau moteur de recherche Bing alimenté par l’IA, a tenté d’anticiper ces problèmes en plaçant la responsabilité sur l’utilisateur. « Bing est alimenté par l’IA, donc des surprises et des erreurs sont possibles », indique l’avertissement de l’entreprise. « Assurez-vous de vérifier les faits et de partager vos commentaires afin que nous puissions apprendre et nous améliorer ! »