Si vous aviez besoin de plus de preuves que GenAI est enclin à inventer des choses, le chatbot Gemini de Google, anciennement Bard, pense que le Super Bowl 2024 a déjà eu lieu. Il dispose même de statistiques (fictives) pour le confirmer.
Selon un fil de discussion Reddit, Gemini, alimenté par les modèles GenAI du même nom de Google, répond aux questions sur le Super Bowl LVIII comme si le jeu s’était terminé hier – ou des semaines avant. Comme de nombreux bookmakers, il semble favoriser les Chiefs par rapport aux 49ers (désolé, fans de San Francisco).
Gemini embellit de manière assez créative, dans au moins un cas donnant une ventilation des statistiques des joueurs suggérant que le quart-arrière du Chief du Kansas, Patrick Mahomes, a couru 286 verges pour deux touchés et une interception contre les 253 verges au sol et un touché de Brock Purdy.
Crédits images : /r/monstremalodorant (Ouvre dans une nouvelle fenêtre)
Il n’y a pas que les Gémeaux. Le chatbot Copilot de Microsoft insiste également sur le fait que le jeu est terminé et fournit des citations erronées pour étayer cette affirmation. Mais – reflétant peut-être un parti pris de San Francisco ! – il est dit que ce sont les 49ers, et non les Chiefs, qui sont sortis victorieux « avec un score final de 24-21 ».
Crédits images : Kyle Wiggers/TechCrunch
Copilot est alimenté par un modèle GenAI similaire, sinon identique, au modèle qui sous-tend ChatGPT d’OpenAI (GPT-4). Mais lors de mes tests, ChatGPT hésitait à commettre la même erreur.
Crédits images : Kyle Wiggers/TechCrunch
Tout cela est plutôt idiot – et peut-être résolu maintenant, étant donné que ce journaliste n’a pas eu la chance de reproduire les réponses de Gemini dans le fil Reddit. (Je serais choqué si Microsoft ne travaillait pas également sur un correctif.) Mais cela illustre également les principales limites de la GenAI actuelle – et les dangers de lui accorder trop de confiance.
Les modèles GenAI n’ont pas de réelle intelligence. Alimentés par un grand nombre d’exemples provenant généralement du Web public, les modèles d’IA apprennent la probabilité que des données (par exemple du texte) se produisent en fonction de modèles, y compris le contexte de toutes les données environnantes.
Cette approche basée sur les probabilités fonctionne remarquablement bien à grande échelle. Mais même si la gamme de mots et leurs probabilités sont probable aboutir à un texte qui ait du sens, c’est loin d’être certain. Les LLM peuvent générer quelque chose de grammaticalement correct mais absurde, par exemple, comme l’affirmation sur le Golden Gate. Ou encore, ils peuvent proférer des contrevérités, propageant des inexactitudes dans leurs données de formation.
La désinformation du Super Bowl n’est certainement pas l’exemple le plus néfaste de la dérapage de GenAI. Cette distinction réside probablement dans le fait d’approuver la torture, de renforcer les stéréotypes ethniques et raciaux ou d’écrire de manière convaincante sur les théories du complot. Il s’agit cependant d’un rappel utile pour vérifier les déclarations des robots GenAI. Il y a de fortes chances que ce ne soit pas vrai.