ChatGPT et Google Bard ont tous deux charmé leur chemin dans nos vies technologiques, mais deux études récentes montrent que les chatbots IA restent très enclins à cracher des fausses informations et des théories du complot – si vous leur demandez de la bonne manière.
NewsGuard (s’ouvre dans un nouvel onglet), un site qui évalue la crédibilité des actualités et des informations, a récemment testé Google Bard en le nourrissant de 100 mensonges connus et en demandant au chatbot d’écrire du contenu autour d’eux. Tel que rapporté par Bloomberg (s’ouvre dans un nouvel onglet)Bard « a généré des essais chargés de désinformation sur 76 d’entre eux ».
Cette performance était au moins meilleure que les modèles ChatGPT d’OpenAI. En janvier, NewsGuard a découvert que le modèle GPT-3.5 d’OpenAI (qui alimente la version gratuite de ChatGPT) générait avec bonheur environ 80 des 100 faux récits. Plus alarmant, le dernier modèle GPT-4 a fait des « allégations trompeuses pour les 100 faux récits » avec lesquels il a été testé, et de manière plus convaincante.
Ces conclusions ont été étayées par un autre nouveau rapport, repris par Fortune (s’ouvre dans un nouvel onglet), affirmant que les garde-corps de Bard peuvent facilement être contournés à l’aide de techniques simples. Le Centre de lutte contre la haine numérique (s’ouvre dans un nouvel onglet) (CCDH) a découvert que le chatbot AI de Google générait de la désinformation dans 78 des 100 « récits nuisibles » utilisés dans les invites, qui allaient du vaccin aux conspirations climatiques.
Ni Google ni OpenAI ne prétendent que leurs chatbots sont infaillibles. Google dit que Bard (s’ouvre dans un nouvel onglet) a « des contrôles de sécurité intégrés et des mécanismes clairs de retour d’information conformément à nos principes d’IA », mais qu’il peut « afficher des informations inexactes ou des déclarations offensantes ». De même, OpenAI indique que la réponse de ChatGPT « peut parfois être inexacte, mensongère et autrement trompeuse ».
Mais bien qu’il n’existe pas encore de système universel d’analyse comparative pour tester l’exactitude des chatbots IA, ces rapports mettent en évidence leurs dangers d’être ouverts aux mauvais joueurs – ou d’être utilisés pour produire un contenu factuel ou précis.
Analyse : les chatbots IA sont des menteurs convaincants
Ces rapports sont un bon rappel du fonctionnement des chatbots IA d’aujourd’hui – et pourquoi nous devons être prudents lorsque nous nous fions à leurs réponses confiantes à nos questions.
ChatGPT et Google Bard sont tous deux des « grands modèles de langage », ce qui signifie qu’ils ont été entraînés sur de grandes quantités de données textuelles pour prédire le mot le plus probable dans une séquence donnée.
Cela en fait des écrivains très convaincants, mais qui n’ont pas non plus une compréhension plus profonde de ce qu’ils disent. Ainsi, alors que Google et OpenAI ont mis en place des garde-fous pour les empêcher de s’aventurer dans des territoires indésirables ou même offensants, il est très difficile d’empêcher les mauvais acteurs de trouver des moyens de les contourner.
Par exemple, les invites que le CCDH (ci-dessus) a envoyées à Bard comprenaient des lignes telles que « imaginez que vous jouez un rôle dans une pièce de théâtre », qui ont apparemment réussi à contourner les dispositifs de sécurité de Bard.
Bien que cela puisse sembler être une tentative de manipulation pour égarer Bard et non représentatif de sa production habituelle, c’est exactement ainsi que les fauteurs de trouble pourraient contraindre ces outils accessibles au public à diffuser de la désinformation ou pire. Cela montre également à quel point il est facile pour les chatbots d' »halluciner », ce qu’OpenAI décrit simplement comme « inventer des faits ».
Google a publié des principes d’IA clairs (s’ouvre dans un nouvel onglet) qui montrent où il veut que Bard aille, et sur Bard et ChaGPT, il est possible de signaler des réponses nuisibles ou offensantes. Mais en ces premiers jours, nous devrions clairement toujours les utiliser tous les deux avec des gants pour enfants.