L’« Aperçu de l’IA » de Google peut donner des réponses fausses, trompeuses et dangereuses

Si vous utilisez Google régulièrement, vous avez peut-être remarqué les nouveaux aperçus de l’IA de l’entreprise fournissant des réponses résumées à certaines de vos questions ces derniers jours. Si vous utilisez régulièrement les réseaux sociaux, vous avez peut-être rencontrer de nombreux exemples de ces aperçus de l’IA sont hilarants, voire dangereusement erronés.

Bien entendu, des erreurs factuelles peuvent également apparaître dans les chatbots LLM existants. Mais les dommages potentiels qui peuvent être causés par l’inexactitude de l’IA sont multipliés lorsque ces erreurs apparaissent au sommet de l’immobilier Web ultra-précieux de la page de résultats de recherche Google.

« Les exemples que nous avons vus sont généralement des requêtes très rares et ne sont pas représentatifs des expériences de la plupart des gens », a déclaré un porte-parole de Google à Ars. « La grande majorité des aperçus de l’IA fournissent des informations de haute qualité, avec des liens permettant d’approfondir les recherches sur le Web. »

Après avoir examiné des dizaines d’exemples d’erreurs de présentation de l’IA de Google (et en avoir reproduit plusieurs nous-mêmes pour les galeries ci-dessous), nous avons remarqué quelques grandes catégories d’erreurs qui semblaient apparaître encore et encore. Considérez ceci comme un cours intensif sur certains des points faibles actuels des aperçus de l’IA de Google et un aperçu des domaines de préoccupation que l’entreprise doit améliorer à mesure que le système continue de se déployer.

Traiter les blagues comme des faits

Ironiquement, l’un des exemples les plus drôles d’échec de l’aperçu de l’IA de Google survient lorsque le système ne se rend pas compte qu’une source en ligne essayait d’être drôle. Une réponse de l’IA suggérant d’utiliser « 1/8 tasse de colle non toxique » pour empêcher le fromage de glisser de la pizza peut être attribuée à quelqu’un qui essayait manifestement de troller un fil de discussion en cours. Une réponse recommandant un « liquide clignotant » pour un clignotant qui ne fait pas de bruit peut également être attribuée à un troll sur les forums de conseils Good Sam, que l’AI Overview de Google considère apparemment comme une source fiable.

Dans les recherches Google régulières, ces messages farfelus provenant d’utilisateurs Internet aléatoires ne figureraient probablement pas parmi les premières réponses vues par quelqu’un en cliquant sur une liste de liens Web. Mais avec AI Overviews, ces trolls ont été intégrés dans le résumé des données faisant autorité présenté juste en haut de la page de résultats.

De plus, rien dans les minuscules cases « lien source » sous le résumé de l’IA de Google ne suggère que l’un ou l’autre de ces trolls du forum est autre chose que de bonnes sources d’informations. Parfois, cependant, jeter un coup d’œil à la source peut vous épargner quelques ennuis, comme lorsque vous voyez une réponse qualifiant la course avec des ciseaux d’« exercice cardio que certains disent efficace » (qui provient d’un article de 2022 de Little Old Lady Comedy).

Mauvais approvisionnement

Parfois, la présentation de l’IA de Google propose un résumé précis d’une source non-blague qui s’avère erronée. Par exemple, lorsqu’on demande combien de signataires de la Déclaration d’indépendance possédaient des esclaves, l’AI Overview de Google résume avec précision une page de la bibliothèque de l’Université de Washington de Saint-Louis disant qu’un tiers « étaient personnellement des esclavagistes ». Mais la réponse ignore des sources contradictoires, comme un article du Chicago Sun-Times affirmant que la vraie réponse est plus proche des trois quarts. Je ne suis pas assez expert en histoire pour juger quelle source faisant autorité a raison, mais au moins un historien en ligne a contesté la recherche de réponses de l’IA de Google.

D’autres fois, une source à laquelle Google fait autorité n’est en réalité qu’une fanfiction. C’est le cas d’une réponse qui imaginait un remake de 2022 2001 : Une odyssée de l’espace, réalisé par Steven Spielberg et produit par George Lucas. Un internaute averti ferait probablement une double prise avant de citer « Idea Wiki » de Fandom comme source fiable, mais un utilisateur imprudent de AI Overview pourrait ne pas remarquer d’où l’IA a obtenu ses informations.