Si vous suivez l’actualité de l’IA générative, vous connaissez probablement la tendance des chatbots LLM à « confondre » des informations incorrectes tout en présentant ces informations comme faisant autorité. Cette tendance semble sur le point de causer de sérieux problèmes maintenant qu’un chatbot géré par le gouvernement de la ville de New York invente des réponses incorrectes à certaines questions importantes de droit local et de politique municipale.
Le ChatBot « MyCity » de New York a été lancé en tant que programme « pilote » en octobre dernier. L’annonce présente le ChatBot comme un moyen pour les propriétaires d’entreprise de « gagner du temps et de l’argent en leur fournissant instantanément des informations exploitables et fiables provenant de plus de 2 000 pages Web et articles de NYC Business sur des sujets tels que le respect des codes et des réglementations, les activités commerciales disponibles. des incitations et des meilleures pratiques pour éviter les violations et les amendes.
Mais un nouveau rapport de The Markup et du site d’information local à but non lucratif The City a révélé que le chatbot MyCity donnait des informations dangereusement fausses sur certaines politiques municipales assez basiques. Pour ne citer qu’un exemple, le robot a déclaré que les bâtiments de New York « ne sont pas tenus d’accepter les bons de la Section 8 », alors qu’une page d’information du gouvernement de New York indique clairement que les subventions au logement de la Section 8 sont l’une des nombreuses sources de revenus légales que les propriétaires sont tenus d’accepter. sans discrimination. The Markup a également reçu des informations incorrectes en réponse aux requêtes des chatbots concernant la réglementation sur la rémunération des travailleurs et les heures de travail, ainsi que des informations spécifiques au secteur, telles que les prix des salons funéraires.
Des tests plus approfondis réalisés par Kathryn Tewson, utilisatrice de BlueSky, montrent que le chatbot MyCity donne des réponses dangereusement fausses concernant le traitement des lanceurs d’alerte sur le lieu de travail, ainsi que des réponses hilarantes concernant la nécessité de payer un loyer.
Cela va continuer à se produire
Le résultat n’est pas trop surprenant si l’on examine les modèles prédictifs basés sur des jetons qui alimentent ces types de chatbots. Le chatbot Microsoft Azure de MyCity utilise un processus complexe d’associations statistiques sur des millions de jetons pour essentiellement deviner le mot suivant le plus probable dans une séquence donnée, sans aucune réelle compréhension des informations sous-jacentes transmises.
Cela peut poser des problèmes lorsqu’une seule réponse factuelle à une question peut ne pas être reflétée précisément dans les données de formation. En fait, The Markup a déclaré qu’au moins un de ses tests avait abouti à la bonne réponse à la même question concernant l’acceptation des bons de logement de la section 8 (même si « dix membres du personnel de Markup distincts » ont obtenu la mauvaise réponse en répétant la même question).
Le chatbot MyCity, qui est clairement étiqueté comme un produit « bêta », indique aux utilisateurs qui prennent la peine de lire les avertissements qu’il « peut occasionnellement produire du contenu incorrect, nuisible ou biaisé » et que les utilisateurs ne doivent « pas se fier à ses réponses comme substitut à conseils professionnels. » Mais la page indique également au premier plan qu’elle est « formée pour vous fournir des informations officielles sur les affaires de New York » et qu’elle est vendue comme un moyen « d’aider les propriétaires d’entreprise à naviguer dans le gouvernement ».
Andrew Rigie, directeur exécutif de la NYC Hospitality Alliance, a déclaré à The Markup qu’il avait lui-même rencontré des inexactitudes de la part du robot et qu’il avait reçu des rapports à ce sujet d’au moins un propriétaire d’entreprise local. Mais Leslie Brown, porte-parole du Bureau de la technologie et de l’innovation de New York, a déclaré à The Markup que le robot « a déjà fourni à des milliers de personnes des réponses précises et opportunes » et que « nous continuerons à nous concentrer sur la mise à niveau de cet outil afin de mieux soutenir les petites entreprises à travers le monde ». la ville. »
Le maire de New York, Eric Adams, vante les mérites du chatbot MyCity lors d’un événement d’annonce en octobre.
Le rapport de Markup souligne le danger que les gouvernements et les entreprises déploient des chatbots auprès du public avant que leur exactitude et leur fiabilité n’aient été entièrement vérifiées. Le mois dernier, un tribunal a forcé Air Canada à honorer une politique de remboursement frauduleuse inventée par un chatbot disponible sur son site Internet. Un récent rapport du Washington Post a révélé que les chatbots intégrés aux principaux logiciels de préparation de déclarations de revenus fournissent « des réponses aléatoires, trompeuses ou inexactes » à de nombreuses questions fiscales. Et certains ingénieurs astucieux ont aurait été capable de tromper les chatbots des concessionnaires automobiles à accepter une « offre juridiquement contraignante – sans compromis » pour une voiture à 1 $.
Ce type de problèmes éloigne déjà certaines entreprises des chatbots plus généralisés basés sur LLM et se tourne vers des modèles de génération augmentée et de récupération plus spécifiquement formés, qui n’ont été réglés que sur un petit ensemble d’informations pertinentes. Ce type d’attention pourrait devenir d’autant plus important si la FTC réussit à rendre les chatbots responsables des informations « fausses, trompeuses ou désobligeantes ».