Sakchai Vongsasiripat/Getty Image
ChatGPT pourrait bien révolutionner la recherche sur le Web, rationaliser les tâches de bureau et repenser l’éducation, mais le chatbot au langage doux a également trouvé du travail en tant que colporteur de crypto-monnaie sur les réseaux sociaux.
Des chercheurs de l’Université d’Indiana à Bloomington ont découvert un botnet alimenté par ChatGPT opérant sur X, l’ancien réseau social connu sous le nom de Twitter, en mai de cette année.
Le botnet, que les chercheurs surnomment Fox8 en raison de sa connexion à des sites Web de cryptomonnaie portant une variante du même nom, comprenait 1 140 comptes. Beaucoup d’entre eux semblaient utiliser ChatGPT pour rédiger des publications sur les réseaux sociaux et pour répondre aux publications des autres. Le contenu généré automatiquement a apparemment été conçu pour inciter des humains sans méfiance à cliquer sur des liens vers les sites de crypto-médiation.
Micah Musser, un chercheur qui a étudié le potentiel de désinformation induite par l’IA, affirme que le botnet Fox8 n’est peut-être que la pointe de l’iceberg, compte tenu de la popularité croissante des grands modèles de langage et des chatbots. «C’est le fruit le plus facile à trouver», dit Musser. « Il est très, très probable que pour chaque campagne que vous trouvez, il y en ait beaucoup d’autres qui font des choses plus sophistiquées. »
Le botnet Fox8 était peut-être étendu, mais son utilisation de ChatGPT n’était certainement pas sophistiquée. Les chercheurs ont découvert le botnet en recherchant sur la plateforme la phrase révélatrice « En tant que modèle de langage d’IA… », une réponse que ChatGPT utilise parfois pour des invites sur des sujets sensibles. Ils ont ensuite analysé manuellement les comptes pour identifier ceux qui semblaient être gérés par des robots.
« La seule raison pour laquelle nous avons remarqué ce botnet particulier est qu’il était bâclé », explique Filippo Menczer, professeur à l’université d’Indiana à Bloomington, qui a mené la recherche avec Kai-Cheng Yang, un étudiant qui rejoindra l’université Northeastern en tant que chercheur postdoctoral pour le projet. année universitaire à venir.
Malgré le tic, le botnet a publié de nombreux messages convaincants faisant la promotion de sites de cryptomonnaies. L’apparente facilité avec laquelle l’intelligence artificielle d’OpenAI a été exploitée pour cette arnaque signifie que des chatbots avancés pourraient exécuter d’autres botnets qui n’ont pas encore été détectés. « N’importe quel méchant plutôt bon ne ferait pas cette erreur », dit Menczer.
OpenAI n’avait pas répondu à une demande de commentaires sur le botnet au moment de la publication. La politique d’utilisation de ses modèles d’IA interdit leur utilisation à des fins d’escroquerie ou de désinformation.
ChatGPT et d’autres chatbots de pointe utilisent ce que l’on appelle de grands modèles de langage pour générer du texte en réponse à une invite. Avec suffisamment de données de formation (la plupart provenant de diverses sources sur le Web), suffisamment de puissance informatique et les commentaires de testeurs humains, des robots comme ChatGPT peuvent répondre de manière étonnamment sophistiquée à un large éventail d’entrées. Dans le même temps, ils peuvent également laisser échapper des messages haineux, faire preuve de préjugés sociaux et inventer des choses.
Un botnet basé sur ChatGPT correctement configuré serait difficile à repérer, plus capable de duper les utilisateurs et plus efficace pour manipuler les algorithmes utilisés pour prioriser le contenu sur les réseaux sociaux.
« Cela trompe à la fois la plate-forme et les utilisateurs », explique Menczer à propos du botnet alimenté par ChatGPT. Et, si un algorithme de médias sociaux détecte qu’une publication suscite beaucoup d’engagement, même si cet engagement provient d’autres comptes de robots, il montrera la publication à davantage de personnes. « C’est exactement la raison pour laquelle ces robots se comportent comme ils le font », explique Menczer. Et les gouvernements qui cherchent à mener des campagnes de désinformation développent ou déploient probablement déjà de tels outils, ajoute-t-il.
Les chercheurs craignent depuis longtemps que la technologie derrière ChatGPT puisse poser un risque de désinformation, et OpenAI a même retardé la sortie d’un prédécesseur du système en raison de ces craintes. Mais, à ce jour, il existe peu d’exemples concrets d’utilisation abusive de grands modèles de langage à grande échelle. Certaines campagnes politiques utilisent déjà l’IA, avec des personnalités des politiciens partagent des vidéos deepfake destinés à dénigrer leurs adversaires.
William Wang, professeur à l’Université de Californie à Santa Barbara, déclare qu’il est passionnant de pouvoir étudier l’utilisation criminelle réelle de ChatGPT. « Leurs découvertes sont plutôt intéressantes », dit-il à propos du travail de Fox8.
Wang pense que de nombreuses pages Web de spam sont désormais générées automatiquement et qu’il devient de plus en plus difficile pour les humains de repérer ce contenu. Et, avec l’amélioration constante de l’IA, cela ne fera que devenir plus difficile. « La situation est plutôt mauvaise », dit-il.
En mai dernier, le laboratoire de Wang a développé une technique permettant de distinguer automatiquement le texte généré par ChatGPT de l’écriture humaine réelle, mais il affirme que son déploiement est coûteux car il utilise l’API d’OpenAI, et il note que l’IA sous-jacente s’améliore constamment. « C’est une sorte de problème du chat et de la souris », explique Wang.
X pourrait être un terrain d’essai fertile pour de tels outils. Menczer affirme que les robots malveillants semblent être devenus beaucoup plus courants depuis qu’Elon Musk a pris le contrôle de ce qui était alors connu sous le nom de Twitter, malgré la promesse du magnat de la technologie de les éradiquer. Et il est devenu plus difficile pour les chercheurs d’étudier le problème en raison de la forte hausse des prix imposée à l’utilisation de l’API.
Quelqu’un chez X a apparemment démantelé le botnet Fox8 après que Menczer et Yang ont publié leur article en juillet. Le groupe de Menczer avait l’habitude d’alerter Twitter des nouvelles découvertes sur la plateforme, mais ils ne le font plus avec X. « Ils ne sont pas vraiment réactifs », dit Menczer. « Ils n’ont pas vraiment le personnel. »
Cette histoire a été initialement publiée sur wired.com.