Images Getty | Carole Yepes
Ce message a été mis à jour le jeudi 9 février pour indiquer clairement que la méthode utilisée pour contourner les restrictions ChatGPT utilise des API pour un modèle GPT-3 appelé text-davinci-003 au lieu de ChatGPT. text-davinci-003 et ChatGPT sont tous deux des modèles GPT-3 (OpenAI les a ensuite distingués en tant que modèles GPT-3.5.) ChatGPT est spécialement conçu pour les applications de chatbot et a été affiné à partir des modèles GPT-3.5.
Les pirates ont trouvé un moyen de contourner les restrictions de ChatGPT et l’utilisent pour vendre des services qui permettent aux gens de créer des logiciels malveillants et des e-mails de phishing, ont déclaré mercredi des chercheurs.
ChatGPT est un chatbot qui utilise l’intelligence artificielle pour répondre aux questions et effectuer des tâches d’une manière qui imite la production humaine. Les gens peuvent l’utiliser pour créer des documents, écrire du code informatique de base et faire d’autres choses. Le service bloque activement les demandes de génération de contenu potentiellement illégal. Demandez au service d’écrire du code pour voler des données à partir d’un appareil piraté ou de créer un e-mail de phishing, et le service refusera et répondra à la place que ce contenu est « illégal, contraire à l’éthique et nuisible ».
Ouvrir la boîte de Pandore
Les pirates ont trouvé un moyen simple de contourner ces restrictions et l’utilisent pour vendre des services illicites dans un forum clandestin sur le crime, ont rapporté des chercheurs de la société de sécurité Check Point Research. La technique fonctionne en utilisant l’interface de programmation d’application pour l’un des modèles GPT-3 d’OpenAI connu sous le nom de text-davinci-003, au lieu de ChatGPT, qui est une variante des modèles GPT-3 spécialement conçue pour les applications de chatbot. OpenAI met l’API text-davinci-003 et d’autres modèles d’API à la disposition des développeurs afin qu’ils puissent intégrer le bot AI dans leurs applications. Il s’avère que les versions de l’API n’appliquent pas de restrictions sur le contenu malveillant.
« La version actuelle de l’API d’OpenAI est utilisée par des applications externes (par exemple, l’intégration du modèle GPT-3 d’OpenAI aux canaux Telegram) et a très peu ou pas de mesures anti-abus en place », ont écrit les chercheurs. « En conséquence, il permet la création de contenu malveillant, tel que des e-mails de phishing et du code malveillant, sans les limitations ou les barrières que ChatGPT a définies sur leur interface utilisateur. »
Un utilisateur d’un forum vend maintenant un service qui combine l’API et l’application de messagerie Telegram. Les 20 premières requêtes sont gratuites. À partir de là, les utilisateurs sont facturés 5,50 $ pour 100 requêtes.
Recherche de points de contrôle
Les chercheurs de Check Point ont testé l’efficacité de l’API text-davinci-003. Le résultat : un e-mail de phishing et un script qui vole les documents PDF d’un ordinateur infecté et les envoie à un attaquant via FTP.
Recherche de points de contrôle
Pendant ce temps, d’autres participants au forum publient du code qui utilise text-davinci-003 pour générer gratuitement du contenu malveillant. « Voici un petit script bash pour vous aider à contourner les restrictions de ChatGPT afin de l’utiliser pour tout ce que vous voulez, y compris le développement de logiciels malveillants 😉 », a écrit un utilisateur.
Recherche de points de contrôle
Le mois dernier, les chercheurs de Check Point ont documenté comment ChatGPT pouvait être utilisé pour écrire des messages malveillants et de phishing.
« De décembre à janvier, il était encore facile d’utiliser l’interface utilisateur Web ChatGPT pour générer des logiciels malveillants et des e-mails de phishing (la plupart du temps, une simple itération de base suffisait), et sur la base du bavardage des cybercriminels, nous supposons que la plupart des exemples que nous avons montrés ont été créés. en utilisant l’interface utilisateur Web », a écrit le chercheur de Check Point, Sergey Shykevich, dans un e-mail. « Dernièrement, il semble que les mécanismes anti-abus de ChatGPT aient été considérablement améliorés, alors maintenant les cybercriminels sont passés à son API qui a beaucoup moins de restrictions. »
Les représentants d’OpenAI, la société basée à San Francisco qui développe ChatGPT, n’ont pas immédiatement répondu à un e-mail demandant si la société était au courant des résultats de la recherche ou avait l’intention de modifier l’interface API. Ce message sera mis à jour si nous recevons une réponse.
La génération de logiciels malveillants et d’e-mails de phishing n’est qu’une des façons dont ChatGPT et ses autres variantes GPT ouvrent une boîte de Pandore qui pourrait bombarder le monde avec du contenu nuisible. D’autres exemples d’utilisations dangereuses ou contraires à l’éthique sont l’invasion de la vie privée et la génération de désinformation ou de devoirs scolaires. Bien sûr, la même capacité à générer du contenu nuisible, contraire à l’éthique ou illicite peut être utilisée par les défenseurs pour développer des moyens de le détecter et de le bloquer, mais il n’est pas clair si les utilisations bénignes pourront suivre le rythme des malveillantes.