ChatGPT a réussi à créer des choses amusantes et hilarantes entre de bonnes mains, comme celle-ci Billy Bass à grande bouche projet. Cependant, il existe un côté beaucoup plus sombre de l’IA qui pourrait être utilisé pour créer des problèmes très compliqués pour l’avenir de l’informatique. Quelques experts en informatique ont récemment souligné le potentiel dangereux de ChatGPT et sa capacité à créer des logiciels malveillants polymorphes presque impossibles à détecter à l’aide de la détection et de la réponse aux points de terminaison (EDR).
L’EDR est un type de technique de cybersécurité qui peut être déployée pour détecter les logiciels malveillants. Cependant, les experts suggèrent que ce protocole traditionnel ne correspond pas aux dommages potentiels que ChatGPT peut créer. Le code qui peut muter – c’est là que le terme polymorphe entre en jeu – peut être beaucoup plus difficile à détecter.
La plupart des modèles d’apprentissage des langues (LLM) comme ChatGPT sont conçus avec des filtres en place pour éviter de générer du contenu inapproprié tel que jugé par leurs créateurs. Cela peut aller de sujets spécifiques à, dans ce cas, un code malveillant. Cependant, il n’a pas fallu longtemps aux utilisateurs pour trouver des moyens de contourner ces filtres. C’est cette tactique qui rend ChatGPT particulièrement vulnérable aux personnes cherchant à créer des scripts nuisibles.
Jeff Sims est ingénieur en sécurité chez HYAS InfoSec, une entreprise qui se concentre sur la sécurité informatique. En mars, Sims a publié un livre blanc détaillant un projet de preuve de concept qu’il appelle Black Mamba. Cette application est un type d’enregistreur de frappe polymorphe qui envoie des requêtes à ChatGPT à l’aide d’une API à chaque exécution.
« En utilisant ces nouvelles techniques, un acteur malveillant peut combiner une série de comportements généralement hautement détectables dans une combinaison inhabituelle et échapper à la détection en exploitant l’incapacité du modèle à le reconnaître comme un schéma malveillant », explique Sims.
Une autre entreprise de cybersécurité, CyberArk, a récemment démontré la capacité de ChatGPT à créer ce type de malware polymorphe dans un article de blog rédigé par Eran Shimony et Omer Tsarfati. Dans le post, ils expliquent comment l’injection de code à partir des requêtes ChatGPT permet de modifier les scripts une fois activés, en évitant les techniques plus modernes utilisées pour détecter les comportements malveillants.
Pour le moment, nous n’avons que ces exemples comme preuve de concept – mais nous espérons que cette prise de conscience conduira à d’autres développements pour prévenir les dommages que ce type de code mutant pourrait causer dans un environnement réel.