Suite au succès d’OpenAI ChatGPTMicrosoft Chat Bing et Barde Googleles chercheurs ont créé un nouveau modèle d’IA avec une touche beaucoup plus sombre.
Alors que les grands modèles de langage (LLM) qui alimentent ChatGPT et Google Bard ont été formés sur des données du Web ouvert, DarkBERT a été formé exclusivement sur des données du toile sombre. Oui, vous avez bien lu, ce nouveau modèle d’IA a été formé à l’aide de données provenant de pirates, de cybercriminels et d’autres escrocs.
Une équipe de chercheurs sud-coréens a publié un papier (s’ouvre dans un nouvel onglet) (PDF) détaillant comment ils ont créé DarkBERT en utilisant les données du Réseau Tor, qui est souvent utilisé pour accéder au dark web. En parcourant le dark web puis en filtrant les données brutes, ils ont pu créer une base de données dark web qu’ils ont utilisée pour former DarkBERT.
Étonnamment, DarkBERT a déjà réussi à surpasser d’autres grands modèles de langage malgré sa formation sur des données provenant d’un endroit très improbable.
Donner une nouvelle vie à une ancienne architecture d’IA
Bien que DarkBERT soit un nouveau modèle d’IA, il est en fait basé sur l’architecture RoBERTa, qui est une approche d’IA développée en 2019 par des chercheurs de Facebook selon notre site sœur Le matériel de Tom (s’ouvre dans un nouvel onglet).
Dans un document de recherche (s’ouvre dans un nouvel onglet) détaillant le fonctionnement interne de RoBERTa, Meta AI explique qu’il s’agit d’une « méthode fortement optimisée pour la préformation des systèmes de traitement du langage naturel (NLP) » qui améliore le BERT (Représentations d’encodeurs bidirectionnels de Transformers), qui a été publié par Google en 2018. Comme le géant de la recherche a rendu BERT open source, les chercheurs de Facebook ont pu améliorer ses performances dans une étude de réplication.
Grâce à la méthode optimisée de Facebook, il a publié RoBERTa qui a pu produire des résultats de pointe sur le benchmark NLP General Language Understanding Evaluation (GLUE).
Cependant, les chercheurs sud-coréens derrière DarkBERT ont montré que RoBERTa est capable de faire encore plus car il était sous-formé lors de sa sortie initiale. En alimentant les données RoBERTa du dark web pendant près de 16 jours sur deux ensembles de données (l’un brut et l’autre prétraité), les chercheurs ont pu créer DarkBERT.
Heureusement, les chercheurs n’ont pas l’intention de rendre public DarkBERT. Cependant, ils acceptent les demandes à des fins académiques selon Dexerto (s’ouvre dans un nouvel onglet). Pourtant, DarkBERT fournira probablement aux forces de l’ordre et aux chercheurs une bien meilleure compréhension du dark web dans son ensemble.
Comment rester en sécurité lorsque vous utilisez des chatbots IA
Comme avec tout autre logiciel ou service en ligne, vous devez être prudent lorsque vous utilisez des chatbots IA, car vous pourriez être infecté par un logiciel malveillant. fausses applications ChatGPT ou même exposer des données sensibles comme employés chez Samsung l’a fait récemment.
C’est pourquoi vous voulez vous assurer que vous accédez réellement au bon site Web lorsque vous utilisez ces chatbots AI populaires. Si vous recherchez une application ChatGPT, Bing Chat ou Google Bard, vous n’en trouverez pas encore car OpenAI, Microsoft et Google n’ont pas encore publié d’applications officielles pour leurs chatbots IA.
De même, vous ne voulez pas cliquer sur des liens dans des e-mails suspects prétendant vous diriger vers un chatbot IA ou qui vous aident à y accéder immédiatement. Les escrocs sont bien conscients de l’engouement actuel pour les chatbots IA et en profitent actuellement dans leurs attaques. Dans le même temps, les publicités sur les chatbots IA sont également à éviter car les cybercriminels abusent souvent de Google Ads et d’autres services publicitaires pour emmener les utilisateurs sans méfiance vers des sites de phishing.
Pour une protection supplémentaire lors de l’expérimentation de chatbots IA, vous devez utiliser le meilleur logiciel antivirus avec votre PC, le meilleur logiciel antivirus Mac avec votre Mac et l’un des meilleures applications antivirus Android sur votre smartphone. De cette façon, si un lien vers un chatbot IA mène à un logiciel malveillant, votre antivirus l’attrapera en premier avant que vos appareils ne soient infectés.
DarkBERT pourrait représenter l’avenir des modèles d’IA formés dans un domaine spécifique pour les rendre beaucoup plus spécialisés. Compte tenu de sa popularité jusqu’à présent, nous ne serions pas surpris si nous voyions des modèles d’IA similaires développés de cette manière à l’avenir.