OpenAI a annoncé (s’ouvre dans un nouvel onglet) un nouvel outil qui, selon lui, peut faire la différence entre un texte écrit par un humain et celui d’un écrivain IA – de temps en temps.
La société soutenue par Microsoft affirme que le nouveau classificateur, comme on l’appelle, a été développé pour lutter contre l’utilisation malveillante des générateurs de contenu d’IA, tels que son propre et très populaire ChatGPT, dans « l’exécution de campagnes de désinformation automatisées ». (s’ouvre dans un nouvel onglet)… la malhonnêteté académique et le positionnement d’un chatbot IA en tant qu’humain. »
Jusqu’à présent, il affirme que le classificateur a un taux de réussite de 26 % dans l’identification du contenu généré par l’IA, en l’étiquetant correctement comme étant « probablement écrit par l’IA », et un taux de faux positifs de 9 % dans l’étiquetage erroné du travail des humains comme étant artificiellement créé.
Trouvez la différence
OpenAI note que plus le texte est long, plus le classificateur est performant et que, par rapport aux versions précédentes, la nouvelle version est « beaucoup plus fiable » pour détecter le texte généré automatiquement à partir d’outils d’IA plus récents.
Le classificateur est maintenant accessible au public, et OpenAI utilisera les commentaires qu’il reçoit pour déterminer son utilité et pour aider à améliorer les développements futurs des outils de détection d’IA à l’avenir.
OpenAI tient à souligner qu’il a ses limites et qu’il ne doit pas être considéré comme un « outil de prise de décision principal », un sentiment partagé par la plupart des acteurs de tous les domaines de l’IA.
Comme mentionné, la longueur du texte est importante pour le succès du classificateur, OpenAI déclarant qu’il est « très peu fiable » sur les pièces de moins de mille caractères.
Des textes encore plus longs peuvent être identifiés de manière incorrecte, et le contenu écrit par l’homme peut être « incorrectement mais en toute confiance étiqueté comme écrit par l’IA ». En outre, il fonctionne moins bien sur le texte écrit dans des langues autres que l’anglais ainsi que sur le code informatique.
Un texte prévisible où le contenu ne peut être écrit de manière réaliste que dans un sens ne peut pas non plus être étiqueté de manière fiable, comme une liste des mille premiers nombres premiers, pour donner l’exemple d’OpenAI.
De plus, OpenAI souligne que le texte de l’IA peut être modifié pour tromper le classificateur, et bien que le classificateur puisse être mis à jour et apprendre d’être trompé comme ça, il est intéressant de noter que la société dit qu’il n’est pas clair si la détection a un avantage à long- terme. »
Un texte qui est également très différent de celui sur lequel il a été formé peut également causer des problèmes de classificateur, avec « parfois [being] extrêmement confiant dans une mauvaise prédiction. »
Sur ces données de formation, OpenAI dit qu’il a utilisé des paires de textes écrits sur le même sujet, l’un produit par l’IA et l’autre qu’il croyait avoir été écrit par un humain – certains recueillis à partir des réponses humaines aux invites utilisées pour former InstructGPT, le modèle d’IA de la société qui est principalement utilisé par les chercheurs et les développeurs.
Le développement du classificateur s’inscrit dans le cadre de nombreuses préoccupations et débats entourant l’utilisation des chatbots d’IA, tels que le propre ChatGPT d’OpenAI, dans les établissements universitaires tels que les lycées et les universités.
Les accusations de tricherie se multiplient, car les étudiants utilisent le chatbot pour rédiger leurs devoirs à leur place. La plateforme de soumission d’essais Turnitin a même développé son propre système de détection d’écriture par IA (s’ouvre dans un nouvel onglet) en réponse.
OpenAI reconnaît ce fait et a même produit son propre ensemble de lignes directrices pour les éducateurs (s’ouvre dans un nouvel onglet) comprendre les utilisations et les limites de ChatGPT. Il espère que son nouveau classificateur ne profitera pas seulement à cette institution, mais aussi « aux journalistes, aux chercheurs en més/désinformation et à d’autres groupes ».
L’entreprise souhaite dialoguer avec les enseignants pour connaître leurs expériences avec ChatGPT en classe, et ils peuvent utiliser ce formulaire (s’ouvre dans un nouvel onglet) pour soumettre des commentaires à OpenAI.
Les outils d’écriture d’IA ont également fait sensation ailleurs. Le site technique CNET a récemment été critiqué pour avoir utilisé un outil d’IA pour écrire des articles (s’ouvre dans un nouvel onglet)dans le cadre d’une expérience, mais a été accusé de ne pas distinguer ces articles de ceux écrits par de vraies personnes. Il a également été constaté que ces articles contenaient des erreurs factuelles de base.