La semaine dernière, OpenAI a publié des conseils destinés aux éducateurs dans un article de blog promotionnel qui montre comment certains enseignants utilisent ChatGPT comme aide pédagogique, ainsi que des invites suggérées pour commencer. Dans une FAQ connexe, ils admettent également officiellement ce que nous savons déjà : les détecteurs d’écriture IA ne fonctionnent pas, bien qu’ils soient fréquemment utilisés pour punir les étudiants avec de faux positifs.
Dans une section de la FAQ intitulée « Les détecteurs d’IA fonctionnent-ils ? », OpenAI écrit : « En bref, non. Bien que certains (y compris OpenAI) aient publié des outils prétendant détecter le contenu généré par l’IA, aucun d’entre eux ne s’est avéré capable de distinguer de manière fiable entre le contenu généré par l’IA et le contenu généré par l’homme.
En juillet, nous avons expliqué en détail pourquoi les détecteurs d’écriture IA tels que GPTZero ne fonctionnent pas, les experts les qualifiant de « principalement de l’huile de serpent ». Ces détecteurs génèrent souvent des faux positifs en raison du recours à des mesures de détection non éprouvées. En fin de compte, il n’y a rien de spécial dans le texte écrit par l’IA qui le distingue toujours du texte écrit par l’homme, et les détecteurs peuvent être vaincus en reformulant. Le même mois, OpenAI a abandonné son AI Classifier, un outil expérimental conçu pour détecter le texte écrit par l’IA. Il avait un taux de précision épouvantable de 26 pour cent.
La nouvelle FAQ d’OpenAI répond également à une autre idée fausse importante, à savoir que ChatGPT lui-même peut savoir si le texte est écrit par l’IA ou non. OpenAI écrit : « De plus, ChatGPT n’a aucune « connaissance » du contenu qui pourrait être généré par l’IA. Il invente parfois des réponses à des questions telles que « avez-vous écrit ceci ? [essay]?’ ou « Cela aurait-il pu être écrit par l’IA ? » Ces réponses sont aléatoires et n’ont aucun fondement factuel. »
Dans le même esprit, OpenAI s’attaque également à la propension de ses modèles d’IA à fabuler de fausses informations, que nous avons également abordée en détail chez Ars. « Parfois, ChatGPT semble convaincant, mais il peut vous donner des informations incorrectes ou trompeuses (souvent appelées « hallucination » dans la littérature) », écrit la société. « Il peut même inventer des choses comme des citations ou des citations, alors ne l’utilisez pas comme seule source de recherche. »
(En mai, un avocat a eu des ennuis pour avoir fait exactement cela, citant six cas inexistants qu’il avait retirés de ChatGPT.)
Même si les détecteurs d’IA automatisés ne fonctionnent pas, cela ne signifie pas qu’un humain ne pourra jamais détecter l’écriture de l’IA. Par exemple, un enseignant familier avec le style d’écriture typique d’un élève peut détecter quand son style ou ses capacités changent soudainement. En outre, certaines tentatives bâclées visant à faire passer le travail généré par l’IA pour un travail écrit par l’homme peuvent laisser des signes révélateurs, tels que l’expression « en tant que modèle de langage d’IA », ce qui signifie que quelqu’un a copié et collé la sortie de ChatGPT sans faire attention. Et récemment, un article de la revue scientifique Nature a montré comment les humains ont remarqué l’expression « Régénérer la réponse » dans un article scientifique, qui est l’étiquette d’un bouton dans ChatGPT.
Dans l’état actuel de la technologie, il est plus sûr d’éviter complètement les outils de détection automatisés de l’IA. « Pour l’instant, l’écriture de l’IA est indétectable et le restera probablement », a déclaré Ethan Mollick, analyste fréquent en IA et professeur à Wharton, à Ars en juillet. « Les détecteurs d’IA ont des taux de faux positifs élevés et ne devraient donc pas être utilisés. »