L'outil anti triche ChatGPT d'OpenAI n'est pas vraiment fiable

OpenAI, le fabricant de ChatGPT, tente de freiner sa réputation de « machine à tricher » avec un nouvel outil qui permettra (ou pas) aux enseignants de détecter qui se cache derrière une copie : un élève ou une intelligence artificielle ?

« Lyon. Triche : 50 % des copies de ses étudiants rédigées par l’intelligence artificielle ChatGPT », « ChatGPT : la moitié d’une classe triche grâce à l’IA, mais se fait attraper. »... Les cas de fraudes fleurissent aussi vite que ChatGPT crée des textes. Un véritable fléau qui suscite l’inquiétude au sein des enseignants.

ChatGPT, une antisèche qui a réponse à tout

À l'université de Strasbourg, une vingtaine d'étudiants ont dû repasser un examen après avoir triché au moyen du chatbot ChatGPT. « On avait 92 % d'étudiants qui avaient des réponses positives, alors que c'est un examen où on attend quelque chose comme 40 ou 50 % d'étudiants au-dessus de la moyenne », rapporte une professeure.

Même constat à Lyon pour Stéphane Bonvaller, professeur en handicapologie. En corrigeant ses copies, l'enseignant remarque que pour 14 d'entre elles la construction et l'argumentation sont similaires. En confrontant les élèves, la moitié de la classe reconnaît avoir eu recours à « l'incollable » ChatGPT. Estimant qu'il ne s'agissait pas réellement de triche, le professeur a pris le parti de ne pas sanctionner, et de noter les copies. Résultats ? Selon lui, les productions de ChatGPT auraient été évaluées entre 10 et 12,5 sur 20, soit une notation très correcte selon le professeur.

Pour tenter de limiter ce genre de pratiques, de nombreuses écoles ont décidé de bannir l'IA conversationelle sur leurs réseaux et appareils, craignant les impacts sur l'apprentissage des élèves. D'autres écoles, à l'image de Science Po, ont pris la décision d'interdire aux étudiants l'utilisation de ChatGPT sous peine d'exclusion. Mais comment les enseignants vont-ils pouvoir détecter si un texte a été généré par l’IA ?

L'outil anti triche d'OpenAI

Face au mécontentement de la communauté enseignante, OpenAI, l'entreprise à l'origine du chatbot, vient de lancer un outil pour détecter le texte généré par l'IA, y compris à partir de ChatGPT. L'objectif d' « OpenAI AI Text Classifier » est de « tenter » de faire la distinction entre un texte écrit par l'homme et un texte généré par l'IA. Il va « tenter », et c'est là le hic : le classificateur manque de précision. « La méthode de détection du texte écrit par l'IA est imparfaite et elle se trompera parfois. Pour cette raison, il ne faut pas s'y fier uniquement lors de la prise de décisions » reconnaît Jan Leike, responsable chez OpenAI, qui conseille de « l'utiliser en complément d'autres méthodes pour déterminer la source d'un texte ».

Au final on apprend que l'outil permettra simplement d'étiqueter le texte soumis en fonction d'une échelle de probabilité allant de « très peu probable » (moins de 10 % de chances d'avoir été généré par une IA) à « probablement » (une chance de plus de 98 % d'avoir été généré par une IA). Selon Open IA, le taux de réussite est d'environ 26 % et les probabilités pour que l'outil étiquette à tort un texte écrit par l'homme comme ayant été rédigé par une IA sont de 9 %.

Comment expliquer un tel niveau d'imprécision ? Tout comme ChatGPT, qui a été formé sur une énorme quantité de livres numérisés, de journaux et d'écrits en ligne, il n'est pas facile d'interpréter le résultat reconnaît Jan Leike : « Nous ne savons pas fondamentalement à quel type de modèle il prête attention, ni comment cela fonctionne en interne. Il n'y a vraiment pas grand-chose que nous puissions dire à ce stade sur le fonctionnement réel du classificateur. » Autant dire que compte tenu de son faible niveau de fiabilité, l'outil ne sera pas d'une grande aide pour les enseignants.

Accompagner plutôt que sanctionner

Interrogée sur les cas de triches dans son établissement, l'université de Strasbourg a déclaré : « Nous agirons au cas par cas en cas de tricherie, selon ce que les textes prévoient actuellement ». Et justement que dit la loi ? À vrai dire rien et compte tenu du manque de cadre légal selon certains experts il est impossible de considérer l’utilisation d'une intelligence artificielle comme de la triche.

Et si finalement la solution consistait à s'adapter plutôt qu'à sanctionner, voire bannir les nouveaux outils d'IA ? C'est l'avis de Devin Page, spécialiste de la technologie au sein du district scolaire public du comté de Calvert dans le Maryland pour qui bloquer n'est pas la solution : « ChatGpt et plus largement les outils d'IA sont l'avenir. Je pense que nous serions naïfs si nous n'étions pas conscients des dangers que représente cet outil, mais nous ne servirions pas non plus nos étudiants si nous leur interdisions, ainsi qu'à nous, de l'utiliser dans toute sa puissance potentielle. » Un avis partagé par le ministre français de l'Economie numérique, Jean-Noël Barrot, qui a déclaré au Forum économique mondial de Davos, en Suisse, que bien conscient des questions éthiques soulevées par de tels outils, il était néanmoins optimiste quant à la technologie. « Il sera de plus en plus important pour les utilisateurs de comprendre les bases du fonctionnement de ces systèmes afin qu'ils sachent quels biais peuvent exister », a-t-il déclaré.