Demain, les copies étudiantes seront-elles corrigées par des IA ? C'est le scénario imaginé par Emmanuelle Deglaire et Peter Daly, professeurs à l’EDHEC Business School. Voilà les résultats de leurs expérimentations.
Depuis deux ans, l'enseignante en droit Emmanuelle Deglaire et le professeur de management Peter Daly déploient à l’EDHEC Business School une expérimentation pour tester la correction de copie augmentée par IA. « Nous avions deux axes de recherche, détaille Emmanuelle Deglaire. Est-ce techniquement faisable, c’est-à-dire est-ce que l’IA est capable de corriger des copies ? Est-ce socialement acceptable ? Avec des enjeux d’éthique et de responsabilités. »
Dans une première phase de test, les deux professeurs ont comparé la correction assistée par IA à la correction humaine sur des copies pré-corrigées. Les observations ont fait l’objet d’une première publication scientifique. Fort de ce succès, le duo s’attèle aujourd’hui à la confrontation du protocole au terrain.
Depuis le début de l’année, Emmanuelle Deglaire applique à ses propres cours la correction IA, une solution développée par un prestataire externe dans une itération constante avec l’école et adossée à ChatGPT. Pour l’instant, 600 copies ont été corrigées. Le tout est documenté et fera l’objet d’autres publications scientifiques.
« Les résultats sont encourageants et l’expérimentation se poursuit », se réjouissent les professeurs. En avant-première, ils nous dévoilent les principaux enseignements tirés de leurs travaux.
1. Outre les gains de temps, l'assistant IA permet aux professeurs de questionner leurs manières de corriger.
Peter Daly : « En pédagogie, on distingue l’évaluation sommative – la note chiffrée – de l’évaluation formative – les retours, les commentaires, etc. A priori, il est plus simple d’automatiser les corrections d’examens à visée sommative, mais avec les bons prompts et en quantité suffisante, l’IA permet aussi un apprentissage personnalisé, grâce à une évaluation formative détaillée. »
Emmanuelle Deglaire : « Dans le cas de ma matière, le droit, l'évaluation sommative est générée par la validation de points de passage dans le raisonnement juridique. On transmet à l’IA un barème dans lequel chaque étape octroie un certain nombre de points. Pour ce qui est de l’évaluation formative, on peut demander ce qu’on veut à l’IA comme typologie de feedback. C’est très intéressant en tant que professeur, parce que ça impose de se questionner sur son propre style de correction. »
2. La standardisation des corrections ? Oui, mais pas pour toutes les copies.
ED : « En droit, dans certains cas, l’étudiant utilise un autre principe juridique que celui attendu, pertinent mais moins intuitif. C’est la pensée out of the box, et celle-ci nécessite une supervision humaine. C’est la règle des 80/20 : 80 % des copies sont similaires, 20 % diffèrent. Si l’IA me fait gagner du temps sur 80 % de copies, c’est très bien. Mais je dois veiller à repasser derrière toutes les copies pour distinguer les “standard” ou “out of the box”. »
PD : « Corriger des copies permet d’évaluer la compréhension des étudiants, et il est important que les professeurs continuent à le faire manuellement pour une partie d’entre elles. En revanche, dans les grandes promotions (≥100 étudiants) où on ne connaît pas nécessairement tous ses élèves, la correction assistée par IA peut libérer du temps pour accompagner ceux qui rencontrent des difficultés. »
ED : « Comme dans tout processus d'industrialisation, pour que ça vaille le coup, il faut que ça soit à l’échelle. Au-delà des effets de seuil, il faut aussi considérer la pertinence stratégique du recours à l’IA : si par exemple le type d’examen va être réutilisé les années suivantes, il y a un gain à long terme. »
3. La plupart du temps, l’IA et l’humain donnent la même note.
ED : « Dans l’expérimentation menée avec Peter, les écarts entre l’IA et les profs étaient minimes, en général de 1 point maximum. C’était drôle, d’ailleurs, de voir les équipes techniques assez déçues quand elles arrivaient à un écart de 1 point, car dans une approche statistique, c’est un écart énorme, là où les professeurs étaient très contents. Pour nous, un écart de 1 point sur une note est acceptable parce qu’on sait qu’il y a une forme de subjectivité dans notre notation et qu’il n’y a pas de réponse exacte. »
4. Pour l’instant, l’acceptabilité sociale est plus grande chez les profs que chez les élèves
ED : « Pour beaucoup d’étudiants, la correction de copies est un point de connexion humaine. C’est un résultat que l’on n’anticipait pas a priori : ça veut dire, d’une part, qu’il y a une forme de défiance envers l’IA et, d’autre part, que les étudiants sont attachés à l’autorité des professeurs. De notre côté, on se dit au contraire qu’en se déchargeant du gros de la correction, cela peut nous libérer du temps pour faire du coaching individuel ou des office hours, par exemple, quand on reste disponible au bureau pour les élèves. »
PD : « L’acceptation sociale dépend de l’utilisation qui en est faite par les étudiants et les professeurs. Comme pour toute innovation disruptive, plus elle sera utilisée, plus elle deviendra une norme. »
Vous avez aimé cet article ? Retrouvez-le, avec d'autres, dans le magazine EDHEC Vox n°16 !
Participer à la conversation