Demain, les copies étudiantes seront-elles corrigées par des IA ? C'est le scénario imaginé par Emmanuelle Deglaire et Peter Daly, professeurs à l’EDHEC Business School. Voilà les résultats de leurs expérimentations.
Depuis deux ans, l'enseignante en droit Emmanuelle Deglaire et le professeur de management Peter Daly déploient à l’EDHEC Business School une expérimentation pour tester la correction de copie augmentée par IA. « Nous avions deux axes de recherche, détaille Emmanuelle Deglaire. Est-ce techniquement faisable, c’est-à-dire est-ce que l’IA est capable de corriger des copies ? Est-ce socialement acceptable ? Avec des enjeux d’éthique et de responsabilités. »
Dans une première phase de test, les deux professeurs ont comparé la correction assistée par IA à la correction humaine sur des copies pré-corrigées. Les observations ont fait l’objet d’une première publication scientifique. Fort de ce succès, le duo s’attèle aujourd’hui à la confrontation du protocole au terrain.
Depuis le début de l’année, Emmanuelle Deglaire applique à ses propres cours la correction IA, une solution développée par un prestataire externe dans une itération constante avec l’école et adossée à ChatGPT. Pour l’instant, 600 copies ont été corrigées. Le tout est documenté et fera l’objet d’autres publications scientifiques.
« Les résultats sont encourageants et l’expérimentation se poursuit », se réjouissent les professeurs. En avant-première, ils nous dévoilent les principaux enseignements tirés de leurs travaux.
1. Outre les gains de temps, l'assistant IA permet aux professeurs de questionner leurs manières de corriger.
Peter Daly : « En pédagogie, on distingue l’évaluation sommative – la note chiffrée – de l’évaluation formative – les retours, les commentaires, etc. A priori, il est plus simple d’automatiser les corrections d’examens à visée sommative, mais avec les bons prompts et en quantité suffisante, l’IA permet aussi un apprentissage personnalisé, grâce à une évaluation formative détaillée. »
Emmanuelle Deglaire : « Dans le cas de ma matière, le droit, l'évaluation sommative est générée par la validation de points de passage dans le raisonnement juridique. On transmet à l’IA un barème dans lequel chaque étape octroie un certain nombre de points. Pour ce qui est de l’évaluation formative, on peut demander ce qu’on veut à l’IA comme typologie de feedback. C’est très intéressant en tant que professeur, parce que ça impose de se questionner sur son propre style de correction. »
2. La standardisation des corrections ? Oui, mais pas pour toutes les copies.
ED : « En droit, dans certains cas, l’étudiant utilise un autre principe juridique que celui attendu, pertinent mais moins intuitif. C’est la pensée out of the box, et celle-ci nécessite une supervision humaine. C’est la règle des 80/20 : 80 % des copies sont similaires, 20 % diffèrent. Si l’IA me fait gagner du temps sur 80 % de copies, c’est très bien. Mais je dois veiller à repasser derrière toutes les copies pour distinguer les “standard” ou “out of the box”. »
PD : « Corriger des copies permet d’évaluer la compréhension des étudiants, et il est important que les professeurs continuent à le faire manuellement pour une partie d’entre elles. En revanche, dans les grandes promotions (≥100 étudiants) où on ne connaît pas nécessairement tous ses élèves, la correction assistée par IA peut libérer du temps pour accompagner ceux qui rencontrent des difficultés. »
ED : « Comme dans tout processus d'industrialisation, pour que ça vaille le coup, il faut que ça soit à l’échelle. Au-delà des effets de seuil, il faut aussi considérer la pertinence stratégique du recours à l’IA : si par exemple le type d’examen va être réutilisé les années suivantes, il y a un gain à long terme. »
3. La plupart du temps, l’IA et l’humain donnent la même note.
ED : « Dans l’expérimentation menée avec Peter, les écarts entre l’IA et les profs étaient minimes, en général de 1 point maximum. C’était drôle, d’ailleurs, de voir les équipes techniques assez déçues quand elles arrivaient à un écart de 1 point, car dans une approche statistique, c’est un écart énorme, là où les professeurs étaient très contents. Pour nous, un écart de 1 point sur une note est acceptable parce qu’on sait qu’il y a une forme de subjectivité dans notre notation et qu’il n’y a pas de réponse exacte. »
4. Pour l’instant, l’acceptabilité sociale est plus grande chez les profs que chez les élèves
ED : « Pour beaucoup d’étudiants, la correction de copies est un point de connexion humaine. C’est un résultat que l’on n’anticipait pas a priori : ça veut dire, d’une part, qu’il y a une forme de défiance envers l’IA et, d’autre part, que les étudiants sont attachés à l’autorité des professeurs. De notre côté, on se dit au contraire qu’en se déchargeant du gros de la correction, cela peut nous libérer du temps pour faire du coaching individuel ou des office hours, par exemple, quand on reste disponible au bureau pour les élèves. »
PD : « L’acceptation sociale dépend de l’utilisation qui en est faite par les étudiants et les professeurs. Comme pour toute innovation disruptive, plus elle sera utilisée, plus elle deviendra une norme. »
Vous avez aimé cet article ? Retrouvez-le, avec d'autres, dans le magazine EDHEC Vox n°16 !
Bravo et merci pour votre expérimentation et pour les observations que vous en avez tirées, avec des points de vue tant du côté des enseignants que du point de vue des étudiant.
Enseignant-chercheur en Sciences de gestion dans une école de télécommunications à Villeneuve d’Ascq, j’ai pratiqué cette activité après plusieurs responsabilités industrielles et de gestion d’organismes sanitaires et sociaux. Embauché comme secrétaire général dans cette nouvelle école d’ingénieur (en 1990), le directeur m’a demandé, au bout d’une semaine, « en plus », d’y enseigner la Gestion car il ne trouvait pas d’enseignant pour les créneaux horaires prévus dans cette école. J’ai donc une « pratique » d’enseignant, mais pas de formation à ce métier. Je suis maintenant retraité.
Dans mes contrôles écrits de connaissance aux étudiants, je posais certes des questions « de cours » (définitions, principes…) mais je posais toujours au moins une question qui n’avait pas été traitée en cours et qui avait rapport avec ce cours, une question de réflexion à laquelle il n’y avait pas obligatoirement de « bonne réponse ». Les étudiants appréciaient entendre les histoires pendables que je racontais en fin de cours sur les « hors jeux », les cas drôles de jurisprudence - ou vécus - que je racontais en fin d’heure de cours, pour illustrer le caractère « vivant » du Droit.
En droit de l’entreprise et en droit social, alors que j’étais directeur d’un gros centre d’hébergement pour hommes sans domicile (120 lits) avec des ateliers de scierie et de production de palettes de manutention (trois semi-remorques par semaine, la plus grosse unité de production du département !), j’ai eu un « gros problème » : le client unique de nos ateliers a fait faillite en laissant des factures non payées pour un montant équivalent à de plus de trois-cent-mille euros de nos euros actuels. Les divers créanciers n’ont récupéré qu’environ cinq pour cent de leurs factures impayées par cette entreprise. Mes cours de droit me disaient que je ne pouvais pas récupérer plus que les autres créanciers !
Mais j’ai misé sur le fait que par une erreur de droit conjointe de mon avocat et du liquidateur de l’entreprise, je pourrais récupérer le dû à l’association ! Je ne voyais pas d’autre « solution » pour récupérer ces trois-cent-mille euros et pour éviter la faillite de notre association !
En droit des faillites, les personnes payées de manières « super-prioritaires » et « prioritaires » sont les salariés puis l’URSSAF et les Impôts. J’ai fait visiter les ateliers à mon avocat et au liquidateur en ne mentionnant jamais que notre association envoyait une facture mensuelle au marchand de bois pour les travaux réalisés dans le mois. Je commentais, en face de chaque machine, ou presque, que « chaque matin, nous recevons les ordres de travaux et de production comme un ouvrier d’une usine les reçoit de son patron… » A la fin de la visite, mon avocat a dit au liquidateur : « nous sommes dans le cas de paiement des super-prioritaires ! » Ce qu’il disait était une erreur de droit mais je n’ai pas bronché. Le liquidateur n’a pas vu l’erreur. Nous avons été payés de trois-cents-mille euros.
L’argent arrivé sur notre compte en banque, je suis allé remercier mon avocat et, m’excusant toujours de ne pas connaitre grand-chose en Droit, Je lui ai demandé s’il n’y avait pas eu « erreur » en mettant notre paiement en « super-prioritaires ». Il a réfléchi et il m’a regardé d’une colère froide, il a tapé sur la table et il s’est tapé la main sur le front et il m’a dit, d’une voix forte : « Merde ! Je me suis trompé ! » Je lui ai demandé : « Qu’est-ce que je fais des trois-cent-mille euros qui sont sur notre compte ? » Après un instant, il me dit : « Vous les gardez et vous n’en parlez pas ! ». Ce que j’ai fait. Je n’ai même pas expliqué à mon comptable, livide, craignant un licenciement économique, comment j’avais fait pour qu’ils soient sur le compte. Je lui ai seulement dit avoir remercié notre avocat qu’ils soient arrivés sur notre compte.
Je pense qu’à l’EDHEC, la formation en Droit ne doit pas se limiter à ce qui est "vérifiable" par une intelligence artificielle, mais qu’elle doit aussi concerner de la formation à l’initiative, à la formation stratégique, à sortir des « sentiers battus » pour permettre à des entreprises de survivre… et cela ne me parait pas vérifiable par une Intelligence artificielle !
je dois faire partie de ces professeurs qui refusent de corriger via IA même si cela permettrait d'éviter toutes les explications à rallonge auprès des parents et remises en cause sur notre objectivité en tant qu'experts dans nos matières.