IA ou profs? Etudiantes et étudiants préfèrent l'évaluation humaine
AI in education © iStock
Une étude de l’EPFL révèle que les étudiantes et étudiants sont prudents vis-à-vis du feedback de l’IA dans l’apprentissage, ce qui souligne la complexité de son intégration dans les systèmes de feedback éducatifs.
Le feedback (ou «retour d’informations») joue un rôle majeur dans l’apprentissage. Il permet aux individus de comprendre et d’améliorer leurs performances. Néanmoins, la taille et la diversité des communautés estudiantines dans le monde font qu’il est souvent difficile de fournir des observations personnalisées et en temps utile.
Les progrès récents de l’intelligence artificielle générative apportent une solution à ces défis, mais la plupart des études ciblent principalement les aspects technologiques tels que la précision des modèles et font souvent l’impasse sur les aspects socio-émotionnels de l’acceptation de l’IA.
Des chercheuses et chercheurs du Laboratoire d’apprentissage machine pour l’éducation (ML4ED), rattaché à la Faculté informatique et communications (IC) de l’EPFL, ont étudié l’influence de l’identité de la source du feedback sur la perception qu’en ont les étudiantes et étudiants.
Dans leur article, intitulé AI or Human? Evaluating Student Feedback Perceptions in Higher Education et présenté cette semaine lors de la Conférence européenne sur l’apprentissage assisté par la technologie, les chercheuses et chercheurs décrivent comment plus de 450 élèves de l’EPFL de divers niveaux et programmes académiques ont évalué le feedback personnalisé dans un contexte éducatif authentique, avant et après avoir appris son origine, à savoir un être humain ou l’IA.
«Nos recherches ont montré que les étudiantes et étudiants ne perçoivent pas de différence en termes de qualité ou d’amabilité avant de savoir si c’est un être humain ou l’IA qui leur donne un feedback. Une fois qu’ils découvrent que le feedback provient de l’IA, ils baissent le score de l’IA ou bien augmentent celui de l’être humain; ceci nous indique qu’ils ne font pas confiance à l’IA», explique la professeure Tanja Käser, responsable du laboratoire ML4ED.
Les participantes et participants à l’étude ont également été invités à deviner l’origine du feedback. Au total, 274 participantes et participants sur 457 ont deviné quel feedback provenait d’un être humain et quel feedback était généré par l’IA. Les chercheuses et chercheurs ont constaté que ni l’âge ni le genre n’avaient une influence significative sur les réponses correctes, mais que le type de tâche du cours en avait une. Les étudiantes et étudiants ont plus facilement identifié le feedback généré par l’IA dans les projets de codage que dans les courtes tâches de démonstration logique.
Les chercheuses et chercheurs estiment que l’une des principales questions soulevées par l’étude est de savoir comment la perception de la confiance dans l’IA en tant que source de feedback peut avoir une influence sur la mise en œuvre réelle de ce feedback dans les salles de classe.
«Cela a des répercussions importantes en matière d’apprentissage. Un bon feedback vous indiquera ce que vous avez bien fait ou mal fait, et les prochaines actions que vous pouvez entreprendre. Si vous êtes moins disposé à tenir compte du feedback que vous recevez parce qu’il provient de l’IA et que vous ne lui faites pas confiance, vous aurez moins de chances d’améliorer votre apprentissage à mesure que les salles de classe intègrent davantage de ces modèles», explique Tanya Nazaretsky, chercheuse post-doctorante au laboratoire ML4ED et principale autrice de l’article.
De toute évidence, l’IA a un rôle important à jouer pour soutenir l’apprentissage au sein des systèmes éducatifs, et il y a une forte volonté de l’accepter. Toutefois, l’étude a mis en avant certaines préoccupations, notamment en ce qui concerne le manque de transparence et de responsabilité, les atteintes à la vie privée et les sources de données pour entraîner l’IA.
«La capacité de l’IA à comprendre le contexte réel de l’apprentissage en dehors de ses limites constituait une préoccupation importante. Beaucoup d’étudiantes et d’étudiants ont fait le commentaire suivant: “L’IA ne me connaît pas en tant que personne, elle ne fait que voir ce qui se trouve dans le système, mais il y a d’autres facteurs qui sont importants pour le processus d’apprentissage et que l’IA ne peut pas voir”. Malgré la volonté d’accepter l’IA, il existe un réel manque de confiance, ce qui nuit à son adoption dans la pratique», poursuit Tanya Nazaretsky.
Tanja Käser déclare qu’avec le recul, la nette préférence pour le feedback humain était inattendue, mais qu’elle révèle que l’acceptation et l’intégration de l’IA dans les environnements d’apprentissage nécessitent beaucoup plus de recherches.
«En supposant que l’IA soit parfaite, nous devons encore montrer comment elle peut être adaptée et parfaitement intégrée dans les programmes et l’enseignement. L’une des principales conclusions de cet article est qu’il ne faut jamais oublier l’aspect humain.»
L’article «AI or Human? Evaluating Student Feedback Perceptions in Higher Education»a récemment été nommé meilleur article de recherche lors de l’ECTEL 2024, la 9e conférence européenne sur l’apprentissage assisté par la technologie.
Merci à Jean-Cédric Chappelier, Sacha Friedli, Olivier Lévêque, Alexander Mathis, Patrick Wang, Robert West, Akhil Arora, Jade Maï Cock, Bahar Radmehr et Manoel Horta Ribeiro pour leur soutien dans la conception de l’étude et dans la collecte des données.
Nous remercions également Franck Khayat, Aymeric Bacuet, Félix Rodriguez Moya, Farouk Boukil, Marc Pitteloud, Yacine Chaouch, Ali Ridha Mrad, Antoine Munier, Iris Meditz, Arthur Tabary, Ghalia Bennani, François Dumoncel, Félicien Gâche, Oussama Gabouj, Jean Porchet, Salim Boussofara, Alice Potter et les enseignant.e.s des cours participants pour avoir fourni feedback faut par les humains.