Une étude influente sur ChatGPT dans l'éducation retirée pour irrégularités
Une étude affirmant que ChatGPT améliore les résultats scolaires des étudiants vient d'être rétractée par son éditeur, Springer Nature, près d'un an après sa publication initiale. L'éditeur a invoqué des "incohérences" dans l'analyse statistique et un manque de confiance dans les conclusions tirées. La recherche en question prétendait quantifier l'effet de ChatGPT sur les performances d'apprentissage, la perception pédagogique et la pensée de haut niveau des étudiants, en s'appuyant sur une méta-analyse de 51 études antérieures. Elle comparait des groupes expérimentaux ayant utilisé ChatGPT à des groupes témoins n'y ayant pas eu recours, avant d'en extraire une taille d'effet globale favorable à l'outil d'OpenAI.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de Ars Technica AI. Lire l'article original →
Le problème, c'est que cette étude avait déjà fait un tour complet des réseaux sociaux et cumulé des centaines de citations académiques avant d'être invalidée. Ben Williamson, maître de conférences au Centre for Research in Digital Education de l'Université d'Édimbourg, souligne qu'elle était perçue par beaucoup "comme l'une des premières preuves solides et de haut niveau que ChatGPT, et l'IA générative en général, bénéficie aux apprenants." Sa rétractation laisse donc un vide là où une certitude semblait s'être installée, et soulève des questions sur la fiabilité des données qui circulent dans le débat public sur l'IA en éducation.
Cet épisode s'inscrit dans un contexte plus large de pression pour justifier rapidement l'intégration de l'IA dans les salles de classe, alors même que les outils évoluent plus vite que la recherche capable de les évaluer sérieusement. Les méta-analyses sont souvent perçues comme des références solides, mais elles héritent des biais et des lacunes des études qu'elles agrègent. Le fait que des centaines de chercheurs et de décideurs aient cité ce travail avant sa rétractation illustre un risque systémique: les affirmations favorables à l'IA en éducation trouvent un écho rapide, tandis que les correctifs arrivent trop tard pour contrebalancer leur influence.
La rétractation fragilise la base empirique des politiques d'intégration de l'IA dans l'éducation en Europe, où de nombreux décideurs institutionnels s'appuyaient sur ce type d'études pour justifier leurs orientations pédagogiques.