Ma seconde lecture pédagogique est une méta-analyse de publications concernant les learning analytics ciblant la maîtrise d’acquis d’apprentissage. L’angle d’approche est original puisque la plupart des études sur les learning analytics se concentrent sur la réussite en terme de notes finale pour les différents cours, alors qu’ici, les enjeux de programme sont aussi considérés.

Predicting student performance using data mining and learning analytics techniques: a systematic literature review. Namoun, A., & Alshanqiti, A. (2021). Applied Sciences, 11(1), 237. 

Première impression : les learning analytics en sont à leur balbutiements

Le fait le plus marquant dans cette méta-analyse est qu’il y a autant de pages dédiées aux limites et aux perspectives que de pages dédiées aux résultats sur les indicateurs et les algorithmes.

Les limites des études sont par exemple :

• la taille des cohortes d’apprenants ciblés,
• le domaine d’étude ciblé,
• le nombre d’institutions considérées,
• le nombre de pays ciblés,
• …

Tout cela n’empêche pas d’obtenir des algorithmes et indicateurs efficaces, mais il est par contre très délicat de généraliser leur intérêt dans des contextes qui sortent du cadre des études originales.

Les auteurs critiquent aussi le manque de diversité des algorithmes utilisés pour la prédiction, j’y reviendrai par la suite. Et surtout, la plupart des institutions n’évoquent pas les actions de remédiation mises en place pour les étudiants en difficulté.

Une des suggestions de l’étude attire particulièrement mon attention : ils conseillent de rendre public les jeux de données anonymisés pour que permettre aux recherches sur les learning analytics de brasser de plus grand jeux de données. Dans notre contexte institutionnel où une attention est accordée la démarche « Open Data », cette suggestion fera sans doute écho, en particulier dans le cadre de projets d’échanges internationaux comme CircleU.

Cette lecture renforce encore l’idée que les learning analytics doivent être envisagées dans une démarche de recherche, passant par un cycle hypothèse, expérimentation, évaluation ….

Les indicateurs de performance à retenir

Toutes les activités étudiantes évaluées sont évidemment des indicateurs pris en compte, mais il faut noter que la plupart des études exploitent aussi le feedback direct des étudiants sur leur expérience d’apprentissage.

Dans notre institution, cela pourrait signifier que les évaluations de cours et de programme pourraient être des indicateurs pertinents à prendre en compte mais peut-être aussi des sondages plus spécifiques.

Les auteurs relèves 6 types d’indicateurs qui semblent déterminer la réussite d’un étudiant en terme de maîtrise des acquis d’apprentissage :

• la participation aux activités en ligne, notamment au travers d’indicateurs de fréquence et de durée, (19 études)
• les notes de toutes les activités évaluées, qu’elles soient formatives ou certificatives, le plus souvent des devoirs et quiz, (17 études)
• le sentiment d’appartenance à la communauté universitaire, qui se réfère à l’enthousiasme de l’étudiant, à sa motivation intrinsèque, à la qualité des interactions avec les enseignants, … (14 études)
• la réussite aux épreuves académiques précédentes (6 études)
• le style d’enseignement et l’environnement de travail (5 études)
• la présence de l’étudiant (2 études)

Ces idées recoupent largement les pistes dégagées lors de ma lecture sur l’engagement des étudiants …

Les algorithmes prédictifs qui donnent de bons résultats

La plupart des études relevées par ces auteurs ciblent la prédiction de la réussite ou de l’échec de l’étudiant, avec parfois un peu de nuance concernant le niveau de risque d’échec (ex: risque d’échec nul, faible, moyen, élevé). Très peu d’études visent à identifier les facteurs qui peuvent permettre de prédire la réussite ou l’échec de l’étudiant et c’est dommage …

Concernant le algorithmes prédictifs utilisés, on note aussi une pauvreté des approches et j’épingle le tableau ci-dessous qui liste les différentes approches :

Cet autre tableau retient aussi mon attention puisqu’il fait ressortir l’efficacité des différents modèles prédictifs recensés dans la méta-analyse :

Les auteurs indiquent aussi qu’il y aurait du potentiel du côté des approches de machine learning automatisé, qui ont été rarement considérées dans les études.

Je ne sais pas encore très bien ce que je vais faire de ces infos, mais j’y reviendrai sûrement …

Prochain article

Le prochain article sera un nouveau compte-rendu d’une méta analyse sur les learning analytics. Cela s’annonce à nouveau très nuancé …

Temps de travail pour cet article : une demi-journée