Ce nouvel article a la particularité de cibler spécifiquement le public de l’enseignement supérieur.

Les auteurs de cette méta-analyse prennent les mêmes précautions que les précédents en signalant les limitations des analyses existantes (aucune analyse n’atteint un niveau de rigueur de recherche élevé, les échantillons d’analyse sont de taille limitée, les approches méthodologiques manquent de précision, …).

Toutefois, cette analyse me paraît plus dans le focus de mon travail et me semble dégager et fermer des pistes d’investigation.

Utilising learning analytics to support study success in higher education: a systematic review. Ifenthaler, D., Yau, J.YK. Education Tech Research Dev 68, 1961–1990 (2020).

Pour soutenir l’apprentissage, il faut privilégier les rétroactions positives

Cet article amène une première idée qui me paraît essentielle : informer l’étudiant de son risque d’échec semble avoir un impact mitigé sur sa réussite. Il vaut donc mieux oublier les feux de couleur en regard de la liste de cours côté étudiant. Cela n’implique pas que les algorithmes prédictifs du risque d’échec doivent être jetés. Ils permettent d’identifier une population d’étudiants qui doivent bénéficier d’une aide ciblée, information qui reste intéressante côté enseignant.

Ce qui aide l’étudiant, c’est d’avoir une idée claire de sa progression dans le parcours d’apprentissage attendu et surtout d’avoir des feedbacks personnalisés pour l’aider à remonter dans le train en cas de décrochage.

Et quand on parle de feedback, il faut envisager le concept au sens large :

• du feedback automatisé (via un tableau de bord, des notifications automatiques)
• du feedback ciblé (par l’enseignant, qui exploite ses outils de reporting pour remobiliser les étudiants en décrochage)
• du feedback accompagné (par l’enseignant, par des conseillers qui rencontrent l’étudiant pour discuter de ses difficultés)
• du feedback par les pairs (facilité via des espaces de communication prévus comme des forums)

Les paramètres qui semblent influencer la réussite : engagement, interactions et données démographiques

Les facteurs qui semblent influencer la réussite recoupe largement l’analyse des articles précédents :

• la participation aux activités en ligne
• les interactions relevées dans le LMS
• le niveau de performance (les notes) pour les activités formatives et certificatives
• le niveau de performance antérieur
• la motivation personnelle et la préparation personnelle
• le niveau de « digital litteracy »
• des variables démographiques (âge, genre, statut socio-économique)

J’avoue que je suis un peu perplexe quant au fait d’exploiter des données démographiques dans les learning analytics même si je sais que leur rôle prédicteur est avéré (je me souviens d’un séminaire qui présentait un travail de recherche qui montrait que le diplôme de la mère influençait beaucoup le pronostic de réussite). Je me questionne surtout sur les enjeux juridiques liés à l’usage des données démographiques. Cette question sera intéressante à analyser dans la partie juridique du travail.

Le reporting étudiant doit proposer des options de personnalisation : choisir les cours avec suivi, choisir les indicateurs de suivi SOUHAITES, …

Les auteurs insistent sur le fait que les démarches de learning analytics doivent laisser une certaine liberté à l’étudiant, sous peine de desservir leur capacité d’auto-évaluation et d’autonomie. Selon leur motivation pour un cours, ils doivent pouvoir choisir d’activer ou non le système de suivi et de notification.

Concrètement, les options de personnalisation que cet article m’inspirent sont les suivantes :

• l’étudiant doit avoir le choix d’activer ou non un reporting et des notifications avancées pour chaque cours; il peut par exemple être moins performant dans un cours mais décider d’y accorder moins d’importance
• l’étudiant doit savoir où il en est au niveau performance et progression mais il devrait aussi avoir la possibilité de voir l’évolution temporelle de ces indicateurs; l’idée est de rendre visible le fait qu’il « remonte la pente »
• l’étudiant doit avoir la possibilité de situer sa progression et son niveau de performance par rapport aux autres étudiants de sa cohorte, de voir l’évolution de ces indicateurs dans le temps
• l’étudiant doit disposer d’un système de reporting et de notification flexible qui lui permette par exemple de choisir
  • la période de référence pour son reporting (jour, semaine, quinzaine, mois)
  • le jour et l’heure où il souhaite recevoir les notifications et leur fréquence (selon sa planification du travail)
  • le canal de notification (mail, notification lms, application mobile, …)

L’enjeu sera de proposer des options de personnalisation en trouvant un juste milieu entre détail et complexité et en évitant d’inonder l’étudiant de notifications … Il va falloir privilégier les indicateurs basiques (les plus fiables) dans un premier temps pour assurer une bonne appropriation de l’outil et veiller à valider ces indicateurs avant d’aller plus loin.

Le reporting enseignant doit indiquer les points critiques du cours et permettre une communication ciblee vers les étudiants à risque

Côté enseignant, le reporting doit bien entendu proposer des indicateurs globaux pour la cohorte du cours, mettre en évidence les points critiques du cours et surtout mettre en évidence les étudiants absents ou en difficulté. L’enseignant doit être en mesure de communiquer facilement vers les étudiants absents ou en difficulté pour les remobiliser. Par exemple, il doit pouvoir leur relayer les informations sur des séances de remédiation, des activités de soutien ou des séances de consultations individuelles.

L’enseignant mériterait sans doute aussi de bénéficier d’options de personnalisation du système de reporting et de notification.

Prochain article

Le prochain article sera à nouveau un compte-rendu d’une lecture destinée à nourrir la veille pédagogique pour ce travail, sans doute le dernier de ce genre. Il s’agit d’un chapitre de livre qui traite des théories de l’éducation au service des learning analytics. De quoi donner une base plus solide à la démarche de learning analytics …

Temps de travail sur cet article : 1 journée