Ce dernier article de veille pédagogique questionne la genèse des démarches de learning analytics. Au travers d’une méta-analyse, il dégage les théories de l’éducation qui peuvent servir de base pour poser les questions de recherche liées au learning analytics, histoire d’éviter d’aborder la question comme la recherche d’une aiguille dans une botte de foin.

Educational Theories and Learning Analytics: From Data to Knowledge. Wong, J., Baars, M., de Koning, B. B., van der Zee, T., Davis, D., Khalil, M., … & Wong, J. et al. (2019). In: Ifenthaler, D., Mah, DK., Yau, JK. (eds) Utilizing Learning Analytics to Support Study Success. Springer, Cham.

Une belle conceptUALISATION deS « learning analytics »

Cet article pose un cadre d’analyse en commençant par donner une définition du concept de « learning analytics » :

Les learning analytics sont définies comme la collecte, la mesure, l’analyse et le reporting des données sur les apprenants et sur leur contexte d’apprentissage, en vue de comprendre et d’optimiser l’apprentissage et l’environnement d’apprentissage.

Siemens & Long

Il explique aussi que les théories de l’apprentissage doivent être considérées comme élément essentiel d’une démarche de learning analytics :

• pour choisir des questions de recherche pertinentes,
• pour définir des hypothèses mesurables,
• pour concevoir et évaluer les outils de reporting.

L’article propose aussi dans sa conclusion un visuel qui présente bien la place des learning analytics au sein d’une démarche de recherche expérimentale.

L’engagement comportemental semble un bon indicateur de réussite

Comme d’habitude, les analyses de cet article sont très exploratoires mais il ressort quand même largement que baliser le parcours d’apprentissage aide à renforcer la réussite. Les étudiants « stratégiques » ont plutôt tendance à participer uniquement aux activités certificatives, ce qui semble ne pas être une bonne approche pour réussir.

Dans les cours organisés en classe inversée, on suggère aux enseignants de prévoir qu’une partie de la note soit liée à la participation des étudiants aux activités en ligne. Cet article renforce l’idée que valoriser la participation des étudiants au fil du cours est une bonne pratique.

Le nombre d’activités remises en retard est aussi relevé parmi les indicateurs intéressants à prendre en compte.

Faire des recommandations sur base du comportement DES ETUDIANTS de la cohorte semble une bonne approche

Je relève aussi qu’une des études retenues dans l’article ciblait la mis en place un système de recommandation basé sur le comportement des autres étudiants. Dans le dispositif, les étudiants pouvaient choisir de suivre les activités de certains étudiants et être informés de leurs actions pour un cours donné. D’autres indicateurs ont été testés mais cet indicateur-là s’est avéré impacter le plus l’engagement.

Dans le cadre de mon brevet, on pourrait imaginer afficher un flux de nouvelles qui liste les activités les plus fréquentées dans le cours, sur base quotidienne ou hebdomadaire.
Un exemple de flux pour illuster (avec des petites icônes pour marquer ce que l’étudiant a fait ou pas, ou avec un filtre pour afficher uniquement les activités non réalisées) :

• 34 étudiants ont finalisé le devoir xxx (vous l’avez finalisé)
• 21 étudiants ont consulté la vidéo yyyy (vous ne l’avez pas consultée)
• 13 étudiants ont finalisé le quiz zzz (vous l’avez consulté mais pas finalisé)

Les indicateurs temporels (fréquence et durée) ont une influence mitigée sur la réussite

Il n’y a pas de consensus concernant l’intérêt des indicateurs temporels pour prédire la réussite. Le temps total passé dans un cours (difficile à objectiver techniquement) ou la fréquence de connexion au cours ne semblent pas permettre de prédire la réussite.

Notifier l’étudiant de ses problèmes ou retards est contre-productif, C’est mIEUX D’adresser des notifications en AMONT

Une des études citées dans cet article visait à mesurer l’impact d’un système de notification qui prévenait les étudiants à risque. Cette étude se basait à la fois sur des indicateurs de progression individuelle de l’étudiant et sur des indicateurs qui permettaient à l’étudiant de se situer dans sa cohorte. Et le résultat est surprenant : les auteurs observent une corrélation négative sur la réussite ! Restons prudents dans les expérimentations sur les learning analytics!

Une autre étude visait plutôt la mise en place d’un système de notification guidant, basé sur des recommandations d’actions en amont. La démarche a été appréciée des étudiants car elle leur permet de mieux planifier leur travail. L’impact direct de ces notifications sur la réussite n’a pas été mesuré mais a eu pour effet d’augmenter les statistiques de fréquentation (qui n’ont pas d’effet direct démontré sur la réussite). Cette étude relève qu’il est important pour les étudiants de pouvoir définir la fréquence des notifications et qu’il est globalement préférable que les notifications soient envoyées le matin.

Les interactions entre pairs, avec le prof et avec le contenu influencent la motivation, selon leur qualité

Lorsque l’engagement cognitif de l’étudiant est fort, les activités d’interaction ont un impact avéré sur la réussite. Mais dans les LMS, on peut seulement extraire des données quantitatives sur les interactions.

Les forums peuvent par exemple permettre de stimuler des interactions engageantes mais ils peuvent aussi servir d’espace pour des questions-réponses pratiques. Et il n’est pas évident de faire une différence entre ces cas d’usage de manière automatisée.

Dans le même ordre d’idée, la qualité des feedbacks fournis par l’enseignant semble jouer un rôle important sur la réussite des étudiants.

Dans le chapitre 2 du même livre : 2 références pour alimenter le questionnement sur les RGPD

Cet article est en fait un chapitre de livre, et j’ai pris le temps de survoler les autres chapitres. Cela m’a permis d’épingler (p31) ces références qui me paraissent intéressantes pour éclairer le volet juridique d’un projet de learning analytics :

Student perceptions of privacy principles for learning analytics. Ifenthaler, D., & Schumacher, C. (2016). Educational Technology Research and Development, 64(5), 923–938.

Privacy and analytics – It’s a DELICATE issue. A checklist for trusted learning analytics. Drachsler, H., & Greller, W. (2016). Paper presented at the Sixth International Conference on Learning Analytics & Knowledge, Edinburgh, UK.

Ces articles seront l’objet de prochaines lectures …

le chapitre 3 du même livre pour mieux définir la portée des learning analytics

Toujours ce Mr Ifenthaler, qui semble avoir bien étudié la question des learning analytics (c’est l’auteur principal du livre que j’évoque), qui étudie ici l’intérêt des learning analytics à tous les échelons de l’institution.

J’ai eu mon attention attirée par ce visuel (p52) qui présente l’intérêt des learning analytics à différents niveaux d’une institution. Un truc à recaser dans la partie de présentation des learning analytics et un chapitre que je ne manquerai pas d’approfondir …

Prochain article

Le prochain article fera une synthèse des différentes lectures pédagogiques pour dégager des indicateurs suffisamment fiables à implémenter dans le cadre de mon brevet. Il se basera sur une structuration préalable sous forme d’une carte conceptuelle.

Temps de travail sur cet article : 1 journée