Après avoir parcouru quelques articles de référence sur la question, quels sont les éléments qui me paraissent intéressants à retenir pour mon brevet ?

J’ai d’abord réalisé une carte conceptuelle de synthèse de mes lectures (voir les 4 articles de blog précédents) et cet article extrait les éléments essentiels que je propose d’utiliser comme balises pour mon projet.

J’ai aussi fixé une rencontre en juin avec Benoît Raucent (mon évaluateur coach) et Mikaël De Clercq (mon contact de référence en sciences de l’éducation) pour valider mon approche. J’intégrerai leurs remarques à cet article après cette rencontre.

Les remarques mise en évidence comme ce paragraphe présentent les éléments apportés par les échanges avec Benoît Raucent et Mikaël De Clercq.

Idee centrale : privilégier du feedback positif et de qualité

Ca a l’air d’une recommandation évidente, mais vu que la majorité des projets de learning analytics semblent se focaliser sur des indicateurs de risque d’échec, c’est important à souligner. Il y a quand même une étude (pleine de limites, certes) qui montre une corrélation négative de ce type d’indicateur sur la réussite … Il vaut donc mieux être prudent et envisager le reporting étudiant en amont, dans une logique de guidage.

Autre élément important à épingler : ce n’est pas la quantité d’interactions ou de feedbacks qui impacte la réussite mais sa qualité … Et la qualité du feedback représente un grand défi pour les approches de learning analytics car dans les LMS, on peut facilement extraire des données quantitatives mais il est plus délicat d’extraire des données qualitatives …

Côté enseignant, il est par contre intéressant de relever les étudiants à risque d’échec, de manière à permettre du feedback ciblé, dont on espère qu’il sera de qualité.

Le plus intéressant à tester : un système de notifications sur le comportement de la cohorte d’étudiants d’un cours

J’avais envie de trouver un indicateur prometteur pour mon brevet qui relève vraiment d’un traitement des données étudiantes et qui dépasse les traces déjà présentes dans Moodle et je pense que j’ai trouvé !

L’idée serait de mettre en place un système de notification de « Flux social » qui alerte l’étudiant des actions de tous les participants à un cours, et qui met en évidence les actions qu’il n’a pas réalisées et que les autres membres du cours ont finalisée. Je ne sais pas encore comment cet indicateur pourrait se présenter, ni comment bien définir les seuils, mais ça me paraît un bon projet pour une première expérience de learning analytics pour plusieurs raisons :

• ce type d’indicateur a été relevé comme très pertinent pour stimuler l’engagement dans une étude très fouillée (plusieurs autres indicateurs ont été testés) mais à petite échelle (53 participants)
  Plus d’infos dans cette référence :

Associations between technological scaffolding and micro-level processes of self-regulated learning: A workplace study. Siadaty, M., Gašević, D., & Hatala, M. (2016). Computers in Human Behavior, 55, 1007–1019.

• ces mêmes auteurs approfondissent leur analyse dans ces deux autres références (la seconde avec une plus grande cohorte d’apprenants)où ils indiquent en plus que
  – l’indicateur de « flux social » semble avoir un impact plus important sur l’engagement des apprenants que le balisage proposé par l’enseignant !
  – l’impact est aussi plus grand chez les étudiants qui en ont le plus besoin (ceux qui ont des difficultés à se définir des objectifs)
  – ce ne sont pas les apprenants les plus branchés qui tirent plus parti de l’outil, il profite à tous
  – dans leur expérience qui sa base sur un MOOC sur les learning analytics, ce sont plutôt les filles qui en profitent le plus, ce qu’ils expliquent par leur manque de confiance en elles dans les matières scientifiques.

Measuring the impact of technological scaffolding interventions on micro-level processes of self-regulated workplace learning. Siadaty, M., Gašević, D., & Hatala, M. (2016). Computers in Human Behavior, 59, 469-482.

Measuring effects of technology-enabled mirroring scaffolds on self-regulated learning. Milikić, N., Gašević, D., & Jovanović, J. (2018).IEEE Transactions on Learning Technologies, 13(1), 150-163.

• ce type d’indicateur vise un feedback positif plutôt destiné à guider les étudiants en amont
• ce type d’indicateur touche à plusieurs composantes de l’engagement : comportemental (indique ce qu’il faut faire) et émotionnel (indique ce que la communauté fait) et peut-être aussi cognitif (de manière indirecte, il aide à se donner des objectifs)
• ce type d’indicateur s’adresse d’abord aux étudiants et génère un traitement de leurs données personnelles de manière anonymisée, c’est donc une démarche moins intrusive sur le plan de la vie privée
• ce type d’indicateur n’exige aucun balisage préalable du cours par l’enseignant

Benoît et Mikaël partagent mon avis favorable à propos cet indicateur de « Flux social ». Ils me conseillent de l’envisager comme un système de notification sur ce qui se passe dans le cours uniquement et de proposer les suggestions d’action personnalisées pour un étudiant comme une option activable ou non. L’idée est d’éviter d’entrer dans le piège du feedback négatif par défaut.

Ce type d’indicateur peut aussi avoir une vue enseignante pour lui proposer un rendu global de ce qui se passe dans le cours, toujours de manière anonymisée, cela peut lui permettre d’ajuster ses interactions avec les étudiants, de manière ciblée ou non. Et on peut ainsi espérer contribuer à des feedbacks de meilleure qualité, ce qui est un moteur de réussite …

D’autres indicateurs pertinents deja présents dans moodle : la progression et les notes

Toujours dans une logique de guidage, on peut aussi envisager d’indiquer la progression de l’étudiant dans son parcours. Mais cela suppose que l’enseignant ait balisé clairement le parcours …
Dans Moodle, cette approche est implémentée nativement en exploitant l’achèvement d’activité et la barre de progression. Les enseignants peuvent aussi compter sur le rapport de participation pour contacter les étudiants qui n’ont pas réalisé une activité.
Les badges peuvent aussi exploités pour marquer les paliers de progression importants. Le bloc de chronologie qui est présent sur le tableau de bord Moodle indique les échéances à venir dans les différents cours et la liste de cours du tableau de bord peut indiquer la roue de progression si les administrateurs l’autorisent. Côté badge, par contre, je ne trouve pas de rapport transversal à tous les cours. En bref, il y a matière pour de la recherche en sciences de l’éducation mais côté implémentation technique, la majorité du travail est fait. Reste à sensibiliser les enseignants à ces outils …

L’indicateur de « Flux social » pourrait aussi se construire sur base des données d’achèvement de la cohorte, via une barre de progression repensée pour montrer l’achèvement des étudiants de la cohorte.

On est pas trop surpris que les notes soient un bon indicateur de réussite, mais c’est aussi une fonctionnalité directement intégrée à Moodle, via le carnet de notes. Il serait toutefois intéressant de produire un indicateur qui permet facilement de distinguer la part certificative de la note de la part formative. Et l’étudiant devrait être en mesure de savoir quelle proportion de la note finale sa note partielle représente. Tout cela peut être configuré dans le carnet de notes, mais il faut avouer que le carnet de notes Moodle est vraiment pas simple à analyser … Il y a aussi un vue globale des notes d’un étudiant pour tous ses cours, accessible via le profil. Mais c’est seulement la note globale qui est affichée sans détail. Il y a peut-être quelque chose à faire pour améliorer ces rapports mais il n’y a pas de gros traitement de type learning analytics derrière ces données et le plus simple serait sans doute de construire de nouveau rapports directement dans Moodle.

A creuser : l’idée de baser le système de notification sur le comportement des étudiants qui ont les meilleures notes ou la meilleure progression ?

En écrivant cette partie sur les notes et la progression, je me dis qu’on pourrait aussi proposer un système de notification basé sur les actions des étudiants qui ont les meilleures notes ou la meilleure progression …

Cela pourrait permettre de prendre en compte un ingrédient supplémentaire qui renforce la réussite. Mais cela suppose que l’enseignant organise des activités évaluées dans son cours et/ou qu’il balise le parcours.

Peut-être une idée à implémenter dans un second temps ?

Ce type d’indicateur se rapproche trop des indicateurs de prédiction de l’échec, le risque de biais est important, il vaut mieux oublier.

Un reporting efficace est un reporting à la demande personnalisable

Les démarches de learning analytics doivent laisser une certaine liberté à l’étudiant, sous peine de desservir leur capacité d’auto-évaluation et d’autonomie. Selon leur motivation pour un cours, ils doivent pouvoir choisir d’activer ou non le système de suivi et de notification.

Des exemples de paramètres de personnalisation :

• choisir la période de référence : jour, mi-semaine, semaine, …
• choisir l’horaire des notifications : jour et heure, …
  (par défaut, il est conseillé d’envoyer des notifications le matin)
• choisir la modalité de notification (autant que possible) : mail, sms, app mobile, tableau de bord à consulter, notification moodle …

Sur ce point, j’aurais envie d’organiser un focus group avec des étudiants pour avoir une idée des systèmes de notification qu’ils apprécient … A discuter avec Benoît et Mikaël …

L’idée de focus group en amont au questionnement semble excellente : elle permet d’éviter de développer une fonctionnalité non adaptée et la pratique s’inscrit précisément dans la démarche de recherche préalable à la construction d’un indicateur de learning analytics. Je contacterai l’AGL (l’an prochain, après la rentrée) pour organiser un focus groupe (4 à 8 participants) sur un temps de midi, avec des délégués de première année, en essayant d’avoir une bonne représentativité (au moins un représentant par secteur, parité de genre).
Les étudiants devront être interrogés sur le système de notifications à privilégier, mais aussi sur le niveau de détail souhaité dans le reporting. Il sera notamment intéressant de savoir s’il préfèrent un reporting global ou au niveau d’un cours.

D’autres indicateurs qui semblent peu prometteurs : les indicateurs temporels

Comme je fais une synthèse de plusieurs lectures, je reviens aussi sur les indicateurs qui semblent avoir un impact mitigé sur la réussite : les indicateurs temporels comme le temps d’accès au cours (très difficile à évaluer techniquement) ou la fréquence d’accès au cours.

De manière un peu caricaturale, j’aurais envie de dire que ce ne sont pas les clics étudiants qui sont importants pour leur réussite mais bien ce qu’ils font entre 2 clics …

D’autres indicateurs délicats à exploiter …

Les articles soulignent aussi l’importance de ces indicateurs dans la prédiction de la réussite :​

• les variables démographiques : âge, genre, statut socio-économique, …​
• le niveau de compétence antérieur​
• la « digital literacy« ​
• le sentiment d’appartenance à la communauté universitaire​

Ces indicateurs sont délicats à exploiter mais certains peuvent être pris en compte via un feedback direct de l’étudiant.​

D’autres idées à retenir des échanges avec Benoît et Mikaël

La manière dont je présente l’engagement peut être renforcée par quelques lectures, notamment concernant la motivation, puisque la motivation est un peu la cause qui engendre l’engagement. Voici les deux articles à ajouter à ma veille pédagogique sur ce point (aussi dans ma biblio) :
Idées intégrées à mon article sur l’engagement

• L’étudiant sur les sentiers de l’enseignement supérieur : Vers une modélisation du processus de transition académique. De Clercq, M. (2019). Les Cahiers de recherche du Girsef, 116, 1-27.
• Student engagement with school: Critical conceptual and methodological issues of the construct. Appleton, J. J., Christenson, S. L., & Furlong, M. J. (2008). Psychology in the Schools, 45(5), 369-386.

Dans le même ordre d’idée, deux références à parcourir pour essayer d’approfondir le concept de « flux social » pour stimuler l’engagement (des mêmes auteurs) :
Idées très intéressantes intégrées à cet article

• Measuring the impact of technological scaffolding interventions on micro-level processes of self-regulated workplace learning. Siadaty, M., Gašević, D., & Hatala, M. (2016). Computers in Human Behavior, 59, 469-482.
• Measuring effects of technology-enabled mirroring scaffolds on self-regulated learning. Milikić, N., Gašević, D., & Jovanović, J. (2018).IEEE Transactions on Learning Technologies, 13(1), 150-163.

Mikaël me souffle aussi les noms des personnes qui travaillent sur les learning analytics à l’Université de Liège : Matthieu Hausman et Pascal Detrooz, que ne ne manquerai pas de contacter pour un retour d’expérience.

Dans nos discussions, il émane clairement que les learning analytics ont un intérêt pour de nombreux acteurs de l’enseignement. Benoît souligne par exemple l’intérêt de disposer des informations sur le parcours de l’étudiant pour le service d’aide, pour les conseillers aux études, ou pour les membres des jurys de PAE. QOPA est sans doute un des acteurs à situer dans l’écosystème des learning analytics. On rêve de pouvoir disposer d’un « dossier pédagogique global » de l’étudiant à l’image du « dossier médical global », consultable pas les différents acteurs de l’enseignement et de l’accompagnement …
Je veillerai à bien intégrer ces idées dans mon travail, lorsque je ferai la lecture de cette référence épinglée dans le livre de Ifenthaler :

• Supporting Stakeholders with Learning Analytics to Increase Study Success. Hommed, M., Egetenmeier, A., Maier, U. (2019). In: Ifenthaler, D., Mah, DK., Yau, JK. (eds) Utilizing Learning Analytics to Support Study Success. Springer, Cham.

Prochain article

Il est temps que je travaille sur une page qui rassemble les références bibliographiques pour ce travail, parce que je commence un peu à me perdre dans tout ce que j’ai lu et tout ce que j’envisage de lire …

Ensuite, je me lancerai dans l’analyse technique de l’outil de learning analytics natif de Moodle. Maintenant que j’ai un projet prometteur, j’ai envie de le réaliser…

Temps de travail sur cet article : 3 journées