Lors de ma rencontre avec Benjamin, j’ai évoqué notre travail d’analyse des logs Moodle pour tenter de produire des indicateurs de suivi dans le cadre d’un mémoire étudiant. Et je trouve que cette analyse mérite d’être rappelée parce que l’approche utilisée peut être inspirante.

Ce mémoire, intitulé « Suivi de l’étudiant : analyse et implémentation dans Moodle », a été porté par l’étudiant William Bonesire en 2017 et il a été encadré par les professeurs Yves Deville et Charles Pecheur. Dans l’équipe Moodle, j’ai contribué à son accompagnement avec Frédéric Fervaille. Nous avons fait une présentation de ce travail sur le suivi étudiant au MoodleMOOT 2017. Le plugin FollowUp a été conçu pour Moodle 2.7, je n’arrive plus à mettre la main sur le dépôt de code, mais le code est présenté dans l’annexe B du mémoire. Les illustrations de cet article sont issues du mémoire.

Un projet qui s’inspire des pratiques à l’université de Laval

Ce travail faisait suite à un échange avec l’université de Laval qui dispose d’un tableau de bord d’indicateurs de réussite pour les étudiants et les enseignants de l’université de Laval. L’idée est d‘informer les étudiants sur leurs chances de réussite au travers d’un feu de couleur, construit sur base de leur activité dans le cours et de leurs notes, comparées à celle de leurs pairs. Les enseignants disposent aussi d’un rapport avec un feu de couleur pour chaque étudiant.

Certains anciens plugins Moodle ont aussi proposé des rapports étudiants comme le plugin Engagement Analytics, qui se basaient sur les accès au cours, les activités dans les forums et dans les devoirs.

Mais la table des logs de Moodle stocke bien plus d’informations …

Exploration de la table des logs et des autres traces de Moodle

Nous avons passé pas mal de temps, avec Frédéric, à fouiller la table des logs pour tenter d’imaginer ce qu’il serait pertinent d’en extraire. Notre plongée a commencé par une analyse de l’Event API de Moodle.

Dans la longue liste des événements existants, nous avons avons d’abord relevé deux types d’événements lié à la participation de l’étudiant dans le cours :

• des actions de consultation de ressources : (viewed, downloaded, launched, printed)
• des actions de contribution dans des activités (added, assessed, created, evaluated, submitted, uploaded)

Le nombre d’actions de consultation et le nombre d’actions de contribution nous semblent être des indicateurs intéressants pour analyser la participation de l’étudiant.

En matière d’évaluation, les notes du cours sont évidemment un indicateur à prendre en compte mais la table des logs nous révèle aussi le nombre d’activités évaluées au travers des actions « graded ». Il nous paraît intéressant de savoir si un étudiant réussit, mais aussi s’il réalise bien les activités certificatives ou pas.

Par ailleurs, si on souhaite avoir une idée de la progression de l’étudiant dans le parcours pédagogique, on pense immédiatement à exploiter les données de suivi d’achèvement. Les données liées à l’achèvement d’activités ne sont pas enregistrées dans la table des logs, mais bien dans la table « completion » où le champ « completionstate » est à la valeur « 1 » quand une activité est achevée. Dans la table des logs, on trouve aussi une action « becomeoverdue » qui marque les activités en retard (en rouge dans la barre de progression). Le nombre d’actions « becomeoverdue » nous semble être un bon indicateur de ponctualité de l’étudiant.

Nous avions aussi imaginé une manière de calculer ces différents indicateurs, de les convertir en un feu de couleur en comparant les indicateurs de l’étudiant avec l’indicateur du médian du groupe, le tout de manière très naïve. Mais cette analyse a permis d’implémenter un plugin de rapport avec une vue étudiant et vue enseignant. Lisez le mémoire en détail pour en savoir plus les actions dans la table des logs (annexe A) sur le calcul des indicateurs (page 16) …

Résultat : un tableau de bord étudiant et un tableau de bord enseignant

Voici comment le rapport étudiant était présenté :

Le rapport enseignant présentait le même type d’informations pour chaque étudiant et une vue globale du suivi de l’ensemble des étudiants :

Une approche technique à faire évoluer …

Sur le plan technique, notez que l’approche implémentée n’utilisait pas les rapports d’analytics natifs de Moodle, ni une approche LRS. A l’époque, Moodle offrait moins de possibilités d’échange de données et les indicateurs de suivi ont été implémentés sur base d’une recherche directe dans la table des logs. Cette approche a révélé conduire à de très mauvaises performances. C’est ce qui motive aujourd’hui le brevet que je mène.

Prochain ARTICLE …

Le travail réalisé dans ce mémoire est un travail exploratoire qui n’a rien d’un projet validé sur le plan pédagogique. Pour soutenir mon travail de veille pédagogique, j’ai pris contact avec Mikaël De Clercq qui est chercheur en sciences de l’éducation et qui s’intéresse précisément à la réussite des étudiants. Mikaël m’a partagé quelques articles qui devraient être inspirants pour définir des indicateurs pour soutenir la réussite des étudiants. A suivre prochainement …

Temps de travail sur cet article : 1 demi-jour