Après avoir survolé les plugins Moodle qui proposent des rapports de types analytics, j’ai décidé de me focaliser sur le plugin local_learning_analytics car il s’avère qu’il est le fruit d’une thèse sur la question des learning analytics et qu’il est sans doute le meilleur candidat pour construire un plugin d’analytics performant …

Learning Analytics for Moodle: Facilitating the Adoption of Data Privacy Friendly Learning Analytics in Higher Education (Dissertation). Dondorf, T. (2022). Rheinisch-Westfälische Technische Hochschule Aachen, Aachen.

Les forces du plugin learning analytics

C’est une bonne base pour mon plugin même s’il cible uniquement des statistiques descriptives (type webanalytics) car :

• il repose sur une excellent travail de veille sur le concept de learning analytics et sur les stratégies d’analytics liées à Moodle
• il est optimisé pour rester performant sur un Moodle très fréquenté puisqu’il est en production sur un Moodle de 70.000 étudiants (optimisation de la base de données et des requêtes, collecte des données utiles sans redondance …)
• il gère soigneusement les questions liées au RGPD (consentement, anonymisation des données, collecte des données utiles uniquement, …)
• il propose à la fois une vue enseignante et une vue étudiante
• il est conçu pour être adaptable et extensible

Le premier prototype montre aussi les limitations d’une approche externe pour faire des learning analytics (il faut recopier des données sur les cours et les utilisateurs dans la bdd externe ce qui induit une certaine lourdeur) et le fait que la lenteur des requêtes sur la table des logs est essentiellement liée au manque d’index sur cette table.

L’analyse montre aussi l’intérêt de développer un bloc d’information global bien visible associé à un rapport plus détaillé.

Les types d’analytics présentés dans la thèse

La page 7 présente un tableau très clair des différents types d’analytics qui me permet de situer mon projet de flux social dans la catégorie des analytics prescriptives :

Une belle synthèse des references juridiques

Les pages 21 à 25 dressent une belle synthèse des références juridiques pour les learning analytics. A résumer dans un autre article …

L’outil de LRS à privilégier : Apereo

Le chapitre 3 de la thèse analyse les architectures pour les learning analytics et met en évidence Apereo comme l’outil open source de LRS recommandé car simple à installer et bien documenté.

Les projets de learning analytics Moodle existants ciblent rarement les étudiants

Le chapitre 3 dresse aussi une comparaison très exhaustive des outils de learning analytics pour Moodle et je note que parmi les 20 projets relevés, seulement 2 outils externes propriétaires proposent des analytics ciblant le public étudiant.

Une grille pour évaluer un outil de learning analytics

Les pages 53 à 57 répertorient les différents référentiels exploitables pour évaluer un outil de learning analytics avec un super tableau de synthèse à la page 56 qui décrit l’objet de l’évaluation et la fiabilité du référentiel.

Pour analyser l’utilisabilité de ma maquette, j’ai envie de me baser sur le même questionnaire que lui : le référentiel SUS (System User Scale). Ce reférentiel est un des plus populaire car il a un haut taux de fiabilité pour un questionnaire de seulement 10 items.

Il faut aussi penser à questionner l’intérêt pour ce projet d’analytics et là c’est plutôt les conseillères en évaluation du LLL qui peuvent m’aider à rédiger des items.

Ce serait déjà intéressant d’organiser un focus group avec une poignée d’étudiants (contact via l’AGL). Je dois pour cela préparer une présentation de ma maquette, pas encore un formulaire d’évaluation détaillé, mais bien un questionnaire ouvert avec les items pertinents. L’objet d’un prochain article …

Les questions à poser à l’auteur

Le travail s’inscrit dans une grande préoccupation pour les questions juridiques et, de prime abord, je trouve cette préoccupation disproportionnée pour 2 raisons :

• les données sur les actions étudiantes sont de toute façon collectées avec leur accord et les traitements sont décrits dans la charte (peut-être pas chez eux ?)
• le travail décrit bien l’importance de la personnalisation des informations affichées et on ne peut pas le faire avec des données anonymisées; dans mon cas, je ne peux pas indiquer à l’étudiant s’il a fait ou non une activité sans détenir cette information …

Je vais envoyer un mail à l’auteur pour questionner ce point …

Temps de lecture et de travail sur cet article : 2 jours