Naviguer dans la pandémie : l'évaluation numérique à Brunel

Contexte

L'Université Brunel de Londres est une université multidisciplinaire à forte orientation recherche. Avec plus de 17 000 étudiants et 2 500 membres du personnel venus du monde entier, elle figure parmi les établissements les plus diversifiés du Royaume-Uni. Ces deux dernières années ont été « intéressantes » ; comme d’autres, Brunel a dû agir rapidement pour atténuer l’impact de la pandémie de Covid-19 et des confinements nationaux sur l’apprentissage, l’enseignement et l’évaluation, et veiller à ce que les étudiants puissent poursuivre ou terminer leurs études comme prévu.

La mise en place d’une plateforme d’évaluation numérique a facilité cette transition ; Brunel utilise WISEflow depuis l’année universitaire 2015/2016 dans divers départements. Cependant, le passage de la quasi-totalité des examens en ligne au printemps 2020 a tout de même représenté une tâche colossale.

Alors qu’une nouvelle « normalité » s’installe, la professeure Mariann Rand-Weaver, vice-rectrice chargée de l’éducation, et Robyn Fitzharris, directrice de cabinet de la vice-rectrice, reviennent sur la flexibilité de l’évaluation numérique et sur la manière dont les données d’examen ont été utilisées pour veiller à l’égalité et orienter la réponse aux questions relatives au bien-être des étudiants.

La réponse initiale

« Lorsque le premier confinement a été annoncé au Royaume-Uni en mars 2020, nous étions à un mois du premier examen, prévu le 20 avril. Bien que nous utilisions WISEflow depuis plusieurs années, seuls 20 % des étudiants avaient déjà passé un examen numérique. Cependant, l’ensemble du personnel et des étudiants connaissaient bien WISEflow pour y avoir soumis leurs devoirs, et nous avons pris la décision que les examens à distance se dérouleraient en format « à livre ouvert ». Ce n’était pas le moment d’initier nos étudiants à un navigateur verrouillé ! Nous avons plutôt modifié les types de questions et organisé des examens d’une durée similaire à celle prévue afin de compenser le fait que les étudiants avaient accès à leurs notes, à leurs livres et à divers navigateurs web. »

« Des préoccupations ont été exprimées avant et pendant le processus, aussi bien par le personnel que par les étudiants. Ces réserves portaient principalement sur la disponibilité du matériel – ordinateurs portables, Wi-Fi et espaces calmes – ; il est donc apparu clairement que nous devions faire plus que simplement transférer les examens en ligne. »

« Des inquiétudes ont été exprimées avant et pendant le processus, tant par le personnel que par les étudiants. Ces craintes concernaient principalement la disponibilité du matériel – ordinateurs portables, Wi-Fi et espaces calmes – et il est donc apparu clairement que nous devions faire plus que simplement transférer les examens en ligne. »

« Comme la plupart de nos examens ont conservé leur durée initiale, nous avons mûrement réfléchi à la manière d’éviter que des étudiants ne dépassent l’heure limite de soumission et ne nous inondent d’appels paniqués. Nous en avons tout de même reçu quelques-uns, mais en définissant un délai « caché » dans WISEflow, nous avons évité que les étudiants ne soient déconnectés en cas de problème au moment de la soumission. »

« Bien que nous étions préoccupés par l’impact des problèmes techniques et que nous estimions qu’une heure limite stricte aurait été injustement préjudiciable aux étudiants, nous ne voulions pas non plus que ceux-ci bénéficient d’un avantage indu. En surveillant chaque examen, nous avons constaté que seuls environ 10 % des soumissions étaient en retard, la plupart ayant été envoyées quelques minutes après l’heure limite et ne constituant donc pas un sujet de préoccupation. Les étudiants ayant soumis leur travail plus tard ont fait l’objet d’un suivi à l’aide du journal des examens de WISEflow afin de vérifier si leurs allégations de problèmes techniques étaient fondées. L’approche pragmatique adoptée par Brunel s’est avérée très efficace, et la possibilité d’utiliser l’empreinte numérique a été essentielle pour garantir que personne ne tire parti du système. »

Mesurer l’engagement des étudiants grâce à l’API de WISEflow

« Un suivi quotidien a également été mis en place pour déterminer combien d’étudiants passaient leurs examens. Bien que nous ayons, à juste titre, donné aux étudiants la possibilité de reporter leurs examens à plus tard dans l’année, nous craignions néanmoins que, si un grand nombre d’entre eux optaient pour cette solution, cela n’entraîne d’importantes répercussions opérationnelles. Les données de l’API WISEflow nous ont permis de suivre quotidiennement la participation aux examens, en mettant en évidence des tendances particulières selon les différents groupes d’étudiants. En combinant ces données avec des informations plus générales sur les étudiants, nous avons comparé ceux qui passaient les examens à ceux qui ne le faisaient pas et nous nous sommes demandé s’ils étaient dans l’incapacité d’accéder aux évaluations (précarité numérique ?) et s’il fallait que nous prenions l’initiative de les contacter pour leur apporter notre soutien. »

« Bien que nous disposions de moyens pour mesurer les niveaux de précarité, tels que le revenu des ménages, nous avons encore du mal à trouver des données fiables sur une base évolutive. Mais nous savons que bon nombre de nos étudiants sont issus de quartiers défavorisés de Londres – 25 % à 30 % proviennent de certaines des zones les plus défavorisées du Royaume-Uni. »

Un accompagnement fondé sur les données

« Nous avons été ravis de constater qu’une grande partie des étudiants (~87 %) ont pu accéder aux examens et les passer avec succès depuis leur domicile en mai 2020. Cependant, les données relatives à la participation, ventilées par caractéristiques des étudiants, ont mis en évidence que les étudiants en situation de handicap, les étudiants adultes et ceux issus de zones défavorisées étaient moins susceptibles de passer leurs examens au semestre de printemps. Nous avons pris contact de manière proactive avec ces étudiants, ce qui nous a aidés à mettre en place un soutien supplémentaire pour la session d’examens d’août (et les suivantes), notamment des espaces calmes réservables, une augmentation des fonds d’aide aux étudiants en difficulté et davantage d’ordinateurs portables disponibles en prêt. »

« Une analyse des résultats aux diplômes n’a révélé que de faibles fluctuations pour ces groupes, ce qui, selon nous, valide la manière dont nous avons accompagné les étudiants durant une période très difficile. Nous continuerons à suivre les données d’engagement à l’avenir afin de garantir que nos méthodes d’évaluation ne désavantagent pas intrinsèquement certains groupes d’étudiants. »

« Une analyse des diplômes obtenus n’a révélé que de légères fluctuations dans les résultats de ces groupes, ce qui, selon nous, valide notre approche visant à soutenir les étudiants pendant cette période très difficile. Nous continuerons à surveiller les données relatives à la participation à l’avenir afin de nous assurer que nos méthodes d’évaluation ne désavantagent pas intrinsèquement certains groupes d’étudiants. »

« Certains membres du personnel ont profité de l’obligation de recourir à des examens à distance et à livre ouvert pour repenser l’évaluation. Par exemple, la dissertation traditionnelle de trois heures utilisée en sciences politiques et en histoire a été remplacée par un examen prolongé (ou un devoir raccourci) de 24 à 48 heures, ce qui permet de poser des questions plus approfondies. Parmi les autres innovations, on peut citer le fait que les étudiants disposent de six à sept heures pour effectuer des recherches et intégrer des informations provenant de diverses sources afin de répondre aux questions. »

« Les données ont aidé Brunel à réfléchir au type de soutien dont les étudiants ont besoin pour l’ensemble de l’enseignement et de l’apprentissage, et pas seulement pour des évaluations spécifiques. Cette expérience a vraiment mis en lumière ce point : nous devons toujours nous demander comment l’évaluation peut être améliorée et rendue équitable pour tous nos étudiants. »