Brunel University London: Fallstudie zum digitalen Prüfen

Hintergrund

Die Brunel University London ist eine multidisziplinäre, forschungsstarke Universität mit über 17.000 Studierenden und 2.500 Mitarbeitenden aus aller Welt und zählt damit zu den vielfältigsten Einrichtungen im Vereinigten Königreich. Die Brunel University nutzt WISEflow seit dem Studienjahr 2015/16 in verschiedenen Fachbereichen – ein Vorsprung, der sich auszahlte, als die COVID-19-Pandemie und die landesweiten Lockdowns die Universität wie andere auch zwangen, schnell zu handeln, um Lehre, Lernen und Prüfen zu schützen und sicherzustellen, dass die Studierenden ihr Studium wie geplant fortsetzen oder abschließen konnten.

Dass bereits eine etablierte digitale Prüfungsplattform vorhanden war, erleichterte die Umstellung erheblich. Dennoch war es ein beträchtliches Unterfangen, im Frühjahr 2020 nahezu alle Prüfungen online durchzuführen.

Während sich eine neue „Normalität“ herausbildete, reflektieren Professor Mariann Rand-Weaver, Vice-Provost Education, und Robyn Fitzharris, Executive Officer to the Vice-Provost, über die Anpassungsfähigkeit des digitalen Prüfens und darüber, wie Prüfungsdaten genutzt wurden, um Chancengleichheit zu überwachen und die Reaktion auf Fragen des studentischen Wohlergehens zu steuern.

Erste Reaktion

„Als im März 2020 der erste britische Lockdown verkündet wurde, waren wir einen Monat von der ersten Prüfung am 20. April entfernt. Obwohl wir WISEflow schon seit einigen Jahren nutzten, hatten erst 20 % der Studierenden eine digitale Prüfung abgelegt. Allerdings kannten alle Mitarbeitenden und Studierenden WISEflow von ihren Abgaben von Studienarbeiten, und wir trafen die Entscheidung, die Fernprüfungen als Open-Book-Prüfungen durchzuführen. Das war nicht der Moment, unsere Studierenden mit einem Lockdown Browser bekannt zu machen! Stattdessen haben wir die Fragetypen geändert und Prüfungen von ähnlicher Dauer wie geplant durchgeführt, um auszugleichen, dass die Studierenden Zugriff auf Notizen, Bücher und verschiedene Webbrowser hatten.“

„Vor und während des Prozesses äußerten sowohl Mitarbeitende als auch Studierende Bedenken. Diese betrafen vor allem die Verfügbarkeit von Ausstattung – Laptops, WLAN und ruhige Räume –, und so wurde klar, dass wir mehr tun mussten, als Prüfungen einfach online zu verlagern.“

Tägliches Monitoring der Prüfungen

„Da die meisten unserer Prüfungen ihre ursprüngliche Dauer behielten, haben wir sorgfältig überlegt, wie wir verhindern, dass Studierende den Upload-Schluss verpassen und uns mit panischen Anrufen überhäufen. Einige solcher Anrufe bekamen wir trotzdem, aber indem wir in WISEflow einen ‚versteckten‘ Zeitpuffer einrichteten, vermieden wir, dass Studierende bei einem Problem beim Abgeben aus der Zeit fielen.“

„Wir waren zwar besorgt über die Auswirkungen technischer Probleme und hielten eine harte Abgabefrist für unfair gegenüber den Studierenden, wollten den Studierenden aber auch keinen unfairen Vorteil verschaffen. Durch das Monitoring jeder Prüfung wussten wir, dass nur etwa 10 % der Abgaben verspätet waren, die meisten davon innerhalb weniger Minuten nach Fristende und damit unbedenklich. Bei Studierenden, die später abgaben, wurde anhand des Prüfungsprotokolls in WISEflow nachverfolgt, ob ihre Angaben zu technischen Problemen zutrafen. Der pragmatische Ansatz der Brunel University hat sich für uns bewährt, und die Möglichkeit, den digitalen Fußabdruck zu nutzen, war entscheidend, um sicherzustellen, dass niemand das System ausnutzte.“

Studentisches Engagement mit der WISEflow-API erfassen

„Das tägliche Monitoring diente auch dazu festzustellen, wie viele Studierende ihre Prüfungen ablegten – wir hatten den Studierenden zu Recht die Möglichkeit gegeben, ihre Prüfungen auf später im Jahr zu verschieben, waren aber besorgt, dass es erhebliche betriebliche Folgen hätte, wenn sehr viele davon Gebrauch machten. Mit den Daten der WISEflow-API konnten wir die Prüfungsbeteiligung täglich verfolgen und bestimmte Muster bei verschiedenen Gruppen von Studierenden erkennen. In Kombination mit weiteren Studierendendaten verglichen wir diejenigen, die Prüfungen ablegten, mit denen, die es nicht taten, und fragten, ob sie keinen Zugang zu den Prüfungen hatten (digitale Armut?) und ob wir proaktiv auf sie zugehen mussten, um sie zu unterstützen.“

„Zwar haben wir Möglichkeiten, Benachteiligung zu messen, etwa über das Haushaltseinkommen, doch es fällt uns nach wie vor schwer, laufend verlässliche Daten zu erhalten. Wir wissen aber, dass viele unserer Studierenden aus benachteiligten Gegenden Londons kommen – 25–30 % stammen aus einigen der am stärksten benachteiligten Gegenden im Vereinigten Königreich.“

Datenbasierte Unterstützung

„Wir waren erfreut festzustellen, dass ein hoher Anteil der Studierenden (~87 %) im Mai 2020 die Prüfungen von zu Hause aus aufrufen und erfolgreich abschließen konnte. Die nach Merkmalen der Studierenden aufgeschlüsselten Beteiligungsdaten zeigten jedoch, dass Studierende mit Behinderung, ältere Studierende und Studierende aus benachteiligten Gegenden im Frühjahrssemester seltener Prüfungen ablegten. Wir sind proaktiv auf diese Studierenden zugegangen, was in die zusätzliche Unterstützung für den Prüfungszeitraum im August (und die folgenden) einfloss, etwa buchbare ruhige Räume, aufgestockte Härtefallfonds und mehr Leih-Laptops.“

„Eine Analyse der Studienabschlüsse ergab für diese Gruppen nur geringe Schwankungen bei den Abschlussergebnissen, was unseres Erachtens bestätigt, wie wir die Studierenden durch eine sehr schwierige Zeit begleitet haben. Wir werden die Beteiligungsdaten auch künftig beobachten, um sicherzustellen, dass unsere Prüfungsmethoden bestimmte Gruppen von Studierenden nicht strukturell benachteiligen.“

Den Wandel anstoßen

„Einige Lehrende nutzten die Gelegenheit des verordneten Open-Book-Fernprüfungsformats, um das Prüfen neu zu denken. So wurde etwa der traditionelle dreistündige Aufsatz in Politik und Geschichte durch eine verlängerte Prüfung (bzw. eine verkürzte Hausarbeit) von 24–48 Stunden ersetzt, sodass umfassendere Fragen gestellt werden können. Zu den weiteren Neuerungen gehört, dass Studierende sechs bis sieben Stunden Zeit erhalten, um Informationen aus einer Reihe von Quellen zu recherchieren und zur Beantwortung der Fragen zusammenzuführen.“

„Beiden Beispielen ist gemeinsam, dass es sich um authentische Prüfungsformen handelt; künftig könnten Studierende einen Tag Zeit bekommen, um Berichte zu schreiben oder eine Analyse vorzulegen. Diese neuen Formate sind damit näher an realen Erfahrungen, als drei Stunden mit Stift und Papier in einem Raum eingeschlossen zu sein! Gezwungen zu sein, Dinge online und aus der Ferne zu erledigen, hat uns die Augen dafür geöffnet, was möglich ist, und für die Erkenntnis, dass es besser sein kann, Dinge anders zu machen. Und auch die Studierenden sind positiv eingestellt – sie nehmen digitale Prüfungen gelassen und berichteten, dass sie gern an ihren Laptops arbeiteten. Im Grunde: Was ist schon dabei?“