Navigieren durch die Pandemie: digitales Prüfen in Brunel

Hintergrund

Die Brunel University London ist eine multidisziplinäre, forschungsintensive Universität und mit über 17.000 Studierenden und 2.500 Mitarbeitern aus aller Welt eine der vielfältigsten Einrichtungen im Vereinigten Königreich. Die letzten zwei Jahre waren „interessant“; wie andere auch musste Brunel schnell handeln, um die Auswirkungen der Covid-19-Pandemie und der landesweiten Lockdowns auf Lernen, Lehren und Bewertung abzumildern und sicherzustellen, dass die Studierenden ihr Studium wie geplant fortsetzen oder abschließen konnten.

Dies wurde dadurch erleichtert, dass bereits eine digitale Prüfungsplattform vorhanden war; Brunel nutzt WISEflow seit 2015/16 in verschiedenen Fachbereichen. Dennoch war es eine große Herausforderung, im Frühjahr 2020 fast alle Prüfungen online durchzuführen.

Während sich eine neue „Normalität“ etabliert, reflektieren Professorin Mariann Rand-Weaver, Vizerektorin für Bildung, und Robyn Fitzharris, Referentin der Vizerektorin, über die Anpassungsfähigkeit des digitalen Prüfens und darüber, wie Prüfungsdaten genutzt wurden, um die Chancengleichheit zu überwachen und Maßnahmen zur Förderung des studentischen Wohlergehens zu ergreifen.

ERSTE REAKTION

„Als im März 2020 der erste Lockdown in Großbritannien angekündigt wurde, war es nur noch ein Monat bis zur ersten Prüfung am 20. April. Obwohl wir WISEflow bereits seit einigen Jahren nutzten, hatten nur 20 % der Studierenden Erfahrung mit einem digitalen Examen. Allerdings waren alle Mitarbeiter und Studierenden durch die Einreichung von Hausarbeiten mit WISEflow vertraut, und wir trafen die Entscheidung, dass die Fernprüfungen im Open-Book-Format stattfinden sollten. Dies war nicht der richtige Zeitpunkt, um unseren Studierenden einen Lockdown-Browser vorzustellen! Stattdessen änderten wir die Fragetypen und führten Prüfungen mit ähnlicher Dauer wie geplant durch, um die Tatsache auszugleichen, dass die Studierenden Zugang zu Notizen, Büchern und verschiedenen Webbrowsern hatten.“

„Sowohl von Seiten der Mitarbeiter als auch der Studierenden wurden vor und während des Prozesses Bedenken geäußert. Diese Bedenken betrafen in erster Linie die Verfügbarkeit der technischen Ausstattung – Laptops, WLAN und ruhige Räume – und so wurde klar, dass wir mehr tun mussten, als die Prüfungen einfach nur online zu verlegen.“

„Wir haben ein Programm zur Ausleihe von Laptops ausgeschrieben, um die Benachteiligung von Studierenden an der gesamten Universität zu mildern; wir waren jedoch der Ansicht, dass mehr erforderlich sei, um die Studierenden abzusichern. Wir haben daher beschlossen, den Studierenden zu gestatten, Prüfungen ohne Genehmigung zu verschieben. Dies verschaffte den Studierenden Flexibilität und verringerte die Belastung durch die anstehenden Prüfungen inmitten sich ständig ändernder und herausfordernder äußerer Umstände.“

TÄGLICHE ÜBERWACHUNG VON KLAUSUREN

„Da die meisten unserer Prüfungen ihre ursprüngliche Dauer beibehielten, haben wir sorgfältig darüber nachgedacht, wie wir verhindern könnten, dass Studierende die Upload-Frist verpassen und uns mit panischen Anrufen überschütten. Wir erhielten zwar immer noch einige solcher Anrufe, aber durch die Festlegung einer ‚verborgenen‘ Zeitreserve in WISEflow konnten wir vermeiden, dass Studierende aufgrund eines Problems beim Einreichen der Arbeit aus der Prüfung ausgeschlossen wurden.“

„Obwohl wir uns Sorgen über die Auswirkungen technischer Probleme machten und der Ansicht waren, dass eine strenge Frist für die Studierenden unfair nachteilig gewesen wäre, wollten wir nicht, dass Studierende einen unfairen Vorteil erhalten. Durch die Überwachung jeder Prüfung wussten wir, dass nur etwa 10 % der Einreichungen verspätet waren, wobei die meisten innerhalb weniger Minuten nach Ablauf der Frist eingereicht wurden und daher kein Grund zur Sorge darstellten. Studierende, die später einreichten, wurden anhand des WISEflow-Prüfungsprotokolls überprüft, um festzustellen, ob ihre Angaben zu technischen Problemen der Wahrheit entsprachen. Der pragmatische Ansatz, den Brunel verfolgte, hat sich für uns bewährt, und die Möglichkeit, den digitalen Fußabdruck zu nutzen, war entscheidend dafür, dass niemand das System ausnutzen konnte.“

BEWERTUNG DES STUDENTENEN ENGAGEMENTS MIT WISEflow PI

„Die tägliche Überwachung diente auch dazu, festzustellen, wie viele Studierende an Prüfungen teilnahmen – nachdem wir den Studierenden zu Recht die Möglichkeit eingeräumt hatten, ihre Prüfungen auf einen späteren Zeitpunkt im Jahr zu verschieben, waren wir dennoch besorgt, dass dies erhebliche operative Auswirkungen haben könnte, falls eine große Zahl von Studierenden davon Gebrauch machen würde. Mithilfe der WISEflow-API-Daten konnten wir die Prüfungsbeteiligung täglich verfolgen und bestimmte Muster bei verschiedenen Studierendengruppen erkennen. In Kombination mit umfassenderen Informationen über die Studierenden verglichen wir diejenigen, die an Prüfungen teilnahmen, mit denen, die dies nicht taten, und fragten uns, ob sie keinen Zugang zu den Prüfungen hatten (digitale Armut?) und ob wir proaktiv auf sie zugehen mussten, um sie zu unterstützen.“

„Zwar verfügen wir über Möglichkeiten, den Grad der Benachteiligung zu messen, beispielsweise anhand des Haushaltseinkommens, doch fällt es uns nach wie vor schwer, verlässliche Daten auf aktueller Basis zu finden. Wir wissen jedoch, dass viele unserer Studierenden aus benachteiligten Stadtteilen Londons stammen – 25 % bis 30 % kommen aus einigen der am stärksten benachteiligten Gebiete Großbritanniens.“

DATENGESTÜTZTE UNTERSTÜTZUNG

„Wir haben uns gefreut, dass ein hoher Anteil der Studierenden (~87 %) im Mai 2020 von zu Hause aus auf die Prüfungen zugreifen und diese erfolgreich absolvieren konnte. Die Daten zur Beteiligung nach Studierendenmerkmalen zeigten jedoch, dass Studierende mit Behinderung, ältere Studierende und Studierende aus benachteiligten Gebieten im Frühjahrssemester seltener an Prüfungen teilnahmen. Wir haben proaktiv Kontakt zu diesen Studierenden aufgenommen, was uns dabei half, unsere zusätzlichen Unterstützungsmaßnahmen für den Prüfungszeitraum im August (und danach) zu gestalten, wie beispielsweise buchbare Ruhezonen, die Aufstockung von Härtefallfonds und mehr Laptops zum Ausleihen.“

„Eine Analyse der Studienabschlüsse ergab nur geringe Schwankungen bei den Prüfungsergebnissen dieser Gruppen, was unserer Meinung nach unseren Ansatz bestätigt, wie wir Studierende in einer sehr schwierigen Zeit unterstützt haben. Wir werden die Daten zur Beteiligung auch in Zukunft weiter beobachten, um sicherzustellen, dass unsere Prüfungsmethoden bestimmte Gruppen von Studierenden nicht von vornherein benachteiligen.“

„Einige Mitarbeiter nutzten die Gelegenheit des erzwungenen Fernprüfungsformats mit offenem Buch, um die Bewertung zu überdenken. So wurde beispielsweise die traditionelle dreistündige Essayprüfung in den Fächern Politik und Geschichte durch eine erweiterte Prüfung (oder verkürzte Hausarbeit) von 24 bis 48 Stunden ersetzt, wodurch umfangreichere Fragen gestellt werden können. Zu weiteren Neuerungen gehört, dass die Studierenden sechs bis sieben Stunden Zeit erhalten, um Informationen aus einer Vielzahl von Quellen zu recherchieren und zu integrieren, um die Fragen zu beantworten.“

„Beiden Beispielen ist gemeinsam, dass sie authentische Prüfungsformen darstellen; möglicherweise erhalten die Studierenden in Zukunft einen Tag Zeit, um Berichte zu verfassen oder Analysen zu erstellen. Diese neuen Formate sind daher näher an realen Erfahrungen als drei Stunden lang mit Stift und Papier in einem Raum eingesperrt zu sein! Die Notwendigkeit, Dinge online und aus der Ferne zu erledigen, hat uns die Augen dafür geöffnet, was möglich ist, und uns erkennen lassen, dass eine andere Vorgehensweise besser sein kann. Und auch die Schüler stehen dem positiv gegenüber – sie nehmen das digitale Prüfen gelassen hin und berichten, dass sie gerne an ihren Laptops arbeiten – im Grunde genommen: Was ist schon dabei?“

EIN BLICK IN DIE ZUKUNFT

„Wir schätzen uns glücklich, dass wir bei Ausbruch der Pandemie über eine digitale Prüfungsplattform verfügten – WISEflow ermöglichte es uns, Studierende bei Bedarf zeitlich begrenzt weiter zu prüfen, Lockdown-Prüfungen für Studierende durchzuführen, die damit vertraut waren, und die Geschehnisse nahezu in Echtzeit zu überwachen. Durch diese Erfahrung haben wir uns als Einrichtung gewandelt – die Prüfungen im Jahr 2020/21 verliefen fast wie von selbst –, und obwohl es im letzten Prüfungszeitraum (Mai 2022) eine Rückkehr zu einigen Prüfungen mit Stift und Papier gab, nutzen die meisten Fachbereiche WISEflow – sei es aus der Ferne oder auf dem Campus.“

„Unsere Erfahrungen der letzten zwei Jahre haben die vielen Vorteile des digitalen Examens deutlich gemacht. Wir haben den Sprung gewagt, als wir WISEflow zum ersten Mal einsetzten, und genau das mussten wir im Mai 2020 erneut tun – für mich war dies von Vorteil, da die Einführung des digitalen Examens andernfalls nur langsam vorangekommen wäre. Der Verdienst gebührt unseren Mitarbeitern, die sich dieser Herausforderung gestellt haben! Der größte Nachteil war das daraus resultierende Fehlverhalten von Studierenden (Plagiate und Absprachen), und obwohl wir die WISEflow-Gesichtsvergleichssoftware eingesetzt haben, ist dies unserer Meinung nach keine Lösung. Auch glauben wir nicht, dass eine Überwachung durch Aufsichtspersonal der Weg ist, den wir einschlagen wollen, und in Zukunft werden wir wahrscheinlich beaufsichtigte Prüfungen auf dem Campus durchführen, bei denen der Zugang zu Ressourcen kontrolliert werden muss.“

ABSCHLIESSENDE BEMERKUNG

„Wer hätte sich vorstellen können, als wir 2015 unsere Zusammenarbeit mit UNIwise begannen und unsere zukünftige Ausrichtung planten, dass dies fünf Jahre später für die Bewältigung einer Pandemie von entscheidender Bedeutung sein würde? Viele Hochschuleinrichtungen mussten ihre virtuellen Lernumgebungen (VLEs) für die Abgabe von Prüfungen nutzen, da dies ihre einzige Option war, während wir über eine spezielle Prüfungsplattform verfügten, die es uns zudem ermöglichte, die Auswirkungen auf die Studierenden zu überwachen und abzumildern.“

„Prüfungen sind normalerweise kurze, hochriskante Veranstaltungen. Die Informationen, die wir während des digitalen Prüfens gesammelt haben, identifizierten Probleme im Zusammenhang mit diesen spezifischen Prüfungen; die Daten zeigen jedoch, dass wir breiter denken müssen – wir haben festgestellt, dass beispielsweise Präsentationen bei den Studierenden die gleichen Bedenken hervorrufen: Probleme mit dem WLAN und ein Mangel an ruhigen Räumen zum Beispiel.“

„Die Daten halfen Brunel dabei, darüber nachzudenken, welche Art von Unterstützung Studierende im Hinblick auf den gesamten Lehr- und Lernprozess benötigen, nicht nur bei bestimmten Prüfungen. Diese Erfahrung hat in dieser Hinsicht wirklich ein Licht auf die Situation geworfen – wir müssen stets darüber nachdenken, wie die Bewertung für alle unsere Studierenden besser und gerechter gestaltet werden kann.“

HÄUFIG GESTELLTE FRAGEN

Wie wird WISEflow das digitale Prüfungserlebnis für Studenten verbessern? Die Studierenden profitieren von einer intuitiveren und konsistenteren Prüfungsoberfläche, einem besseren Zugang zu Materialien und Feedback sowie einer stabilen technischen Einrichtung für Fern- und Vor-Ort-Prüfungen. Dies trägt dazu bei, den Stress zu reduzieren und die Klarheit während des gesamten Prüfungsprozesses zu verbessern.

Welche Vorteile ergeben sich für die Lehrkräfte und das Verwaltungspersonal? WISEflow reduziert die manuelle Arbeit erheblich, indem es die Erstellung von Prüfungen, die Rollenzuweisung und den Datenfluss durch die Integration mit STADS automatisiert. Dies verringert das Risiko von Verwaltungsfehlern und gibt den Mitarbeitern die Möglichkeit, sich auf die akademische Qualität zu konzentrieren, anstatt sich wiederholende Aufgaben zu erledigen.

Was macht WISEflow zu einer zuverlässigen Wahl für sichere digitale und Vor-Ort-Prüfungen? WISEflow unterstützt den gesamten Lebenszyklus von Prüfungen, von der Erstellung bis zur Benotung, und bietet gleichzeitig robuste Sicherheit für überwachte Prüfungsumgebungen vor Ort. Integrationen und sichere Arbeitsabläufe sorgen dafür, dass sowohl Studenten als auch Mitarbeiter der Plattform bei wichtigen Prüfungen vertrauen können.

Wie gewährleistet UNIwise einen reibungslosen Übergang von anderen Plattformen? uNIwise bietet einen strukturierten Onboarding-Prozess, technische Integration, Schulung und fortlaufende Unterstützung, um Risiken zu verringern und einen nahtlosen Übergang zu gewährleisten.

Welchen Sinn hat ein Pilotprojekt vor der vollständigen Einführung?

Ein Pilotprojekt hilft dabei, den Bedarf zu ermitteln, Arbeitsabläufe zu testen und sicherzustellen, dass die gewählte Lösung den Anforderungen der Einrichtung entspricht.

Welche Vorteile bietet die Konsolidierung digitaler Prüfungssysteme auf einer Plattform? eine einheitliche Lösung verbessert die Effizienz, schafft konsistente Prozesse und ermöglicht die Mobilität zwischen den Institutionen. Sie erleichtert Studenten und Mitarbeitern die Arbeit über Campusgrenzen hinweg und stellt sicher, dass neue Funktionen dem gesamten Sektor zugute kommen.

Wie wurde die Akzeptanz bei Mitarbeitern und Studenten sichergestellt?

Durch Schulungen, Probeprüfungen, klare Kommunikation und Unterstützungsstrukturen wurde sichergestellt, dass alle Beteiligten mit dem neuen System vertraut waren.

Wie hat WISEflow neue Prüfungsformate unterstützt?

Die Plattform ermöglicht die digitale Abwicklung schriftlicher, audiobasierter und mündlicher Prüfungen und bietet Funktionen für Aufzeichnungen, strukturiertes Feedback sowie sichere Einreichungsabläufe.