Die Erfahrungen der Imperial College Business School mit der Einführung von WISEflow

Die Imperial College Business School in London zählt regelmäßig zu den weltweit besten Business Schools und bietet MBA-, MSc- und Executive-Programme sowie gemeinsame Bachelorstudiengänge in Zusammenarbeit mit Fachbereichen des Imperial College an.

Die Imperial College Business School führte 2016 ein Pilotprojekt durch und weitete den Einsatz bis 2020 auf mehr als 70 Prüfungen mit 1.600 Studierenden aus.

Hintergrund und Kontext

Die Imperial College Business School hatte 2015 ein globales MBA-Programm gestartet; um ein vollständiges Online-Erlebnis anbieten zu können, war die Fähigkeit zum digitalen Prüfen erforderlich. WISEflow wurde 2016 nach einem Vergabeverfahren ausgewählt. Das erste Pilotprojekt lief im Studienjahr 2016/2017 mit dem MSc in Climate Change, Management and Finance. Die Prüfung fand mit dem Lockdown Browser auf dem Campus statt, mit rund 40 Studierenden, und das Projekt war ein Erfolg.

Die Ausweitung des Pilotprojekts im BYOD-Format („Bring Your Own Device“) wurde zurückgestellt, bis eine eigene Projektleitung finanziert werden konnte. Emma Stoakes kam 2019 zum Projekt, und im selben Jahr fand eine erfolgreiche Summer-School-Prüfung mit ausschließlich Multiple-Choice-Fragen (MCQs) und 70 Studierenden statt.

Im Folgenden lesen Sie einen Bericht über das WISEflow-Projekt an der ICBS von Emma Stoakes, Exams and Assessment Manager & Digital Assessment Project Lead (Business School).

„Wir planten, in der Prüfungsphase im April 2020 auf 14 BYOD-Prüfungen in mehreren MSc-Kohorten auszuweiten und den Einsatz auf schriftliche Antworten, Anhänge, Lückentextfragen, Fallstudien und die Bewertung direkt in der Plattform auszudehnen. Das Prüfungsteam hatte zur Vorbereitung auf die Frühjahrsprüfungen maßgeschneiderte Schulungen zu den Benutzerrollen besucht, und wir führten Präsenzschulungen für die Studierenden durch, die auch Hilfe bei Problemen mit dem Lockdown Browser erhielten. Sie bekamen Zugang zu einem eigens erstellten Demotest, der ihnen zeigte, wie die gängigen Fragetypen funktionieren, und wir planten offene Sprechstunden für alle, die weitere Fragen hatten. Außerdem wollten wir die Schulung der Aufsichtspersonen ausbauen. Alles schien gut zu laufen. Und dann kam der Lockdown.

„Die Studierenden fuhren nach Hause. Wir steckten mitten in einer Prüfungsphase für die Finance-Programme, und drei MCQ-Tests waren für die Woche nach der Ankündigung des Lockdowns angesetzt. Unsere Hauptprüfungsphase stand im April bevor. Mit anderen Worten: Wir brauchten einen Plan.

„Da die Finance-Prüfungen bereits liefen, blieb keine Zeit für eine WISEflow-Schulung, also nutzten wir unsere VLE. Die Einrichtung war recht einfach, aber die Auswertung und Bewertung waren ziemlich aufwendig, und es mussten viele weitere administrative Prüfungen vorgenommen werden. Nach dem Erfolg unseres Summer-School-Pilotprojekts beschlossen wir, die geplanten MCQ-Tests als unsere ersten zeitlich begrenzten Fernprüfungen überhaupt auf der WISEflow-Plattform durchzuführen, da ich überzeugt war, dass die Studierenden MCQs in WISEflow intuitiv finden würden. Am Wochenende vor diesen Tests boten wir WISEflow-Schulungen an und produzierten Videos zum Zugang und zur Nutzung der Plattform. Während der Tests konnten wir die Prüfungszeit für Studierende mit Problemen problemlos verlängern; am Ende konnten alle, die in der folgenden Woche die Prüfung ablegten, sie auch abschließen. Darüber hinaus gab es bei der Durchsicht der Ergebnisse keine offensichtlichen Hinweise auf Täuschung oder unerlaubte Zusammenarbeit.

„Für die Frühjahrsprüfungen waren die meisten Studierenden, die Prüfungen ablegten, bereits in WISEflow geschult. Wir entschieden uns gegen den Lockdown Browser, weil wir keine Aufsicht und keine Kontrolle über die Nutzung weiterer Geräte gehabt hätten und weil uns dieser Weg auch die Flexibilität gab, dass Studierende Diagramme und Gleichungen von Hand zeichnen und als Anhang hochladen konnten. Dadurch konnten alle Prüfungen auf WISEflow verlagert werden, auch die mathematiklastigen. Den Studierenden wurde mitgeteilt, dass es sich um Closed-Book-Prüfungen handelte und von ihnen erwartet wurde, sich akademisch integer zu verhalten; wir informierten sie, dass Stichproben mit Turnitin geprüft würden. Außerdem gewährten wir allen Studierenden einen Zeitzuschlag von 30 Minuten für Fernprüfungen, um die Upload-Zeit und andere Probleme abzudecken.“

„Darüber hinaus beschlossen wir, die Sofortnachrichtenfunktion zu nutzen, um die Studierenden zu informieren, wenn die reguläre Prüfungszeit abgelaufen war, und sie aufzufordern, mit dem Hochladen und Überprüfen ihrer Arbeit zu beginnen. Wir richteten E-Mail-Konten für einen Helpdesk sowie eine WISEflow-Informationsseite in unserer VLE ein. Statt der Schulungen veranstalteten wir außerdem einige Town-Hall-Meetings, zu denen Studierende vorab Fragen einreichen konnten. Unsere Bachelorstudierenden schulten wir per Fernzugriff in WISEflow, da sie diese Gelegenheit vor dem Lockdown nicht auf dem Campus gehabt hatten. Wir beschlossen außerdem, dass die Bewertung in WISEflow erfolgen sollte, und erstellten daher Schulungsunterlagen für die Lehrenden, einschließlich einer eigenen WISEflow-Seite für die Fakultät.“

„Rückblickend konnten wir nach den Prüfungen sehen, dass die Studierenden gut auf WISEflow vorbereitet waren. Die Sofortnachrichtenfunktion war sehr nützlich und eignete sich gut für die Kommunikation mit den Studierenden. Das Support-Team von UNIwise war großartig und half uns bei allem, was etwas wackelig aussah. Die Lehrenden schätzten es, keine Handschrift lesen zu müssen. Insgesamt war es ein großer Erfolg! Natürlich gab es angesichts der kurzen Zeit, die wir hatten, auch einige Probleme. Wie alle anderen hatten wir keine Kontrolle über das Fernprüfungsszenario – die Internetverbindung der Studierenden, VPNs oder Werbeblocker. Außerdem fiel es uns schwer, manchen Studierenden zu helfen, wenn wir ihren Bildschirm nicht sehen konnten. Nach den Prüfungen erhielten wir viele E-Mails von besorgten Studierenden, die uns baten zu prüfen, ob ihre Uploads angekommen waren. Für manche war es eine Feuertaufe! Die Benutzeroberfläche für Studierende ist großartig, und Notizblock, Textmarker und die Barrierefreiheitswerkzeuge für Legasthenie sind wirklich gut. Aus Sicht der Studierenden ist alles recht einfach. Schwieriger war es, vorherzusehen, was für die Bewertenden funktionieren würde. Das Prüfungsteam erstellte die Prüfungen für die Lehrenden und traf bei der Einrichtung Entscheidungen, die zu einer gemischten Bewertungserfahrung für die Lehrenden führten. Im Vergleich zu Präsenzprüfungen auf dem Campus sahen wir auch recht viel unerlaubte Zusammenarbeit und Plagiate, und die damaligen Regelungen des Colleges boten wenig Orientierung für den Umgang damit. Viele dieser Probleme betrafen jedoch alle Prüfungsplattformen am College, und insgesamt hatte sich WISEflow unter den gegebenen Umständen sehr gut geschlagen.

„Mit der nächsten Prüfungsrunde im Juni 2020 haben wir die meisten Prüfungen, die zuvor in unserer VLE lagen, auf WISEflow verlagert; wir werden sie bis zur vollständigen Rückkehr auf den Campus auf der Plattform belassen und dann über BYOD, Fernprüfungen und papierbasierte Prüfungen beraten.“

„Geplant waren 13 Prüfungen in WISEflow, inzwischen haben wir 74 auf der Plattform durchgeführt – weit mehr als erwartet –, mit über 8.000 Abgaben, die vielen Wiederholungsprüfungen im Sommer nicht mitgerechnet.

„Wir haben Feedback von den Studierenden eingeholt, um für unsere neue Studierendenkohorte Verbesserungen vornehmen zu können. Wir haben jetzt ein neues, professionelleres Einführungsvideo zu WISEflow, die Schulungen näher an die Prüfungen gelegt und den Studierenden klar vermittelt, was sie erwartet. Wir schulen die Studierenden darin, in Prüfungen Quellen anzugeben, und nutzen das ‚Deckblatt‘ der Prüfung, damit die Studierenden unserer Plagiatserklärung zustimmen. Für die Lehrenden erstellt unser Associate Dean of Education Policy Leitlinien zum Verfassen von Prüfungen für die Fernprüfung. Außerdem haben wir eine Arbeitsgruppe der Lehrenden eingerichtet und mit ihr neue Leitlinien zur Prüfungseinrichtung sowie eine Prüfungsvorlage mit den gängigen Einstellungsoptionen erarbeitet, sodass sie ihre Präferenzen dem Prüfungsteam einfach mitteilen können, wenn sie die Prüfungsinhalte liefern.

„Allen, die Prüfungen mit WISEflow durchführen möchten, würde ich raten, alle Phasen zu berücksichtigen und sich Zeit zu nehmen, das System auszuprobieren. Ich würde Test-Flows einrichten und sie als Studierende und als Bewertende durchspielen – alle Phasen, alle Rollen. Man muss die Komplexität des Systems verstehen, was es kann und welche Optionen man hat – und dann sicherstellen, dass die eigenen Entscheidungen für die Benutzer:innen so gut wie möglich funktionieren.“

„Es war eine steile Lernkurve, aber ich kann kaum glauben, dass seit den Summer-School-Prüfungen weniger als ein Jahr vergangen ist. Wir sind in weniger als einem Jahr von einem einzigen MCQ-Test mit 70 Personen zu 74 Prüfungen mit 1.600 Studierenden in unterschiedlichen Formaten gekommen. Wir mussten wirklich agil sein.“

„Es war auch wirklich großartig, das Support-Team von UNIwise an unserer Seite zu haben. Wir lieben das Team hinter dem Zendesk-Support! Es geht Problemen wirklich gründlich für einen nach und gibt uns nie das Gefühl, lästig zu sein. Das Support-Team steht immer hinter uns. Es ist auch gut darin, Probleme und Anfragen zu priorisieren, bei Bedarf das Entwicklungsteam um Hilfe zu bitten, und denkt hervorragend über den Tellerrand hinaus.

In diesem Studienjahr wollen wir WISEflow weiter verankern. Wir arbeiten mit unserer Arbeitsgruppe der Lehrenden daran, das Erlebnis für Prüfungsautor:innen und Bewertende zu verbessern. Wir werden UNIwise weiterhin Vorschläge zur Weiterentwicklung machen und hoffentlich mit einer Londoner WISEflow-Benutzergruppe zusammenarbeiten, um Erfahrungen und bewährte Verfahren auszutauschen und gemeinsamen Entwicklungsbedarf zu ermitteln.“