uNIwise war sehr hilfsbereit und kommunikativ und ging auf unsere Bedürfnisse ein
Die Imperial College Business School in London, Großbritannien, zählt durchweg zu den weltweit führenden Business Schools und bietet MBA-, MSc- und Executive-Programme sowie gemeinsame Bachelor-Studiengänge in Zusammenarbeit mit den Fachbereichen des Imperial College an.
Die Imperial College Business School führte 2016 ein Pilotprojekt durch und weitete dieses im Jahr 2020 auf über 70 Prüfungen mit 1600 Studierenden aus.
Hintergrund und Kontext
Die Imperial College Business School hatte 2015 ein globales MBA-Programm ins Leben gerufen; um ein vollständig onlinebasiertes Erlebnis anbieten zu können, waren Möglichkeiten zum digitalen Prüfen erforderlich. Nach einem Beschaffungsprozess fiel die Wahl 2016 auf WISEflow. Das erste Pilotprojekt lief im akademischen Jahr 2016/2017 im Rahmen des MSc-Studiengangs „Climate Change, Management and Finance“. Die Prüfung fand auf dem Campus unter Verwendung des Lockdown-Browsers mit etwa 40 Studierenden statt, und das Projekt war ein Erfolg.
Die Ausweitung des Pilotprojekts auf „Bring Your Own Device“ (BYOD) wurde zurückgestellt, bis ein eigener Projektleiter finanziert werden konnte. Emma Stoakes trat dem Projekt 2019 bei, und im selben Jahr fand eine erfolgreiche Sommerkursprüfung statt, die ausschließlich aus Multiple-Choice-Fragen (MCQs) bestand und an der 70 Studierende teilnahmen.
Es folgt ein Bericht über das WISEflow-Projekt am ICBS von Emma Stoakes, Managerin für Prüfungen und Leistungsbewertung sowie Projektleiterin für digitales Prüfen (Business School).
Emma Stoakes
Leiterin für Prüfungen und Leistungsbewertung &
Projektleiter für digitales Prüfen, Imperial College
London Business School
„Wir planten, im Rahmen der Prüfungssession im April 2020 auf 14 BYOD-Prüfungen für mehrere MSc-Jahrgänge auszuweiten und die Nutzung so zu erweitern, dass schriftliche Antworten, die Verwendung von Anhängen, Lückentexte, Fallstudien und die Benotung direkt in der Plattform möglich waren. Das Prüfungs- und Bewertungsteam hatte zur Vorbereitung auf die Frühjahrsprüfungen an einer maßgeschneiderten Schulung zu Benutzerrollen teilgenommen, und wir führten Präsenzschulungen für Studierende durch, denen zudem bei etwaigen Browserproblemen während des Lockdowns geholfen wurde. Sie erhielten Zugang zu einem maßgeschneiderten Demotest, der ihnen die Verwendung gängiger Fragetypen veranschaulichte, und wir planten Sprechstunden für alle, die weitere Probleme hatten. Außerdem wollten wir unsere Schulung für Prüfungsaufsichtspersonen ausweiten. Alles schien gut zu laufen. Und dann kam der Lockdown.
„Die Studierenden gingen nach Hause. Wir befanden uns mitten in der Prüfungsphase für den Fachbereich Finanzwesen, und drei Multiple-Choice-Prüfungen sollten in der Woche nach der Ankündigung des Lockdowns stattfinden. Unsere Hauptprüfungsphase stand im April bevor. Mit anderen Worten: Wir brauchten einen Plan.
„Da die Finanzprüfungen gerade liefen, blieb keine Zeit für eine WISEflow-Schulung, also nutzten wir unsere virtuelle Lernumgebung (VLE). Die Einrichtung war recht einfach, doch die Auswertung und Benotung war ziemlich aufwendig, und es gab viele weitere administrative Überprüfungen, die durchgeführt werden mussten. Nach dem Erfolg unseres Summer-School-Pilotprojekts beschlossen wir, die geplanten Multiple-Choice-Tests über die WISEflow-Plattform durchzuführen – als unsere allerersten zeitlich begrenzten Fernprüfungen –, da ich zuversichtlich war, dass die Studierenden die Multiple-Choice-Fragen auf WISEflow intuitiv finden würden. Am Wochenende vor diesen Tests führten wir WISEflow-Schulungen durch, einschließlich der Erstellung von Videos zum Zugriff auf und zur Nutzung der Plattform. Während der Tests verlängerten wir problemlos die Prüfungszeit für alle Studierenden, die Probleme hatten; letztendlich konnte jeder, der in der folgenden Woche an der Prüfung teilnahm, diese abschließen. Darüber hinaus gab es bei der Auswertung der Ergebnisse keine offensichtlichen Anzeichen für Betrug oder Absprachen.
„Das UNIwise-Supportteam war großartig und hat uns bei allem geholfen, was auch nur ein wenig unsicher erschien.“
„Für die Frühjahrsprüfungsphase waren die meisten prüfungsteilnehmenden Studierenden bereits in WISEflow geschult worden. Wir entschieden uns gegen die Verwendung des Lockdown-Browsers, da wir keine Aufsicht oder Kontrolle über die Nutzung zusätzlicher Geräte gehabt hätten und weil diese Option uns zudem die Flexibilität bot, dass Studierende Grafiken und Gleichungen handschriftlich erstellen und als Anhänge hochladen konnten. Infolgedessen konnten alle Prüfungen auf WISEflow verlagert werden, selbst solche mit hohem Mathematikanteil. Den Studierenden wurde mitgeteilt, dass es sich um Prüfungen ohne Hilfsmittel handeln würde und dass von ihnen akademische Integrität erwartet werde; wir wiesen sie darauf hin, dass Stichproben durch Turnitin geprüft würden. Außerdem gewährten wir allen Studierenden eine zusätzliche Zeit von 30 Minuten für die Fernprüfung, um die Upload-Zeit und eventuelle andere Probleme abzudecken.“
„Darüber hinaus beschlossen wir, die Instant-Messaging-Funktion zu nutzen, um die Studierenden darüber zu informieren, wann der reguläre Prüfungszeitraum beendet war, und sie dazu anzuregen, mit dem Hochladen und Überprüfen ihrer Arbeiten zu beginnen. Wir richteten E-Mail-Konten für den Helpdesk zur Beantwortung von Fragen sowie eine WISEflow-Informationsseite auf unserer virtuellen Lernumgebung (VLE) ein. Anstelle der Schulungen führten wir zudem einige Town-Hall-Meetings durch, bei denen die Studierenden vorab Fragen einreichen konnten. Wir schulten unsere Bachelor-Studierenden aus der Ferne in WISEflow, da sie vor dem Lockdown keine Gelegenheit dazu auf dem Campus gehabt hatten. Wir beschlossen zudem, dass die Benotung in WISEflow erfolgen sollte, weshalb Schulungsanleitungen zur Unterstützung der Lehrkräfte erstellt wurden, einschließlich einer WISEflow-Seite für Lehrkräfte.“
„Im Nachhinein, als die Prüfungen vorbei waren, konnten wir feststellen, dass die Studierenden gut auf die Nutzung von WISEflow vorbereitet waren. Die Instant-Messaging-Funktion war wirklich nützlich und funktionierte gut für die Kommunikation mit den Studierenden. Das UNIwise-Support-Team war großartig und half uns bei allem, was etwas unsicher wirkte. Die Dozenten schätzten es, keine Handschrift entziffern zu müssen. Insgesamt war es sehr erfolgreich! Natürlich gab es einige Probleme, angesichts des kurzen Zeitrahmens, den wir zur Lösung dieser Aufgaben hatten. Wie alle anderen hatten wir keinen Einfluss auf die Remote-Situation – die Internetverbindung der Studierenden, VPNs oder Adblocker. Wir hatten auch Schwierigkeiten, einigen Studierenden zu helfen, wenn wir ihre Bildschirme nicht sehen konnten. Wir erhielten nach den Prüfungen viele E-Mails von besorgten Studierenden, die uns baten, zu überprüfen, ob ihre Uploads eingegangen waren. Für manche war es eine Feuertaufe! Die Benutzeroberfläche für Studierende ist großartig, und der Notizblock, der Textmarker sowie die Hilfsmittel für Legastheniker sind wirklich gut. Aus Sicht der Studierenden ist alles recht einfach. Eine größere Herausforderung war es, vorauszusehen, was für die Korrektoren funktionieren würde. Das Prüfungsteam erstellte die Prüfungen für die Fakultät und traf bei der Einrichtung der Prüfungen Entscheidungen, die zu einer uneinheitlichen Bewertungserfahrung für die Fakultät führten. Wir stellten im Vergleich zu Prüfungen auf dem Campus auch eine recht hohe Anzahl an Absprachen und Plagiaten fest, und die damaligen Hochschulvorschriften boten nur wenig Anleitung, wie damit umzugehen sei. Viele dieser Probleme traten jedoch auf allen Prüfungsplattformen der Hochschule auf, und insgesamt hat sich WISEflow unter den gegebenen Umständen wirklich gut bewährt.
„Bei unserer nächsten Prüfungsrunde im Juni 2020 haben wir die meisten Prüfungen, die zuvor auf unserer virtuellen Lernumgebung (VLE) stattfanden, auf WISEflow verlagert; wir werden sie künftig auf der Plattform belassen, bis die vollständige Rückkehr auf den Campus erfolgt ist, woraufhin Diskussionen über BYOD, Fernunterricht und papierbasierte Prüfungen stattfinden werden.“
„Wir hatten geplant, 13 Prüfungen auf WISEflow durchzuführen, haben nun aber 74 auf der Plattform abgehalten, was weit mehr ist, als wir erwartet hatten, und über 8.000 eingereichte Arbeiten umfasst, wobei die Nachprüfungen im Sommer noch nicht mitgerechnet sind.“
„Wir haben Feedback von den Studierenden eingeholt, um Verbesserungen für unseren neuen Jahrgang vornehmen zu können. Wir verfügen nun über ein neues, ausgefeilteres Einführungsvideo zu WISEflow; wir haben die Schulungen näher an die Prüfungstermine verlegt und den Studierenden klar vermittelt, was sie erwartet. Wir schulen die Studierenden darin, wie sie Quellen in Prüfungen angeben, und nutzen das ‚Deckblatt‘ der Prüfung, um die Zustimmung der Studierenden zu unserer Plagiatserklärung einzuholen. Was die Fakultät betrifft, so gibt unser stellvertretender Dekan für Bildungspolitik Anleitungen zur Erstellung von Prüfungen für die Fernteilnahme. Wir haben zudem eine Arbeitsgruppe der Fakultät eingerichtet und gemeinsam mit ihr neue Leitlinien für die Prüfungsgestaltung sowie eine Prüfungsvorlage mit allgemeinen Einstellungsoptionen erarbeitet, damit die Dozenten ihre Präferenzen dem Prüfungspersonal ganz einfach mitteilen können, während sie gleichzeitig die Prüfungsinhalte bereitstellen.
„Wir schätzen das UNIwise-Support-Team sehr! Es steht uns stets zur Seite. Es versteht es zudem, Probleme und Anfragen nach Priorität zu ordnen, und zeichnet sich durch unkonventionelles Denken aus.“
„Denjenigen, die Prüfungen über WISEflow durchführen möchten, würde ich raten, alle Phasen zu berücksichtigen und sich Zeit zu nehmen, um sich mit dem System vertraut zu machen. Ich würde Dummy-Abläufe einrichten und diese als Studierender sowie als Korrektor durchspielen – alle Phasen, alle Rollen. Man muss die Komplexität des Systems verstehen, wissen, was es leisten kann und welche Optionen man hat – und dann sicherstellen, dass die eigenen Entscheidungen für die Nutzer so gut wie möglich funktionieren.“
„Es war eine steile Lernkurve, aber ich kann kaum glauben, dass es noch nicht einmal ein Jahr her ist, seit wir die Prüfungen der Sommerschule durchgeführt haben. Wir haben uns in weniger als einem Jahr von einer einzigen Multiple-Choice-Prüfung mit 70 Teilnehmern zu 74 Prüfungen mit 1.600 Studierenden in verschiedenen Formaten entwickelt. Wir mussten wirklich sehr flexibel sein.“
„Es war auch wirklich großartig, das UNIwise-Support-Team zur Seite zu haben. Wir lieben die Leute von Zendesk! Sie sind wirklich gut darin, Probleme für uns zu untersuchen, und geben uns nie das Gefühl, dass wir ihnen lästig sind. Das Support-Team steht immer hinter uns. Sie sind auch gut darin, Probleme und Anfragen zu priorisieren und bei Bedarf das Entwicklungsteam um Hilfe zu bitten, und sie denken hervorragend über den Tellerrand hinaus.
In diesem akademischen Jahr wollen wir die Einbindung von WISEflow weiter vorantreiben. Wir arbeiten eng mit unserer Fakultätsarbeitsgruppe zusammen, um die Erfahrung für Autoren und Korrektoren zu verbessern. Wir werden weiterhin Entwicklungsvorschläge an UNIwise weiterleiten und hoffen, bald mit einer Londoner WISEflow-Anwendergruppe zusammenzuarbeiten, um unsere Erfahrungen und bewährten Verfahren auszutauschen und gemeinsame Entwicklungsbedürfnisse zu ermitteln.“
Alle Bilder mit freundlicher Genehmigung der Imperial College London Business School.
MÖCHTEN SIE MIT EINEM EXPERTEN KONTAKT AUFNEHMEN?
Kontaktieren Sie uns und vereinbaren Sie eine Demo, um mehr darüber zu erfahren, wie UNIwise Sie auf Ihrem Weg zum digitalen Prüfen unterstützen kann.