Prüfungen mit offenem Buch und unter Einsatz von Hilfsmitteln nehmen zu – doch ein vollständiger Prüfungsraum ist nicht immer die richtige Lösung. Ein verhältnismäßiges, evidenzbasiertes Aufsichtskonzept kann die Integrität wahren und gleichzeitig authentische Bewertungsabläufe unterstützen.
DAS PROBLEM, DAS WIR IMMER WIEDER VERSUCHEN, MIT EINEM EINZIGEN TOOL ZU LÖSEN
Universitäten wollen zwei Dinge gleichzeitig: eine Bewertung, die die Praxis widerspiegelt, und Ergebnisse, denen man vertrauen kann. Bei digitalen Prüfungen geraten diese beiden Ziele zunehmend in Konflikt. Je authentischer die Aufgabe wird, desto wahrscheinlicher ist es, dass spezielle Tools erforderlich sind: Tabellenkalkulationen, Programmierumgebungen, Modellierungssoftware oder fachspezifische Anwendungen. In solchen Situationen kann ein strenger Lockdown-Ansatz zu einem stumpfen Instrument werden – er blockiert entweder den Arbeitsablauf vollständig oder zwingt zu einer Neugestaltung der Prüfung, die genau die Kompetenz untergräbt, die sie eigentlich bescheinigen sollte.
Aus diesem Grund gehen viele Einrichtungen zu „Prüfungsstufen“ über – nicht, weil sie ihre Standards lockern, sondern weil die Integrität am besten geschützt ist, wenn das Sicherheitsmodell zum Bewertungsmodell passt. Eine hochstandardisierte Prüfung ohne Hilfsmittel ist eine Sache. Eine toolbasierte Prüfung mit Hilfsmitteln ist eine andere. Der Versuch, beide gleich zu behandeln, führt zu Reibungen, Ausnahmen und Streitigkeiten.
ZWEI INTEGRITÄTSMODELLE - PRÄVENTION VS. BEWEISFÜHRUNG
Keines der beiden Modelle ist abstrakt betrachtet „besser“. Die Frage ist, welches Modell den Bewertungszweck am besten unterstützt, ohne unnötige Risiken, Kosten oder unbeabsichtigte pädagogische Verzerrungen zu verursachen.
WARUM EVIDENZBASIERTE AUFKLÄRUNGSARBEIT IMMER WICHTIGER WIRD
Eine evidenzbasierte Prüfungsaufsicht ist relevant, wenn einer der folgenden Punkte zutrifft:
-
Die Prüfung ist von vornherein als Open-Book-Prüfung konzipiert, und das Ziel besteht nicht darin, Ressourcen zu blockieren, sondern sicherzustellen, dass die Studierenden vereinbarte Regeln einhalten (z. B. keine unerlaubte Zusammenarbeit).
-
Die Prüfung ist toolbasiert und erfordert Anwendungen, die in einer gesperrten Umgebung nur schwer oder gar nicht unterstützt werden können.
-
Die Einrichtung benötigt Nachvollziehbarkeit, d. h. sie muss in der Lage sein, mutmaßliche Vorfälle anhand dokumentierter Beweise und nicht anhand von Vermutungen oder Hörensagen zu untersuchen.
Ein wichtiger Governance-Aspekt ist hier von Bedeutung: Überwachung ist kein Beweis für Fehlverhalten. Sie ist eine Grundlage für die Untersuchung. Bewährte Praxis ist es, Protokolle und Aufzeichnungen als Indikatoren zu behandeln, die eine Überprüfung rechtfertigen – nicht als automatische Verurteilung. Dies schützt sowohl Studierende als auch Einrichtungen, indem sichergestellt wird, dass Entscheidungen auf menschlichem Urteilsvermögen und einem ordnungsgemäßen Verfahren beruhen.
WIE "GUT" AUSSIEHT - PROPORTIONALITÄTSPRÜFUNG
Wenn sich eine Einrichtung für ein evidenzbasiertes Modell entscheidet, hängt der Erfolg weniger von der Technologie als vielmehr von der Governance ab. Die am besten zu rechtfertigenden Konfigurationen weisen in der Regel vier Merkmale auf
Studierende benötigen eine einfache Erklärung darüber, was erlaubt ist (z. B. welche Hilfsmittel zugelassen sind) und was als Fehlverhalten gilt (z. B. Kommunikation mit anderen). Das Integritätsmodell muss verständlich sein, nicht nur durchsetzbar.
Wenn bei einer Prüfung Bildschirmdaten, Anwendungsdaten oder andere Verhaltenssignale erfasst werden, sollten die Studierenden klar darüber informiert werden – was erfasst wird, wann und warum. Ein sichtbarer Indikator während der Sitzung verringert zudem Unklarheiten. In WISEflow Device Monitor ist die Überwachung von Haus aus auf den Teilnahmezeitraum beschränkt, und es werden den Einrichtungen explizite Verhaltensweisen und Erläuterungen mitgeteilt.
Beweismaterial ist nur dann nützlich, wenn die Überprüfung einheitlich erfolgt. Institutionen profitieren davon, eine kleine Reihe von Überprüfungsroutinen festzulegen: Was löst eine Nachverfolgung aus, wer überprüft und welche Dokumentation ist für Entscheidungen erforderlich? Die Überwachung der Ergebnisse sollte zu weiteren Untersuchungen anregen, diese jedoch nicht ersetzen.
Die Überwachung generiert große Datenmengen. Ein verhältnismäßiger Ansatz bedeutet, nur das zu erfassen, was für den Prüfkontext notwendig ist, und es für einen definierten, begrenzten Zeitraum aufzubewahren, der mit den institutionellen Richtlinien im Einklang steht. Die DPIA-Unterlagen von UNIwise für den WISEflow Device Monitor beschreiben die automatische Löschung nach sechs Monaten und skizzieren die Überlegungen zu Umfang und Volumen.
EIN PRAKTISCHES BEISPIEL - WISEflow DEVICE MONITOR
WISEflow Device Monitor wurde genau für jene Szenarien entwickelt, in denen eine vollständige Sperrung nicht das richtige Mittel ist. Es unterstützt beaufsichtigte Prüfungen mit offenem Buch, indem es den Studierenden volle Freiheit auf ihrem Gerät gewährt und gleichzeitig durch Aktionsprotokolle, Prozessorlisten und Bildschirmaufnahmen Nachweise sammelt, sodass unerwünschte Aktionen während oder nach der Prüfung von den Aufsichtspersonen markiert und untersucht werden können
Mit anderen Worten: Es kehrt die Sperrlogik um. Anstatt den Arbeitsablauf einzuschränken, ermöglicht es die authentische Nutzung von Tools und bietet der Einrichtung gleichzeitig eine Grundlage für die Integritätsprüfung.
Aus funktionaler Sicht beschreibt UNIwise den Device Monitor wie folgt:
-
Bildschirmaufnahmen zu Überwachungszwecken.
-
Optionale Überwachung laufender Anwendungen (Sichtbarkeit von Anwendungen/Prozessen).
-
Die Möglichkeit, verbotene Anwendungen zu definieren.
Und aus Sicht der Governance und Compliance unterhält UNIwise ein DPIA-Framework, das speziell auf die Verarbeitung durch den Device Monitor zugeschnitten ist, einschließlich definierter Aufbewahrungs- und Sicherheitskontrollen.
EIN HINWEIS ZU DEN GRENZEN - DAS PRÜFUNGSFENSTER IST WICHTIG
Eine der wichtigsten Sicherheitsvorkehrungen bei jeder Überwachungskonfiguration ist, dass die Überwachung streng auf den zulässigen Bewertungszeitraum beschränkt bleibt. UNIwise hat den Einrichtungen mitgeteilt, dass WISEflow so konzipiert ist, dass es keine Screenshots außerhalb des Teilnahmezeitraums akzeptiert oder speichert, und dass Korrekturen und Klarstellungen vorgenommen wurden, sobald unbeabsichtigtes Verhalten festgestellt wurde.
Dies ist für das Vertrauen von Bedeutung. Studierende sollten niemals im Unklaren darüber gelassen werden, ob die Überwachung nach dem Ende des Prüfungszeitraums „im Hintergrund“ fortgesetzt wird. Die Grenze muss eindeutig, durchsetzbar und erklärbar sein
AUSWAHL DES RICHTIGEN MODELLS - EINE EINFACHE ENTSCHEIDUNGSLINSE
Bei der Entscheidung zwischen Lockdown und evidenzbasierter Prüfungsaufsicht können sich die Einrichtungen drei pragmatische Fragen stellen:
-
Erfordert die Prüfung den authentischen Einsatz von Hilfsmitteln?
Wenn ja, könnte ein striktes Lockdown-Modell im Widerspruch zum angestrebten Kompetenznachweis stehen. -
Bezieht sich das Integritätsziel auf die Zugangsbeschränkung – oder auf die Dokumentation der Einhaltung von Regeln?
Wenn das Ziel darin besteht, den Zugang zu Ressourcen zu verhindern, kann ein Lockdown-Modell geeignet sein. Wenn das Ziel darin besteht, die Einhaltung von Regeln in einer Open-Book-Umgebung sicherzustellen, sind Überwachung und Überprüfung möglicherweise die bessere Wahl. -
Kann die Einrichtung eine konsistente Überprüfung und ein ordnungsgemäßes Verfahren gewährleisten?
Evidenzbasierte Modelle erfordern Disziplin bei der menschlichen Überprüfung. Wenn diese Kapazität nicht vorhanden ist, müssen Einrichtungen möglicherweise einfachere Prüfungsstufen oder einen geringeren Überwachungsumfang festlegen.
SCHLUSSGEDANKE - INTEGRITÄT OHNE VERZERRENDE BEWERTUNG
Die Zukunft der Prüfungsintegrität wird wahrscheinlich nicht in einer einzigen technologischen Lösung liegen. Es ist eine Frage der Gestaltung: Die Aufsicht muss auf den Zweck der Bewertung abgestimmt sein, und die Erhebung von Nachweisen muss einer verhältnismäßigen Steuerung entsprechen.
Lockdown-Maßnahmen bleiben dort sinnvoll, wo Beschränkungen mit geschlossenen Büchern angemessen sind. Bei Prüfungen mit offenen Büchern und dem Einsatz von Hilfsmitteln bietet die evidenzbasierte Prüfungsaufsicht jedoch einen Weg, der oft realistischer, skalierbarer und besser auf eine authentische Leistungsbewertung abgestimmt ist – und gleichzeitig die Nachprüfbarkeit gewährleistet, die Bildungseinrichtungen benötigen, wenn Fragen aufkommen.
LET'S TALK
Wenn Sie Ihren Ansatz zur Prüfungsintegrität für Open-Book- und toolbasierte Prüfungen überdenken, teilen wir gerne unsere Erfahrungen und praktische Leitlinien für evidenzbasierte Prüfungsaufsichtssysteme mit Ihnen – einschließlich der Frage, wie WISEflow Device Monitor die Überwachung innerhalb des Prüfungsablaufs unterstützt.
BLEIBEN SIE AUF DEM LAUFENDEN ÜBER DIE NEUESTEN ENTWICKLUNGEN
HÄUFIG GESTELLTE FRAGEN
Denn viele authentische Bewertungen erfordern spezielle Tools wie Programmierumgebungen, Tabellenkalkulationen oder Modellierungssoftware. Ein streng eingeschränkter Browser kann diese Arbeitsabläufe blockieren oder Neugestaltungen erzwingen, die die Kompetenzen untergraben, die die Bewertung eigentlich messen soll.
Es gibt zwei Ansätze:
- Prävention (Sperrung): Einschränkung des Zugriffs auf Geräte und Ressourcen.
- Evidenzbasierte Überwachung: Zulassung der Nutzung von Tools bei gleichzeitiger Erfassung von Überwachungsdaten, die bei Bedenken von Menschen überprüft werden können. Die richtige Wahl hängt vom Zweck der Bewertung ab.
Evidenzbasierte Prüfungsaufsicht konzentriert sich auf Überwachung, Protokollierung und Überprüfung statt auf das Unterbinden von Verhaltensweisen. Sie eignet sich für Prüfungen mit offenem Buch und unter Verwendung von Hilfsmitteln, bei denen das Ziel darin besteht, die Einhaltung von Regeln und die Nachvollziehbarkeit sicherzustellen, anstatt jeglichen Zugriff auf Ressourcen zu verhindern.
Überwachungsdaten werden als Indikator und nicht als Beweis für Fehlverhalten behandelt. Die Einrichtungen untersuchen gemeldetes Verhalten anhand festgelegter Überprüfungsroutinen und menschlicher Beurteilung, um sicherzustellen, dass Entscheidungen evidenzbasiert und sowohl für die Studierenden als auch für die Einrichtung vertretbar sind.
Zu den wirksamen Maßnahmen gehören klare Prüfungsregeln, Transparenz darüber, was überwacht wird, einheitliche Prozesse zur manuellen Überprüfung sowie eine konsequente Datenminimierung und -aufbewahrung. Die Governance ist ebenso wichtig wie die Technologie selbst.
WISEflow Device Monitor ermöglicht die uneingeschränkte Nutzung von Tools bei gleichzeitiger Erfassung von Beweismaterial wie Bildschirmaufnahmen und Anwendungsprotokollen innerhalb des Untersuchungsfensters. Es unterstützt die Nachvollziehbarkeit und Untersuchung ohne einschränkende Sperren, neben definierten DPIA-, Aufbewahrungs- und Sicherheitskontrollen.