Open-Book-Prüfungen mit Nachweisen - jenseits von Lockdown

Prüfungen mit offenem Buch und unter Einsatz von Hilfsmitteln nehmen zu – doch ein vollständiger Prüfungsraum ist nicht immer die richtige Lösung. Ein verhältnismäßiges, evidenzbasiertes Aufsichtskonzept kann die Integrität wahren und gleichzeitig authentische Bewertungsabläufe unterstützen.

Das Problem, das wir immer wieder versuchen, mit einem einzigen Tool zu lösen

Universitäten wollen zwei Dinge gleichzeitig: eine Bewertung, die die Praxis widerspiegelt, und Ergebnisse, denen man vertrauen kann. Bei digitalen Prüfungen geraten diese beiden Ziele zunehmend in Konflikt. Je authentischer die Aufgabe wird, desto wahrscheinlicher ist es, dass spezielle Tools erforderlich sind: Tabellenkalkulationen, Programmierumgebungen, Modellierungssoftware oder fachspezifische Anwendungen. In solchen Situationen kann ein strenger Lockdown-Ansatz zu einem stumpfen Instrument werden – er blockiert entweder den Arbeitsablauf vollständig oder zwingt zu einer Neugestaltung der Prüfung, die genau die Kompetenz untergräbt, die sie eigentlich bescheinigen sollte.

Aus diesem Grund gehen viele Einrichtungen zu „Prüfungsstufen“ über – nicht, weil sie ihre Standards lockern, sondern weil die Integrität am besten geschützt ist, wenn das Sicherheitsmodell zum Bewertungsmodell passt. Eine hochstandardisierte Prüfung ohne Hilfsmittel ist eine Sache. Eine toolbasierte Prüfung mit Hilfsmitteln ist eine andere. Der Versuch, beide gleich zu behandeln, führt zu Reibungen, Ausnahmen und Streitigkeiten.

Zwei Integritätsmodelle - Prävention vs. Beweisführung

In der Praxis folgt die Integrität digitaler Prüfungen in der Regel zwei allgemeinen Modellen. Modell 1: Prävention (Lockdown)   Ein Lockdown-Browser soll gängige Formen des opportunistischen Betrugs auf dem Gerät verhindern, indem er den Zugriff auf den Desktop einschränkt und die Schüler auf zugelassene Tools und Ressourcen beschränkt. In WISEflow ist dies der bekannte FLOWlock-Ansatz, bei dem der Schüler in einer kontrollierten Prüfungsumgebung „eingeschlossen“ ist. Modell 2: Nachweis (Überwachung und Überprüfung)   Wenn Prävention nicht möglich oder nicht wünschenswert ist, kann die Integrität durch Überwachung, Protokollierung und manuelle Überprüfung geschützt werden. Dies ist der bekannte Ansatz des WISEflow Device Monitor. Anstatt zu versuchen, alles technisch zu blockieren, legt die Einrichtung ihre Erwartungen klar fest (was erlaubt ist und was nicht) und sammelt während des Prüfungszeitraums Nachweise, um bei Bedarf die Aufsicht und die Untersuchung nach der Prüfung zu unterstützen

Keines der beiden Modelle ist abstrakt betrachtet „besser“. Die Frage ist, welches Modell den Bewertungszweck am besten unterstützt, ohne unnötige Risiken, Kosten oder unbeabsichtigte pädagogische Verzerrungen zu verursachen.

Warum evidenzbasierte Prüfungsaufsicht immer wichtiger wird

Eine evidenzbasierte Prüfungsaufsicht ist relevant, wenn einer der folgenden Punkte zutrifft:

• Die Prüfung ist von vornherein als Open-Book-Prüfung konzipiert, und das Ziel besteht nicht darin, Ressourcen zu blockieren, sondern sicherzustellen, dass die Studierenden vereinbarte Regeln einhalten (z. B. keine unerlaubte Zusammenarbeit).
• Die Prüfung ist toolbasiertund erfordert Anwendungen, die in einer gesperrten Umgebung nur schwer oder gar nicht unterstützt werden können.
• Die Einrichtung benötigt Nachvollziehbarkeit, d. h. sie muss in der Lage sein, mutmaßliche Vorfälle anhand dokumentierter Beweise und nicht anhand von Vermutungen oder Hörensagen zu untersuchen.

Ein wichtiger Governance-Aspekt ist hier von Bedeutung: Überwachung ist kein Beweis für Fehlverhalten. Sie ist eine Grundlage für die Untersuchung. Bewährte Praxis ist es, Protokolle und Aufzeichnungen als Indikatoren zu behandeln, die eine Überprüfung rechtfertigen – nicht als automatische Verurteilung. Dies schützt sowohl Studierende als auch Einrichtungen, indem sichergestellt wird, dass Entscheidungen auf menschlichem Urteilsvermögen und einem ordnungsgemäßen Verfahren beruhen.

Wie "gut" aussieht - Proportionalitätsprüfung

Wenn sich eine Einrichtung für ein evidenzbasiertes Modell entscheidet, hängt der Erfolg weniger von der Technologie als vielmehr von der Governance ab. Die am besten zu rechtfertigenden Konfigurationen weisen in der Regel vier Merkmale auf

1. Klare Regeln und Erwartungen
Studierende benötigen eine einfache Erklärung darüber, was erlaubt ist (z. B. welche Hilfsmittel zugelassen sind) und was als Fehlverhalten gilt (z. B. Kommunikation mit anderen). Das Integritätsmodell muss verständlich sein, nicht nur durchsetzbar. 2. Transparenz bei der Überwachung
Wenn bei einer Prüfung Bildschirmdaten, Anwendungsdaten oder andere Verhaltenssignale erfasst werden, sollten die Studierenden klar darüber informiert werden – was erfasst wird, wann und warum. Ein sichtbarer Indikator während der Sitzung verringert zudem Unklarheiten. In WISEflow Device Monitor ist die Überwachung von Haus aus auf den Teilnahmezeitraum beschränkt, und es werden den Einrichtungen explizite Verhaltensweisen und Erläuterungen mitgeteilt. 3. Menschliche Überprüfung und einheitliche Handhabung
Beweismaterial ist nur dann nützlich, wenn die Überprüfung einheitlich erfolgt. Institutionen profitieren davon, eine kleine Reihe von Überprüfungsroutinen festzulegen: Was löst eine Nachverfolgung aus, wer überprüft und welche Dokumentation ist für Entscheidungen erforderlich? Die Überwachung der Ergebnisse sollte zu weiteren Untersuchungen anregen, diese jedoch nicht ersetzen. 4. Datenminimierung und Aufbewahrungsvorschriften
Die Überwachung generiert große Datenmengen. Ein verhältnismäßiger Ansatz bedeutet, nur das zu erfassen, was für den Prüfkontext notwendig ist, und es für einen definierten, begrenzten Zeitraum aufzubewahren, der mit den institutionellen Richtlinien im Einklang steht. Die DPIA-Unterlagen von UNIwise für den WISEflow Device Monitor beschreiben die automatische Löschung nach sechs Monaten und skizzieren die Überlegungen zu Umfang und Volumen.

Ein praktisches Beispiel - WISEflow Device Monitor

WISEflow Device Monitor wurde genau für jene Szenarien entwickelt, in denen eine vollständige Sperrung nicht das richtige Mittel ist. Es unterstützt beaufsichtigte Prüfungen mit offenem Buch, indem es den Studierenden volle Freiheit auf ihrem Gerät gewährt und gleichzeitig durch Aktionsprotokolle, Prozessorlisten und Bildschirmaufnahmen Nachweise sammelt, sodass unerwünschte Aktionen während oder nach der Prüfung von den Aufsichtspersonen markiert und untersucht werden können

Mit anderen Worten: Es kehrt die Sperrlogik um. Anstatt den Arbeitsablauf einzuschränken, ermöglicht es die authentische Nutzung von Tools und bietet der Einrichtung gleichzeitig eine Grundlage für die Integritätsprüfung.

Aus funktionaler Sicht beschreibt UNIwise den Device Monitor wie folgt:

• Bildschirmaufnahmen zu Überwachungszwecken.
• Optionale Überwachung laufender Anwendungen (Sichtbarkeit von Anwendungen/Prozessen).
• Die Möglichkeit, verbotene Anwendungen zu definieren.

Und aus Sicht der Governance und Compliance unterhält UNIwise ein DPIA-Framework, das speziell auf die Verarbeitung durch den Device Monitor zugeschnitten ist, einschließlich definierter Aufbewahrungs- und Sicherheitskontrollen.

Ein Hinweis zu den Grenzen - das Prüfungsfenster ist wichtig

Eine der wichtigsten Sicherheitsvorkehrungen bei jeder Überwachungskonfiguration ist, dass die Überwachung streng auf den zulässigen Bewertungszeitraum beschränkt bleibt. UNIwise hat den Einrichtungen mitgeteilt, dass WISEflow so konzipiert ist, dass es keine Screenshots außerhalb des Teilnahmezeitraums akzeptiert oder speichert, und dass Korrekturen und Klarstellungen vorgenommen wurden, sobald unbeabsichtigtes Verhalten festgestellt wurde.

Dies ist für das Vertrauen von Bedeutung. Studierende sollten niemals im Unklaren darüber gelassen werden, ob die Überwachung nach dem Ende des Prüfungszeitraums „im Hintergrund“ fortgesetzt wird. Die Grenze muss eindeutig, durchsetzbar und erklärbar sein

Auswahl des richtigen Modells - eine einfache Entscheidungslinse

Bei der Entscheidung zwischen Lockdown und evidenzbasierter Prüfungsaufsicht können sich die Einrichtungen drei pragmatische Fragen stellen:

1. Erfordert die Prüfung den authentischen Einsatz von Hilfsmitteln?
   Wenn ja, könnte ein striktes Lockdown-Modell im Widerspruch zum angestrebten Kompetenznachweis stehen.
2. Bezieht sich das Integritätsziel auf die Zugangsbeschränkung – oder auf die Dokumentation der Einhaltung von Regeln?
   Wenn das Ziel darin besteht, den Zugang zu Ressourcen zu verhindern, kann ein Lockdown-Modell geeignet sein. Wenn das Ziel darin besteht, die Einhaltung von Regeln in einer Open-Book-Umgebung sicherzustellen, sind Überwachung und Überprüfung möglicherweise die bessere Wahl.
3. Kann die Einrichtung eine konsistente Überprüfung und ein ordnungsgemäßes Verfahren gewährleisten?
   Evidenzbasierte Modelle erfordern Disziplin bei der menschlichen Überprüfung. Wenn diese Kapazität nicht vorhanden ist, müssen Einrichtungen möglicherweise einfachere Prüfungsstufen oder einen geringeren Überwachungsumfang festlegen.

Schlussgedanke - Integrität ohne verzerrende Bewertung

Die Zukunft der Prüfungsintegrität wird wahrscheinlich nicht in einer einzigen technologischen Lösung liegen. Es ist eine Frage der Gestaltung: Die Aufsicht muss auf den Zweck der Bewertung abgestimmt sein, und die Erhebung von Nachweisen muss einer verhältnismäßigen Steuerung entsprechen.

Lockdown-Maßnahmen bleiben dort sinnvoll, wo Beschränkungen mit geschlossenen Büchern angemessen sind. Bei Prüfungen mit offenen Büchern und dem Einsatz von Hilfsmitteln bietet die evidenzbasierte Prüfungsaufsicht jedoch einen Weg, der oft realistischer, skalierbarer und besser auf eine authentische Leistungsbewertung abgestimmt ist – und gleichzeitig die Nachprüfbarkeit gewährleistet, die Bildungseinrichtungen benötigen, wenn Fragen aufkommen.

Let's talk

Wenn Sie Ihren Ansatz zur Prüfungsintegrität für Open-Book- und toolbasierte Prüfungen überdenken, teilen wir gerne unsere Erfahrungen und praktische Leitlinien für evidenzbasierte Prüfungsaufsichtssysteme mit Ihnen – einschließlich der Frage, wie WISEflow Device Monitor die Überwachung innerhalb des Prüfungsablaufs unterstützt.