2024-28: Open-Book-Klausur mit KI Nutzung, ein Erfahrungsbericht

Ich unterrichte auch Geschichte an einem Abendgymnasium, zurzeit eine E-Phase. Die Besonderheit dieser Lerngruppen ist die einerseits ausgesprochene Heterogenität der Lernenden, da diese aus den verschiedenen beruflichen Kontexten kommen und in der Regel noch im Berufsleben stehen, teils schon älter sind, andererseits aber eigenständig den Wunsch sich am Abitur zu versuchen entwickelt haben und daher entsprechend motiviert sind. Erfahrungsgemäß tun sich viele der Lernenden in Geschichte etwas schwer, weil sie hier durch intensive Textarbeit, Textverständnis und Schreibarbeit gefordert sind, was viele so nicht kennen. Deshalb habe ich hier schon häufiger, gerade bei der ersten Klausur mit Open-Book-Formaten gearbeitet, das heißt, die Schülerinnen und Schüler durften ihre Aufzeichnungen und das Schulbuch benutzen, was eigentlich immer als positiv empfunden wurde, da es die Lernenden mental entlastet hat. Dieses Mal bin ich einen Schritt weiter gegangen und habe in der Klausur vom 08.11.2024 die Nutzung von mobilen Endgeräten erlaubt (die Lernenden haben alle ein solches und auch Zugang zu einem W-LAN), was explizit die Nutzung von KI einschloss.

Wir haben im Vorfeld bereits darüber gesprochen, dass die Nutzung des Internets und der KI zwar eine Erleichterung sein kann, dass aber der Faktor Zeit dadurch entscheidender wird. Es war also allen klar, dass ohne rudimentäre Kenntnis der Inhalte nicht genug Zeit vorhanden sein würde, um die Inhalte nachzulesen. Außerdem lag der Klausurtext, Die Verfassungsdebatte aus Herodots „Bücher der Geschichte“ (3, 80-83), nicht elektronisch vorliegt und auch nicht bekannt war, sodass dieser dennoch erst sinnerfassend gelesen und verstanden werden musste. Der Text war bewusst gekürzt und knapp gehalten und durch wenige Annotationen und biografische Angaben zu Herodot entlastet.

Die Aufgabenstellung war typisch für eine Klausur in der E-Phase:
1. Fassen Sie die im Text genannten drei Positionen zu einer zukünftigen Staatsform in eigenen Worten knapp zusammen (Konjunktiv!). (25BE)
2. Analysieren Sie die Quelle anhand eines ihnen vorliegenden Analyseschemas. (50BE)
3. Nehmen Sie Stellung zu der Aussage: „Denn Besseres kann man nicht finden als den einen Mann, der der Beste ist. (…)“ (Z. 40f.) Argumentieren Sie mit historischen und aktuellen Argumenten. (25BE)
Zusätzlich habe ich folgende Arbeitsanweisung gegeben:
Die Klausur ist eine „Open-Book-Klausur“, das heißt, Sie dürfen alle ihnen zur Verfügung stehenden Mittel (Aufzeichnungen, Bücher, Internet, KI usw.) benutzen. Allerdings müssen Sie am Ende angeben, welche Hilfsmittel sie für welche Teile benutzt haben (z.B. durch Quellenangaben mit Fußnoten).

Was waren die Learnings für mich (natürlich alle im Bereich der anekdotischen Evidenz)?

• Wie schon bei den Open-Book-Klausuren ohne KI, werden die Leistungen mit KI auch nicht schlagartig deutlich besser. Auffällig war allerdings, dass es im Vergleich zu den Klausuren ohne Hilfsmittel und ohne KI, weniger Minderleistungen gab.
• Schülerinnen und Schüler mit sprachlichen Schwierigkeiten konnten eher nicht von der KI-Nutzung profitieren. Die Auswertung und Bewertung dieser Klausuren, sowie die Beobachtung während der Klausur zeigt, dass diese Lernenden viel zu lange damit beschäftigt sind, den Quellentext zu verstehen und so kaum Zeit haben sich mit den anderen Aufgaben zu beschäftigen oder dazu, mangels inhaltlichem Verständnis, dazu nicht in der Lage sind. Das ist übrigens eine Beobachtung, die ich nicht nur im Abendgymnasium mache. Das heißt aber, dass das ein Bereich ist, in dem eine KI nicht hilfreich ist, bzw. sogar vorhandene Defizite noch verstärkt. Ich würde daraus zwei Schlüsse ziehen:
  1. Sinnerfassendes Lesen und der Umgang mit (auch schwierigeren) Texten, müssen, auch in der Oberstufe, stärker gefördert werden. Im Grunde benötigt es dazu zusätzliche Stunden und Übungen. Dass die Vermittlung von Literacy ein großes Problem im deutschen Schulsystem ist, wissen wir ja seit dem ersten großen Pisa-Schock zu Beginn des Jahrtausends.
  2. Wenn leseschwache Lernende von der KI-Nutzung profitieren sollen, müssen die Quellentexte digital zur Verfügung stehen, damit sie von KI übersetzt, zusammengefasst und erklärt werden können. Das löst aber nicht das Problem aus 1., könnte aber das Problem einer sprachlichen Barriere mindern.
• Die Lernenden sollten ja angeben, wo und wie sie Hilfsmittel genutzt haben, das hat eher mäßig funktioniert und muss noch geübt werden. Das Problem kenn ich allerdings schon aus dem Umgang mit klassischer Zitation, das bedarf Übung. Außerdem ist aufgefallen, dass gar nicht alle Schülerinnen und Schüler mit KI gearbeitet haben, manche sogar nicht einmal das Internet genutzt haben. Das ließ sich jetzt allerdings nicht mit bestimmten Leistungen verbinden.
• Auffällig war außerdem, das war eigentlich zu erwarten, dass innerhalb der Klausuren einzelne Textabschnitte große stilistische und orthografische Unterschiede aufwiesen. Es war also gut zu erkennen, wo KI genutzt wurde und wo nicht. Und da wird es noch einmal interessant: Bei der Analyse der KI-generierten Textstellen hatte ich das Gefühl, dass die Schülerinnen und Schüler KI eher als Suchmaschine nutzen und dann einfach Ergebnisse übertragen. Hier bietet sich ein Ansatz zur Weiterarbeit, weil wir hier gut an konkreten Beispielen an Promptingkompetenzen arbeiten und über Chancen und Grenzen von LLM diskutieren können, was ich dann nach den Ferien aufgreifen will. Natürlich habe ich mit den Schülerinnen und Schülern schon darüber gesprochen und ich habe auch einschlägige Tipps dazu in unserer den Unterricht begleitenden Taskcard, aber das scheint mir noch nicht ganz angekommen, bzw. wurde von mir unzulänglich unterrichtet.

Wie haben die Lernenden die Klausur empfunden?

Ich habe die Schülerinnen und Schüler um ein Feedback in einer Zielscheibe über oncoo gebeten (leider hat sich nur knapp die Hälfte beteiligt).

• Es zeigt sich, dass die Lernenden das Open-Book-Format eher gut fanden, es gibt einen „Ausreißer“ und es vor allem Sicherheit gegeben hat, was den grundsätzlichen Erfahrungen mit diesem Format entspricht.
• Zwar fanden fünf bis sechs Lernende die Nutzung von KI bei der Bearbeitung der Teilaufgaben eher hilfreich, es gab aber doch auch einige, die das nicht ganz so empfanden. Hier zeigen sich vermutlich die oben beschriebenen Phänomene der sprachlich/zeitlichen Einschränkung und der fehlenden Prompingtkompetenz. Das muss noch weiter ergründet werden.
• Unabhängig vom Open-Book-Format zeigt sich, dass die Herausforderung im Umgang mit Quellentexten, sehr unterschiedlich wahrgenommen wird, womit wir wieder bei Literacy-Kompetenzen sind.

Fazit

Es zeigt sich, dass der Umgang mit KI in Klassenarbeiten und Klausuren weitgehend Neuland ist und zwar für die Lernenden UND die Lehrenden. Wir alle müssen in diesem Bereich noch Erfahrungen sammeln und diese reflektieren. Wir müssen Mut haben auszuprobieren und Fehler zu machen. Ich werde jedenfalls weiter an diesem Format arbeiten, aber sicher nicht in jeder Klausur, dafür ist das Format noch zu experimentell.
Für mich hat sich gezeigt, dass eine große Gefahr darin besteht, dass die unterschiedlichen Fähigkeiten der Lernenden im Umgang mit KI die Gefahr einer Vergrößerung der Heterogenität beinhalten. Das darf uns aber nicht dazu verleiten KI zu verdammen und zu verbannen, das wäre sträflich fahrlässig, weil KI unsere Lebenswelt durchdringt und Schule sich dem nicht entziehen kann. Vielmehr muss es unser Ziel als Lehrende sein, den Umgang mit KI zu Lehren und der Heterogenität entgegen zu wirken.
Und damit hängt eine zweite Gefahr eng zusammen. Der Umgang mit KI hebt die Bedeutung von Literacy-Kompetenzen weiter hervor und da liegt ja bereits eine große Schwachstelle unseres Schulsystems, die wir nun noch stärker in den Fokus rücken müssen. Wer kompetent mit einem LLM arbeiten will, muss exzellent mit Sprache umgehen können.

Es wird für uns alle also nicht einfacher, sondern schwieriger. Packen wir es an.

Wie schwierig der Umgang mit Sprache ist zeigt hier auch wieder einmal die KI in Form von DALL-E 😉

Bob Blume hat auch bei einer Klassenarbeit die Nutzung von KI zugelassen und schildert hier seine Erfahrungen: https://deutsches-schulportal.de/kolumnen/bob-blume-kuenstliche-intelligenz-in-klassenarbeiten-ein-schritt-in-die-zukunft/.