Einfluss von Sprach-KIs wie ChatGPT auf wissenschaftliches Arbeiten

[Markus Jung]

Was bei einigen Hochschulen teilweise schon eingesetzt wird, sind KI-Lösungen, welche aus den Studienskripten automatisiert Aufgaben/Fragen erstellen. Vermutlich wird dies gerade beim vermehrten Einsatz von Sofort-Onlineklausuren weiter zunehmen, um allen Prüfungsteilnehmenden individuelle Fragen zur Verfügung zu stellen, statt aus einem Pool stets die gleichen Fragen nur neu zusammenstellen zu lassen. Wobei da die Qualität dann schon sehr hoch sein muss, auch um beispielsweise das Niveau der Klausuren vergleichbar zu haben und verschiedene Stoffgebiete abzudecken. Wünschen würde ich mir hier, dass stets eine menschliche Nachkontrolle erfolgt. Ich vermute/befürchte allerdings, dass dies aus Kostengründen nicht erfolgen wird, sondern allenfalls die Prüfungsteilnehmenden unpassende Aufgaben markieren können und dies dann nachträglich geprüft wird.

[Markus Jung]

Bei t3n gibt es einen Artikel, der sich mit dem Einsatz von KI bei der Erstellung von Hausarbeiten beschäftigt:

https://t3n.de/news/ki-hausarbeit-chatgpt-universitaet-1523989/

 

Vermutlich wird es mittelfristig normal sein, dass solche Systeme einen Teil der Vorarbeiten erledigen. Für die Studierenden wird die Leistung dadurch vermutlich anspruchsvoller, da mehr Wert auf die Bewertung und Interpretation der Ergebnisse gelegt werden wird.

[KanzlerCoaching]

In der FAZ war vor ein paar Tagen ein Artikel einer Studiendekanin mit der Überschrift "Das Ende der Hausarbeit" Tenor: Fälschungen in Prüfungsleistungen sind kaum mehr zu erkennen und eigentlich bräuchte es neue Prüfungsformen, beispielsweise mehr mündliche Prüfungen.

 

Künstliche Intelligenz und Prüfungen: Das Ende der Hausarbeit (faz.net)

(Der Artikel ist hinter einer Bezahlschranke!)

[Gast]

vor 50 Minuten schrieb KanzlerCoaching:

Tenor: Fälschungen in Prüfungsleistungen sind kaum mehr zu erkennen und eigentlich bräuchte es neue Prüfungsformen, beispielsweise mehr mündliche Prüfungen.

 

Die Leistung einer einfachen Hausarbeit im Umfang zwischen sagen wir 7 und 20 Seiten besteht in der Regel darin, Quellen zu recherchieren, diese in einem sinnvollen Zusammenhang und einem roten Pfaden folgend zu paraphrasieren bzw. zu zitieren und sie dann ggf. noch kurz zu diskutieren. Das ist etwas, das heutige KI-Systeme bereits sehr gut können.

 

Dazu kommt, dass man nicht selten noch dazu angehalten ist, sprachlich nüchtern und "wissenschaftlich" zu formulieren, womit jede eigene Note auch bzgl. des Ausdrucks verschwindet (die Kritik habe ich jedenfalls häufiger erhalten, war und ist mir egal – aber das ist ein anderes Thema). Am Ende stehen dann Texte, die alle mehr oder minder gleich klingen. Und von denen generierter Texte kaum zu unterscheiden sind.

 

Berücksichtigt man dann noch, dass Quellenangaben allein wegen des Aufwands bestenfalls stichprobenartig geprüft werden können, sind wir bei dem, was ich hier neulich gepostet hatte: Es wird unfassbar schwer, die Originalität so eines Textes noch zu bewerten, wenn man als Korrektor:in nur begrenzt Zeit hat.

 

PS: Ich habe vor einem Vierteljahrhundert schon meine Französisch-Hausaufgaben in der Schule mit einem der ersten Online-Übersetzer gemacht. Das gab auch Einser, die meine mäßigen mündlichen Noten gut ausgeglichen haben ;-).

[KanzlerCoaching]

Was wollen Sie damit sagen? Dass das eben der Gang der Dinge ist und man das nicht ändern kann? Dass es ok ist, eine mäßige mündliche Leistung durch Online-Übersetzungen, die nicht die eigene Leistung widerspiegeln, aufzubessern?

[Gast]

vor 8 Minuten schrieb KanzlerCoaching:

Dass das eben der Gang der Dinge ist und man das nicht ändern kann?

 

Es bringt nichts, die Veränderung zu beklagen. Man (Schulen, Hochschulen, selbst Kindergärten) muss sich ihnen anpassen, oder man geht unter. Simple as that. Für schriftliche Hausarbeiten gilt das nun ganz besonders.

Bearbeitet 31. Dezember 2022 von Explorer

[DerLenny]

Ich habe ja schon vor einiger Zeit diverse KI basierte Tools hier kurz vorgestellt.

 

Neben ExplainPaper gibt es auch diverse weitere (wie SciSpace).

Gerade habe ich ChatGPT benutzt, um ausgehend von einem Skript Absatz diverse Fragen generieren zu lassen, die durch genau diesen Text beantwortet werden können.
Generell würde ich bei solchen Dingen aber eher auf eine Applikation setzen, die ein passendes Modell im Hintergrund hat, da bei den generellen KIs auch gerne "unsauberes" Wissen eingesetzt wird.

Inzwischen gibt es auch einige Tools, die automatisch erzeugte Texte erkennen können.
Ich gehe davon aus, dass die größeren Anbieter von Plagiatssoftware diese Prüfungen auch zeitnah in ihre Tools aufnehmen werden.

 

[KanzlerCoaching]

Ich denke auch, dass man sich den Gegebenheiten anpassen muss. Das würde ja in erster Linie bedeuten Prüfungsformen zu finden, die möglichst "betrugs- und manipulationsresistent" sind. Was dann beispielsweise mündliche Prüfungen in Präsenz wären ... 

 

So als Gedanke.

[Gast]

vor 8 Minuten schrieb KanzlerCoaching:

Ich denke auch, dass man sich den Gegebenheiten anpassen muss. Das würde ja in erster Linie bedeuten Prüfungsformen zu finden, die möglichst "betrugs- und manipulationsresistent" sind. Was dann beispielsweise mündliche Prüfungen in Präsenz wären ... 

 

Ja, das wäre eine Möglichkeit. Wobei ich die Präsenz nicht als wesentlichen Faktor ansehe, das ginge auch per Video-Konferenz zwischen Prüfling und Prüfer. Nur das Outsourcing nach Indien samt der damit verbundenen Skaleneffekte wäre dahin.

 

Ironischerweise könnte sich auch die Klausur als resistent erweisen. Wenn die unter Aufsicht geschrieben wird, ist der Einsatz von Werkzeugen zur Generierung der Antworten ja nicht (ohne Risiko) möglich.

 

Damit fielen der Entwicklung aber gerade die Prüfungsformen zum Opfer, die es erlauben, ein wenig out-of-the-box zu denken und zu lernen. Da gehören für mich auch Open-Book-Klausuren dazu.

 

Ich bin gespannt.

[Alanna]

vor 9 Minuten schrieb KanzlerCoaching:

Das würde ja in erster Linie bedeuten Prüfungsformen zu finden, die möglichst "betrugs- und manipulationsresistent" sind. Was dann beispielsweise mündliche Prüfungen in Präsenz wären ... 

 

Oder Präsenzklausuren. Sehr bedauerlich fände ich es allerdings, wenn in der Konsequenz die "Errungenschaften" der letzten Jahre - zeit- und ortsunabhängige Prüfungen, Diversifikation/Flexibilisierung der Prüfungsformate etc. - wieder eingestampft würden.