Einfluss von Sprach-KIs wie ChatGPT auf wissenschaftliches Arbeiten

[DerLenny]

Klausuren dürften so die Prüfungsform sein, die am wenigsten davon beeinflusst werden.

Und bei schriftlichen Arbeiten sollte die automatische Erkennung recht bald dazu kommen.

 

Schriftliche Arbeiten erfordern auch jetzt schon nur minimale kognitive Fertigkeiten, da hier der übliche Aufbau schablonenhaft genutzt werden kann. Und mehr machen die Sprach KIs ja auch nicht.

 

Problematisch sind eher OpenBook Klausuren oder Prüfungsformen wie die Workbooks der IU, die aktuell problemlos durch ChatGPT beantwortet werden können. Die Form "beantworte diese Aufgabe [copy&paste] ausgehend von diesem Text [copy&paste] in 1500 Wörtern" sorgt hier für recht gute Ergebnisse :)

 

Allerdings ist bei diesen die notwendige Eigenleistung auch jetzt schon nahe Null, es wäre also nicht wirklich eine Änderung.

 

Was ich allerdings wirklich interessant finde ist, dass man sich die Antworten auch im Schreibstil unterschiedlicher Autoren geben lassen kann.

Hier mal die Bedürfnishierachie von Maslow aus der Sicht von Goethe

Zitat

Der Mensch ist von Natur aus bestrebt, seine Bedürfnisse zu befriedigen, die wie eine Pyramide angeordnet sind. Auf der untersten Stufe stehen die physiologischen Bedürfnisse, ohne deren Befriedigung das Überleben nicht möglich ist. Danach folgen die Sicherheitsbedürfnisse, die Schutz und Geborgenheit verlangen. Auf der dritten Stufe finden sich die sozialen Bedürfnisse, die das Bedürfnis nach Zugehörigkeit und Zusammengehörigkeit widerspiegeln. Die Selbstwertbedürfnisse auf der vierten Stufe betreffen die Anerkennung und Akzeptanz durch andere und das eigene Selbstbild. Die höchste Stufe der Pyramide bilden die Selbstverwirklichungsbedürfnisse, die sich auf das individuelle Potenzial und die Selbstverwirklichung beziehen.

und von Kant:

Zitat

Der Mensch trachtet stets danach, seine Bedürfnisse zu befriedigen, die in einer hierarchischen Anordnung dargestellt werden können. Auf der untersten Stufe finden sich die physiologischen Bedürfnisse, die für das Überleben notwendig sind. Darüber hinaus gibt es Bedürfnisse nach Sicherheit und Schutz, sowie sozialen Bedürfnissen nach Zugehörigkeit und Zusammengehörigkeit. Die Selbstwertbedürfnisse betreffen die Anerkennung und Akzeptanz durch andere und das eigene Selbstbild. Die höchste Stufe der Pyramide bilden die Selbstverwirklichungsbedürfnisse, die sich auf das individuelle Potenzial und die Selbstverwirklichung beziehen. Als rationales Wesen ist es die Pflicht des Menschen, diese Bedürfnisse zu erfüllen, um seine Freiheit und Selbstbestimmung auszuüben und verantwortungsbewusst zu handeln.

 

Als Gedicht:

Zitat

Menschliche Bedürfnisse, die wie eine Pyramide angeordnet sind, von den elementaren bis hin zu den höchsten, die man sich vorstellen kann.

Physiologische Bedürfnisse, die für das Überleben notwendig sind, Nahrung, Wasser, Wohnung und Schlaf.

Sicherheitsbedürfnisse, die Schutz und Geborgenheit verlangen, vor Gefahren, Unsicherheit und Instabilität.

Soziale Bedürfnisse, die das Bedürfnis nach Zugehörigkeit und Zusammengehörigkeit widerspiegeln, Freundschaft, Liebe und Anerkennung.

Selbstwertbedürfnisse, die Anerkennung und Akzeptanz durch andere und das eigene Selbstbild betreffen.

Selbstverwirklichungsbedürfnisse, die sich auf das individuelle Potenzial und die Selbstverwirklichung beziehen, Erfüllung von Zielen und Träumen.

Diese Bedürfnisse, die wir alle haben, sind es wert, erfüllt zu werden, um glücklich und zufrieden zu sein.

 

und als Witz:

Zitat

Ein Mann sitzt auf einer Pyramide und raucht eine Zigarette. Ein anderer Mann kommt vorbei und fragt: "Was machst du da?" Der Mann antwortet: "Ich rauche eine Zigarette, um meine physiologischen Bedürfnisse zu befriedigen." Der andere Mann fragt: "Und was machst du dann als Nächstes?" Der Mann antwortet: "Ich werde mich in meine Sicherheitsbedürfnisse zurückziehen und einen Kaffee trinken." Der andere Mann fragt weiter: "Und dann?" Der Mann antwortet: "Dann werde ich mich meinen sozialen Bedürfnissen widmen und mit meinen Freunden plaudern." Der andere Mann fragt schließlich: "Und was ist mit deinen Selbstwert- und Selbstverwirklichungsbedürfnissen?" Der Mann antwortet: "Die kommen erst, wenn ich wieder zu Hause bin und meine Frau bei der Hausarbeit helfe."

 

Bearbeitet 31. Dezember 2022 von DerLenny
Gedicht und Witz

[DerLenny]

vor 3 Minuten schrieb Muddlehead:

+ das die Quellen immer noch geprüft werden müssen etc.

Das kann bei der IU nachteilig sein. Es gab hier schon Abzüge, weil vom Skript abweichende Aussagen durch Quellen belegt worden sind. Ist mir selbst zwar noch nicht passiert, mir wurde aber ein entsprechender Bewertungsbogen zugespielt, weil ich es auch nicht glauben konnte.

 

vor 5 Minuten schrieb Muddlehead:

Von der Skalierung abgesehen, bezweifele ich den Trend zu mehr mündlichen Prüfungen. Dafür fehlt das Personal.

Ich erwarte eher, dass mehr auf Wissensreproduktion in kontrollierten Umgebungen zurückgegriffen werden wird, bis die entsprechenden automatischen Prüfungen bei schriftlichen Arbeiten in Tools wie TurnItIn integriert sind.

Bei der eher behäbigen Tendenz zur Anpassung wird sich aber wahrscheinlich rein gar nichts ändern. Auch da alternative Prüfungsformen zur Klausur werbewirksam sind.

 

[Anna15]

Am 28.12.2022 um 14:43 schrieb brotkorb:

Du kannst auch die Antworten gleich darunter schreiben und chatGPT sagen, es soll die Frage-Antwort-Paare in eine CSV-Format konvertieren falls du digitale Karteikarten benutzt :) dann kannst du sie in die direkt in die Karteikartenapp laden 

Vielen Dank habe es gleich ausprobiert und konnte so die Fragen mit Antworten in buffl hochladen. Mir helfen gezielte Fragen immer mehr beim Auswendiglernen als einfach so zu lernen. Dafür finde ich die KI echt gut. (Hoffe das war jetzt nicht off topic)

 

Habe auch für eine Hausarbeit ein bisschen rumprobiert, was das Programm so kann. Ich muss sagen für eine Rechtschreib- und Formulierungsprüfung ist es echt gut. Kann mir gut vorstellen, dass so Menschen mit LRS auch eine Möglichkeit zum studieren gegeben wird. Hier bestehen ja leider oft Hemmnisse ein Studium zu beginnen. 

  

[Krawuzerl]

Hat schon mal jemand ChatGPT gefragt unabhängig von einem Gespräch sich einen Text anfertigen zu lassen, ob die KI diesen Text erkennt und sagen kann ob dieser von ihr stammt? Vielleicht wäre die Überprüfung dann für Lehrende "einfacher" 😅

[DerLenny]

 

[brotkorb]

vor 6 Stunden schrieb Krawuzerl:

Hat schon mal jemand ChatGPT gefragt unabhängig von einem Gespräch sich einen Text anfertigen zu lassen, ob die KI diesen Text erkennt und sagen kann ob dieser von ihr stammt? Vielleicht wäre die Überprüfung dann für Lehrende "einfacher" 😅

Es gibt auf jeden Fall Versuche, Detektor-software zu entwickeln, ist aber eher ein Katz- und Mausspiel. Es werden zum Beispiel an neuronale Netzwerke trainiert, KI-generierten Text zu erkennen. Ironischerweise kann man Sprach-Transformer damit trainieren um wiederum schlechter detektierbaren Text zu produzieren, ein ewiger Kreislauf 😂

 

Generierten Text zu speichern, wäre denke ich mal ein Mordsaufwand und dazu noch sau ressourcen-aufwändig. Und würde das Problem nicht lösen: 

 

Sprach-Transformer können lokal auf dem eigenen Rechner laufen 😅

 

[DerLenny]

Man sollte es auch definitiv nicht als Research Tool nutzen:

https://eiko-fried.com/using-gpt-3-to-search-scientific-references/

 

Im Grunde erfindet das Teil wild Studien, die es geben könnte und gibt auf Wunsch dann erfundenen Journals als Quelle an.

 

Um Ideen für ein Paper zu generieren, scheint es aber gut geeignet zu sein.

[Markus Jung]

Das von @DerLenny eingebettete Video war mir bei YouTube auch schon vorgeschlagen worden und ich habe mir jetzt mal die Zeit genommen, es mir anzuschauen. Die Ergebnisse sind schon beachtlich. Ich bekomme immer weiter den Einruck, dass solche Lösungen, und ChatGPT ist ja erst der Anfang, massive Veränderungen mit sich bringen werden, was die Recherche, Erstellung von Texten und auch die Lösung von Problemen angeht.

 

Solange ich weiß, dass Texte von einer KI stammen, komme ich damit zurecht. Was mir ein mulmiges Gefühl bereitet ist, dass ich künftig immer weniger wissen werde, ob mir wirklich noch ein Mensch gegenübersitzt, zum Beispiel im Support-Chat. Aber auch in anderen und persönlicheren Formen der schriftlichen Kommunikation.

 

Möglicherweise werden Videos dadurch noch mehr Bedeutung erlangen, in Richtung Authentizität. Andererseits ist es wohl auch nur eine Frage der Zeit, bis selbst Videos durch KI so erstellt werden können, dass nicht mehr zu erkennen ist, ob dies nun echte Menschen oder Avatare sind. 

 

Für die Fernlehre werden sich hier große Veränderung in Richtung Automatisierung ergeben. Wie sich das auf die Qualität auswirkt, wird sich zeigen. Allein Studienbriefe mal durch die KI prüfen zu lassen, könnte vermutlich schon zu Verbesserungen führen. 

[Markus Jung]

Prof. Dr. Christian Spannagel von der PH Heidelberg hat „Rules for Tools“ erstellt und zur Diskussion gestellt. Ich füge diese bei.

 

In Bezug auf ChatGPT finde ich interessant:

 

Zitat

Und KI-Sprachmodelle wie ChatGPT k¨onnen zwar gut formulieren, sie machen aber
inhaltliche Fehler und reproduzieren Vorurteile. Bevor Sie also mit Ergebnissen und
Impulsen weiterarbeiten, mussen Sie diese ¨ uberpr ¨ ufen und gegebenenfalls ¨ uberarbei- ¨
ten. Das Werkzeug denkt nicht fur Sie ¨ , sondern Sie denken mit Hilfe des Werkzeugs.
Theoretischer Hintergrund ist der Ansatz der verteilten Kognition:
”
Cognitions become ‘distributed’ in the sense that the tool and its human partner think jointly.
Whatever is produced is product of the joint system, resulting from the pooling
together of the intelligences of both partners [. . . ]“ (Salomon, 1993, S. 182). Am
Ende stehen Sie aber fur Ihre L ¨ ¨osung ein. Sie mussen Ihre L ¨ ¨osung anderen erkl¨aren
k¨onnen. Und fur Fehler in der L ¨ ¨osung sind Sie verantwortlich (nicht das Werkzeug).

 

(Und ich sehe gerade, dass copy & paste aus mit LaTeX erstellten Dokumenten, oder zumindest aus diesem mit LaTeX erstellten Dokument, nicht richtig funktioniert)

 

rulesfortools.pdf

 

[brotkorb]

Am 31.12.2022 um 12:13 schrieb DerLenny:

Inzwischen gibt es auch einige Tools, die automatisch erzeugte Texte erkennen können.
Ich gehe davon aus, dass die größeren Anbieter von Plagiatssoftware diese Prüfungen auch zeitnah in ihre Tools aufnehmen werden.

 

Ich denke nicht dass das langfristig Erfolg hat. Damit wird schon eine ganze Zeit lang rumexperimentiert, da aber die Transformer besser werden, wird es schwerer Text zu erkennen. Und:
Ich sehe da eine große Gefahr für Studierende. Wie hoch wäre wohl die Rate an False-Positives? Ich denke nicht dass sich das durchsetzt bzw. durchsetzen sollte.

Dein Kommentar zu erfundenden Quellen finde ich leider nicht.

Aber ich glaube das hier könnte dich interessieren: https://openai.com/blog/webgpt/
 

korrekte Quellenangaben zu machen, stellen kein unlösbares Problem mehr dar. Eine hundertprozentige Korrektheit wird es nicht in absehbarer Zeit geben, aber ich denke in absehbarer Zeit kann man da schon mit brauchbaren Verbesserungen rechnen.

 

Quellen zu finden sind recht einfach wenn man den Text schon geschrieben hat: (sollte man natürlich nicht, schwer ist es aber nicht):
für jedes Schlüsselwort in Text:
    suche Fachbuch in Bibliothek

    suche schlüsselwort

für jede formulierte These:

      suche Metastudie in Bibliothek

      fasse abstract zusammen

      erwähne in der Arbeit

-> formatiere Quelle in Harvard-Zitation