Einfluss von Sprach-KIs wie ChatGPT auf wissenschaftliches Arbeiten

[Markus Jung]

Falls ihr Chrome benutzt und noch mehr aus ChatGPT herausholen möchtet. Ich werde davon auch noch einiges ausprobieren:

 

 

[T.Antarte]

Mich würde interessieren, wie Turnitin KI generierte Texte erkennen kann? Gibt es irgendwelche Marker dafür?

[DerLenny]

vor 2 Stunden schrieb T.Antarte:

Mich würde interessieren, wie Turnitin KI generierte Texte erkennen kann? Gibt es irgendwelche Marker dafür?

 

Crothers, E., Japkowicz, N., & Viktor, H. (2022). Machine Generated Text: A Comprehensive Survey of Threat Models and Detection Methods. arXiv preprint arXiv:2210.07321.

 

Dugan, L., Ippolito, D., Kirubarajan, A., & Callison-Burch, C. (2020). RoFT: A tool for evaluating human detection of machine-generated text. arXiv preprint arXiv:2010.03070.

 

Gehrmann, S., Strobelt, H., & Rush, A. M. (2019). Gltr: Statistical detection and visualization of generated text. arXiv preprint arXiv:1906.04043.

 

Ippolito, D., Duckworth, D., Callison-Burch, C., & Eck, D. (2019). Automatic detection of generated text is easiest when humans are fooled. arXiv preprint arXiv:1911.00650.

 

Jawahar, G., Abdul-Mageed, M., & Lakshmanan, L. V. (2020). Automatic detection of machine generated text: A critical survey. arXiv preprint arXiv:2011.01314.

 

Wenn du eher was populärwissenschaftliches suchst:
https://www.technologyreview.com/2022/12/19/1065596/how-to-spot-ai-generated-text/

https://medium.com/swlh/detecting-ai-generated-text-b56b3e8ca730

 

Oder es testen möchstest:

https://writer.com/ai-content-detector/

 

Bei englischem Text hat der Detetctor oben bei mir auch eine sehr gute Quote bei der Erkennung, er scheint nicht mit Text auf Deutsch umgehen zu können.

[Kruemmelchen]

Dieses  Programm bietet auf jeden Fall eine schier unendliche Anzahl von möglichen Einsatzgebieten. Bin gespannt wohin dieser Weg sich entwickeln wird und vor allem welche Auswirkungen es auf unsere aktuelle Situation, als Studierende, haben wird

[Nadja_studiert_Informatik]

Danke @DerLenny für die Quellen!
 

Wenn ich mir die Quellen so anschaue, verstehe ich nicht, wie das mit den Sprach-KIs und Detectors funktionieren soll…? Dann stehen sich halt permanent Rechenpower und Algorithmen gegenüber. Was soll das bringen? Ich kann mir irgendwie nicht vorstellen, dass das ein sinnvolles Konzept ist. Sollte man sich nicht eher überlegen, wie man den ganzen Umgang transparent und brauchbar macht? Wird ja zum Teil auch gesagt.

 

Lustig finde ich irgendwie, dass es plötzlich vorteilhaft ist, wenn der eigene Text individueller / menschlicher “wirkt”. Die ganze Zeit bricht man sich in wissenschaftlichen Texten einen ab, dass man die Formeln beherrscht, die den Text geeignet machen für seriöse Kreise. So viele Texte wirken gleich und steril, monoton, dafür schön wissenschaftlich kompetent und ordentlich. Jetzt ist es offensichtlich besser, wenn das nicht der Fall ist, damit niemand auf die Idee kommen kann, eine KI hätte den Text geschrieben.

 

Ich habe den einen Detector übrigens ausprobiert. Dafür habe ich ein altes IU-Workbook von mir genommen. Ich weiß nicht wie aussagekräftig das ist. Denn ich habe den Text in Englisch übersetzen müssen. Jedenfalls wurde mir bei zwei Passagen gesagt, dass ich ihn nicht einreichen sollte, da er nur zu 75 Prozent von einem Menschen geschrieben wurde. 🤪😂🙈🤔

Das Theoretische Informatik-Skript der IU kommt mit ein paar Passagen von 80 Prozent besser weg. Dennoch wird dem Autor empfohlen: “You should edit your text until there’s less detectable AI content.”

Ganz übel ist das IT-Servicemanagement-Skript der IU. Da wurden Passagen nur zu 18 Prozent von einem Menschen geschrieben. 🤷‍♀️ Ob das eine neue Möglichkeit bietet, zukünftig gegen miserable Skripte vorzugehen? 🫢

[Nadja_studiert_Informatik]

vor 11 Stunden schrieb DerLenny:

Dugan, L., Ippolito, D., Kirubarajan, A., & Callison-Burch, C. (2020). RoFT: A tool for evaluating human detection of machine-generated text. arXiv preprint arXiv:2010.03070.

Ich mag diese Aussage:

Zitat

We do not expect that real-world uses of machine- generated text would involve such a tidy split of prompt sentences followed by a machine-generated continuation. However, we believe that even an artificial framing such as RoFT’s has both the po- tential to educate the public on what to look for in machine-generated text and give researchers in- sights into how humans perceive and react to such text.

 

[Nadja_studiert_Informatik]

Am 19.1.2023 um 09:34 schrieb DerLenny:

TurnitIt hatte im Dezember veröffentlicht, dass sie ChatGPT und ähnliches erkennen können.

 

https://www.turnitin.com/blog/ai-writing-the-challenge-and-opportunity-in-front-of-education-now

Selbst Turnitin, die ja ihr Geschäftsmodell aufrechterhalten müssen, können so viel dazu sagen:

Zitat

The next step is a critical one. Educators, administrators, students, and technology partners have an opportunity and a responsibility to participate openly and honestly in the AI-assisted writing dialogue, to preserve integrity and trust in the education community and beyond. We are actively working with customer advocates and partners to address new and evolving needs, further our collective understanding of current AI writing capabilities, and acknowledge when its use benefits or detracts from student learning. 

We encourage you to have these discussions at your institution now and set achievable standards and expectations for your students around the acceptable use of AI-assisted writing tools.

Ich hoffe wirklich, dass von der IU noch was ernst zu nehmendes in der nächsten Zeit zu dem Thema kommen wird. Denn mit dem alleinigen Statement vom 19.01. in den News bekommt man den Eindruck, die IU interessiert sich gar nicht für Bildung und wissenschaftliches Arbeiten. 
 

Sorry, für die bösen Worte. Mich ärgert das ziemlich. Ich warte mal noch ein paar Wochen ab. Vielleicht tut sich ja was. Sonst werde ich mal nachfragen, was für Gespräche zu dem Thema stattfinden (mit wem, wann, wie, wo).

[DerLenny]

vor 20 Minuten schrieb Nadja_studiert_Informatik:

Denn mit dem alleinigen Statement vom 19.01. in den News bekommt man den Eindruck, die IU interessiert sich gar nicht für Bildung und wissenschaftliches Arbeiten. 

Ich habe es als "Macht das nicht, das bekommen wir raus" gewertet.

Problematisch würde ich in einem solchen Fall den Nachweis finden. Ich sehe hier eine hohe Chance für ß-Fehler. Und weise darauf hin, dass man in dem Fall als Studierender sehr wenig Möglichkeiten hat, und eine Rechtsschutzvericherung in dem Fall wirklich sinnvoll ist.

 

 

 

[DerLenny]

vor einer Stunde schrieb Nadja_studiert_Informatik:

Die ganze Zeit bricht man sich in wissenschaftlichen Texten einen ab, dass man die Formeln beherrscht, die den Text geeignet machen für seriöse Kreise. So viele Texte wirken gleich und steril, monoton, dafür schön wissenschaftlich kompetent und ordentlich.

 

Das ist ein deutsches Problem. Im Englischen wird oft genau zum Gegenteil geraten, was in den deutschen Tipps steht. Und die Papers gehen eben primär auf englische Papers ein.

[DerLenny]

vor 14 Minuten schrieb Muddlehead:

So ist es - davon jetzt ein Desinteresse für Bildung abzuleiten, ist gelinge gesagt, ziemlich weit weg von der Realität.

Sagen wir mal, die Aussage erschließt sich mir nicht aus den Prämissen. Der von Dir gezogene Umkehrschluss ist allerdings ebenfalls nicht gültig, Du begehst hier den "Irrtum des Inversen" (Denying the Antecedent).

Aus: "Wenn A dann B" folgt nicht "wenn nicht A, dann nicht B."