Vorschläge zum Prüfen von Lehrbriefen

[DerLenny]

Ich überlege mir gerade, mein Skript zur Prüfung von Lehrbriefen etwas  zu pimpen.

 

Bisher ist es eine recht oberflächliche Textanalyse, die die Anzahl der Referenzen mit stochastischen Richtwerten vergleicht. 

Es gibt mir auch eine nach Häufigkeit der Referenzen sortierte Liste der Quellen zurück, was allerdings aktuell mehr dazu dient, relevante Literatur zu identifizieren.

 

Ich überlege mir gerade, ob ich dies etwas aufbohre. Mein Plan ist zumindest zu prüfen, ob die benutzen Artikel zurückgezogen wurden. Retraction Watch hat dafür eine Datenbank, die man anfragen kann.

Das ist allerdings nicht immer hilfreich, da die Skripte zu einem großen Teil Sekundärquellen (oder noch weiter vom Ursprungsartikel entfernter Literatur) nutzen.

 

Daher würde ich die Literatur gerne noch zusätzlich prüfen. Was ich bereits habe, ist ein Stück Code, das prüft, ob ein Lehrbuch zum Datum der Skriptveröffentlichung die aktuellste Version war. Damit hätte etwa ein seit inzwischen fünf Jahren bekannter (und noch immer nicht korrigierte Fehler) in einem der Lehrbriefe vermieden werden können.

 

Kenn jemand von euch eine Ressource, mit der eine Referenz automatisch eingeschätzt werden kann? 

Ich könnte was selber basteln, wohl basierend auf der Übersicht von Superchi et al. (2019), das wäre aber eine recht große Menge Arbeit für etwas, wo ich eigentlich tippen würde, dass es da schon was gibt. Daher wollte ich mal fragen, ob hier jemand eine online Quelle hat, die man anfragen könnte?

 

Schwieriger finde ich es mit Fachbüchern. Hier gibt es ein paar sehr bekannte, extrem einflussreiche Beispiele, die bekanntermaßen inhaltlich extrem problematisch sind (ein gutes Beispiel hierfür ist Kahnemanns Thinking Fast & Slow). Oder eingängige aber falsche Visualisierungen wie die "Bedürfnispyramide" oder die Berg- und Talgrafik, die häufig zur Visualisierung des Dunning-Kruger Effekts genutzt wird.

 

Allerdings würde ich ungern eine Blacklist selbst führen müssen... auch hier wäre es nice, wenn man das auslagern könnte.

 

Auf der Artikelebene gibt es ein paar AI Tools, die die Relevanz von Artikeln einschätzen können, und die Anzahl von Veröffentlichungen, die dem Artikel zustimmen, oder diesem kritisch gegenüberstehen, auflisten können.

 

Damit könnten zumindest "formale" Probleme recht schnell gefunden werden. Inhaltliche Probleme, wie unbelegte und falsche Aussagen, logische Fehlschlüsse etc. können damit zwar nicht gefunden werden, aber wenn entsprechend belegt wird, sollte damit die Chance auf solche graben Schnitzer deutlich sinken.

 

Habt ihr noch andere Ideen, wie man die Qualität von Lehrbriefen vor der Veröffentlichung / bei der Entstehung prüfen kann?

Idealerweise Dinge, die automatisch durchgeführt werden können.

 

Würde gern eine neue Version meines Tools angehen und bin für Vorschläge dankbar...

 

--

Superchi, C., González, J. A., Solà, I., Cobo, E., Hren, D., & Boutron, I. (2019). Tools used to assess the quality of peer review reports: a methodological systematic review. BMC medical research methodology, 19, 1-14.

[Markus Jung]

vor 13 Stunden schrieb DerLenny:

Habt ihr noch andere Ideen, wie man die Qualität von Lehrbriefen vor der Veröffentlichung / bei der Entstehung prüfen kann?

 

Mir fällt auf, dass Du die Qualität rein von den verwendeten Quellen abhängig machst. Meiner Meinung nach zeigt sich die Qualität von Studienheften auch in vielen anderen Kriterien. Zum Beispiel:

• Wie verständlich sind die Skripte formuliert?
• Gibt es Beispiele und Anwendungen aus der Praxis?
• Gibt es einen roten Faden?
• Gibt es Aufgaben zur Selbstüberprüfung? Und auch, um ins eigene Handeln zu kommen?
• Werden Grafiken, Tabellen und Bilder sinnvoll eingesetzt?
• Erfolgt eine Einbettung in die bisherigen und künftigen Inhalte?
• Fließen vielleicht sogar humorvolle Elemente mit ein?

[DerLenny]

vor 2 Stunden schrieb Markus Jung:

Mir fällt auf, dass Du die Qualität rein von den verwendeten Quellen abhängig machst.

 

Aktuell ja. da es ja um automatische Prüfung geht.

Verständlichkeit könnte man über einige Metriken prüfen (wie Satzkomplexität und -länge), das wäre aber nur teilweise hilfreich, bei den restlichen Punkten würde ich aktuell eher einen Mensch in der Verantwortung sehen.

 

Generell ist meine Erfahrung, dass eine Abwesenheit von Quellen oder die Nutzung von nicht so geschickten Quellen (wie Online Lernkarten) auch oft ein Indikator für weitere Probleme sind.

 

Oder anders gesagt: Ein Lehrbrief soll ja den aktuellen, gesicherten Wissensstand wiedergeben. Dazu sind Quellen notwendig. Nicht belegte Teile eines Lehrbriefs sind entweder Plagiate oder nicht gesichert.

 

Natürlich bedeutet eine angegebene Quelle nicht, dass die Inhalte der Quelle korrekt wiedergegeben werden und/oder eine schlüssige Erklärung gegeben wird. 

 

Hier sollte dann ein Mensch mit Fachwissen und Verständnis für den Wissensstand der Studierenden eine entsprechende Einschätzung liefern.

Kennst Du Ressourcen, die eine Prüfung der von Dir genannten Parameter erlauben? Oder meinst du, man sollte ChatGPT um eine Einschätzung bitten?

[Markus Jung]

vor 30 Minuten schrieb DerLenny:

Kennst Du Ressourcen, die eine Prüfung der von Dir genannten Parameter erlauben? Oder meinst du, man sollte ChatGPT um eine Einschätzung bitten?

 

Es gibt Online-Tools, welche ähnlich wie ein Plagiats-Check Texte auf Verständlichkeit prüfen (kurze Sätze, wenig Fremdworte ohne Erläuterung etc.) und einen Scorewert ermitteln. Die Links dazu finde ich aktuell nicht.

 

Für vieles ist meiner Meinung nach eine Einschätzung durch mehrere Experten, aber auch durch Studierende notwendig. Ob ChatGPT hier auch gute Ergebnisse liefert, wäre interessant. Mit einer guten Vorgabe, worauf zu achten ist, würde das vermutlich sogar funktionieren. Verständlichkeit zum Beispiel nach dem https://de.wikipedia.org/wiki/Hamburger_Verständlichkeitskonzept – wobei es daran ja auch Kritik gibt.