Kritische Reviews von Papers auf Social Media

[DerLenny]

Einer der verlinkten Artikel, den ich mir zum späteren Lesen markiert hatte, ist sehr interessant:
https://www.nature.com/articles/469286a

 

Ich bin mir aber nicht sicher, ob das Thema (kritische Reviews von Papers auf Social Media) zum Forum hier passt.... da es aber irgendwie etwas mit dem Fred hier zu tun hat, dachte ich, ich nutze das mal, um hier @Markus Jung zu fragen, ob und wenn ja wo ein solcher Fred aufgemacht werden könnte.

[Markus Jung]

vor 22 Stunden hat DerLenny geschrieben:

r @Markus Jung zu fragen, ob und wenn ja wo ein solcher Fred aufgemacht werden könnte.

 

Ja, kannst Du gerne einen Thread zu aufmachen. Das allgemeine Forum passt, da es ja etwas mit Studium zu tun hat. Und auch ein wenig in die Richtung Fachdiskussion geht. Ich habe Deinen Beitrag gleich mal in ein neues Thema verschoben.

[DerLenny]

vor 51 Minuten hat Markus Jung geschrieben:

 

Ja, kannst Du gerne einen Thread zu aufmachen. Das allgemeine Forum passt, da es ja etwas mit Studium zu tun hat. Und auch ein wenig in die Richtung Fachdiskussion geht. Ich habe Deinen Beitrag gleich mal in ein neues Thema verschoben.

 

Bin verwirrt.

Jetzt weiss ich wo ich einen Post erstellen soll, wenn ich ds tue, haben wir es doppelt. So haben wir einen Fred, der keinen passenden Einstiegspost hat.

Ist also die normale Vorgehensweise off-topic zu posten und auf nen Split zu hoffen? Genau das wollte ich ja in diesem Fall vermeiden, daher die Frage. Die allerdings nicht der Post ist, den ich schreibeen wollte. Daher ja auch "Frage nach dem ob und wo" und nicht "hier ist die Sache"

[Markus Jung]

Wenn Du off-topic postest, kann es Dir passieren, dass ich das in ein neues Thema verschiebe. Wenn Du etwas vorab mit mir klären möchtest, sende mir eine PN.

 

Schreib bitte den Post, den Du dazu schreiben möchtest, hier im Thema als neue Antwort.  Dann ist auch alles zusammen und nichts doppelt.

[WiInfo]

Ich oute mich mal: Ich halte inzwischen kaum noch etwas vom Peer Review als Qualitätsgarant der hochklassigen Journale. Meine Erfahrung bezieht sich da hauptsächlich auf die Gebiete Chemie, Pharmazie und Analytik.

 

 

Als Leser habe ich sicherlich einige Tausend Papers durchgearbeitet, die ich selbst gesucht habe, mal als Referenz gefunden oder wo ich einen „wohlwollenden“ Hinweis darauf bekommen habe. Ausgenommen von manchen (meist Paper-Serien), die auch später als Buch veröffentlicht wurden, hat tatsächlich noch kein einziges Paper mir bei einem Problem weitergeholfen.

 

Was waren da die Schwierigkeiten? Oft mangelnde Relevanz aber meist mangelte es an der wissenschaftlichen Arbeitsweise. Bei den Artikeln für einen konkreten Anwendungsfall (z. B. Nachweis von X mit Method Y) war die Nachvollziehbarkeit für eine Person von Fach nie gegeben.

 

Eine bewusste Fälschung/Täuschung habe ich dabei aber nie vermutet. Es ist schlicht eine erschreckende fachliche Inkompetenz von Seiten der Autoren, Mitautoren und der Reviewer. Zu beobachten sind hier unzureichende Versuchsbeschreibungen, Fehlinterpretationen von Ergebnissen, mangelhafte statistische Auswertung und auch gerne Verwendung von defekten Geräten sowie vieles mehr.

 

 

Ich war auch bei der Erstellung einiger Diplom-Arbeiten involviert und auch bei wenigen Papers. Das was ich da beim Peer Review mitbekommen habe ist unter aller Sau um es mal deutlich auszudrücken.

 

Die Reviewer machen sich meist gar nicht die Arbeit, sich in ein fremdes Thema reinzudenken. Man hat eher oft den Eindruck, dass sie gar nichts gelesen haben. Wie es dem auch sei, die Rückfragen der Reviewer sind meist eher sehr merkwürdig. Aber man muss ihn ja zufrieden stellen…

 

Schlimmer ist es nur noch, wenn tatsächlich der Reviewer halbwegs vom Fach ist. Dann ist man auf sein persönliches Steckenpferd nicht eingegangen (egal wie irrelevant es für das Paper ist). Schlimmstenfalls hat man im Paper sogar seinen wissenschaftlichen Erzfeind (man kann sich die Reviewer nicht wirklich aussuchen) mehrmals zitiert, dass geht ja gar nicht.

 

 

Aufgrund dieser Erfahrungen sehe ich das Peer Review inzwischen weniger als Qualitätsmerkmal wissenschaftlicher Publikationen, sondern eher als Verhinderung der wissenschaftlichen Erkenntnis.

Daneben ist auch der Zeitfaktor beim Peer Review sehr hoch.

 

Ich persönlich finde deswegen vielen Ideen aus dem von @DerLenny zitiertem Artikel für sehr interessant.

[stefhk3]

Nun ja, das System hat sicher seine Schwaechen, das wird wohl niemand abstreiten. Auf der anderen Seite scheinen mir die grundlegenden Probleme weniger im Peer Review zu liegen, sondern fundamentaler. Und der Peer Review kann das dann auch nicht reparieren.

Ein ganz grundlegendes Problem ist natuerlich der Publikationsdruck. In gewissen Sinne waere es sicher wuenschenswert, wenn nur wirklich bahnbrechende Arbeiten veroeffentlicht werden. Nur koennte dann ein Forscher nur alle paar Jahre was veroeffentlichen. Damit kann er aber im jetztigen System keine Karriere machen. Es muss oefter publiziert werden, also muessen Scheibchenpublikationen, zweitrangige Nebenaskpekte benutzt werden usw. Nun koennte man als Reviewer natuerlich versuchen, das zu aendern, und nur wirklich bahnbrechendes akzeptieren. Dann leidet aber der einzelne drunter. Auch nicht ideal, oder? Hier ist der Review-Prozess einfach der falsche Ansatzpunkt. Als Reviewer kann man doch nur sozusagen nach der gaengigen Waehrung gehen, alles andere waere unfair.

Dass allerdings die Paper wirklich so schlecht sind, wie hier gesagt wurde, kann ich eigentlich nicht bestaetigen. Ich habe ja nun auch an Chemie-Instituten gearbeitet, und wie vermutlich ueberall, wird auch da viel gemeckert, aber in diese Richtung eigentlich nicht. Klar gibt es immer wieder schlechte Paper, aber das eigentlich kaum eines brauchbar waere, hat mir noch keiner erzaehlt. Und es war auch nicht alles frueher besser, ich habe fuer ein Review Paper (also einen Uebersichtsartikel) neulich einiges von den 60er Jahren bis heute gelesen, und da war es frueher nicht so viel besser (im weiteren Sinne in der analytischen Chemie, uebrigens).

Reproduzierbarkeit ist natuerlich immer ein Problem. Wobei sich hier aber eher einiges verbessert hat. In der Informatik gibt es heute den Code zum Download, das war frueher nicht der Fall. Und es ist unglaublich schwer, etwas so zu beschreiben, dass es wirklich nachvollziehbar ist. Das duerfte wohl in anderen Bereichen aehnlich sein. Als Autor denkt man immer, es ist alles klar beschrieben.

Gerade hier waeren natuerlich die Reviewer gefragt. Und dass das besser laufen koennte, sehe ich auch. Aber auch hier gilt: Keiner hat ewig Zeit. Und dafuer, dass sich das aendert, muesste sich das System aendern. Z. B. koennten die Verlage Leute beschaeftigen, die die Sachen nachkochen. Aber das wollen sie natuerlich nicht. Die verlassen sich auf die Reviewer. Und die pruefen im wesentlichen auf Plausibilitaet. Mehr geht realistisch nicht. Tja, da waeren wir wieder.

Und ich glaube, man kann ausschliessen, dass der Peer Review nichts bringt. Ich habe sowoh Paper abgelehnt (und die anderen Reviewer auch), bei denen die Welt definitiv froh sein kann, dass sie ihr erspart worden sind. Und ich habe Paper deutlich verbessert gesehen, nachdem die Vorschlaege der Reviewer beruecksichtigt wurden. Natuerlich rutschen Dinge durch, die nicht haetten durchrutschen sollen. Und natuerlich gibt es den umgekehrten Fall, dass Dinge verhindert oder jedenfalls verzoegert werden, obwohl die Kritik Unsinn ist. Ist mir auch schon passiert. Ich habe aber auch deutliche Verbesserungen an meinen Papern gesehen. Also aus persoenlicher Persprektive wuerde ich sagen, der Nutzen ueberwiegt. Natuerlich kann ich das insgesamt nicht sicher sagen, aber ich glaube nicht, dass die Qualitaet ohne Peer Review besser waere. Das heisst natuerlich nicht, dass sie nicht noch besser sein koennte. Und ich bin auch nicht gegen Vorschlaege, die die Sache verbessern.

Ansonsten muss ich sagen, dass ich offenbar (jedenfalls in der Beziehung) Glueck habe. Solche Praktiken von wegen Behinderung von Konkurrenten oder persoenliche Animositaeten ausleben sind mir praktisch nie begegnet. Das gilt auch sonst. Ich kenne einen Haufen Erzaehlungen ueber echte Schlangengruben, wo Leistungen verschwiegen, Autoren unterdrueckt, Kollegen behindert, Ideen geklaut werden usw. Ist mir nie passiert. Ich weiss nicht wieso, entweder habe ich einfach Glueck oder ich bemerke es nur nicht. Klar, menschliche Arschloecher sind mir auch schon begegnet (aber die gibt es in der Industrie auch), aber selbst die haben keine solchen Beispiele schlechter wissenschaftlicher Praxis betrieben.

[WiInfo]

vor 4 Stunden hat stefhk3 geschrieben:

Nun ja, das System hat sicher seine Schwaechen, das wird wohl niemand abstreiten. Auf der anderen Seite scheinen mir die grundlegenden Probleme weniger im Peer Review zu liegen, sondern fundamentaler. Und der Peer Review kann das dann auch nicht reparieren.

Ein ganz grundlegendes Problem ist natuerlich der Publikationsdruck.

Das ist eigentlich nochmal eine ganz andere Frage. Publikationsdruck der Wissenschaftler oder vielleicht auch der Journale? Oder ist die sogenannte "Zeitschriftenkrise" schon wieder vorbei?

 

 

vor 4 Stunden hat stefhk3 geschrieben:

In gewissen Sinne waere es sicher wuenschenswert, wenn nur wirklich bahnbrechende Arbeiten veroeffentlicht werden. Nur koennte dann ein Forscher nur alle paar Jahre was veroeffentlichen. Damit kann er aber im jetztigen System keine Karriere machen. Es muss oefter publiziert werden, also muessen Scheibchenpublikationen, zweitrangige Nebenaskpekte benutzt werden usw. Nun koennte man als Reviewer natuerlich versuchen, das zu aendern, und nur wirklich bahnbrechendes akzeptieren. Dann leidet aber der einzelne drunter. Auch nicht ideal, oder? Hier ist der Review-Prozess einfach der falsche Ansatzpunkt. Als Reviewer kann man doch nur sozusagen nach der gaengigen Waehrung gehen, alles andere waere unfair.

Da möchte ich widersprechen, es geht ja nicht nur um bahnbrechende Arbeiten und ein Reviewer sollte sich damit auch weniger beschäftigen. Das sollte doch eher Sache des Herausgebers sein. Dazu hat ja jedes Journal auch seinen eigenen Fokus (manchmal gibt es ja auch A- und B-Ausgabe unter einem Dach).

 

 

vor 4 Stunden hat stefhk3 geschrieben:

Dass allerdings die Paper wirklich so schlecht sind, wie hier gesagt wurde, kann ich eigentlich nicht bestaetigen. Ich habe ja nun auch an Chemie-Instituten gearbeitet, und wie vermutlich ueberall, wird auch da viel gemeckert, aber in diese Richtung eigentlich nicht. Klar gibt es immer wieder schlechte Paper, aber das eigentlich kaum eines brauchbar waere, hat mir noch keiner erzaehlt.

 

Wie gesagt kenne ich auch viele gute theoretische Paper, wobei die dann auch meist Grundlage für eine Buch oder eine anderweitige Veröffentlichung waren. Und ich kann mich da nur widerholen: Für praktische Probleme (z. B. Nachweis von X mit Method Y) war noch kein einziges Paper für mich hilfreich.

 

Für einen kleinen Teilbereich (chirale Chromatographie mit HPLC) kann ich mich noch gut an ein paar Details erinnern:

Letztendlich wurde versucht Methoden aus 17 „guten“ Paper experimentell nachzuvollziehen.

Davor wurden das Mehrfache aussortiert wegen absolut unzureichende Versuchsbeschreibung oder wegen erkennbaren groben Fehler.

 

Erfolg:

Genau Null der „guten“ Paper konnten in akzeptabler Qualität nachgestellt werden.

 

Dabei habe ich auch im Rahmen des Troubleshootings die Ursachen ergründet:

Oft sehr unrobuste Wahl der Bedingungen. Zugespitzt formuliert: Wenn nicht gerade Freitag der 13. ist UND Vollmond funktioniert es halt nicht.

Oft wurden wohl auch Trennsäulen mit einer nicht nachvollziehbaren Vorgeschichte verwendet. Eine chirale Säule kostet so 3.000 – 5.000 EUR und ist sehr empfindlich. Mit neuen Säulen konnte die Trennung nicht nachvollzogen werden, trotz Variation anderer Parameter. In einigen Fällen gelange es mir aber mit einer artifiziellen Alterung der Säule doch noch das Ergebnis des Papers nachzuvollziehen. Wissenschaft sieht anders aus!

 

Nachdem aber so grob 50.000 EUR allein für unnütze Säulen in den Sand gesetzt wurden, habe ich das gleiche Budget bekommen um damit selbst chirale Methoden halb-automatisiert entwickeln zu können. Diese haben dann auch wirklich reproduzierbar funktioniert mit deutlich weniger Arbeits- und Gerätezeit bei Entwicklung und Analyse.

 

 

vor 4 Stunden hat stefhk3 geschrieben:

Natuerlich kann ich das insgesamt nicht sicher sagen, aber ich glaube nicht, dass die Qualitaet ohne Peer Review besser waere. Das heisst natuerlich nicht, dass sie nicht noch besser sein koennte. Und ich bin auch nicht gegen Vorschlaege, die die Sache verbessern.

Aber genau da wäre doch eine weitere Diskussion, z.B. in (spezialisierten) sozialen Netzwerken doch eine gute Ergänzung. Und auch die bisher abgelehnten Paper wären da sehr interessant. Sei es nun, dass der Editor sie gerade nicht möchte oder es Probleme beim Review gab.

 

 

vor 4 Stunden hat stefhk3 geschrieben:

Ansonsten muss ich sagen, dass ich offenbar (jedenfalls in der Beziehung) Glueck habe. Solche Praktiken von wegen Behinderung von Konkurrenten oder persoenliche Animositaeten ausleben sind mir praktisch nie begegnet. Das gilt auch sonst. Ich kenne einen Haufen Erzaehlungen ueber echte Schlangengruben, wo Leistungen verschwiegen, Autoren unterdrueckt, Kollegen behindert, Ideen geklaut werden usw. Ist mir nie passiert. Ich weiss nicht wieso, entweder habe ich einfach Glueck oder ich bemerke es nur nicht.

Da scheinst Du wirklich begünstigt zu sein. Auf der einen Seite hast Du ja den Publikationsdruck erwähnt und es wäre doch sehr naiv zu glauben, dass dieser nicht solche Auswüchse in die menschlichen Abgründe verursachen könnte. So man ja z. B. beim Peer Review soetwas auch sehr anonym ausleben kann.

 

 

vor 4 Stunden hat stefhk3 geschrieben:

Klar, menschliche Arschloecher sind mir auch schon begegnet (aber die gibt es in der Industrie auch), aber selbst die haben keine solchen Beispiele schlechter wissenschaftlicher Praxis betrieben.

Dann hatte ich vielleicht auch bisher nur Pech. Ich kenne sogar Abteilungsleiter in der Industrie, die sich eine Ehrenautorenschaft in jedem Analysenbericht reinschreiben lassen obwohl sie diesen später selbst freigeben müssen. Was im Sinne des QM äußerst fragwürdig ist.

 

 

Der Gedanke des Peer Review ist sicherlich nicht per se schlecht. Allerdings erscheint er mir oft nicht sehr effizient zu sein. Vor allem wenn manchmal gar nicht die Effektivität gegeben zu sein scheint.

 

Kennt jemand vielleicht Gegentests zur Bloßstellung von "predatory journals". Also wenn gute Paper nicht angenommen werden?

 

 

Mich würde aber noch einiges aus Deiner Erfahrung als Reviewer interessieren:

Wie lange dauert es in Deinem Gebiet vom Einsenden eines Papers bis zur Veröffentlichung?

Wie lange davon nimmt der Peer Review in Anspruch?

Wie ist das Verhältnis Veröffentlichungen/Einsendungen?

Auf den Peer Review als Qualitätsmerkmal wird oft als Begründung für steigende Kosten des Bezugs von Journalen hingewiesen. Wieviel verdient ein Reviewer?