Scientific Misconduct / Publishing Practice

[DerLenny]

In der letzten Zeit gibt es wirklich viele hochkarätige Skandale:

 

Der Stanford Präsident ist zurückgetreten und hat seine Papers zurückgezogen

https://stanforddaily.com/2023/07/19/stanford-president-resigns-over-manipulated-research-will-retract-at-least-3-papers/

 

In einigen Studien von Gino und Ariely gibt es deutlichen Hinweis auf Manipulation

http://datacolada.org/109

http://datacolada.org/110

http://datacolada.org/111

http://datacolada.org/112

 

Mal abgesehen von der Auswirkung auf das Ansehen von Stanford und Harvard, sowie dem sicher damit einhergehenden Verlust an Vertrauen in Studien allgemein, frage ich mich, ob wir eine Alternative zur aktuellen Praxis der Veröffentlichungen brauchen.

Der Druck "aufsehenerregende" Dinge zu veröffentlichen und der Bias bezüglich positiver Ergebnisse sorgen schon länger immer wieder für Probleme.

Bei Übersichten zur Studienlage können die Werte oft nicht as-is genommen werden, sondern müssen aufgrund der oben genannten Faktoren gewichtet werden.

 

Und dann kommt noch die generelle Praxis dazu, dass die Verlage sowohl durch das Einreichen der Artikel als auch durch den Vertrieb profitieren. In diesem Zusammenhang würde ich dann die große Anzahl an Predatory Journals sehen, in denen selbst angesehene Institute veröffentlichen... eben auch, weil die Publikationsliste diese hohe Stellung hat.

 

Das findet sich auch in kleinem Maße: Ich habe bei einer Recherche drei Artikel der gleichen Autorin gefunden, die zu einem großen Teil identisch sind, aber unter verschiedenen Titeln in verschiedenen Jahren veröffentlicht wurden. Das hinterlässt scho ein G'schmäckle.

Was ich gerade auch entdecke, sind wis. Papers, in denen Manches durch eine Referenz auf ein Buch des gleichen Autors belegt wird. In diesem Buch dann aber nur die Behauptung ohne jeden Beleg dafür zu finden ist. Wenn ich in Literaturangaben "Springer Essentials" sehe, bekomme ich aktuell schon immer ein ungutes Gefühl..

 

Wie gut funktioniert das aktuelle System eurer Meinung nach? 

[stefhk3]

Ich denke: Mittelmässig (hängt aber sicher auch vom Fach ab).

Allerdings sind alternativen nicht so ohne weiteres zu finden. Und der einzelne muss mehr oder weniger mitspielen, es sei denn, er verzichtet auf die Karriere. Und das heisst im akademischen Bereich wiederum- oft genug, er verzichtet auf einen Beruf im akademischen Bereich überhaupt.

[Sonic2023]

Zum Thema Universitäten und Wissenschaft an Universitäten:
 

Der Bericht von Hadmut Danisch den er „Adele und die Fledermaus“ nennt, handelt von seiner Zeit als Doktorant der Informatik am KIT und seine Erfahrungen mit der „Wissenschaft“ die er dort erleben konnte. Er hat auch das KIT verklagt. Von seinem Menschenbild (besonders Frauenbild) halte ich nix, aber der Mann ist nachweislich eine Koryphäe in Sachen IT-Sicherheit und auch ein Experte für Wissenschaftliches Arbeiten. Ich glaube ihm, was er da aufgeschrieben hat und und es ist wirklich erschreckend! Besonders das Verhalten der Professorenschaft! Zumal ich wenn überhaupt höchstens die Hälfte gelesen habe…

 

https://www.danisch.de/Adele.pdf

[MartinGS]

Das schöne an der Scientific Community ist, dass sie selbstreinigend ist: Wer ernsthaft wissenschaftlich arbeitet und publiziert, muss sich der Kritik Externer stellen und wird auf diese Weise kritisch gewürdigt. Wissenschaftliches Fehlverhalten wird (wenn auch oftmals erst Jahre später) in relevanten Themen zuverlässig aufgedeckt, wie man in der Vergangenheit anhand der "üblichen Verdächtigen" wie bspw. VroniPlag und anderen investigativen Plattformen sieht. Insofern sehe ich im Gesamtsystem Wissenschaft erst einmal keinen Strukturfehler. 

 

Womit die Scientific Community aber immer wieder konfrontiert sein wird, ist der gute alte Faktor Mensch: Manche deuten ihre Forschungsdaten zu einem opportunen Ergebnis um, manche manipulieren ihre Forschungsdaten und manche wiederum denken sich ihre Forschungsdaten in Gänze aus, damit es passt. Wiederum andere arbeiten methodisch unsauber, machen sich einen schlanken Fuß und manch eine*r versucht, eine eigene wissenschaftliche Leistung in Form von Ghostwritern zu outsourcen. Dazu kommen die bekannten Missstände "akademischer Knechtschaft" im deutschsprachigen Raum, bei denen oftmals (nicht pauschal überall, aber meiner persönlichen Erfahrung nach viel zu oft) Fleißbienchen im Hintergrund die harte Arbeit erledigen und andere diese Arbeit als die eigene ausgeben, um sich damit in die Sonne zu stellen. Über politische bis wirtschaftliche Einflussnahme auf wissenschaftliche Ergebnisse will ich nicht erst sprechen.

 

Ja, diese Missstände gibt es. Und aus diesem Grund bin ich auch bspw. ein überzeugter Kritiker der klassischen Lehrstuhl-Strukturen, die sich im deutschsprachigen Raum bis heute halten (Stichwort "Lokalfürsten"). Jedoch darf man nicht vergessen, dass die überragende Mehrheit in der deutschsprachigen Scientific Community tagtäglich eine hervorragende Arbeit leistet und sich weltweit in vielen Disziplinen zur Oberklasse zählen darf. Ganz nach dem Motto "Karma is a b****" wird wissenschaftliches Fehlverhalten meistens zuverlässig aufgedeckt und der bzw. die Delinquent*in darf mit den entsprechenden Konsequenzen leben. Scharlatanen, Selbstdarstellern und Zauderern (ich verzichte aus Lesbarkeitsgründen bewusst aufs Gendern) wird damit zuverlässig entgegen gewirkt - und ab einem gewissen Punkt wird dieses Klientel eben nicht mehr als seriös gesehen. 

 

Insofern kann ich nur sagen: Ja, wir werden das Thema - so lange Menschen opportunistisch handeln und Fehler begehen - nie los werden. Jede forschende Person hat es aber selbst in der Hand, einen Beitrag zum großen Ganzen zu leisten und wissenschaftlichen schwarzen Schafen mit kritischem Blick, Beharrlichkeit und Seriosität zu begegnen.

[MartinGS]

vor 1 Stunde schrieb Sonic2023:

Zum Thema Universitäten und Wissenschaft an Universitäten:
 

Der Bericht von Hadmut Danisch den er „Adele und die Fledermaus“ nennt, handelt von seiner Zeit als Doktorant der Informatik am KIT und seine Erfahrungen mit der „Wissenschaft“ die er dort erleben konnte. Er hat auch das KIT verklagt. Von seinem Menschenbild (besonders Frauenbild) halte ich nix, aber der Mann ist nachweislich eine Koryphäe in Sachen IT-Sicherheit und auch ein Experte für Wissenschaftliches Arbeiten. Ich glaube ihm, was er da aufgeschrieben hat und und es ist wirklich erschreckend! Besonders das Verhalten der Professorenschaft! Zumal ich wenn überhaupt höchstens die Hälfte gelesen habe…

 

https://www.danisch.de/Adele.pdf

 

Nachbrenner: Herr Danisch mag vielleicht ein kompetenter IT-Sicherheitsmensch sein, sein Menschenbild (Stichwörter: Anti-Feminismus, diverser Verschwörungs-Schwurbel, Russland-Fan par excellence und co.) machen ihn jedoch (meiner persönlichen Meinung nach) zu einer keineswegs integren Person. Insofern ist er meiner Ansicht nach wirklich kein gutes Beispiel für wissenschaftliche Integrität. Das ganze Auftreten dieser Person trägt insofern auch nicht unbedingt zur Glaubwürdigkeit seiner Abhandlungen außerhalb seines Fachgebiets bei.

[DerLenny]

Hier ein Video zu dem Fall Ariely (und der trifft mich wirklich hart, ich habe sien Bücher und Vorträge oft empfohlen):

 

 

Prof. Gino verklagt inzwischen Harvard auf 25mil. 

 

vor 57 Minuten schrieb MartinGS:

Das schöne an der Scientific Community ist, dass sie selbstreinigend ist: Wer ernsthaft wissenschaftlich arbeitet und publiziert, muss sich der Kritik Externer stellen und wird auf diese Weise kritisch gewürdigt

Korrekt. Sieht man ja hier bei DataCollada und insbesondere auch beim Standford Präsi.

Daher galt meine Kritik weniger der Methode an sich, sondern der Art und Weise.

 

Studien mit "interessanten" Ergebnissen werden gerne publiziert. Und darüber berichtet. Replikationsstudien, insbesondere wenn sie fehlschlagen haben es da deutlich schwerer.

 

Und der Druck zu publizieren ist hoch, selbst bei Top Leuten. Nimm Kahnemann. Der Mann hat nen Nobelpreis, und etwa die Hälfte seines "Thinking Fast und Slow" ist nicht mehr haltbar. 

Die Geschichte um den Backfire Effekt passt auch so halb in die Ecke.

 

 

vor 3 Stunden schrieb stefhk3:

Allerdings sind alternativen nicht so ohne weiteres zu finden. Und der einzelne muss mehr oder weniger mitspielen, es sei denn, er verzichtet auf die Karriere.

 

Jein.

Predatory Journals published alles. Auch da gab es ja schon den einen oder anderen Beitrag dazu, wenn wieder mal ein Reporter nen Paper veröffentlicht und dann über Konferenzen tingelt.

Und da auch die "Großen" wie Fraunhofer und Co gerne mal in solchen Journals veröffentlichen, ist auch ohne entsprechende Rechereche nicht immer klar einzuschätzen, welchen Standard die Journals anlegen. 

Viele Prdatory Jounals geben ja vor mit Peer Review zu arbeitn...

 

Was Alternativen angeht:

Da wundere ich mich echt, dass kein Informatik Student mal ne eigene Crowdsourced Plattform gebaut hat.

 

Wissenschaftler schreiben Papers.

Wissenschaftler reviewen Papers.

Wissenschaftler lesen Papers.

Das Netz bietet Speicher und Distribution.

 

Ich sehe nicht, dass hier Verlage in der Form gebraucht werden.

Das Modell von Filesharing Plattformen, evtl. mit umgekehrten Vorzeichen, könnte da auch ganz gut passen. Fürs Peer Review bekommt man die Punkte, die man zum Publishen braucht.

 

Ich kann mir auch nicht vorstellen, dass nur ich diese Idee hatte. Also tippe ich, dass da irgendwo nen Haken ist, der mir noch nicht offenbar wurde.

 

 

[DerLenny]

Das Video geht auf drei recht prominente Fälle ein, nennt ein paar Studien zum Thema, und spricht auch die Rolle der Publikationsmühle in dem Zusammenhang an.

[stefhk3]

Solche Platformen wie angedeutet gibt es schon. In unterschiedlicher Form, und nicht alle mit allen Features, aber es gibt diverse und gab sicher noch viel mehr Versuche. arxiv.org und "klone" wie biorxiv sind vielleicht das bekannteste Beispiel. scienceopen wäre ein anderes, und PLOS ist gemeinnützig, hat aber Preise, die den kommerziellen nichts nachgeben. Das ganze ist halt ein Henne-Ei-Problem - jeder will möglichst renommiert veröffentlichen, neue Platformen haben aber kein Renomee, also veröffentlichen die guten meist woanders usw. Deswegen ist es auch so schwer, das Modell zu ändern, da greift quasi die Trägheit.

Deine Anmerkung zu den Predatory Journals ist mir nicht ganz klar. Mit denen sollte man "eigentlich" nicht Karriere machen, und ich glaube auch, dass das im seriösen Feld nicht geht. Es rutschen natürlich Dinge durch, aber was soll man machen? Jemanden in den Bann tun, weil er einmal (vielleicht in guten Glauben) in einem predatory journal veröffentlicht hat? Und Wissenschaft ist auch dezentralisiert, jedenfalls in den mir bekannten Ländern. Also kann man nicht sagen "Fraunhofer macht das", das gibt es so nicht. Ebensowenig wie man sagen kann, weil irgendein Angestellter der Uni X mal Unsinn bezüglich z. B. Corona-Impfung geschriegen hat, "die Uni X sagt, die Impfung ist schädlich" oder "die Wissenschaft sagt, die Corona-Impfung ist schädlich".

[MartinGS]

vor einer Stunde schrieb DerLenny:

Und der Druck zu publizieren ist hoch, selbst bei Top Leuten. Nimm Kahnemann. Der Mann hat nen Nobelpreis, und etwa die Hälfte seines "Thinking Fast und Slow" ist nicht mehr haltbar. 

Die Geschichte um den Backfire Effekt passt auch so halb in die Ecke.

 

Der Klassiker, publish or perish. Das sagt zwar nichts über die akademische Lehrqualität (die eine Seite des Humboldt'schen Ideals), aber wer relevante Forschung leisten möchte, muss mittel- und langfristig up-to-date bleiben und darf nicht in der Vergangenheit arbeiten (die andere Seite des Ideals).

 

vor einer Stunde schrieb DerLenny:

Ich sehe nicht, dass hier Verlage in der Form gebraucht werden.

Das Modell von Filesharing Plattformen, evtl. mit umgekehrten Vorzeichen, könnte da auch ganz gut passen. Fürs Peer Review bekommt man die Punkte, die man zum Publishen braucht.

 

Ich kann mir auch nicht vorstellen, dass nur ich diese Idee hatte. Also tippe ich, dass da irgendwo nen Haken ist, der mir noch nicht offenbar wurde.

 

Ganz einfach: Weil auch wissenschaftliche Verlage ein sehr lukratives Geschäft sind (man brauche sich nur mal bspw. mit bspw. den Preisstrukturen von Elsevier oder NDPI auseinandersetzen). Die großen Verlage sind auch diejnigen, die über die Historie hinweg Reichweite gesammelt haben und damit für einen Großteil der Community zugänglich sind. Für solch eine Reichweite braucht es Ressourcen und die könnte eine Community-basierte Publikationsplattform nicht bieten. Die Vorstellung wäre natürlich großartig, ist aber meines Erachtens nach nicht (auf absehbare Zeit) realisierbar. 

 

Zudem muss man sich auch immer fragen: Warum sollten Wissenschaftler*innen nur von Luft, Liebe und akademischer Reputation leben? Lehr- und Forschungspersonal darf vielfach Reviewer-Tätigkeiten wahrnehmen, nebenher noch in der Hochschulverwaltung mitwirken (--> akademische Selbstverwaltung) und darf auch ansonsten (abgesehen von zumeist bescheidenen E13/E14-Gehältern) vieles unentgeltlich leisten - mit der Begründung "weil es schon immer so war und man ja noch was werden möchte". Woher soll die Community das Geld zusätzlich ziehen, aus eigener Kraft noch so eine aufwändige Publikationsplattform in einem globalen Netzwerk zum Nulltarif aufzubauen? Auch in der Wissenschaft möchte man irgendwann mit der eigenen Arbeit Geld verdienen.

[DerLenny]

vor 26 Minuten schrieb stefhk3:

Deine Anmerkung zu den Predatory Journals ist mir nicht ganz klar. Mit denen sollte man "eigentlich" nicht Karriere machen, und ich glaube auch, dass das im seriösen Feld nicht geht.

Richtig. Sollte man nicht. Da stimme ich Dir zu.

Es ist evtl. nicht immer leicht vorab zu erkennen, ob das Journal seriös ist, da stimme ich Dir zu.

Daher würde ich auch nicht bei den Forschern, sondern beim Publikationsprozess ansetzen wollen.

 

Es gibt diese Journals, weil der Prozess nicht passt. Weil es einen Bedarf gibt.

 

vor 46 Minuten schrieb stefhk3:

aber es gibt diverse und gab sicher noch viel mehr Versuche. arxiv.org und "klone" wie biorxiv sind vielleicht das bekannteste Beispiel.

Von arxiv hab ich einiges an Artikeln bezogen, mir war aber nicht bewusst, dass das eine Crowd Sourced Platform ist, die auch einen Reviewprozess anbietet. Ich muss gestehen, ich habe es für einen reinen Artikel Hub gehalten.

Da werde ich am Wochenende mal etwas genauer drauf kucken :)