Center for Reproducible Science

Besser forschen

Viele Studien in der empirischen Forschung halten einer Überprüfung nicht stand. Das neue Center for Reproducible Science an der UZH will die Forschungsqualität in diesem Bereich verbessern und setzt damit schweizweit ein Zeichen.

Roger Nickl1 Kommentar

Leonard Held
Leonard Held
Biostatistiker und Gründer des «Center for Reproducible Science» Leonard Held: «Wollen wir die Reproduzierbarkeit von Studien verbessern, muss die Forschung auch transparenter werden.» (Bild: Roger Nickl)

 

Vor drei Jahren sorgte eine Untersuchung der «Open Science Collaboration» für Schlagzeilen. Sie besagte, dass nur gut ein Drittel von 100 untersuchten psychologischen Studien reproduzierbar waren, also der Überprüfung  in Nachfolgeexperimenten stand hielten. Spätestens seither macht die Rede von einer Reproduzierbarkeitskrise in der Wissenschaft die Runde. Davon betroffen ist nicht allein die Psychologie, sondern viele andere Disziplinen, deren Erkenntnisse auf Experimenten und Statistik basieren – von der Ökonomie bis zur Biomedizin.

Reproduzierbarkeit verbessern

Biostatistiker Leonhard Held kennt sich mit dem Thema aus. «Die Forschung ist nicht einfach schlechter geworden», sagt er, «denn früher wurden im Gegensatz zu heute Resultate oft gar nicht überprüft.» Seit sich das geändert hat, werden nun gewisse Mängel sichtbar (siehe Kasten). Zwar lassen viele Studien, die heute publiziert werden, punkto Qualität keine Wünsche offen. Aber eben lange nicht alle. In der empirischen Forschung werde immer wieder methodisch lax gearbeitet, sagt Held. Einen Grund dafür sieht er darin, dass Forschende teilweise zu wenig über die wissenschaftlichen Grundlagen der Statistik wissen. Held: «Da gibt es Nachholbedarf.» Um die Qualität der empirischen Forschung an der UZH zu fördern und zu verbessern, hat der Biostatistiker nun das Center for Reproducible Science (CRS) ins Leben gerufen, das vor kurzem seinen Betrieb aufgenommen hat.

Das neue Kompetenzzentrum ist interdisziplinär ausgerichtet. Daran beteiligt sind die Medizinische, die Philosophische, die Mathematisch-Naturwissenschaftliche und die Wirtschaftswissenschaftliche Fakultät. «Egal, wen wir angefragt haben, alle haben begeistert zugesagt», sagt Leonhard Held, «das zeigt, dass die Probleme fächerübergreifend sind.» Ziel des CRS ist es, die Reproduzierbarkeit von wissenschaftlichen Studien an der UZH zu verbessern und damit die Integrität in der Forschung zu erhöhen.

Gütesiegel für vorbildliche Forschung

Dazu sollen beispielsweise Lehrmaterialien für Dozierende entwickelt und online zur Verfügung gestellt werden. Genauso sollen Workshops, die sich an Forschende und Studierende wenden, das neueste methodische Wissen vermitteln. Geplant sind solche Workshops etwa am «Tag der Reproduzierbarkeit», der im nächsten Februar an der UZH stattfinden soll. Vorstellbar ist zudem, dass künftig ein UZH-internes Gütesiegel für gute Forschung vergeben wird. Diskutiert wird auch ein Reproduzierbarkeitspreis, den besonders vorbildliche Studien erhalten sollen.

«Wollen wir die Reproduzierbarkeit von Studien verbessern, muss die Forschung auch transparenter werden», ist Biostatistiker Held überzeugt. Deshalb sollten die Daten, aber auch der Programmcode, mit dem diese analysiert wurden, frei verfügbar sein (Stichwort: Open Science). Dies ermöglicht es anderen Forschern, Versuche auf denselben Grundlagen zu wiederholen.

P-Wert senken

Und Leonhard Held hat noch eine Idee, wie die Reproduktionskrise bekämpft werden könnte. In einem Beitrag, den er mit einer Reihe von Kollegen publiziert hat, wird vorgeschlagen, die P-Wert-Schranke für neue wissenschaftliche Entdeckungen von aktuell 0.05 auf 0.005 zu senken. Der P-Wert ist in der empirischen Forschung das Mass aller Dinge. Er zeigt an, wie stark die Evidenz für eine wissenschaftliche Hypothese ist. Ist der P-Wert klein genug (unter 0.05) gilt das Resultat als signifikant, das heisst als gesicherte neue wissenschaftliche Erkenntnis. Mit solchen Erkenntnissen lassen sich wissenschaftlich Lorbeeren ernten.

Mit einem tieferen P-Wert und einer erhöhten Fallzahl um 70% könne das Risiko von falsch positiven Resultaten deutlich verringert werden, betonen die Autoren. Der Vorschlag wurde in der Wissenschaftswelt breit rezipiert und wird seither kontrovers debattiert. Die Qualitätsdiskussion in der empirischen Forschung ist jedenfalls angestossen. Auch die Gründung des CRS ist ein Beleg dafür. Das Kompetenzzentrum nimmt damit schweizweit eine Vorreiterrolle an.

Die vier Reiter der Reproduzierbarkeitskrise

Für die aktuellen Probleme in der empirischen Forschung macht Biostatistiker Leonhard Held vier Gründe aus – die vier Reiter der Reproduzierbarkeitskrise wie es die Neuropsychologin Dorothy Bishop von der University of Oxford nennt:

1. Zum Teil fehlen die Protokolle, die den Ablauf und die Fragestellung von Studien festlegen. Das kann dazu führen, dass die Hypothesen erst formuliert werden, wenn die Daten bereits erhoben worden sind. Frei nach dem Motto: Das wollte ich immer schon wissen. 

2. Es wird oft «so lange an den Daten herumgedreht bis der so genannte P-Wert klein genug ist», sagt Leonhard Held. Der P-Wert zeigt an, wie stark die Evidenz für eine wissenschaftliche Hypothese ist. Ist der P-Wert klein genug (unter 0.05) gilt das Resultat als signifikant, das heisst als gesicherte neue wissenschaftliche Erkenntnis.

3.  In vielen Studien wird mit zu kleinen Fallzahlen oder mit zu wenig Probanden gearbeitet. Das macht sie wenig aussagekräftig und erhöht das Risiko dass ein signifikantes Ergebnis falsch positiv ist.

4. Wissenschaftliche Journals publizieren tendenziell nur «sexy Ergebnisse, tolle Erkenntnisse, die eben signifikante Unterschiede aufzeigen», sagt Leonhard Held. Das erhöht den Druck auf die Forschenden, zu solchen Resultaten zu kommen. Negative Studienergebnisse dagegen werden eher nicht veröffentlicht.

Roger Nickl ist Redaktor des UZH Magazins.

1 Leserkommentar

Philipp Glatt schrieb am Reproduktion fördern Würde es darüber hinaus nicht helfen, wenn an sich mehr Experimente reproduziert werden bzw. wenn sich die Forschung verpflichten würde, einen Teil ihrer Ressourcen für die Reproduktion von Experimenten und Studien zu verwenden?

Kommentar schreiben

Die Redaktion behält sich vor, Kommentare nicht zu publizieren. Unberücksichtigt bleiben insbesondere anonyme, ehrverletzende, rassistische, sexistische, unsachliche oder themenfremde Kommentare sowie Beiträge mit Werbeinhalten.

Anzahl verbleibender Zeichen: 1000