Nachwuchsförderung

Die Krux mit dem Impact Faktor

An der gestrigen Jahresveranstaltung des Graduate Campus der UZH ging es um brisante Fragen: Wie können Forschungsleistungen fair eingeschätzt werden und welche Kriterien sollen dabei zum Zuge kommen? Zudem erhielten drei Nachwuchsforschende den Mercator Award 2015. 

Marita Fuchs1 Kommentar

Ausgezeichnet mit dem Mercator Award: Gregor Philipp Reich, Carolin Anders und Simone Pfenninger (v.l.n.r.)  (Bild: Marita Fuchs)

Für die Bewertung wissenschaftlicher Leistungen werden häufig quantitative Grössen herangezogen, deren Aussagekraft bisweilen bezweifelt wird: der sogenannte Impact- und der Hirsch-Faktor. Der Impact-Faktor einer Zeitschrift errechnet sich aus der Anzahl der zitierten Artikel im Verhältnis zur Gesamtzahl der Artikel über einen Zeitraum von zwei Jahren. In Zeitschriften mit hohem Impact-Faktor zu publizieren erhöht das Ansehen der Forschenden. Zusätzlich wertet man den so genannten Hirsch-Faktor aus. Je mehr Arbeiten ein Forscher publiziert und je häufiger diese zitiert werden, desto höher der Hirsch-Faktor.

Doch wie viel sagen diese quantitativen Bewertungsregeln wirklich aus über die Qualität einer Wissenschaftlerin, eines Wissenschaftlers? Darüber diskutierten gestern im Rahmen der Jahresveranstaltung des Graduate Campus Rektor Michael Hengartner, Wirtschaftsprofessorin Margit Osterloh, Literaturprofessorin Sylvia Sasse, Juliane Schiel, Oberassistentin am Historischen Seminar der UZH, und Peter Meier-Abt, Präsident der Schweizerischen Akademie der Medizinischen Wissenschaften.

Es wurde deutlich, dass die jeweilige Fachzugehörigkeit der Diskutanten die Einstellungen zu den Messverfahren prägen. Alle waren sich jedoch einig, dass rein quantitative Methoden bei weitem nicht ausreichen, um Exzellenz zu messen. Fazit: Es müssen neue Wege gesucht werden, um aus den althergebrachten Bewertungsschlaufen herauszufinden.

Wie ist Exzellenz messbar? Zu diesem Thema diskutierten Michael Hengartner, Sylvia Sasse, Juliane Schiel, Margit Osterloh, Peter Meier-Abt (v.l.n.r.). Ganz links im Bild ist die Moderatorin Katja Gentinetta. (Bild: Marita Fuchs)

Da hapert es!

Peter Meier-Abt sprach aus der Sicht des Mediziners und Naturwissenschaftlers. Seiner Meinung nach läuft etwas falsch bei der Evaluation von Forschungsleistungen. In der frühen Forschungsphase, etwa in der Zeit als Post-Doc, sei es schwierig, eine faire und seriöse Evaluation zu bekommen, die möglichst alle Kompetenzen mit einbeziehe. Nachwuchsforschende seien abhängig von Leitungspersonen, die ebenfalls noch Karriere machen wollten. Post-Docs, deren Artikel kleine Impact-Faktoren aufwiesen, würden schnell einmal fallen gelassen. «In dieser Zeit werden die Jungen geopfert», sagte Meier-Abt. «Da hapert es!»

Qualitative Parameter müssten besser berücksichtigt werden, forderte Meier-Abt und zeigte an einem Beispiel, wie es nicht sein sollte: Ein Mediziner, 30 Jahre alt, hat 67 Publikationen vorzuweisen, keine davon wurde mehr als zwei Mal zitiert. «Das ist reine Quantität», sagte Meier-Abt. «Hier muss man unbedingt andere Kriterien hinzuziehen, die auch qualitative Aspekte mit einbeziehen», sagte er. Wichtig seien auch die Peer-Review-Prozesse: Die Expertinnen und Experten müssten die Arbeiten ihrer Kolleginnen und Kollegen eingehend studieren und sorgfältig nach ihrem Erkenntniswert beurteilen.

Nicht messbar, aber beurteilbar

Sylvia Sasse, Lehrstuhlinhaberin für Slavische Literaturwissenschaft, betonte, dass in den Geisteswissenschaften Exzellenz nicht messbar sei. «Sie ist aber beurteilbar.» Allein der Begriff der Messbarkeit zeige einen Trend an: Die Geisteswissenschaften würden zunehmend anhand von Kriterien aus den Sozial- und Naturwissenschaften beurteilt.

«Was wird beim Messen eigentlich gemessen?», fragte sie. «Ich kann mir keine Situation vorstellen, in der ich die Menge der Publikationen ihrem Inhalt vorziehen würde.» In der Literaturwissenschaft mache das Bemessen nach Impact-Faktoren überhaupt keinen Sinn, auch deshalb, weil diese auf Zeitschriften-Publikationen ausrichtet seien. Das Buch als wichtigstes Publikationsmedium der Geisteswissenschaften werde zu wenig berücksichtigt, konstatierte Sasse.

Das wirke sich auch auf die Vergabe der Forschungsmittel aus. Schon bei der Antragstellung würden Vorgaben gemacht, die mit geisteswissenschaftlicher Forschung nicht mehr viel zu tun hätten. «Ich habe zum Beispiel bei der Antragstellung für den ERC-Grant viele Ratschläge bekommen, wie ich den Antrag gestalten soll», erzählte Sasse. «Diese Ratschläge habe ich nicht berücksichtigt, weil ich meinen Forschungsgegenstand nicht in Folien, Tabellen oder Diagramme pressen wollte.»

Es sei eine Aufgabe der Geisteswissenschaften, Messkriterien und -methoden kritisch zu beleuchten und zu fragen, wer die Debatte anstösst und wer sie in Gang hält, sagte Sasse.

«Wir rekrutieren Menschen»

Rektor Michael Hengartner ist Mitunterzeichner der San Francisco Declaration on Research Assessment (DORA). Die DORA verfolgt das Ziel, dass quantitative Kriterien wie etwa der Impact-Faktor mit Augenmass angewandt werden und auf Dauer vermehrt qualitative Methoden in der Wissenschaftsbeurteilung zum Zuge kommen. Für ihn zähle der Impact-Faktor praktisch gar nicht, sagte Hengartner und zitierte Einstein: Nicht alles, was zählt, kann gezählt  werden und nicht alles, was man zählen kann, zählt. «Wir rekrutieren Menschen», betonte Hengartner. Uns interessiert, was diese Menschen für Ideen haben, wo sie hinwollen, ob sie teamfähig, clever und stimulierend sind.

Ein verrücktes Mass

Margit Osterloh, emeritierte Wirtschaftsprofessorin der UZH, wies darauf hin, dass in der Wissenschaft dem Impact-Faktor im Allgemeinen immer noch ein starkes Gewicht beigemessen werde. Es heisse dann, er oder sie habe «gut» publiziert. «Aber der Impact-Faktor ist ein absolut verrücktes Mass!», stellte sie fest. Wenn zwei von drei Aufsätzen zum Beispiel niemals, der dritte aber über zwei Jahre hinweg 300 Mal zitiert würde, werde ein Impact-Faktor von vier bis sechs erreicht.  Bei einer solch schiefen Verteilung sage das überhaupt nichts aus. Wie kann es sein, dass der Impact-Faktor sich trotzdem im Wissenschaftsbetrieb hält?

«Es ist der so genannte Lock-In-Effekt», stellte Osterloh fest. Obwohl die Forschungsgruppenleiterinnen und -leiter sich der Idiotie dieses Verfahrens bewusst seien, werde die Vergabe der Ressourcen weiterhin davon abhängig gemacht. Diesen Lock-In-Effekt zu durchbrechen, stehe dringend an.

Juliane Schiel, Post-Doc-Vertreterin am Graduate Campus und Oberassistentin am Historischen Seminar, betonte, dass der Impact-Faktor in ihrem Fach keine Rolle spiele. «Allerdings weiss ich auch, dass man bei einer Bewerbung um eine Professur mit hundert Kandidatinnen und Kandidaten Kriterien finden muss», sagte sie und plädierte für ein seriöses Peer-Review-Verfahren.

Alle Podiumsteilnehmer waren sich einig, dass nach neuen Kriterien für die Beurteilung von Exzellenz gesucht werden müsse, um das Vertrauen in die Messverfahren aufrecht zu erhalten. Ausschliesslich quantitative Faktoren reichen bei weitem nicht aus. Ausserdem seien Peer-Review-Verfahren nicht immer zuverlässig genug.

Mercator Awards Im Anschluss an die Jahresveranstaltung des Graduate Campus wurden die Mercator Awards an Nachwuchsforschende der UZH verliehen. Preisträgerinnen und Preisträger 2015: Carolin Anders, Biochemisches Institut Dr. Simone Pfenninger, Englisches Seminar Gregor Philipp Reich, Institut für Betriebswirtschaftslehre Videoportraits der einzelnen Preisträger werden demnächst auf der Website des Graduate-Campus veröffentlicht.

Marita Fuchs, Redaktorin UZH News.

1 Leserkommentar

Saeed Saman schrieb am quality counts! It is both nice and sad to read this article at UZH webpages. I was just recently refused access to PhD studies at UZH, even though both my advising professor and the respective faculty at UZH had admitted me to the PhD program. The reason given by the central Admissions Office was that at the time of my graduation from MSc studies, my home university did not provide PhD programs. I provided various proofs and evidences that my MSc studies give access to PhD studies, but no body at UZH cared. Only because in Switzerland and Germany there are institutions whose content of Master programs are not deemed as sufficient for getting access to PhD studies, the Admissions Office of UZH imposes such doubts on people having graduated from university colleges in European countries as well! So After that unbelievably in-academic decision, it is rather sad to read here, that in UZH the staff say that quality counts more than formalities!

Kommentar schreiben

Die Redaktion behält sich vor, Kommentare nicht zu publizieren. Unberücksichtigt bleiben insbesondere anonyme, ehrverletzende, rassistische, sexistische, unsachliche oder themenfremde Kommentare sowie Beiträge mit Werbeinhalten.

Anzahl verbleibender Zeichen: 1000