Auch wenn sich (fast) alle einig sind, dass es eine extrem problematische Verkürzung ist, wissenschaftliche Arbeit auf bibliometrische Statistiken (Publikationszahlen, Zitationen, h-Index) zu reduzieren, so werden Wissenschaftler*innen trotzdem vor allem daran gemessen, wie viel sie publizieren und welchen Impact Factor die Zeitschriften haben, in denen sie es tun. Weil dies vergleichsweise einfach zu messen ist. So sind Menschen im Vorteil, die (a) gut vernetzt sind (und daher oft eingeladen werden, ein paar Zeilen zu einem Artikel beizusteuern; außerdem werden sie dann relativ häufig von ihren vielen Kolleg*innen zitiert), (b) ein Talent für die Wiederverwertung ihrer Forschungsergebnisse haben (es ist erstaunlich, wie viele Artikel man aus einer Studie machen kann, wenn man sie geschickt portioniert) und nicht zuletzt (c) denen das Aufschreiben ihrer Forschungsergebnisse leicht fällt. Des Weiteren gibt es Unterschiede in der „typischen“ Publikationsintensität (einschließlich des Zitationspotenzials) je nach Disziplin, Art der Forschung (konzeptionell–theoretisch vs. empirisch; Grundlagen- vs. angewandte Forschung) und Thema. Doch selbst wenn man von all diesen Problemen der „Output-Fokussierung“ absieht, fällt dabei zusätzlich die Kehrseite der wissenschaftlichen Publikationstätigkeit unter den Tisch – der Peer-Review. Dabei ist seine Bedeutung für die Wissenschaft kaum zu überschätzen.

Bevor eine wissenschaftliche Publikation veröffentlicht wird, muss sie zunächst bei einer passenden Zeitschrift eingereicht werden. Darüber, ob das eingereichte Manuskript thematisch zu der Zeitschrift (bzw. dem Journal, so der wesentlich verbreitetere Anglizismus) passt und ob es Grundvoraussetzungen bezüglich Länge, Struktur (Klassiker: Einleitung – Methoden – Ergebnisse – Diskussion – Schlussfolgerungen) und ggf. Formatierung erfüllt, entscheidet eine Herausgeberin (Editor). Die Herausgeber*innen sind in dem von der Zeitschrift abgedeckten Forschungsfeld tätige Wissenschaftler*innen, die diese Arbeit ehrenamtlich tun (eine Ausnahme bilden die professionellen Editorial Teams von „großen“ Zeitschriften wie Nature oder Science). Sie werden dafür nicht bezahlt; doch immerhin ist Herausgeberschaft einer Zeitschrift eine anerkannte und prestigeträchtige Tätigkeit (sofern die Zeitschrift selbst einen gewissen Status hat). Der Verlag stellt in der Regel die Serverkapazitäten sowie ein online submission system (über das Manuskripte eingereicht werden können) bereit und übernimmt das Lektorat und die Formatierung von angenommenen Beiträgen.

Die eigentliche Hauptarbeit besteht jedoch darin, die wissenschaftliche Qualität des eingereichten Manuskripts zu beurteilen: sind die präsentierten Erkenntnisse neu? Sind sie relevant? Sind die angewandten Methoden adäquat und ihre Anwendung nachvollziehbar? Ist die Interpretation der Ergebnisse nachvollziehbar und angemessen? Diese Einschätzung kann nicht von den Herausgeber*innen selbst vorgenommen werden – bei einer typischen, halbwegs bekannten Zeitschrift in meinem Feld (Umwelt-/Ökologische Ökonomik) gehen pro Tag durchschnittlich ca. 3–5 neue Manuskripte ein. Auch wenn solche Zeitschriften meistens mehrere Herausgeber*innen haben (eine Editor-in-Chief und mehrere Co-Editors, die sich die Arbeit teilen), so ist die Herausgeberschaft doch nur ein Nebenjob; da kann man sich nicht jeden Tag ein Manuskript ansehen. Zumal einem oft die Expertise fehlt. Daher wird diese Arbeit an andere Wissenschaftler*innen, die in dem Feld tätig sind, „abgegeben“ – man bekommt dann von der Zeitschrift eine Anfrage, ob man denn bereit wäre, bis zu einer Deadline ein Manuskript als Peer (etwa: Kollegin im weiteren Sinne) zu begutachten (reviewen). In meinem Feld bekommt man dafür üblicherweise ca. 20 Tage.

Nun bedeutet Peer-Review aber viel Arbeit. Typischerweise braucht man 1–2 Arbeitstage, um das Manuskript gründlich durchzulesen, seine wissenschaftliche Qualität einzuschätzen und die Einschätzung klar und verständlich zu formulieren – in der Regel eine kürzere Version für die Herausgeberin (mitsamt einer Empfehlung; die Standardvarianten sind: (i) accept [sofort annehmen – extrem selten]; (ii) minor revision [annehmen nach geringfügigen Änderungen/Anpassungen]; (iii) major revision [umfassendere Überarbeitungen; nach Wiedereinreichen folgt in der Regel erneut Peer-Review, möglichst durch dieselben Gutachter*innen]; (iv) reject [ablehnen, bei „nicht zu rettenden“ Manuskripten; bei manchen Zeitschriften gibt es neuerdings auch die Option „reject but encourage resubmission“, z. B. wenn die Daten interessant sind, aber völlig neu analysiert werden müssen]) und eine längere und ausfühlichere Version für die Autor*innen.¹ Nur relativ selten sind die Manuskripte so interessant und bereits so gut, dass es wirklich Freude macht, sie zu begutachten – meistens ist es eher anstrengend. Als Gutachterin hat man zunächst keinen tangiblen Nutzen, weil Peer-Review in den meisten Fällen anonym ist. Natürlich weiß man als Gutachterin, dass Peer-Review essentiell ist – zum einen als „öffentliches Gut“, weil mit seiner Qualität die wissenschaftliche Qualität von Publikationen steht und fällt; zum anderen aber auch als eine Dienstleistungen an die Autor*innen, denn Peer-Review hilft in sehr vielen Fällen tatsächlich, den Artikel besser zu machen (auch wenn es erst einmal nervig ist, wenn man zu einer major revision aufgefordert wird). Doch es handelt sich hier um ein typisches soziales Dilemma – insgesamt ist ordentlicher, gewissenhafter Peer-Review enorm wichtig; individuell bedeutet es aber (a) Arbeit, die (b) nicht anerkannt wird. Und das relativ häufig, denn normalerweise wird ein Manuskript von 2–5 Peers begutachtet – das bedeutet aber, dass man im Schnitt etwa dreimal so viele Manuskripte pro Zeiteinheit begutachten müsste, wie man selbst als Autorin generiert. Und oft muss man, da major revision eine typische Empfehlung ist, ein Manuskript zweimal begutachten, bevor es veröffentlicht werden kann (das zweite Mal ist zwar theoretisch weniger aufwendig; doch da man in der Zwischenzeit meist vergessen hat, worum es eigentlich ging und was man warum an dem Manuskript auszusetzen hatte, sitzt man am Ende auch beim zweiten Mal, beim „Abnicken“ der Revision, eine Weile dran).

Die Konsequenzen von alledem sind:

1. Man hat als Herausgeberin beträchtliche Schwierigkeiten, Gutachter*innen zu finden, insbesondere bei kleineren Zeitschriften und „nischenhaften“ Forschungsfeldern.
2. Man muss als Autorin mitunter ziemlich lange auf die Gutachten warten, denn die von der Zeitschrift vorgegebenen Deadlines sind mit keinerlei Sanktionsmöglichkeiten verbunden, falls die Gutachterin in Verzug kommt – und das passiert häufig. Um ein Beispiel zu nennen: ich habe am 7. Juli dieses Jahres ein Manuskript bei einer Zeitschrift eingereicht und warte Mitte Dezember immer noch auf Gutachten.
3. Es ist vielleicht nicht die Regel, aber man bekommt doch hin und wieder Gutachten, die „auf die Schnelle“ geschrieben wurden, bei denen man merkt, dass die Gutachterin sich nicht die Zeit genommen hat, die man eigentlich braucht, um ordentlichen Peer-Review zu machen.

Abgesehen von diesen drei Problemen gibt es natürlich weitere: dass Wissenschaftler*innen auch nur Menschen sind, sodass man unter Gutachter*innen und Herausgeber*innen aus reinen Statistikgründen hin und wieder Arschlöchern begegnet (man sitzt als Autorin aber eindeutig am kürzeren Hebel…); dass es zwar selten, aber regelmäßig zu Plagiat und Behinderungen kommt, wenn die Gutachterin gerade ähnliche Forschung betreibt; dass bei single-blind-Systemen (dazu gleich) als bekannte Autorin mitunter mit mehr „Milde“ behandelt wird; etc.

Nun hat man sich zu vielen dieser Problemen Lösungsansätze überlegt. Leider sind sie in manchen Fällen widersprüchlich. Das prominenteste und am weitesten diskutierte Beispiel ist die Frage der Anonymität im Peer-Review. Relativ klar ist, dass single-blind Peer-Review, bei dem die Gutachterin sieht, wer die Autor*innen sind, aber selbst anonym bleibt, recht absurd und nicht zielführend ist (nichtsdestotrotz bspw. bei Elsevier-Zeitschriften sehr verbreitet). Es ist mir kein Argument für dieses System bekannt. Für die zwei Alternativen, offener Peer-Review und double-blind Peer-Review, findet man dahingegen jeweils gute Argumente. Der Hauptvorteil des double-blind Peer-Review, bei dem beide Seiten füreinander anonym sind, ist, dass niemand wegen ihres/seines Namens bevorzugt oder benachteiligt wird. Das ist gerade für Nachwuchswissenschaftler*innen von Vorteil. Der offene Peer-Review dahingegen hat Vorteile für beide Seiten: Anerkennung für Gutachter*innen, Aussicht auf schnellere und ordentliche Gutachten für Autor*innen (weil die nicht-anonyme Gutachterin einen Anreiz hat, ihre Arbeit gut zu machen). Aus Sicht des Systems läuft man hier allerdings die Gefahr, dass Gutachten „zu nett“ werden, und das „scheue“ Wissenschaftler*innen sich zurückziehen. Das „große-Namen-Problem“ ist damit definitiv auch nicht gelöst.

Das Problem, dass manche Gutachter*innen Arschlöcher sein können (und z. B. unangemessene viele Änderungen fordern, bspw. weil ihnen ein methodischer Ansatz „nicht passt“; oder wenn sie ihre Erwartungen zwischen der ersten und zweiten Peer-Review-Runde ändern), kann eigentlich nur von Herausgeber*innen gelöst werden – denn sie sind diejenigen, die letztlich die Empfehlungen an die Autor*innen aussprechen, auf Grundlage sowohl der Gutachten als auch der eigenen Einschätzung. Das schützt aber nicht wirklich von fiesen Herausgeber*innen; außerdem ist es Herausgeber*innen nicht immer möglich, unangemessene Forderungen seitens der Gutachter*innen als solche zu erkennen, z. B. weil ihnen die nötige Expertise fehlt.

Das Kernproblem des Peer-Review ist und bleibt aber, dass es nicht „anreizkompatibel“ ist – man erwartet von Gutachter*innen hochwertige, pünktliche Gutachten; man entlohnt sie aber nicht für diese Arbeit. Solange dem so ist, bleibt das soziale Dilemma bestehen.

Ein Ansatz, den zumindest die (für die Autor*innen) kostenpflichtigen Open-Access-Zeitschriften immer häufiger nutzen, besteht darin, den Gutachter*innen im Falle des Einhaltens der Deadline oder einer besonders schnellen Erstellung des angefragten Gutachtens einen Rabatt für ihre eigene nächste Einreichung anzubieten. So motiviert man Gutachter*innen dazu, ihre Gutachten möglichst schnell und pünktlich zu verfassen – allerdings nicht unbedingt, es auch gewissenhaft und qualitativ hochwertig zu tun. Manche Zeitschriften publizieren am Ende des Jahres Listen aller Gutachter*innen, die im Laufe dieses Jahres die Zeitschrift im Rahmen des Peer-Review unterstützt haben. Dies ist eine Form der Anerkennung insbesondere durch die Leserschaft der Zeitschrift; der eigenen Vorgesetzten gegenüber ist es weniger leicht kommunizierbar, weil man üblicherweise für mehrere verschiedene Zeitschriften Gutachten beisteuert. Wiederum andere Zeitschriften veröffentlichen mit jedem Artikel die Liste der Gutachter*innen, die seine wissenschaftliche Qualität eingeschätzt haben (so wie es auch inzwischen verbreiteter Standard ist, die Eckdaten des Veröffentlichungsprozesses für jeden Artikel anzugeben: wann wurde es eingereicht? Wann überarbeitet wiedereingereicht? Wann angenommen? Wann erschienen?).

Mein persönlicher Favorit bis dato ist Publons, weil es die relevanten Informationen bündelt. Das Grundprinzip ist ähnlich wie bei ResearchGate, wo man als Wissenschaftlerin ein Profil anlegen kann, um seine Publikationen zu verbreiten, sich mit anderen Wissenschaftler*innen zu vernetzen und auszutauschen – RG generiert für jedes Profil Statistiken, u. a. bezüglich der Publikationsstärke. Bei Publons geht es nicht um die Publikationen, die man veröffentlicht hat, sondern um Gutachten, die man geschrieben hat. Das System funktioniert relativ einfach – nach dem Abschluss eines Gutachtens bekommt man vom Online-System des Verlags typischerweise eine automatisch generierte Dankes-e-Mail. Diese leitet man dann einfach an Publons weiter, und innerhalb einiger Tage wird das Gutachten in die Statistik des eigenen Publons-Profils aufgenommen. Je nach Verlag schwankt der Informationsgehalt – das Minimum ist eine Angabe wie in dem Foto unten (Jahr – Zeitschrift), in manchen Fällen kann man aber z. B. auch den Text des Gutachtens hochladen (nach der Veröffentlichung des Manuskripts); bei offenem Peer-Review steht dann auch der Titel des begutachteten Manuskripts da.

Derzeit ist Publons noch relativ unbekannt. Sollte es sich aber durchsetzen (was ich hoffe), böte es eine Möglichkeit, seine Gutachtertätigkeit nach außen zu kommunizieren und damit eine gewisse Anerkennung ernten. Insbesondere in Kombination mit offenem Peer-Review hätte dies großes Potenzial, die Anreizinkompatibilität des derzeitigen Systems zu mildern.

Im Großen und Ganzen ist es aber wohl – wie richtigerweise von Manu E. Saunders auf ihrem sehr empfehlenswert Blog Ecology is not a dirty word angemerkt – vor allem eine Frage der Kultur. Als Wissenschaftlerin gehört es sich schlicht, regelmäßig am Peer-Review teilzunehmen und so anderen Wissenschaftler*innen dabei helfen, ihre Forschung auf eine angemessene und für die jeweilige Forschungsgemeinschaft relevante und interessante Art und Weise zu kommunizieren. Dass diese Kultur Nachwuchswissenschaftler*innen vermittelt wird, ist hier zentral. Gleichwohl heißt es in der Ethik zurecht „ought implies can“ – als Gutachterin braucht man Zeit, ggf. Zugang zu ergänzender Literatur, gerade am Anfang auch Unterstützung. Die hier so wichtige Kultur kann sich nur innerhalb eines passenden strukturellen Rahmens entfalten. Und zu dem gehört es dazu, die Bedeutung des Peer-Reviews für die Qualität der Wissenschaft expliziter anzuerkennen.

Fußnoten

1. Es ist eine Kunst, gute Gutachten zu schreiben. Diese Kunst muss man als Nachwuchswissenschaftlerin mühsam erlernen (möglichst auch, indem man reflektiert, was die Gutachten, die man selbst bekommt, gut oder schlecht macht); nichtsdestotrotz gibt es erschreckend viele erfahrene Wissenschaftler*innen, die diese Kunst eigentlich nicht beherrschen. Daher werden regelmäßig Leitlinien veröffentlicht, wie z. B. diese hier (gerichtet an Ökonom*innen, aber größtenteils auch auf andere Felder anwendbar).