Arbeitet man in der Wissenschaft, findet man recht schnell (und oft auf schmerzhafte Art und Weise), was Peer-Review ist und wie er funktioniert. Und auch in den Medien ist zumindest der Begriff spätestens im Zuge der Pandemie immer präsenter geworden, zum Beispiel wenn davor gewarnt wird, Forschungsergebnisse aus sogenannten Preprints für bare Münze zu nehmen. Inzwischen gibt es daher auch einige Erklärungen, was der Peer-Review genau ist, welche Rolle er spielt, wie er funktioniert und welche Tücken mit ihm einhergehen. Trotzdem ist mein Gefühl, dass ein bisschen mehr Aufklärungsarbeit nicht schaden würde.

Was ich im Folgenden schreiben werde, basiert auf meinen eigenen Erfahrungen aus ca. 30 peer-reviewten (deutsch: begutachteten oder rezensierten) eigenen Publikationen sowie etwas über 80 selbst verfassten Gutachten. Denn Peer-Review bedeutet für die meisten learning-by-doing: weder im Studium noch in den meisten Promotionsprogrammen wird einem eine systematische Einführung in Peer-Review gegeben.

Was ist Peer-Review?

Einfach ausgedrückt ist der Peer-Review der wichtigste Mechanismus zur Sicherung der wissenschaftlichen Qualität und Zuverlässigkeit von wissenschaftlichen Publikationen. Die Idee: bevor ein Fachartikel veröffentlicht wird, schauen sich ihn mehrere unabhängige Peers, d. h. Kolleg:innen mit relevanter Expertise an, um festzustellen, ob der Inhalt wissenschaftlichen Standards (Methoden, Transparenz, Präsentation und Interpretation der Ergebnisse) entspricht. Erst wenn die Gutachter:innen zufrieden sind und grünes Licht geben, wird der Artikel veröffentlicht. Soweit die grobe Idee.

Wie funktioniert es? Autor:innen-Sicht

Zunächst schauen wir uns den Prozess aus Sicht der Autor:innen an. Am Anfang steht eine Studie: ein Experiment, eine Feldstudie, eine Analyse von Sekundärdaten, eine Zusammenfassung vorliegender Literatur zum Thema (sog. Literature Review), ein theoretischer oder konzeptioneller Beitrag. Die Ergebnisse dieser Studie, mitsamt einer transparenten Darstellung der Methoden, Einbettung in vorhandene Literatur zum Thema sowie Interpretation der Ergebnisse (Was lernen wir daraus?), werden anschließend in ein Manuskript gegossen. Je nach Disziplin und Projektkontext wird bereits ein noch nicht begutachtetes Manuskript veröffentlicht – als Projektbericht, als Diskussions- bzw. Arbeitspapier (in der Ökonomik ist diese Option sehr wichtig) oder zunehmend als Preprint auf sogenannten Preprint-Servern wie bspw. ArXiv. Das ist je nach Kontext sinnvoll und erwünscht, allerdings sind solche Veröffentlichungen mit Vorsicht zu genießen, weil sie (noch) nicht einer externen Qualitätskontrolle unterzogen wurden. Dazu sind nämlich Fachzeitschriften mit dem Peer-Review-Verfahren da. Nichtsdestotrotz sei erwähnt, dass viele Autor:innen ihre Manuskripte bereits vor der Einreichung bei einer Fachzeitschrift Kolleg:innen zum Gegenlesen geben (diese tauchen dann üblicherweise in der Danksagung/den Acknowledgments auf) – eine Art informeller Peer-Review.

Spannend für die Autor:innen wird es allerdings erst, wenn sie das Manuskript bei einer thematisch und disziplinär passenden Fachzeitschrift einreichen. Damit beginnt eigentlich schon der formale Peer-Review-Prozess. Allerdings kann dieser oft sehr schnell enden, nämlich durch eine sogenannte desk rejection, d. h. wenn bereits die Editor:in der Zeitschrift (~Redakteur:in), die für die Organisation des Peer-Review zuständig ist, das Manuskript ablehnt. Das kann aus verschiedenen Gründen passieren; meistens geht es um offensichtliche qualitative Mängel, fehlende thematische oder disziplinäre Passfähigkeit oder – bei prestigeträchtigen Zeitschriften – nicht ausreichende „Innovation“ der Fragestellung und/oder Methoden und/oder Ergebnisse. Wie dem auch sei – eine desk rejection hat immerhin den Vorteil, dass man sie meistens relativ schnell bekommt. Es ist nämlich nicht der Job der Editors, das Manuskript en detail zu lesen – sie treffen ihre Entscheidung in der Regel auf Grundlage des Abstract (150-200 Wörter lange Zusammenfassung des Manuskripts) und gegebenenfalls des schnell überflogenen Haupttextes.

Kriegt man eine desk rejection, wird das Manuskript in aller Regel zügig bei der nächsten, passfähigeren Zeitschrift eingereicht. Mein bisheriger persönlicher Rekord sind vier desk rejections desselben Manuskripts. Kriegt man keine desk rejection, beginnt der eigentliche Peer-Review-Prozess. Aus Sicht der Autor:innen ist er eine ziemliche Black Box (daher beschreibe ich ihn unten nochmal aus Sicht der Gutachter:innen). Man wird häufig aufgefordert, potenzielle Gutachter:innen vorzuschlagen (die auf Befangenheit geprüft werden, d. h. sie sollten mit den Autor:innen nicht zusammengearbeitet oder in einem Betreuungsverhältnis gestanden haben). Ob die Editor:in diesen Vorschlägen folgen wird, weiß man allerings nicht. In der Regel ist der Begutachtungsprozess nämlich mindestes single-blind (Gutachter:innen sehen, wer die Autor:innen sind, aber nicht andersherum), oft double-blind (beide Seiten sind einander anonym). Offene Peer-Reviews werden häufiger, sind aber immer noch eine Ausnahme – und auch da werden die Gutachter:innen teilweise erst nach Abschluss des Prozesses bekannt gegeben.

Das Manuskript landet also in einer Black Box – und es bleibt dort eine Weile. Ein paar Wochen sind das Minimum, mit dem man zu rechnen hat, ein paar wenige Monate sind nicht unüblich, länger kommt auch vor. Und dann kriegt man irgenwann eine E-Mail von der Editor:in, in der oft bereits in der Betreffzeile, spätestens am Anfang des Textes das Urteil steht, das die Editor:in auf Grundlage der Gutachten (meist zwei bis vier) getroffen hat. Vier Möglichkeiten gibt es dabei normalerweise:

• Accepted: das Manuskript wird in der eingereichten Form ohne Auflagen zur Publikation angenommen; kommt praktisch nie vor.
• Minor revisions: es gibt Auflagen, man muss das Manuskript also überarbeiten; die Auflagen sind allerdings geringfügiger Natur und das überarbeitete Manuskript wird nicht nochmal zum Review rausgeschickt – hurra! (Kommt vor, aber auch eher selten, gerade bei besseren Zeitschriften)
• Major revisions: die Auflagen sind umfassender/grundlegender (z. B. Überarbeitung der Analysen, zusätzliche Analysen, Umschreiben größerer Manuskriptteile) und zumindest ein Teil der Gutachter:innen wird die Überarbeitungen nochmal vorgelegt bekommen (sogenannte „zweite Runde“).
• Rejected: die Gutachter:innen fanden das Manuskript qualitativ so problematisch und durch Überarbeitungen „nicht zu retten“, dass es doch noch abgelehnt wird.

Optionen 2 und 3 werden in manchen Disziplinen auch als Revise & Resubmit, kurz R&R bezeichnet.

Je nach Urteil muss man als Autor:innen entsprechend reagieren. Sowohl bei Revisions als auch bei Rejections bekommt man mehr oder weniger umfassende Gutachten. Im Falle einer Überarbeitung wird erwartet, dass man auf alle Kommentare und Anmerkungen der Gutachter:innen (und ggf. der Editor:in, die manchmal eine aktivere Rolle spielt) in einem Response Letter antwortet – selbst oder gerade wenn man mit ihnen nicht einverstanden ist und einzelne von ihnen nicht zu befolgen gedenkt, was zulässig ist, aber einen hohen Begründungsaufwand bedeutet. Sind alle Kommentare eingearbeitet und beantwortet, reicht man das überarbeitete Manuskript erneut ein. Nach einer minor revision wird es meist bald angenommen; nach einer major beginnt der Prozess von Neuem und jede der oben genannten vier Optionen kann das Ergebnis sein (auch eine Ablehnung, z. B. wenn die Gutachter:innen die Annahme an eine Bedingung geknüpft haben, die die Autor:innen im Zuge der Überarbeitung nicht zu erfüllen vermögen), auch wenn eine anschließende minor revision wohl am häufigsten vorkommt. Der Prozess kann aber grundsätzlich in mehreren Runden ablaufen (manche Zeitschriften begrenzen ihre Zahl – wenn die Gutachter:innen z. B. nach der zweiten Runde immer noch nicht zufrieden sind, fliegt das Manuskript raus), bis das Manuskript irgenwann zur Publikation angenommen oder endgültig abgelehnt wird. Im Letzteren Fall empfiehlt es sich, vor der Einreichung anderswo das Manuskript entsprechend den Kommentaren der Gutachter:innen zu überarbeiten, auch wenn man das nicht tun muss.

Zuletzt sei noch gesagt, dass der Prozess für die Autor:innen sehr frustrierend sein kann. Er dauert oft sehr lange, gerade, wenn man abgelehnt wird und der Prozess anderswo neu starten muss (persönlicher Rekord: 7 Ablehnungen, davon 3 desk rejections, aktuell ist das Manuskript bei der achten Zeitschrift, seit erster Einreichung sind über 1000 Tage vergangen). Die Gutachter:innen und Editors sind nicht immer wohlwollend, ihre Kommentare – mit denen man sich auseinandersetzen muss, nolens volens – können schwer verständlich, überzogen oder schlicht unsinnig sein. Es kommt auch vor, dass die Gutachten und die kommunizierte Entscheidung nicht zusammenpassen. Im Ideal- und wohl auch Regelfall führt der Prozess allerdings tatsächlich zur Verbesserung der Qualität des Manuskripts – Fehler werden gefunden und korrigiert, Transparenz der Methodik wird erhöht, Ergebnisse werden besser präsentiert und die Qualität ihrer Interpretation wird verbessert. Wenn das passiert, hat der Peer-Review-Prozess seinen Zweck erfüllt.

Wie funktioniert es? Gutachter:innen-Sicht

Als Nachwuchswissenschaftler:in lernt man den Prozess in der Regel zunächst aus Autor:innen-Sicht kennen; erst später bekommt man auch die andere Seite zu sehen. Das liegt nicht daran, dass man sich erst beweisen müsste oder dass Gutachter:innen zwangsläufig erfahrene Wissenschaftler:innen sein müssten – heutzutage ist es für Editors so schwer geworden, Gutachter:innen zu finden, dass sie froh sind, wenn jemand zusagt, erfahren oder nicht. Jedoch sind eigene Publikationen das einfachste „Signal“, mithilfe dessen man (ungewollt) kommuniziert, dass man (a) existiert und (b) in einem bestimmten Feld über Expertise verfügt.

Und dann landet irgendwann eine Einladungs-E-Mail im Postfach – man wird gebeten, für eine Zeitschrift, die man möglicherweise, aber nicht zwangsläufig kennt, ein Manuskript zu begutachten. Üblicherweise enthält die E-Mail den Titel und Abstract des zu begutachtenden Manuskripts, sodass man als potenzielle Gutachter:in sich ein Bild davon machen kann, ob man über die notwendige Expertise tatsächlich verfügt. Dabei wird von einem nicht unbedingt erwartet, dass man alle Aspekte perfekt einschätzen kann – oft reicht es, Expert:in bezüglich der Methodik zu sein, auch wenn man vom Anwendungskontext keine Ahnung hat (oder auch anders herum). Idealerweise sucht die Editor:in die Gutachter:innen so aus, dass alle Aspekte des Manuskripts gut eingeschätzt werden können. Die Betonung liegt auf idealerweise: aufgrund der Schwierigkeiten, willige Gutachter:innen zu finden, wird oft auf Grundlage von einfachen Schlagworten gesucht, sodass ich bspw. Einladungen bekomme, bodenkundliche Manuskripte zu begutachten, weil ich in mich in meiner Forschung mit Bodenschutzpolitik befasse. Oft muss ich jedoch ablehnen, weil ich eben kein Bodenkundler bin – wenn in dem Manuskript sozialwissenschaftliche Fragen keine Rolle spielen, fehlt mir die Expertise, auch wenn auf meinen Publikationen „soil“ als Schlagwort auftaucht.

Warum ist es so schwer, Gutachter:innen zu finden? Weil Begutachtung freiwillig ist und nicht entlohnt wird. Ein Manuskript zu begutachten kostet Zeit (1-2 Tage, wenn man es ordentlich macht), man macht es aber ehrenamtlich und „nebenbei“. Das trifft übrigens auch weitgehend auf Editors zu (außer bei manchen Zeitschriften wie Nature und Science, die professionelle, fest angestellte Editorial Teams haben), die höchstens eine symbolische Entschädigung bekommen. Aber erstens ist der zahlenmäßige Bedarf nach Editors deutlich geringer (mit dem Job geht allerdings auch deutlich mehr Arbeit einher); zweitens bedeutet Editorsein auch Prestige. Denn um Editor:in zu werden, muss man sich in einem Forschungsfeld behauptet und eine umfassende, verlässliche Expertise bewiesen haben. Als Gutachter:in hingegen bleibt man in aller Regel anonym. Manche Zeitschriften veröffentlichen jährlich Listen von Menschen, die für sie begutachtet haben, und in einigen Zeitschriften werden die Gutachter:innen-Namen inzwischen auch bei der Veröffentlichung eines Artikels genannt. Ersteres interessiert aber kaum jemanden, und Letzteres ist immer noch eine Ausnahme. Letztlich ist das Schreiben von Gutachten ein freiwilliger, ehrenamtlicher Beitrag zu einem öffentlichen Gut – und damit das Peer-Review-System ein soziales Dilemma. Dabei müsste, damit das System funktioniert, jede Wissenschaftler:in etwa 3-4 mal so viele Manuskripte begutachten wie sie selbst veröffentlicht.

Nehmen wir aber an, dass ich kein Trittbrettfahrer bin, die Anfrage von einer ernstzunehmenden Zeitschrift kommt, ich gerade genug Zeit für ein (weiteres) Gutachten habe und über die notwendige Expertise verfüge. Wenn ich Zusage, bekomme ich Zugang zum Manuskript sowie eine gewisse Zeit, das Gutachten einzureichen – üblich sind 1-2 Monate. Gleichwohl hat die Zeitschrift nicht allzu viele Hebel, mich zur Einhaltung der Deadline zu bewegen oder gar zu zwingen. Primär sind es Erinnerungs-E-Mails, die mit umso höherer Frequenz verschickt werden, je näher die Deadline liegt.

Wie begutachtet man ein Manuskript? Leider gibt es dafür keine wirklich allgemeingültigen Standards. Manche Zeitschriften bieten gewisse Richtlinien an, in denen beispielsweise steht, auf welche Kriterien sie einen besonderen Wert legen – oder eben nicht. Z. B. haben Zeitschriften unterschiedliche Erwartungen hinsichtlich der Innovativität der Studien, die sie bereit sind zu veröffentlichen. Bei manchen muss irgendwas (methodisch) substantiell Neues dabei sein, bei anderen reicht es, wenn die Studie qualitativ hochwertig durchgeführt wurde, auch wenn die Methodik Standard ist und nur der Anwendungskontext neu. Selbst wenn solche Richtlinien vorliegen, sind sie nur eine grobe Orientierung. Den Rest muss man sich als Nachwuchswissenschafler:in durch Gespräche mit älteren Kolleg:innen, Hinweise auf Blogs und eine kritische Betrachtung der Gutachten, die man selbst bekommt (Welche sind besonders hilfreich und warum?), selbst erarbeiten. Learning-by-doing ist das Motto.

Da es keine allgemeingültigen Standards gibt, kann ich lediglich beschreiben, wie ich selbst Gutachten erstelle. Ich lese das Manuskript in Ruhe und mache beim Lesen Kommentare, wenn mir irgendwas Problematisches auffällt. Manche Kolleg:innen lesen Manuskripte zweimal – einmal als Ganzes, um sich einen Gesamteindruck zu verschaffen, dann nochmal langsamer, um einzelne zu kommentierende Stellen zu identifizieren. Wenn ich mit dem Lesen fertig bin, lasse ich es meistens kurz „sacken“, um dann meine Kommentare nacheinander durchzugehen und auf ihrer Grundlage mein Gutachten zu schreiben. Dabei fängt man üblicherweise mit größeren Punkten an, die definitiv angepasst/verändert/verbessert werden müssen und oft größere Teile des Manuskripts betreffen. Die Mängel können bspw. die Methodik betreffen, die Notwendigkeit zusätzlicher Analysen, die Darstellung und Interpretation/Diskussion der Ergebnisse. Anschließend listet man all die kleineren Kommentare (wenn man so kleinlich ist wie ich, bis hin zu Tippfehlern), bei denen man erwartet, dass sie einfach „erledigt“ werden, ohne dass sie irgendwie substantiell wären. Es kommt vor, dass ich bei sehr vielen kleinen Punkten (insbesondere, wenn weder Autor:innen noch die Zeitschrift beim Generieren des Review-PDF Zeilennummern eingefügt haben) nur die größeren Punkte ausformuliere und für die kleineren schlicht das kommentierte PDF hochlade, was bei den meisten Zeitschriften inzwischen möglich ist. Ein Gutachten kann einige wenige Zeilen lang sein (sehr selten, bei außergewöhnlich guten Manuskripten), häufiger sind es ein paar Seiten, wobei ein Teil davon nur eine Liste ist, kein zusammenhängender Text. Es kommt allerdings auch vor, dass Gutachten länger sind als das Manuskript selbst.

Ein so oder so ähnlich strukturiertes Gutachten geht dann an die Autor:innen; darüber hinaus hat man als Gutachter:in meist die Möglichkeit, seinen Eindruck für die Editor:in zusammenzufassen und gegebenfalls die finale Empfehlung begründen (diese Kurzeinschätzung sehen die Autor:innen nicht). Letztlich muss man im Online-System, wo man das Gutachten hochlädt, noch die Empfehlung (accept, minor revisions, major revisions, reject) angeben. Et voilà! Der Job ist erledigt. Sollte es eine zweite (dritte, vierte…) Begutachtungsrunde geben, wird man erneut eingeladen – und kann sich dann verweigern, auch wenn es gute Praxis ist, als Gutachter:in eines Manuskripts dieses bis zum Ende des Prozesses zu begleiten. In den nachfolgenden Runden reicht es oft, sich die Antworten der Autor:innen auf die eigenen Kommentare und punktuell die Veränderungen im Manuskript anzuschauen, sodass der Aufwand meist geringer ist als in der ersten Runde. Hat man seinen Job gut gemacht, steht am Ende ein qualitativ hochwertiger Fachartikel, bei dem das übliche „We thank the anonymous reviewers for their valuable comments“ in der Danksagung nicht nur eine Floskel ist.

Funktioniert Peer-Review?

Ja, das tut er. Das System ist keineswegs perfekt und es gibt viele Baustellen: Dauer der Begutachtungsprozesse, wenig konstruktive bis destruktive Gutachter:innen, Wissenschaftler:innen, die auf Begutachtungs-Anfragen nicht reagieren (nicht mal mit einem „Nein“, das eigentlich keinen Aufwand und keinerlei Konsequenzen bedeutet), Umgang mit Konflikten und Widersprüchen unter Gutachter:innen bzw. zwischen Gutachter:innen und Editors, wenig gangbare Widerspruchsmöglichkeiten für Autor:innen, Machtasymmetrien zwischen Autor:innen und Gutachter:innen (die sich bspw. darin widerspiegeln, dass Gutachter:innen oft die Ergänzung von Zitationen ihrer eigenen Artikel fordern, weil sie wissen, dass die Autor:innen sich zweimal überlegen werden, sich zu verweigern, und im Zweifel der Forderung folgen werden, um die Veröffentlichung nicht zu gefährden), einzelne Manuskripte, die trotz eigentlich offensichtlicher Mängel veröffentlicht werden etc. Doch im Großen und Ganzen erfüllt der Peer-Review seinen Zweck, nämlich die Sicherstellung der wissenschaftlichen Qualität von Publikationen in Fachzeitschriften.

Zudem gibt es zahlreiche Versuche, die Qualität des Peer-Review zu steigern, bzw. Diskussionen, wie man sie steigern könnte. Zum Beispiel gibt es inzwischen die Möglichkeit, seine Gutachten über Plattformen wie Publons zählen zu lassen (mit Anhaben zu Zeitschriften, nicht jedoch zu konkreten begutachteten Manuskripten), was die Anerkennung und damit die Attraktivität für potenzielle Gutachter:innen steigert. Open peer review, bei dem die Gutachten laufend veröffentlicht werden und auch andere Peers, die nicht formal Gutachter:innen sind, das Manuskript kommentieren dürfen, wird erprobt. Preprint-Plattformen versuchen, dem Problem der langen Prozessdauer entgegenzuwirken. Post-publication peer review soll die Qualität auch über den ursprünglichen Peer-Review-Prozess hinaus, nach der erfolgten Publikation sicherstellen. Manche fordern, dass Gutachter:innen monetär entlohnt werden (während Andere, mich eingeschlossen, dies eher kritisch sehen). Die Liste ließe sich fortführen und auch wenn nicht alle Versuche und Vorschläge wirklich zielführend sind und die Peer-Review-Landschaft manchmal etwas unübersichtlich wirkt, so würde ich die Behauptung wagen, dass die Entwicklung tendenziell in die gewünschte Richtung geht. Relativ klar ist dabei, dass wir keine gute Alternative zum Peer-Review haben – trotz aller Mängel dieses Systems, er ist wohl das beste, was wir haben (können).