Blogbeitrag von Robert Finger, Nils Droste, Bartosz Bartkowski und Frederic Ang. Parallel veröffentlicht auf Agrarpolitik.

Was ist eine gute Zeitschrift für eine Veröffentlichung? Die Bewertung der Qualität von Zeitschriften im Bereich Agrarökonomik und -politik basiert häufig auf bibliometrischen Informationen wie dem Impact Factor oder auf subjektiven Reputationsrankings (z. B. von GEWISOLA). Es gibt jedoch auch andere Faktoren jenseits bibliometrischer Indikatoren, die für die Entscheidung über die Einreichung eines Manuskripts relevant sein können. So spiegeln Metriken wie der Impact Factor unter Umständen nicht die erwarteten Auswirkungen einer Veröffentlichung in bestimmten Zeitschriften auf die Karriere wider. Darüber hinaus wird die Wahl der Zeitschrift auch durch eine Reihe anderer Kriterien bestimmt, wie z. B. die Geschwindigkeit der Begutachtung, die Wahrscheinlichkeit der Annahme, die Bearbeitungszeit und das Prestige. Für Zeitschriften im Bereich der Agrarökonomie und -politik fehlt uns ein breiter Überblick über derartige Kennzahlen und Informationen, die Autor:innen bei ihren Publikationsentscheidungen unterstützen könnten. Einen solchen Überblick bieten wir hier.

Wir haben den ersten zusammenhängenden Datensatz zu einem breiten Spektrum von Performance-Indikatoren von zehn führenden Zeitschriften im Bereich Agrarökonomik und -politik (siehe Tabelle 1) für den Zeitraum von 2000 bis 2020 zusammengestellt und analysiert. Um den in dieser Arbeit verwendeten Datensatz zu erstellen, haben wir Hunderte von Editor Reports gesichtet, mit allen Zeitschriften Kontakt aufgenommen, um die extrahierten Daten zu validieren und Datenlücken zu schließen, und die Informationen harmonisiert. Auf der Grundlage unseres endgültigen Datensatzes, der frei zugänglich ist, führten wir eine Reihe von Analysen durch, darunter deskriptive Diagramme zu Entwicklungen im Laufe der Zeit und Vergleiche zwischen verschiedenen Zeitschriften. Außerdem untersuchten wir Korrelationen zwischen verschiedenen Metriken. Schließlich führten wir auch eine Data Envelopment Analysis (DEA) durch, um die Erstreaktionszeit, den Impact Factor und die Annahmequote zu einem ganzheitlichen Ergebnis zusammenzufassen. Unsere Analyse zielte darauf ab, Autor:innen und Redakteur:innen transparente Informationen zur Verfügung zu stellen, die beiden Gruppen zu besseren Entscheidungen verhelfen. Wir zogen auch Schlussfolgerungen für Herausgeber:innen von Zeitschriften und für Fachgesellschaften im Bereich Agrarökonomik und -politik.

Rang	Name der Zeitschrift	Abkürzung
1	American Journal of Agricultural Economics	AJAE
2	Food Policy	FP
3	Journal of Agricultural Economics	JAE
4	Agricultural Economics	AE
5	European Review of Agricultural Economics	ERAE
6	Australian Journal of Agricultural and Resource Economics	AJARE
7	Journal of Agricultural and Resource Economics	JARE
8	Applied Economic Perspectives and Policy	AEPP
9	Canadian Journal of Agricultural Economics	CJAE
10	Agribusiness	AB

Wir stellten fest, dass die Annahmequoten (also der Anteil angenommener an allen eingereichten Manuskripten) bei allen Zeitschriften im Laufe der Zeit gesunken sind. So sank beispielsweise die Annahmequote beim American Journal of Agricultural Economics von ca. 25 % in den frühen 2000er Jahren auf 11 % im Jahr 2019. Die Unterschiede zwischen den einzelnen Zeitschriften sind jedoch beträchtlich (Abbildung 1, Feld b). Geringere Annahmequoten können auch teilweise das Ergebnis einer erheblichen Zunahme von Einreichungen im Laufe der Zeit sein. So wurde in Agricultural Economics im Jahr 2000 für 49 Manuskripte eine Entscheidung getroffen; im Jahr 2019 waren es bereits 812.

Positiv (aus Sicht von Autor:innen) ist, dass die Zeitspanne von der Einreichung bis zur ersten Entscheidung (einschließlich der Ablehnungen) in allen Zeitschriften im Laufe der Zeit abgenommen hat (Abbildung 2). Während beispielsweise die durchschnittliche Zeit von der Einreichung bis zur ersten Entscheidung beim Journal of Agricultural Economics im Jahr 2001 170 Tage betrug, ist diese Zeitspanne im Jahr 2019 auf 21 Tage gesunken. Trotz dieses Trends gibt es nach wie vor erhebliche Unterschiede zwischen den einzelnen Fachzeitschriften, auch wenn sich ihr Ausmaß über die Zeit deutlich verringert hat. Die Unterschiede in der Bearbeitungszeit zwischen den einzelnen Zeitschriften können Unterschiede in der Effizienz der redaktionellen Bearbeitungsverfahren widerspiegeln, aber auch auf einen unterschiedlichen Anteil von sofortigen Ablehnungen (desk rejections) zurückzuführen sein. In Bezug auf Letzteres fehlen uns jedoch ausreichende Informationen, um Rückschlüsse auf die einzelnen Zeitschriften und Jahre ziehen zu können. Der Rückgang der Bearbeitungszeiten in den letzten 20 Jahren spiegelt mit Sicherheit die zunehmende Nutzung und Effizienz elektronischer Einreichsysteme wider.

Abbildung 3 zeigt, dass die Impact Factors für die betrachteten Zeitschriften insgesamt gestiegen sind, allerdings nicht für alle in gleichem Maße. Insbesondere bei FP, AEPP und AJAE ist der Impact Factor erheblich gestiegen, während er bei anderen auf einem eher niedrigen Niveau geblieben ist.

Wir stellen fest, dass es über alle Zeitschriften hinweg Zielkonflikte zwischen den verschiedenen Indikatoren gibt. So geht beispielsweise ein hoher Anteil angenommener Artikel mit einer längeren Zeit bis zur ersten Antwort einher, während ein hoher Impact Factor mit einem geringeren Anteil angenommener Artikel (Korrelation: -0,34), aber auch mit einer längeren Zeit bis zur Entscheidung (-0,53) verbunden ist. Es gibt also keine eindeutigen sweet spots für Autor:innen, denn schnellere Entscheidungen können durchaus geringere Erfolgschancen bedeuten.

Korreliert man das Ranking, das zur Auswahl der Zeitschriften verwendet wird, d. h. auf der Grundlage von sechs verschiedenen Rankings (siehe Finger et al. 2022), mit Indikatoren (Bearbeitungszeit, Impact Factor, Annahmequote), findet man schwächere Korrelationen (Abbildung 4). Das Ranking korreliert negativ und signifikant mit dem Impact Factor (-0,36) und dem Anteil angenommener Artikel (-0,23), aber nicht signifikant mit der Zeit bis zur ersten Entscheidung. Auch hier gibt es keinen sweet spot, da ein Aufsteigen in der Rangliste mit einem niedrigeren Impact Factor und weniger angenommenen Artikeln einhergeht und auch die Wartezeiten nicht deutlich verkürzt werden.  Strebt man zudem eine Zeitschrift mit einer hohen Annahmequote an, so ist dies im Durchschnitt mit einer längeren Wartezeit bis zur Entscheidung verbunden. Angesichts dieser Zielkonflikte müssen Autor:innen abwägen, welchen Indikator sie am meisten schätzen, um ihre Einreichentscheidungen zu optimieren. Es gibt jedoch erhebliche Unterschiede zwischen den einzelnen Zeitschriften, und die Performance einer bestimmten Zeitschrift kann dennoch den individuellen Präferenzen mehr entsprechen als andere. Anhand einer DEA stellen wir fest, dass Zeitschriften wie FP, JAE und AJAE ein hervorragendes Ergebnis erzielen.

Unsere Ergebnisse zeigen, dass es für die Autor:innen keinen free lunch gibt, d. h. sie müssen zwischen verschiedenen Aspekten abwägen. So bedeutet beispielsweise die Einreichung bei einer Zeitschrift mit höherem Impact Factor in der Regel auch eine längere Bearbeitungszeit und eine niedrigere Annahmequote. Eine niedrige Annahmequote kann jedoch bis zu einem gewissen Grad auch als wünschenswert angesehen werden, da sie ein Zeichen für Wettbewerbsfähigkeit ist, was wiederum auf Qualität hindeuten kann. Der hier vorgestellte Datensatz bietet den ersten kohärenten Überblick über relevante Informationen, die Autor:innen bei ihren Einreichentscheidungen helfen können. Unsere Analyse liefert auch wichtige Schlussfolgerungen für Redakteur:innen und Verlage. Es gibt erhebliche Datenlücken bei eher grundlegenden Informationen, und die Vergleichbarkeit von Schlüsselindikatoren ist oft gering (z. B. weil die Berechnung von Werten wie Annahmequoten unterschiedlich ist). Daher müssen Anstrengungen unternommen werden, um Daten in kohärenten Standards zur Verfügung zu stellen, die zwischen den Zeitschriften vergleichbar sind. Es ist zu beachten, dass wir Zeitschriftenvergleiche auf der Grundlage von mehr als Impact Factors benötigen (siehe auch Seppelt et al. 2018). In diesem Sinne sind andere wichtige Metriken wie der Anteil von Open-Access-Publikationen, Verfügbarkeit von Analyse-/Modell-Codes sowie von Daten, erfolgreiche Replikationen von Artikeln in der Zeitschrift, die Diversität der Autor:innen und Gutachter:innen usw. noch nicht verfügbar. Die agrarökonomischen Fachgesellschaften könnten auch weitere Erhebungen usw. anregen, um einen Überblick darüber zu erhalten, wo wir stehen und was Autor:innen bei ihren Entscheidungen über die Einreichung von Manuskripten tatsächlich brauchen und schätzen.

Quellen

• Finger, R., Droste, N., Bartkowski, B., Ang, F. (2022). A note on performance indicators for agricultural economic journals. Journal of Agricultural Economics. Im Erscheinen. https://doi.org/10.1111/1477-9552.12473
• Seppelt, R., Beckmann, M., Václavík, T., Volk, M. (2018). The Art of Scientific Performance. Trends in Ecology & Evolution 33, 805–809. https://doi.org/10.1016/j.tree.2018.08.003