Wir haben oft den Anspruch, in Diskussionen – privat, professionell und dazwischen – „evidenzbasiert“ zu argumentieren, was in der Regel die Berufung auf konkrete wissenschaftliche Evidenz impliziert. Dieser Anspruch gilt auch in Print- und Onlinemedien, wo regelmäßig wissenschaftliche Studien besprochen, interpretiert und eingeordnet werden. Das funktioniert mal schlechter, mal (seltener) besser. Ist zugegebenermaßen auch nicht einfach. Und als Leser:in hat man umso größere Schwierigkeiten, das Gelesene einzuordnen…

Dabei stellen sich mindestens drei Fragen, wenn ich in einem Online- bzw. Printmedium über die Ergebnisse einer wissenschaftlichen Studie lese – zum Beispiel darüber, dass „[n]ichts für Umwelt und Natur tun, […] Landwirten mehr Geld“ bringe. Die erste Frage ist: Stimmt das, was im Artikel steht, überhaupt mit der besprochenen Fachpublikation überein?

Bei dem verlinkten Beispiel, das mir den Anstoß zu diesem (allgemeiner gemeinten) Beitrag gegeben hat, ist die Antwort leider: nicht wirklich. Nebenbemerkung: Dass in einem Online-Artikel die zugrundeliegende Studie nicht verlinkt wird, sodass man sich forensisch erschließen muss, wo sie sich befindet (nämlich hier), ist schwach, leider aber durchaus gängige Praxis. Ist der Link vorhanden oder hat man sich die Mühe gemacht, die besprochene Studie ausfindig zu machen, reicht teilweise schon der Abstract (der Rest ist oft genug hinter einer Paywall), um grob fehlende Übereinstimmung festzustellen. Manchmal muss man etwas tiefer graben. In dem konkreten Fallbeispiel ist vor allem die Qualität der Studie selbst das Problem (s. unten), aber auch bei dem agrarheute-Artikel gibt es zahlreiche problematische Stellen, von verwirrenden Kleinigkeiten (die Rede von „26 landwirtschaftliche[n] Betriebe[n]“, die man in der Studie nirgendwo findet – da ist die Rede von einer größeren Stichprobe von ca. 100) bis hin zu unzulässigen Generalisierungen (der Artikel ist in seinen Aussagen sehr generell gehalten, obwohl es sich bei dem besprochenen Paper um eine recht überschaubar kleine, bestenfalls semi-quantitative Studie aus kleinen, wenig repräsentativen Regionen in Südfrankreich handelt!).

Die zweite Frage: Passt das, was z. B. im Abstract oder in der Pressemitteilung steht, zu den eigentlichen Daten?

Diese Frage ist deutlich schwieriger zu beantworten als die erste, sie erfordert nämlich die Fähigkeit, die Methodik der Studie einzuschätzen. Deswegen ist es gute wissenschaftsjournalistische Praxis, Fachkolleg:innen um Einschätzungen zu bitten. Bei der oben verlinkten Studie ist der Methodik-Abschnitt etwas abenteuerlich, was die Einordnung erschwert. Es fällt auf, dass „agroökologisch“ recht schnell mit „Ökolandbau“ gleichgesetzt wird, was konzeptionell unsauber ist. Viele Angaben z. B. zur Anzahl von Interviews und ihrem Format sind vage. Es werden historische Interviews erwähnt und als Ziel (allerdings nicht im Abstract!) die Untersuchung von Veränderungen über die Zeit genannt – mangels Details ist es aber schwer zu erfassen, ob alle Interviews in die Kategorie „historisch“ fielen (der Abschnitt mit den Ergebnissen suggeriert, dass dies nicht der Fall war) und wie Trends untersucht wurden. Ob die Betriebe so ausgewählt wurden, dass der Vergleich zwischen „agroökologischen“ und „konventionellen“ aussagefähig ist, bleibt unklar (zumal sehr unterschiedliche Betriebe in der Studie betrachtet wurden, sodass die für Vergleiche relevanten Teilstichproben ziemlich klein sein dürften). Die Interviews haben offenbar über einen Zeitraum von 11 Jahren stattgefunden, was die Vergleichbarkeitsfrage nochmal unterstreicht. Warum die Anzahl der „cases“ in den Ergebnissen variiert, ist völlig unklar. Bei dem Vergleich agroökologisch-konventionell (Abbildung 5) scheint es, als würden einzelne Betriebe verglichen, was die Aussagekraft der Vergleiche massiv in Zweifel ziehen würde. Das sind Sachen, die mir beim kursorischen Lesen aufgefallen sind. Kurzum: Es ist sehr schwer einzuschätzen, was die Daten wirklich aussagen, weil die Studie nicht besonders gut (Euphemismus-Alert) dokumentiert ist. In jedem Fall sind die Ergebnisse aber aufgrund der kleinen Stichprobe und der regionalen Spezifizität nicht generalisierbar.

Die dritte und vielleicht wichtigste Frage ist dann: Wie verhalten sich die Ergebnisse zu der sonst vorliegenden Evidenz zum Thema?

Eine (1) Studie, selbst eine methodisch und konzeptionell sehr gute, macht noch lange keine Evidenz. Schon gar nicht in Forschungsbereichen, in denen Heterogenität eine Rolle spielt, sodass jede Studie erstmal nur eine Fallstudie ist, die Zusammenhänge in einem ganz bestimmten Kontext abbildet. Um einen Überblick über die wissenschaftliche Evidenz zu einem Thema zu gewinnen, muss man sich anstatt von (nur) Einzelstudien verschiedene Arten von Metastudien anschauen – (systematische) Literature Reviews, Meta-Analysen etc. Bei einer guten Einzelstudie kann man das Verhältnis zur sonstigen Evidenz der Einleitung und/oder Diskussion entnehmen – eine gute Studie wird man aber kaum erkennen können, wenn man die Studienlage und Methodik nicht sowieso schon kennt (auch bei vermeintlich sehr guten Zeitschriften werden schwache Studien veröffentlicht, die Zeitschrift ist hier also ein eher schlechter Indikator). Da sich bei der uns als Fallbeispiel dienenden Studie nicht um mein eigenes Kernforschungsgebiet handelt, vermag ich über die sonst vorliegende Evidenz zum Thema nichts auszusagen. Über die fehlende Generalisierbarkeit der Studie habe ich bereits oben geschrieben.

Was lernt man aus alledem? Einzelne Studien machen keine wissenschaftliche Evidenz. Was in der Besprechung einer Studie oder gar in einem Abstract steht, sollte man immer mit Vorsicht genießen. Expert:innen aus dem Fach um Einordnung bitten, ist immer eine gute Idee (Betonung auf Plural: ein:e Expert:in reicht auch nicht). Und wer online wissenschaftliche Studien bespricht, ohne sie zu verlinken, dem kann ich auch nicht helfen.