Eine Studie zeigt: Unterschiedlichen Informationen über die Urheberschaft der eingereichten Arbeit haben einen starken Einfluss auf die Bewertung der Qualität des Forschungsartikels.
Diese Frage adressiert eine kürzlich in der renommierten Fachzeitschrift PNAS – Proceedings of the National Academy of Sciences erschienene Studie (>>> zur Studie). In der Studie führte ein sechsköpfiges Forschungsteam der Universitäten Innsbruck (Jürgen Huber, Rudolf Kerschbamer und Christian König-Kersting) und Graz (Stefan Palan) sowie der Chapman University (Sabiou Inoua und Vernon Smith) ein einfaches Experiment durch:
Vernon Smith, Wirtschaftsnobelpreisträger des Jahres 2002 und Professor an der Chapman University, verfasste gemeinsam mit Sabiou Inoua, Nachwuchswissenschaftler an der Chapman University, einen wissenschaftlichen Artikel im Bereich Finance. Diesen reichten die beiden Autoren bei der Fachzeitschrift „Journal of Behavioral and Experimental Finance“ zur Veröffentlichung ein. Normalerweise würde so ein Artikel an zwei oder drei „Peers“ (andere Wissenschaftler im gleichen Fachgebiet) zur Begutachtung ausgeschickt. Doch Stefan Palan, Herausgeber der Fachzeitschrift und Mitglied des Forschungsteams, verschickte den Artikel an insgesamt mehr als 3300 Fachgutachter:innen.
Alle erhielten genau denselben Artikel, bekamen aber unterschiedliche Informationen über dessen Autor:innen. Ein Teil der Peers bekam keine Informationen darüber, wer den Artikel verfasst hatte, anderen wurde mitgeteilt, dass einer der Autoren (der ihnen als Nachwuchswissenschaftler fast sicher unbekannte) Sabiou Inoua war, wiederum anderen wurde mitgeteilt, dass einer der Autoren (der vielen als Nobelpreisträger sicherlich bekannte) Vernon Smith war.
Jede Woche gestaltet die „Nationalökonomische Gesellschaft" (NOeG) in Kooperation mit der "Presse" einen Blog-Beitrag zu einem aktuellen ökonomischen Thema. Die NOeG ist ein gemeinnütziger Verein zur Förderung der Wirtschaftswissenschaften. Ab sofort liefert auch die seit 2019 in Wien ansässige CEU ("Central European University") Beiträge zum Blog.
Beiträge von externen Autoren müssen nicht der Meinung der „Presse"-Redaktion entsprechen.
Die Ergebnisse der Studie zeigen ein deutliches Muster: Von den Fachgutachter:innen, die keine Informationen über die Autorenschaft hatten, empfahlen knapp 25 Prozent eine kleine Überarbeitung oder die unmittelbare Annahme des Artikels zur Veröffentlichung; bei jenen, die darüber informiert waren, dass einer der Autor:innen der Nachwuchswissenschaftler war, fiel dieser Anteil auf unter zehn Prozent; wurde dagegen mitgeteilt, dass Nobelpreisträger Vernon Smith Co-Autor war, stieg dieser Anteil auf beinahe 60 Prozent.
Am negativen Ende der Empfehlungsskala zeigt sich ein ähnliches Bild: Ohne Informationen über die Autor:innen, empfahlen knapp 50 Prozent den Artikel nicht zu veröffentlichen. Von den Gutachter:innen, die über die Autorenschaft des Nachwuchswissenschaftlers informiert waren, sprachen sogar 65 Prozent diese Empfehlung aus. Von denen, die über die Autorenschaft des Nobelpreisträgers Kenntnis hatten, empfahlen hingegen nur knapp 23 Prozent den Artikel abzulehnen.
Starker Einfluss
Die Ergebnisse dieser Studie zeigen damit deutlich, dass die unterschiedlichen Informationen über die Urheberschaft der eingereichten Arbeit die Bewertung der Qualität des Forschungsartikels stark beeinflussen. Eine mögliche Erklärung für die identifizierten Effekte ist der aus der Sozialpsychologie bekannte Halo-Effekt, der besagt, dass Handlungen und Werke von Personen, von denen man einen positiven Eindruck hat, grundsätzlich positiver wahrgenommen werden als jene von unbekannten Personen oder von Personen, denen man nicht so viel zutraut. Auch die Tatsache, dass der Nobelpreisträger einen „westlich klingenden“ Namen hat, der Nachwuchsforscher aber einen eher „exotisch klingenden“, könnte bei einigen Gutachter*innen eine Rolle gespielt haben. Jedoch hatte das Forschungsteam Autoren des gleichen Geschlechts und der gleichen Universität gewählt, da frühere Studien gezeigt hatten, dass von Männern verfasste Arbeiten besser bewertet werden als von Frauen verfasste Arbeiten und dass Arbeiten von Forscher:innen von angesehenen US-Universitäten besser bewertet werden als jene von Forscher:innen anderer Universitäten.
Die Ergebnisse dieser Studie sollten Anstoß dafür sein, das Peer-Review-Verfahren zu überdenken. Viele Fachzeitschriften geben den Gutachter:innen nämlich die Namen der Autor:innen bekannt, nur wenige halten diese unter Verschluss. Die Ergebnisse der Studie legen jedoch den Schluss nahe, dass Anonymisierung im Rahmen des Begutachtungsverfahrens essentiell ist, um bewussten oder unterbewussten Einflüssen vorzubeugen.
Gleichzeitig lässt sich ein völlig anonymisierter Prozess schwer durchsetzen. In vielen Wissenschaftsdisziplinen ist es heute üblich, Entwurfs-Versionen von Forschungsartikeln vor deren Einreichung bei einer Fachzeitschrift zu verbreiten, um den wissenschaftlichen Diskurs zu fördern und die Artikel vor deren endgültiger Publikation noch verbessern zu können. Der Nachteil daran ist, dass Gutachter:innen die Artikel im Internet meist leicht finden und damit die Anonymisierung umgehen können. Werden Artikel aber anonymisiert ausgeschickt, so steht es Gutachter:innen zumindest offen, nicht danach zu suchen und so eine unbeeinflusste Begutachtung vorzunehmen.
Die Autoren
Jürgen Huber ist Professor für empirische Finanzwirtschaft an der Universität Innsbruck. Er forscht v.a. in den Bereichen Behavioral Finance, Informationsökonomie und Metascience.
Rudolf Kerschbamer ist Professor für Verhaltensökonomik und Industrieökonomik an der Universität Innsbruck. Er beschäftigt sich theoretisch und mittels Labor- und Feldexperimenten mit menschlichem Verhalten in ökonomischen Entscheidungssituationen.
Christian König-Kersting ist Experimentalökonom und forscht als PostDoc am Institut für Banken und Finanzen der Universität Innsbruck.
Stefan Palan ist Associate Professor und Leiter des Instituts für Banken und Finanzierung der Universität Graz, Herausgeber des Journal of Behavioral and Experimental Finance und Managing Director der Society for Experimental Finance
