Aufregung rund um die bisherige Durchführung von Radiotests: Die Auftraggeber sollten sicherstellen, dass Datenerhebung und Analyse künftig unter Beachtung der entsprechenden Qualitätsstandards durchgeführt werden.
Seit zwei Wochen verdichten sich in den österreichischen Medien die Vermutungen, wonach in den vergangenen Jahren fehlerhafte Ergebnisse der Radiotests veröffentlicht worden seien. Was ist da passiert?
Im Radiotest, der von GfK Austria im Auftrag von ORF und den Privatradios jährlich durchgeführt wird, wird das Radionutzungsverhalten erhoben. Aus den Daten von rund 24.000 Telefoninterviews werden Marktanteile der Radiosender, ihre Reichweiten und die Hördauern ermittelt. Die enorme wirtschaftliche Bedeutung der Radiotests resultiert aus der Tatsache, dass die Reichweite ein bestimmender Faktor bei der Festlegung der Werbetarife der einzelnen Radiosender ist. Das Werbevolumen, das auf der Basis der Radiotests verteilt wird, beträgt gut 160 Millionen Euro pro Jahr. Aber schon seit einiger Zeit wird die Qualität und Verlässlichkeit der Ergebnisse des Radiotests kritisch gesehen.
Begünstigung des ORF?
Bereits seit Ende 2014 ist beim Handelsgericht Wien eine Klage eines Privatradios, der Superfly Radio GmbH, gegen die GfK Austria anhängig, in der von Fehlern in der Durchführung der Radiotests und dadurch verfälschten Ergebnissen die Rede ist und Schadenersatz verlangt wird. Der vom Gericht bestellte Gutachter stellt in seinem im Februar 2016 vorgelegten Befund fest, dass die Durchführung des Radiotests durch die GfK Austria nicht lege artis erfolgt sei.
Der Autor dieses Berichts kommt nach dem Studium der verfügbaren Unterlagen zu dem Schluss, dass Fehler in den Ergebnissen, vor allem was die Marktanteile betrifft, zu erwarten seien. Tatsächlich berichten diverse Medien seit zwei Wochen darüber, dass in den vergangenen Jahren fehlerhafte Ergebnisse von Radiotests veröffentlicht worden seien. Alexander Zeh, Geschäftsführer von GfK Austria, trat zurück. Auch wurde bekannt, dass seit mindestens vier Jahren falsche Marktanteile heimischer Radiosender publiziert wurden.
Die neueste Wendung könnte die Sache sogar zum Kriminalfall machen. Es gibt Berichte, dass die publizierten Ergebnisse des Radiotests den ORF begünstigt hätten und dass die Datenfälschungen dem ORF allein im Jahr 2015 mehr als zehn Millionen Euro zu viel an Werbegeldern eingebracht hätten. Was ist hier falsch gelaufen?
In Anbetracht der wirtschaftlichen Bedeutung des Radiotests sollte man vermuten, dass bei Planung und Durchführung der Tests die notwendige Expertise und größte Sorgfalt angewendet werden. Es stellt sich die Frage, wodurch die alarmierenden Ereignisse begünstigt oder gar verursacht wurden und – über den aktuellen Fall hinaus – über welche Sicherungen die gängige Praxis in der Markt- und Meinungsforschung gegen solche Ereignisse verfügt.
Monitoring, Dokumentation
Die folgenden Punkte sind von Interesse:
• die Ausschreibung und die Beauftragung der Radiotests,
• die Standards, nach denen Markt- und Meinungsforschung durchgeführt wird.
Wie das Studium der Unterlagen zum Radiotest ergibt, lassen sich in beiden Punkten Potenziale für Mängel in der Qualität der Ergebnisse der Radiotests ausmachen.
Zur Sicherstellung der ordnungsgemäßen Durchführung der Radiotests wären Qualitätsstandards sowie ein Monitoring und dessen Dokumentation vorzusehen bzw. zu vereinbaren. Das betrifft folgende Bereiche:
• die präzise Darstellung der Methode der Datenerhebung, insbesondere das Design der Erhebung, die Durchführung der Telefoninterviews und die Kontrolle der Tätigkeit der Interviewer, in Ausschreibung und Beauftragung,
• Vereinbarungen zur Aufbereitung und Auswertung der erhobenen Daten mit Protokollierung der Editier- und Imputationsschritte,
• die Vereinbarung der zu publizierenden Berichte, die neben den Ergebnissen wie Marktanteilen etc. einen methodischen Teil zu enthalten haben, mit Angaben (I) zur Datenerhebung (Abweichungen vom geplanten Erhebungsdesign, Diskussion der Auswirkungen auf die Ergebnisse), (II) zur Aufbereitung und Analyse der Daten und (III) zu Qualitätsindikatoren, wie die Genauigkeit der Ergebnisse.
Ohne die im letzten Punkt angesprochenen methodischen Hinweise und Erklärungen können die Nutzer der Radiotest-Ergebnisse diese nicht in ihrer Tragweite verstehen, interpretieren und sinnvoll verwenden. Diese Dokumentation erlaubt auch, die Vertrauenswürdigkeit der Resultate zu beurteilen.
Verzicht auf Nachprüfbarkeit
Für die Radiotests sind in der Ausschreibung Qualitätsstandards und ein Monitoring von Datenerhebung und Analyse und dessen Dokumentation nicht vorgesehen. Kontrollen und das Monitoring sind somit der GfK Austria anheimgestellt, die Vorlage der entsprechenden Dokumentationen wird nicht verlangt. Damit ergibt sich die Situation, dass für die Auftraggeber – aber auch für sonstige Nutzer dieser Statistiken – die Qualität und Verlässlichkeit der Ergebnisse der Radiotests nicht abschätzbar sind.
Es drängt sich der Eindruck auf, dass die Auftraggeber der Radiotests mit der Beauftragung derartiger empirischer Studien keinerlei Erfahrung haben. Der Verzicht auf Nachprüfbarkeit der Erhebungsarbeiten und der statistischen Analysen sowie auf professionelle Berichtslegung ist völlig unverständlich. Sollten sich die zuletzt behaupteten Fakten als zutreffend herausstellen – was in Anbetracht des damit verursachten immensen Schadens für die ganze Branche nicht zu hoffen ist –, kann die zweifelhafte Organisation der Radiotests nur als Einladung angesehen werden.
Wichtigstes Kapital: Vertrauen
Was aber sollte anders gemacht werden? Die Ergebnisse der meisten empirischen Studien sind nicht nachvollziehbar – schon deshalb, weil dazu die kostspielige Datenerhebung wiederholt werden müsste. Für Institute, die empirische Studien anbieten, ist daher das Vertrauen in ihre Arbeit und Ergebnisse das wichtigste Kapital und das Offenlegen der methodischen Basis ihrer Arbeit und Ergebnisse das wichtigste Instrument, das Vertrauen der Auftraggeber und Nutzer zu pflegen und zu rechtfertigen. In der Markt- und Meinungsforschung scheint die Bereitschaft zu dieser Transparenz nur gering zu sein.
Im konkreten Fall, den Radiotests, sollten die Auftraggeber sicherstellen, dass Datenerhebung und Analyse unter Beachtung entsprechender Qualitätsstandards durchgeführt werden. Die Dokumentation aller Schritte der Radiotests sollte öffentlich gemacht werden. Die Publikation der Ergebnisse sollte von methodischen Hinweisen und Erklärungen begleitet werden, sodass die Nutzer die Ergebnisse in ihrer Tragweite verstehen, interpretieren und sinnvoll verwenden können. Die Rohdaten sollen für weitere Analysen und Überprüfungen zur Verfügung stehen.
Solche Maßnahmen einer zeitgemäßen Transparenz sind im Interesse aller Beteiligten, einschließlich der Öffentlichkeit des Landes.
E-Mails an:debatte@diepresse.com
DER AUTOR
Univ.-Prof. Dr. Peter Hackl (*1942 in Linz) studierte Technische Physik an der TU Wien. Ab 1981 Professor für Statistik an der
WU Wien, von 1995 bis 2000 Präsident der Österreichischen Statistischen Gesellschaft. Von 2005 bis 2009
war Hackl Generaldirektor der
Bundesanstalt Statistik Austria.
Zahlreiche Veröffentlichungen. [ Privat ]
("Die Presse", Print-Ausgabe, 10.05.2016)
