Umfragen boomen. Täglich gibt es neue Erkenntnisse dazu, was Konsument*innen wollen, welche Marken sie präferieren, wie hoch die Zahlungsbereitschaften sind und wer welche Medien nutzt. Es gibt auf jede Frage eine Antwort – doch taugen die Daten, um Markt- und Mediaentscheidungen zu fällen, oder verpufft das Werbegeld?
Mit der zunehmenden Digitalisierung hat sich auch die Marktforschung demokratisiert. Der Wettbewerb der Institute ist intensiver geworden. Der Kostendruck ist hoch. Günstigere Online-Umfragen haben sich zum Standard entwickelt und die telefonischen und persönlichen Interviews auf die Plätze verwiesen. Laut ADM, dem Verband der Markt- und Sozialforschungsinstitute, wurden im Jahr 2022 bereits 64 Prozent der rund 21,5 Millionen Interviews online erhoben, Tendenz steigend.
Die große Begeisterung für Online-Umfragen hat jedoch ihre Schattenseiten. Die häufigsten Probleme: Nicht-repräsentative Stichproben und Panels, Teilnehmermüdigkeit und neuerdings auch Bot-Traffic verzerren die Ergebnisse. „Wer Marktforschung nicht qualitätsbewusst einkauft, zahlt doppelt“, warnt Martina Vollbehr, Geschäftsführerin der Mediaagentur Pilot. Die renommierte Forscherin beschäftigt sich seit drei Jahrzehnten mit Markt- und Medienforschung und kennt viele Fallstricke.
Akkord der Marktforschung
Es ist immer noch der Vierklang aus Repräsentativität, Fallzahlen, Teilnehmermanagement und Fragebogen, der über die Aussagekraft der Umfragen entscheidet. Ein grundsätzliches Thema in Online-Befragungen ist die Verzerrung, die sich bereits daraus ergibt, dass nur Menschen mit Internetzugang teilnehmen. Geht es zum Beispiel darum, wie hoch der Anteil der Netflix-Nutzenden ist, ist eine Online-Befragung schon deshalb nicht repräsentativ für die Gesamtbevölkerung, weil Offliner fehlen. Und das sind laut Destatis allein bei den 16- bis 74-Jährigen noch knapp 3,4 Millionen Menschen.
Repräsentativ also für was? Umfrageteilnehmer nach demografischen Faktoren wie Alter, Geschlecht, Einkommen und Wohnort im richtigen Verhältnis zur jeweiligen Grundgesamtheit auszuwählen, ist bei vielen Fragestellungen die Basisvoraussetzung, um allgemeine Aussagen treffen zu können. Das ist bei Online-Panels, bei denen sich die Teilnehmenden mitunter selbst rekrutieren, nicht unbedingt gegeben. Doch wer wissen will, wie Deutschland tickt, der darf nicht nur Frauen in Bremen fragen oder nur Internet-Heavy-User. Sonst gilt schnell das alte Informatiker-Sprichwort „Garbage in, garbage out“.
Auch bei der Anzahl der Befragten lohnt der Blick in die Fußnote. „Damit die Einzelergebnisse belastbar sind, muss man dafür Sorge tragen, dass die Fallzahl hinreichend groß ist. Aber sie ist nie das alleinige Gütemaß“, so Vollbehr. Es müssen also nicht die in der Meinungsforschung präferierten mindestens 1000 Befragten sein. Wenn allerdings Subgruppen gebildet werden, zum Beispiel nach Alter und Geschlecht oder Alter und Einkommen, ist es wichtig, in den Blick zu nehmen, wie viele Personen die Aussagen für diese Gruppen geliefert haben.
Ein Bias kann auch durch die Art der Fragestellung entstehen. „Man muss darauf achten, wie man Fragen formuliert, damit die Ergebnisse interpretationsfähig und valide sind“, sagt Vollbehr. Das bedeutet: So neutral wie möglich fragen, offen auf die Ergebnisse schauen und dann erst mit der Interpretation und dem Storytelling beginnen.
Neue Probleme: Bots & Co.
Angesichts des Umfragen-Hypes haben auch immer weniger Leute Lust mitzumachen. Galten Incentivierungen, also kleine Aufwandsentschädigungen, früher als verpönt, sind sie mittlerweile Standard bei den Instituten. In der Folge werden mehr finanzielle Anreize geboten. Jedoch ruft dies – besonders online – routinierte Antwortende auf den Plan, aber auch Betrüger*innen und deren Bots. Alle drei Gruppen verzerren die Ergebnisse. Die Forschungsinstitute versuchen, mit Prüfverfahren dagegen anzugehen. Trotzdem rät Vollbehr Auftraggebern, sich die Antworten geben zu lassen und nicht nur die Strukturen zu prüfen, sondern auch auf unplausible Antworten zu achten.
Und dann ist da noch die Sache mit der Zukunft. Für Prognosen hilft viel nicht unbedingt viel. Qualitative Ansätze, also beispielsweise Tiefeninterviews, sind besser geeignet. Vollbehr: „Die Marktforschung liefert nicht die absolute Wahrheit. Man muss sie immer in Erfahrungen und Marktkenntnis einordnen.“
Juliane Paperlein (pap) ist Fachjournalistin und Moderatorin, war Ressortleiterin bei Horizont und Leiterin der Unternehmenskommunikation der AGF Videoforschung. Es sind vor allem die wirtschaftlichen Zusammenhänge in der bunten und niemals langweiligen Marketing- und Medienwelt, die sie interessieren, und sie ist sehr froh darüber, sich von Frankfurt aus mit immer neuen Themen beschäftigen zu können.