Von Hans H. Bauer, Boris Toma und Daniel Heinrich
Die Kehrseite ist jedoch, dass die Qualität von online erhobenen Daten seit jeher umstritten ist. Skeptiker sahen bislang das Hauptproblem in der mangelnden Repräsentativität, bedingt durch die unzureichende Internetverbreitung. Diese Kritik kann jedoch zunehmend entkräftet werden, da die Durchdringung des Internets in den vergangenen Jahren stetig gewachsen ist. Allein in Deutschland sind mittlerweile fast 75 Prozent der Bevölkerung „online“ erreichbar. Entscheidender ist, dass die Frage nach Repräsentativität immer auch an die Frage nach der Grundgesamtheit,
also nach der Zielstichprobe, geknüpft ist. Insofern festigt sich die Meinung, dass Onlineumfragen unter gewissen Voraussetzungen durchaus
einen repräsentativen Charakter aufweisen können.
Jenseits der Repräsentativitätsdebatte zentriert sich die Kritik an Onlinedaten auf das spezifische Antwortverhalten der Probanden. Repräsentative Daten sind schließlich wenig wert, wenn sie nicht exakt die wahrhaftige Meinung der Befragten messen. Qualitätsentscheidend
für viele Verwertungsziele ist letztlich oft nur die Tatsache unverfälschter Antworten der Probanden und nicht so sehr die Repräsentativität der Stichprobe. Mit anderen Worten: Je akkurater die gegebenen Antworten die tatsächliche Meinung der Zielstichprobe widerspiegeln, desto höher ist die daraus resultierende Datenqualität. Folglich muss beantwortet werden, ob Befragungsteilnehmer im Internet das sagen, was sie auch meinen.
Ob Umfrageteilnehmer ihre tatsächliche Meinung äußern, hängt besonders davon ab, ob sie intrinsisch motiviert sind (das Bestreben haben, die Fragen ihrer selbst willen zu beantworten) oder extrinsisch motiviert sind, diese also klären, weil sie sich davon einen Vorteil versprechen oder Nachteile vermeiden möchten. Weiterhin ist relevant, wie viel Zeit und Sorgfalt jeweils aufgewendet wird. Dies wiederum hängt von
der Art der Teilnehmeransprache im Befragungsprozess, also der Rekrutierung, und der Teilnehmermotivation, auch Incentivierung genannt, ab. Je
nach dem, wie und wozu Befragungsteilnehmer rekrutiert werden, haben sie mehr oder weniger Zeit für die Beantwortung einer Umfrage. Zudem können auch finanzielle Belohnungen oder ein stark ausgeprägtes Interesse am Befragungsthema dazu führen, dass Fragen nicht wahrheitsgetreu beantwortet sowie erhobene Meinungen verfälscht werden und die Datenqualität beeinträchtigt wird.
Nachweislicher Erfolg: Online-Umfragen erzielen die höchste Datenqualität, wenn potenzielle Probanden in
Communities akquiriert und sie gleichzeitig monetär für die Teilnahme an der Befragung belohnt werden.
Im Allgemeinen haben Unternehmen bei Onlinebefragungen verschiedene Möglichkeiten bei der Rekrutierung von Teilnehmern. Sofern die Einwilligung von Newsletter-Abonnenten, ein so genanntes „Opt-In“ vorliegt, können diese beispielsweise per E-Mail angeschrieben und so zu einer Befragung eingeladen werden. Je nach dem, wie viele Daten ein Unternehmen von Newsletter-Abonnenten besitzt, lassen sich Teilnehmer unter zusätzlicher Berücksichtigung von Kriterien vorselektieren. Eine besonders zielgerichtete Ansprache von Befragungsteilnehmern bieten Online-(Access-)Panels. Diese setzen sich üblicherweise aus einem vorrekrutierten Personenkreis zusammen, der wiederholt in regelmäßigen Abständen an Befragungen im Internet teilnimmt. Firmen haben hier die Möglichkeit, neben Soziodemografika auch verhaltensbezogene Merkmale und andere Variablen vorzugeben, nach welchen der Panelbetreiber dann seinen Pool an Probanden filtert und nur relevante Personen zur Studie einlädt.
Schließlich lassen sich Teilnehmer für Umfragen auch in Online-Communities rekrutieren. Dabei wird in der Gemeinschaft entweder ein Banner geschaltet, das zur Teilnahme aufruft oder personalisiert über eine Benachrichtigungsfunktion eingeladen.Während Unternehmen bisher je nach
Zielstichprobe der Studie die passenden Communities für die Rekrutierung auswählen mussten, verfügen viele soziale Netzwerke heutzutage zur Ansprache ihrer Community-Mitglieder über ähnlich viele Filtervariablen wie Panelanbieter. Dies ermöglicht eine zielgenaue Ansprache ohne hohe Streuverluste. Im Gegensatz zu einem professionellen Panel müssen Unternehmen jedoch selbst entscheiden, ob eine Incentivierung sinnvoll ist oder nicht.
Eine Incentivierung kann sowohl monetärer Natur (zum Beispiel in Form von Geldbeträgen oder Wertgutscheinen) als auch nicht-monetärer Art (Sachpreise oder Spenden) sein. Es ist bekannt, dass monetäre Anreize gemeinhin zu höheren Rücklaufquoten sowie geringeren Abbruchraten führen und die Repräsentativität steigern, doch über den Einfluss von Incentives auf das Antwortverhalten von Online-Probanden herrscht bisher noch wenig Klarheit.
Gerade dieses Wissen ist für die Praxis jedoch hochrelevant. Daher wurde an der Universität Mannheim eine experimentelle Studie durchgeführt
und analysiert, welche Auswirkungen verschiedene Arten der Rekrutierung und Incentivierung auf die Datenqualität von Onlineumfragen haben. Dabei sind in Abhängigkeit von Rekrutierungsart (Online-Community, E-Mail-Einladung, Online-Panel) und (Nicht-)Incentivierung gebildete Treatmentgruppen ausgewertet worden, um Unterschiede in der Datenqualität zwischen den Gruppen identifizieren zu können.
Die Studie kann nachweisen, dass Online-Umfragen die höchste Datenqualität erzielen, wenn potenzielle Probanden in Communities akquiriert und sie gleichzeitig monetär für die Teilnahme an der Befragung belohnt werden. Dies lässt darauf schließen, dass die Befragten im Vergleich zu Personen anderer Rekrutierungsformen aufgrund der Selbstselektion motivierter und interessierter sind und wahrhaftigere Antworten
geben. Zudem ist die gefühlte Anonymität der Teilnehmer höher, wodurch es möglich ist, auch sensiblere Fragestellungen zu realisieren. Darüber
hinaus ist festzustellen, dass die Attraktivität des Befragungsthemas sowie die Art und Höhe des Incentives die Rücklaufquote beeinflussen. Letztere hat wiederum direkten Einf luss auf die tatsächlichen Kosten der Rekrutierung.
Bei der Durchführung einer Onlinebefragung sollten Entscheider daher zunächst prüfen, ob die Zielgruppe einer Befragung in Online-Communities
erreichbar ist. Auch sollte bei der Rekrutierung ein monetärer Anreiz geboten und dieser klar kommuniziert werden.
Ist die Marketingzielgruppe nicht oder nur unzureichend in Online-Communities erreichbar oder hat sich ein Unternehmen aus anderen Gründen dazu entschlossen, potenzielle Probanden (zum Beispiel Newsletter-Abonnenten) per E-Mail zu einer Befragung einzuladen, sollte dies hingegen ohne ein monetäres Incentive geschehen. Denn die Studienergebnisse zeigen, dass nichtincentivierte Teilnehmer im Vergleich zu denjenigen, die vergütet wurden, ein höheres Interesse an der Befragung zeigen sowie Fragestellungen ausführlicher und wahrhaftiger beantworten.
Da sie keinen monetären Anreiz zur Teilnahme erhalten, entscheiden sie über eine Teilnahme meist auf Basis des Umfragethemas, aufgrund der Reputation des durchführenden Instituts oder der Person, die zur Umfrage eingeladen hat. Bei einer E-Mail-Einladung empfiehlt es sich deshalb Probanden mittels eines altruistischen Appells anzusprechen. Bei dieser Art der Akquise entstehen Unternehmen nur geringe variable Kosten.
Online-Panels sind üblicherweise durch deren Vorrekrutierung kurzfristig verfügbar und weisen nur geringe AntAntwortausfälle
(Item-Nonresponse) und Abbruchquoten (Drop-Out) auf. Diese beiden Gütekriterien sind bislang dominante Qualitätsmerkmale für Onlinedaten. Die Tatsache, dass Online-Panelisten oftmals einen starken professionellen Charakter aufweisen, lässt die Vermutung zu, dass das spezifische
Antwortverhalten der Teilnehmer nicht immer der tatsächlichen Meinung entspricht. Diese Befürchtung wird durch die Studienergebnisse bestätigt. Die Panelisten antworteten überwiegend inhaltlich inkonsistent und waren zudem wenig sorgfältig bei der Beantwortung der Fragen, was zu einer geringen Datenqualität führte.
Um die Qualität der Daten bestimmen zu können, sind Gütekriterien jenseits von Item-Nonresponse und Drop-Out nötig. Gleichzeitig sind die Kosten im Vergleich zu den anderen untersuchten Rekrutierungsformen relativ hoch. Somit sieht sich das Online-Panel einem Rechtfertigungsdruck in Bezug auf die Antworten-Qualität ausgesetzt. Während dieses Ergebnis bei einigen Panelanbietern kritisch aufgefasst werden wird, werden andere Dienstleister den Aspekt zur Differenzierung vom Wettbewerb nutzen. Anbietern von Online-Panels wird empfohlen, ein Bewertungssystem auf Basis des spezifischen Antwortverhaltens der Teilnehmer zu entwickeln und zu implementieren. Über Mechanismen können wenig akkurate und inkonsistente Antworten von Panelisten dann gefiltert werden.Schließlich muss aber jeder Marktforscher selbst einen kritischen Blick zum Bestimmen von Datenqualität entwickeln und die Sinnhaftigkeit gewonnener Informationen prüfen. Diese Plausibilitätsprüfung kann kaum durch technische Mechanismen erfolgen, sondern obliegt der Sorgfalt der ausführenden Institute und Personen. ←
Über die Autoren: Prof. Dr. Hans H. Bauer ist Inhaber des Lehrstuhls für ABWL und Marketing II an der Universität Mannheim und Direktor des Instituts für Marktorientierte Unternehmensführung (IMU). Dipl.-Kfm. Boris Toma arbeitet ebenso wie Dipl.-Kfm. Daniel Heinrich als wissenschaftlicher Mitarbeiter und Doktorand am Lehrstuhl für ABWL und Marketing II an der Universität Mannheim.
Kontakt: boris.toma@bwl.uni-mannheim.de