Der vielleicht zuverlässigste Beweis lässt sich mit Paralleltests erbringen, da sie die Unterschiede aufzeigen, die eine geänderte Methodologie auf die Forschungsergebnisse haben kann. Es ist klar, dass wir diese Unterschiede verstehen müssen, wenn wir mit unseren Kunden daran arbeiten, die Methodologie einer Forschungsstudie zu wechseln.
Dieser Artikel konzentriert sich auf die wesentlichen Ergebnisse eines Paralleltests, der im Januar 2005 für eine britische Studie zum Getränkekonsum durchgeführt wurde. Die Untersuchung befasste sich mit der Werbung für Heiß- und Kaltgetränke und beinhaltete Fragen zur Reklame, zum Getränkeverbrauch sowie zur spontanen und unterstützten Reklame- und Markenerinnerung. Die Analyse legt den Schwerpunkt auf die in den Befragungen mit offenen Antworten gewonnenen Erkenntnisse.
Die Online-Umfrage wurde im TNS 6th Dimension Panel in GB ausgeführt, während die Offline-Befragung im persönlichen Gespräch, teils schriftlich und teils über CAPI, erfolgte. Die Ergebnisse, die mit den beiden in der direkten Befragung eingesetzten Methoden erhalten wurden, ergaben einheitliche Aussagen und werden in diesem Artikel nicht weiter besprochen. Die Online- und die Offline-Studie wurden an demografisch identischen, im nationalen Maßstab repräsentativen Gruppen durchgeführt.
Die Auswertung der Ergebnisse der Online- und Offline-Befragungen erfolgte getrennt mit dem Ziel, Unterschiede zwischen den Forschungsergebnissen festzustellen, um einen möglichen Übergang der Forschung zur Online-Methode zu validieren.
Die wichtigsten Ergebnisse
Die detaillierte Auswertung der Forschungsdaten ergab, dass die online gegebenen Antworten eine größere Informationstiefe aufwiesen als die Antworten der Offline-Umfrage. Dies zeigte sich vor allem in dem Teil der Studie, in dem die Teilnehmer mit offenen Fragen gebeten wurden, die Werbung, an die sie sich noch erinnern konnten, zu beschreiben.
Es war ungewöhnlich, dass sich die Online-Teilnehmer in dieser Studie für die Beantwortung des Fragekatalogs signifikant mehr Zeit nahmen. Während die Online-Umfrage im Durchschnitt innerhalb von 33 Minuten abgeschlossen wurde, waren es bei der Offline-Methode 25 Minuten. Dabei wird häufig berichtet, dass Online-Umfragen im Vergleich zu Offline-Untersuchungen schneller für die englische Sprache typischerweise in 2/3 der Zeit beantwortet sind.
Der Zeitunterschied lag darin begründet, dass diese Studie eine hohe Anzahl von Fragen mit offenen Antworten verwendete. Zudem zeigten die Antworten, dass sich die Online-Teilnehmer eingehender und ernsthafter mit den Fragen auseinandersetzen. Das macht deutlich, dass unsere Befragten den Online-Fragenkatalog nicht oberflächlich abgearbeitet haben, um schneller fertig zu sein.
Befragung mit offenen Antworten
Wenn man sich die Wortanzahl ansieht, wird klar, dass die online gegebenen offenen Antworten wesentlich länger sind. Die Offline-Teilnehmer beantworteten die Fragen mit durchschnittlich nur 25 Wörtern, verglichen mit einem Mittel von 50 Wörtern bei der Online-Befragung. Es fällt auf, dass die Größe des zur Online-Beantwortung zur Verfügung stehenden Textfeldes die Wortanzahl anscheinend nicht begrenzte, da viele Teilnehmer den auf dem Bildschirm sichtbaren Bereich überschritten und im Feld einfach weiter nach unten blätterten.
Die Online-Antworten waren nicht nur länger, die Analyse ergab, dass sich die Antworten auch inhaltlich unterschieden. Die getroffenen Aussagen waren eindeutig reichhaltiger, zeigten mehr Tiefe und Emotionen und vermittelten wertvolle Einblicke in die Haltungen und Meinungen der Befragten zur Werbung.
Dies lässt sich anhand einiger willkürlich ausgewählter Zitate nachweisen. Die Teilnehmer wurden gebeten, zu beschreiben, welche Worte oder Bilder einer TV-Werbesendung für ein Heiß- oder Kaltgetränk, an die sie sich spontan erinnern, ihnen noch im Gedächtnis haften geblieben sind. Zur Vereinfachung des Vergleichs beziehen sich alle Antworten auf die gleiche Coca-Cola-Reklame und wurden nicht bearbeitet.
Zuerst die Online-Antworten:
- “Coca-Cola-Eisbären, die Flaschen mit einem Halbmond öffnen (den ein Eisbär-Junges holt, indem es auf die anderen Bären klettert). Weihnachtlich”
- “Coca-Cola-Weihnachtswerbung. Musik spielt ‘Holidays are coming…’, rote LKWs mit einem Coca-Cola trinkenden Weihnachtsmann! … und Schnee!”
- “Coca-Cola. Die Weihnachtsversion der Reklame mit lauter LKWs, die eines Abends voll erleuchtet zum Lied ‚Holidays are coming…’ die Straße entlangfahren. Der Weihnachtsmann trinkt Cola aus der alten Flasche – nette Weihnachtsmusik und jede Menge Lichter”
Diese Antworten beschreiben anschaulich, auf welche Werbung sie sich beziehen, und vermitteln auch, wie die Teilnehmer auf diesen Spot reagiert haben. Schon allein die Schreibweise zeigt, dass die Befragten mit der Werbung eine positive Erinnerung verbinden. Die Verwendung der Zeichensetzung und der Schreibstil tragen ebenfalls dazu bei, die Reaktion auf den Fernseh-Spot zu verstehen.
Demgegenüber enthielten die Offline-Antworten nur wenige Details und schienen sich weitaus stärker auf die Sachdarstellung zu konzentrieren, anstatt die emotionale Reaktion des Befragten auf die Werbung zu beschreiben. Im Allgemeinen handelte es sich nur um eine einzige Zeile, ohne dass der Interviewer eine Gefühlsreaktion des Antwortenden festhielt. Die folgenden Zitate zum gleichen Spot machen dies deutlich:
- “Coca-Cola-Eisbären”
- “Die Weihnachtswerbung…die LKWs mit allen Lichtern an…das Kind, das mit seinem Großvater Coca-Cola trinkt”
- “Coca-Cola, Weihnachtswerbung…beleuchtete Fahrzeuge”
Die Unterschiede zwischen den Antworten zeigen, dass die Online-Teilnehmer sich mehr Zeit nahmen und einen größeren Aufwand betrieben, um sich zu überlegen, was sie schreiben. Das ermöglichte ihnen, ihre Antworten besser zu durchdenken. Die Antworten beinhalten eine Sachdarstellung und darüber hinaus mehr Angaben zu ihren – positiven wie negativen – Gefühlen und Meinungen. Diese vermittelten mehr Einblicke und trugen dazu bei zu verstehen, wie der Befragte die Werbesendung interpretierte und auf sie reagierte.
Diese Annahme wird durch die Auswertung der Antworten auf andere genannte Reklamen untermauert. Zum Beispiel erinnerten sich weitaus mehr Online-Teilnehmer, die eine Werbung für Horlicks – ein Heißgetränk – beschrieben, an den Slogan des Spots:
- “How do you sleep at night”
Während 72 Prozent der Online-Befragten, die eine Horlicks-Reklame beschrieben, den Satz “How do you sleep at night” zitierten, waren es bei den Offline-Teilnehmern nur 29 Prozent.
Spontane Markenerinnerung
Wenn man sich die Antworten auf die Fragen zur spontanen Erinnerung an die Marke bzw. Werbung näher betrachtet, wird deutlich, dass sich die Online-Befragten auch hier ihre Antworten genauer überlegten.
Die Online-Teilnehmer erwähnten im Durchschnitt eine größere Vielzahl von Marken über eine breitere Palette von Getränken als die Offline-Befragten. Auch bei der spontanen Reklame-Erinnerung wurde eine höhere Anzahl von Marken genannt.
Das breitere Spektrum an genannten Marken ist auf die höhere Anzahl von Marken zurückzuführen, die von den Online-Befragten erwähnt wurde. Die Offline-Teilnehmer gaben weniger Marken an, was darauf hindeutet, dass sie weniger Zeit darauf verwendeten, sich an weitere Marken zu erinnern – möglicherweise, weil sie vom Interviewer schon mit der nächsten Frage bedrängt wurden. Dadurch wurde eine geringere Anzahl von Marken angeführt. Dieses Ergebnis stützt die Vermutung, dass ihre Antworten nicht so durchdacht sind, wie die der Online-Umfrage.
Marken-Verbrauch
In Bezug auf die Markenerinnerung zeigte sich, dass bei der Frage nach dem eigenen Konsum online mehr Marken erwähnt wurden. Wenn man sich die angeführten Marken näher betrachtet, scheint online ein etwas größerer Anteil an ‘höherwertigen’ Marken genannt zu werden. Allerdings fällt hier der Unterschied im Verbrauch keineswegs so deutlich aus, wie bei den Eigenmarken. Das allein zeigt, dass die stärkere Erwähnung von Marken nicht nur auf höherwertige Marken, sondern und weitaus stärker auf die geringerwertigen Marken zutrifft.
Die Online-Befragten führten signifikant häufiger an, Eigenmarken zu konsumieren. Bei der Frage nach der derzeit gekauften Kaffeemarke gaben 18 Prozent der Online-Teilnehmer an, Eigenmarken zu trinken. Dieser Wert lag bei der Offline-Befragung bei nur 6 Prozent. Diese höhere Zahl wird von den Tagebuchdaten des TNS Family Food Panel untermauert, die zeigen, dass mehr als 15 Prozent der Verbraucher Eigenmarken trinken.
Bei der Angabe der am häufigsten getrunkenen Marken ist der Unterschied weniger stark ausgeprägt. Allerdings stützten auch diese Zahlen das genannte Ergebnis und zeigen, dass ein größerer Anteil der Online-Befragten angibt, Eigenmarken am häufigsten zu trinken. Das könnte zwei Ursachen haben. Entweder:
- trinkt die Online-Gruppe wirklich wesentlich mehr Eigenmarken als die Offline-Gruppe – doch das ist aufgrund der identischen Zusammensetzung der Gruppen unwahrscheinlich – oder
- sie ist ehrlicher in Bezug auf das Trinken von Eigenmarken, was impliziert, dass die Offline-Befragten zu wenig angeben.
Einfluss des Interviewers
Ein wesentlicher Unterschied zwischen den in dieser Studie untersuchten Online- und Offline-Befragungen ist die Anwesenheit des Interviewers. Interviewer spielen eine wichtige Rolle, wenn es darum geht, die Befragten zu bestärken, den Fragekatalog bis zu Ende auszufüllen. Dies gilt vor allem bei langen Fragelisten oder komplizierten Themen.
In dieser Studie ergab sich bei Betrachtung der abgeschlossenen Befragungen ein deutlicher Unterschied in der Detailgenauigkeit und der Qualität der erfragten Informationen. In den persönlichen Befragungen wurden vergleichsweise weniger Informationen gewonnen. Das macht deutlich, dass die Interviewer zwar wichtig sind, um die Teilnehmer dazu anzuhalten, die Frageliste vollständig zu beantworten, dass es jedoch nicht notwendigerweise der Interviewer ist, der die Befragten dazu bewegt, die qualitativ hochwertigsten oder detailreichsten Antworten zu geben. Es scheint offensichtlich, dass der Interviewer in dieser Studie einen negativen Einfluss auf die gewonnene Menge an Informationen – sowohl in Hinblick auf die Detailgenauigkeit als auch in Bezug auf die Bereitschaft, Fragen zu beantworten – gehabt hat.
Umfragen, die von Interviewern durchgeführt werden, laufen immer unter Zeitdruck ab, sowohl für den Interviewer als auch für den Befragten. Verständlicherweise hat der Interviewer immer das Ziel, eine hohe Anzahl von Befragungen zu schaffen, und die Befragten haben bei Anwesenheit eines Interviewers möglicherweise das Gefühl, unter Zeitdruck zu stehen. Vielleicht ist es den Befragten auch unangenehm, längere Zeit über ihre Antworten nachzudenken, und die Interviewer sind darauf bedacht, möglichst schnell zur nächsten Frage überzugehen. Diese beiden Faktoren behindern sich gegenseitig und könnten die Detailgenauigkeit der Antworten beeinträchtigen.
Bei Befragungen mit offenen Antworten agieren die Interviewer als Filter zwischen dem, was der Befragte sagt und dem, was letztendlich schriftlich festgehalten wird. So ist es wahrscheinlich, dass die Interviewer gelegentlich einen Teil des Gesagten überhören bzw. das zusammenfassen, was ihrer Meinung nach die wichtigsten Punkte sind. Selbst, wenn sie jedes einzelne Wort aufschreiben, ist es immer noch wahrscheinlich, dass ein Teil des Inhalts aufgrund fehlender oder unterschiedlicher Zeichensetzung verloren geht.
Schlussfolgerungen
Die Studie hat einige signifikante Unterschiede bezüglich der Qualität und der Detailgenauigkeit der online und offline erhaltenen Antworten herausgearbeitet.
Die Online-Umfrage beantworten die Teilnehmer, wann es ihnen passt. Daher nehmen sie sich dafür Zeit und es ist weniger wahrscheinlich, dass sie bei der Beantwortung der Fragen unter Termindruck stehen. Neben ihnen sitzt kein Interviewer, der sie ablenkt oder ihre Gedankengänge unterbricht. Daher können sie sich die Antworten freier überlegen und sich auf die Umfrage konzentrieren. Darüber hinaus haben sie keinen Grund, sich bei ihren Antworten gehemmt zu fühlen, da sie die Umfrage allein ausfüllen und keinem Urteil ausgesetzt sind. Dieser Umstand ist von unschätzbarem Wert für die Gewinnung ehrlicherer Antworten, insbesondere bei der Befragung zu Themen, die heikel, umstritten oder gesellschaftlich nicht erwünscht sind.
Die Erkenntnisse deuten darauf hin, dass die Online-Befragten mehr Zeit auf die Umfrage verwenden, sich ihre Aussagen intensiver durchdenken und überlegen – was wiederum zu umfangreicheren Antworten führt. Auf Fragen zur spontanen Nennung von Marken und Reklamen liefern die Online-Antworten eine höhere Anzahl von Marken-Erwähnungen mit einer breiteren Palette von Marken. Sie tendieren auch dazu, detail- und inhaltsreicher auf Fragen mit offenen Antworten zu reagieren, wobei sie hier nicht nur Tatsachen, sondern auch Meinungen und Emotionen mit einfließen lassen.
Autoren:
Trixie Cartwright und Andrew Mairon sind Marktforscher bei TNS Global Interactive