Moderne Marktforscher*innen haben es gut. Anstatt stundenlang Forschungsdesigns zu entwerfen, Fokusgruppengespräche durchzuführen und Interviews zu transkribieren, reicht es neuerdings, GPT – oder ein anderes Sprachmodell – anzuwerfen und mit entsprechenden Aufgaben zu füttern. Schnell, kostengünstig und zuverlässig.
Aber ist es wirklich so einfach? Dieser Frage gehen die Forscher*innen um Neeraj Arora von der University of Wisconsin-Madison in ihrem Artikel „AI-Human Hybrids for Marketing Research: Leveraging LLMs as Collaborators” nach, der vor kurzem zur Veröffentlichung im “Journal of Marketing” angenommen wurde.
Vergleich von Studien mit und ohne KI
Konkret untersuchen die Forscher*innen, welche Elemente des Marktforschungsprozesses durch Sprachmodelle angereichert oder sogar ersetzt werden können. Um diese Frage zu beantworten, erzeugten sie zunächst synthetische Personas und verglichen deren Antwortverhalten mit den Ergebnissen qualitativer Interviews, die im Rahmen einer groß angelegten Studie eines Fortune-500-Unternehmens durchgeführt wurden.
Die Ergebnisse zeigen, dass Sprachmodelle synthetische Personas sehr gut abbilden können und Daten produzieren, die ihren menschlichen Pendants in wenig nachstehen und teilweise sogar besser abschneiden. So wiesen die synthetisch generierten Antworten einen höheren Informationsgehalt auf und erfassten Nischengruppen, die in typischen qualitativen Interviews gerne mal übersehen werden. Ähnlich sah es bei der Analyse qualitativer Daten aus. Sprachmodelle identifizierten viele der Themenbereiche (allerdings nicht alle), die menschliche Coder auch dokumentierten, manchmal auch zuvor unbekannte.
Sprachmodelle entwerfen und verbessern Fragebögen
In der quantitativen Forschung eignen sich Sprachmodelle sehr gut, neue Fragebögen zu entwerfen oder bestehende zu verschlanken, indem sie redundante oder nichtzutreffende Fragen identifizieren.
Der Vergleich von synthetisch generierten Datensätzen, sogenannten Silicon Samples, mit vom selben Unternehmen erhobenen Daten lieferte hingegen eher ernüchternde Ergebnisse. Zwar waren die Antworttendenzen ähnlich, allerdings wiesen die synthetischen Daten eine deutlich kleinere Varianz auf und bildeten Segmente kaum ab; ebenso wurden Einstellungsvariablen nicht reliabel erfasst. Die Ergebnisse wurden etwas besser, wenn man das Sprachmodell mit zusätzlichen Informationen aus einer vorherigen qualitativen Studie fütterte – blieben aber alles in allem wenig überzeugend.
Für quantitative Forschung ist der Mensch gefragt
Was lernen wir daraus? Stand heute eignen sich Sprachmodelle wie GPT besonders für qualitative Forschung. Synthetische Personas scheinen selbst nischige Konsumentengruppen gut abbilden und deren Antworten simulieren zu können. Auch in der Analyse qualitativer Daten können GPT & Co. überzeugen.
Wenn es allerdings um quantitative Forschung geht, sind nach wie vor Proband*innen aus Fleisch und Blut gefragt – zu groß sind die Abweichungen zwischen menschlichen und synthetischen Antworten. Es bedarf also noch einer deutlichen technologischen Entwicklung, bis Sprachmodelle weitere Kernaufgaben der Marktforschung übernehmen können.
