Ob ein Mensch einen Text geschrieben hat oder ob stattdessen ChatGPT am Werk war, lässt sich inzwischen kaum noch erkennen. Was schon länger bekannt ist, hat nun eine Studie der Hochschule Aalen untersucht. Dabei haben die Studienmacher*innen redaktionelle Inhalte mit solchen verglichen, die von einer KI erstellt wurden, und zwar entlang der gesamten Customer Journey.
Das Ergebnis: In Pre- und After-Sales-Phasen performten ChatGPT & Co. besser als die Redaktion. Auch in Sachen Glaubwürdigkeit und Formulierung haben die KI-generierten Inhalte die Nase vorn. Was aber Lesbarkeit und Unterhaltungswert angeht, sind sie wiederum gleichauf mit redaktionellen Inhalten. Diese jedoch trumpften in der ersten Phase der Customer Journey.
Peter Gentsch, Professor für internationale Betriebswirtschaftslehre an der Hochschule und Leiter der Studie, sieht darin eine Schwäche der KI: „Eine glaubwürdige Marke braucht Authentizität. Synthetische Inhalte, die mittels KI aus dem Internet recycelt werden, können nicht das leisten, was eine echte Markenbotschaft verlangt.“
ChatGPT nicht von redaktionellen Inhalten zu unterscheiden
Darüber hinaus berechneten die Forscher*innen den Flesch-Reading-Index sowie den Perplexity Index. Ersterer soll die Lesbarkeit eines Textes messen, letzterer bildet hingegen ab, wie zufällig, also unvorhersehbar, ein Text ist. Hierbei allerdings ergaben sich keine eindeutigen Muster. „Anhand der beiden Indexe ließ sich nicht genau erkennen, welche Texte vom Menschen und welche von KI verfasst worden waren“, erklärt Gentsch.
Dies sei vor allem im Hinblick auf Diskussionen spannend, ob KI-basierte Inhalte als solche herausgefiltert oder gekennzeichnet werden müssten, lässt er sich in einer entsprechenden Mitteilung zitieren. „Die Studienergebnisse zeigen, dass dies schlicht nicht möglich ist“, so Gentsch. Zumindest das Erkennen von KI-generierten Inhalte ist aber möglich. So gibt es auch von Seiten des ChatGPT-Urhebers OpenAI ein Modell, das die Texte von ChatGPT identifizieren soll. Erst kürzlich hat das Unternehmen eine neue Version präsentiert.
Für die Studie befragte das Marktforschungsinstitut Appinion 100 Personen. Für die KI-Inhalte wurden GPT-3 Playground sowie ChatGPT verwendet.
