Beim gestrigen BVM-Regionalabend Rhein-Ruhr in Düsseldorf stand dieses Mal das Thema „Datenqualität“ auf dem Programm. Der Fokus lag hierbei auf der zentralen Frage: „Was kann ich tun, um als Marktforscher im Rahmen von Online-Befragungen ehrliche(re) Antworten bei den Probanden zu erzielen?“, welche der Referent des Abends, Sasha Shirangi, Head of Research & Data Consultancy bei Kantar Profiles (EMEA) zu beantworten versuchte. Jonathan Heinemann, Director Business Development, und Sebastian Kramer, Director Research Services UK, waren als Zuhörer für respondi vor Ort.

Als Grundvoraussetzung für die Sicherstellung eines Mindeststandards an Datenqualität wurden eher technische und prozessorientierte Methoden genannt, wie zum Beispiel die Verifizierung der IP-Adresse (Bestätigung des Ortes sowie Ausschluss verdächtiger Server) und der Identitätscheck bei Neuregistrierungen im Panel. „Validierte, authentifizierte Daten“ war hierbei das Stichwort. Die Implementation dieser Methoden klassifizierte der Referent als Pflichtprogramm bei der Durchführung jeglicher Art von Onlineforschung.

Darüberhinaus wurde ein Fragebogeninstrument vorgestellt, mit dem sich laut Referent recht einfach sogenannte „Overclaimer“ identifizieren lassen. Hierbei handelt es sich um eine vorangestellte, einfache Multicode-Frage mit acht Items und der Frage, welche dieser Nennungen denn laut eigener Aussage auf den Teilnehmer zuträfen. Bis auf ein Item mit bekannterweise hoher Inzidenz („Ich habe einen Führerschein“) beinhalten die restlichen Items ausschließlich Statements mit nachweislich geringer Wahrscheinlichkeit (z.B. „Ich habe eine Jagdlizenz“ oder auch „Ich habe mit einem Einrad mehr als 100 Meter geschafft“). Jeder Teilnehmer, der hier sechs oder mehr Statements bejaht, wird daraufhin als „unehrlich“ identifiziert, zentral als solches im System geflaggt (zumindest für einen bestimmten Zeitraum) und kann somit schlussendlich bei Folgestudien ausgeschlossen werden.

Doch warum und bei welchen Themen neigen Menschen überhaupt zur Lüge? Wie kann es zum Beispiel sein, dass der von chinesischen Befragungsteilnehmern selbst berichtete Besitz von iPads den tatsächlichen Geräteabsatz in China übersteigt?

Als großen Themenbereich wurden hier Verhaltensweisen oder Eigenschaften identifiziert, die als sozial wünschenswert gelten – was natürlich regional und kulturell unterschiedlich sein kann. Generell lässt sich jedoch sagen, dass es eher Themen sind, die entweder mit Prestige (Bildung, Besitz, Status, Gesundheit, etc.) oder mit „Gutmensch-Sein“ zu tun haben (Umweltbewusstsein, Nachhaltigkeit, Altruismus, etc.). Als Gründe wurden diverse genannt: unter anderem mangelnde Aufmerksamkeit (Langeweile, Ablenkung, Befragung zu anstrengend), eine erwartete Ablehnung eigener Ansichten und Verhaltensweisen, eine (unbewusst) verzerrte Selbstwahrnehmung, oder auch das (bewusste) Vorgeben eines positiveren Bildes von sich selbst.

Doch zurück zur eigentlichen Frage des Abends (siehe oben), auf dessen Antwort alle Zuhörer bis dahin so gespannt hingefiebert hatten. Als Lösungsvorschlag stellte der Referent nun das sogenannte „Honesty Priming“ vor.

Kurz zusammengefasst handelt es sich hierbei um strategisch ausgewählte (oder selbst erstellte) und angewendete Bilder und Worte, welche zu Beginn der Befragung eingefügt werden und somit einen „Priming“-Effekt bewirken sollen. Das Ziel ist es einerseits implizit ein Gemeinschaftsgefühl mit dem Befragungsteilnehmer aufzubauen („mir/uns geht es genauso wie Dir“) als auch gleichzeitig die beste Herangehensweise zur Beantwortung des Fragebogens zu vermitteln (Stichwort „Ehrlichkeit“) und zu vermeidende Verhaltensweisen zu identifizieren. Dadurch soll noch vor dem eigentlichen Befragungsbeginn ein „Aha“-Moment beim Probanden erzeugt werden, sodass dieser sich letztendlich zu einem deutlich realistischeren Antwortverhalten ermutigt fühlen soll.

Hervorragend geeignet seien hierzu „Memes“, wie man sie auch bereits seit Jahren aus den Social Media kennt, da sie auf einfache Weise eine klare und prägnante, aber kurz gehaltene Message mit sympathieerzeugendem Humor transportieren können. Konkrete Beispiele zeigte der Referent reichlich:

• U.a. ein Bild einer liegenden Zahl, welche je nach Perspektive sowohl als „6“ oder auch als „9“ interpretiert werden kann. Dies sollte zur Klarstellung dienen, dass es keine falschen oder richtigen Antworten gibt.
• Andere vorgestellte „Real Life“-Memes bestanden aus Gegenüberstellungen von jeweils einem „Ideal“-Bild und einem „IST“-Bild mit dem textlichen Appel, dass man an den ehrlichen Antworten interessiert sei, auch wenn diese unglamourös seien.
  • z.B. Beyonce’s „stage identity“ in Glitzerkleid auf der linken Seite vs. Beyonce in schlabbriger Alltagskleidung auf der rechten Seite.
  • Oder auch „What I ate for breakfast“ mit einem gesunden Smoothie in warmen Farben auf der linken Seite und auf der rechten Seite ungesundem Fast Food in trüben Farben.

Als generelle Effekte des Primings wurden einerseits ein reduzierter Overclaim sozial erwünschter oder angesehener Aktivitäten (z.B. Autokauf, geschäftliche Hotelübernachtung, etc.) sowie eine erhöhte Nennung weniger sozial erwünschter Aktivitäten (z.B. Bierkonsum pro Woche) als auch eine signifikant höhere Wortanzahl in offenen Antworten aufgeführt. Gleichzeitig machte der Referent aber auch deutlich, dass sich der Priming-Effekt während des Fragebogenverlaufs abnutzt und empfahl daher einen fokussierten Einsatz nur dann, wenn soziale Erwünschtheit als möglicher Einflussfaktor vermutet wird.

In der anschließenden Diskussion kam die berechtigte Frage auf, ob das durch das Priming veränderte Antwortverhalten denn nun wirklich „ehrlicher“ sei, oder das Priming nicht nur einfach zu einer Verzerrung der Daten führe – schließlich kenne man die „absolut wahren“ Datengrundlage ja nicht. Man kam letztendlich gemeinsam zu dem Schluss, dass noch weitere Forschung vonnöten sei, um diese Thematik genauer zu ergründen.

Mitgenommen von diesem BVM-Regionalabend habe ich persönlich das erhöhte Bewusstsein, dass es eine tägliche Herausforderung für die Marktforschung ist, Fragen so klar darzustellen und zu formulieren, dass sie überhaupt erst wahrheitsgemäß beantwortet werden können.

Vielleicht ein guter Denkanstoß für alle Online-Mafo-„Schreibtischtäter“ unter uns. 😉

Sebastian Kramer, Director Research Services UK