Unser Director Research Services, Holger Nowak, hat der Gesis Summer School in Köln einen Besuch abgestattet und sich dabei einen spannenden Vortrag angehört, hier seine Eindrücke:

Den ‚Cool to do drugs‘ Bleistift nehme ich als ein anschauliches Beispiel für Survey-Design-Fehlgriffe in mein Repertoire auf. In den letzten Jahren wurde in der Marktforschungsbranche viel über die sinkende Teilnahmebereitschaft an Umfragen sowie schwindende Vorhersagekraft und Repräsentativität von Forschung diskutiert. Die tatsächliche visuelle Gestaltung der Online-Umfragen ist bis heute nur ein Teilaspekt der Diskussion.

Erfreulicherweise bekam ich die Gelegenheit, in Köln einen Vortrag von Emily Geisen (RTI) zu diesem Thema zu besuchen. Am Ende der dreiwöchigen Gesis Summer School und an einem lauen Sommerabend war es nicht zu voll, sodass es reichlich Gelegenheit gab, mit einem überwiegend akademischen Publikum praxisnah und intensiv zu diskutieren.

Obwohl ich in den letzten Jahren die Diskussion um Survey Design verfolgt habe, war es trotzdem ein Vergnügen, Emily sprechen zu hören. Zum einen kristallisieren sich immer stärker wichtige Aspekte heraus, vor allem aber war ihre Präsentation sehr praxisnah und hat den Stand der Forschung sehr gut zusammengefasst.

Meiner Meinung nach kann die Diskussion auf einen einzigen Aspekt reduziert werden: Wir müssen alles tun, um die Teilnahmebereitschaft zu erhöhen. Wir müssen sicherstellen, dass die Teilnahme zu jeder vom Befragten gewünschten Zeit, auf jedem verfügbaren Gerät und auch in allen Situationen möglich ist. Bei der Gestaltung von Umfragen haben wir immer den ungestörten Teilnehmer im Blick, der alles auf einem großen Bildschirm eines voll ausgestatteten Desktop-Computer sorgfältig liest. Tatsächlich sollte es jedoch genauso gut funktionieren, wenn der abgelenkte Smartphone-User eine Umfrage nebenbei bei ausgeschaltetem Lautsprecher durchführt.

Ich stimme Emilys Ratschlag voll und ganz zu, dass wir ein Design für „Scanner“, die mobile Geräte nutzen, entwickeln sollten. Es ist keine Lösung, persönliche Interviews auf Online-Umfragen zu übertragen. Wir haben zwar keine Interviewer, aber viel mehr Tools, mit Hilfe derer wir ansprechende Umfragen erstellen können. Bereits mit einer geringen Anzahl an Teilnehmern können usability tests hierfür eine gute und günstige Unterstützung sein.

Man darf nicht vergessen, dass wir die Umfragen am Ende des Tages sowohl für unsere Kunden als auch für uns selbst erstellen. Mit schlecht gestalteten Fragebögen leiden immer auch die zentralen Gütekriterien Validität und Reliabilität. Langfristig würde zudem die Teilnehmeranzahl rapide abnehmen. Gutes visuelles Design und Usability sind somit eine wichtige Basis für prädiktive und (im wörtlichen Sinne) repräsentative Umfragen.

Übrigens: Emily hat ein Buch zum Thema ‚Usability testing for Survey Research‘ veröffentlicht. Es steht bereits auf meiner Wunschliste.