Panel-Qualität: Das Ergebnis von Sorgfalt und Verantwortungsbewußtsein

1. Unternehmensprofil
Welche Erfahrungen hat Ihr Unternehmen mit Online-Stichproben in der Marktforschung gemacht?

Die respondi AG führt seit ihrer Gründung im Oktober 2005 jährlich mehrere 100 Online-Studien über ihre eigenen Online-Access-Panels durch. Zu unseren über 200 Kunden zählen die größten Marktforschungsinstitute Deutschlands sowie zahlreiche internationale Unternehmen und Agenturen.
Die Stichproben in diesen Projekten reichen von sehr speziellen Zielgruppen mit Fallzahlen bis 250 Teilnehmern bis hin zu großen Tracking-Studien mit mehr als 25.000 Teilnehmern.

Viele unserer Mitarbeiter beschäftigen sich seit mehr als zehn Jahren mit dem Thema Online-Stichproben – sie sind quasi von Anbeginn dieses Forschungsfelds dabei. Außerdem entwickeln wir unsere Methoden in Zusammenarbeit mit unseren Kunden und dank einer Kooperation mit dem Zentrum für Umfragen, Methoden, Analysen (ZUMA) kontinuierlich weiter.
Durch diese Erfahrung sind wir in der Lage, unsere Kunden kompetent und auf der Höhe der Zeit zum Einsatz von Online-Stichproben zu beraten.

2. Stichprobenquelle
Bitte beschreiben und erklären Sie die Quellen, die von Ihnen für Online-Stichproben herangezogen werden (handelt es sich um Datenbanken, um ein aktiv gemanagtes Panel, Direktmarketing-Listen, über das Web erhobene Stichproben, Echtzeit-Befragungen [river sampling], etc.?)

Die respondi AG unterhält ein aktiv gepflegtes Online-Access-Panel. Technische Grundlage ist eine leistungsfähige Softwarelösung. Mit dieser Software managen wir unser Panel.

Mit einer einzigartigen Kombination aus verschiedenen Online- und
Offline-Rekrutierungsmethoden bilden wir die Internetbevölkerung in unserem Panel ab. Die Mitglieder diese Panels werben wir über unsere Meinungsportale sozioland und demandi ausschließlich themenbezogen an. Über 200 Umfragen zu unterschiedlichsten Themen werden dafür jährlich auf mehr als 4.000 Partnerseiten verlinkt.

Mit diesem Verfahren findet respondi ihre Panel-Mitglieder dort, wo sie sich im Internet bewegen: auf themenspezifischen Portalen, in Foren und Communities. Außerdem setzt respondi auf weitere Quellen wie zum Beispiel die CATI-Rekrutierung durch Muttersprachler.

3. Was, glauben Sie, ist der Hauptvorteil Ihrer Stichprobenquelle im Vergleich zu anderen Quellen auf dem Markt?

Unser kombinierter Rekrutierungsansatz aus Online- und Offline-Quellen ist einzigartig im Markt. Die Panelisten werden nicht über monetäre Anreize, sondern über ihre intrinsische Motivation angesprochen.

Mit diesem Ansatz erreichen wir quantitativ einen hohen Rücklauf von 60%, zum anderen zeigt sich, dass die Antwortqualität der Panelisten besonders hoch ist.
Außerdem findet bei uns im Rekrutierungsprozess keine Selektion nach soziodemografischen und psychografischen Merkmalen statt – das bestätigen regelmäßig durchgeführte Ausfallanalysen. Demnach ist das respondi-Panel ein getreues Abbild der gesamten Internetbevölkerung.

4. Falls die Stichproben aus einem Panel beziehungsweise einer Datenbank stammen, werden diese ausschließlich für die Marktforschungszwecke verwendet? Falls nicht, bitte erläutern Sie, warum.

Die Stichproben aus dem respondi-Panel werden ausschließlich für Marktforschungszwecke verwendet.

5. Wie treten Sie mit Zielgruppen in Kontakt, die schwierig bis gar nicht via Internet erreichbar sind?

Um die Reichweite des respondi-Panels möglichst groß zu gestalten, setzt respondi auf verschiedene Rekrutierungsquellen: eigene Meinungsportale, On-site-Befragungen, Suchmaschinen und telefonische Rekrutierung über Partnerinstitute aus der Marktforschung. Über diese vielfältigen Quellen können wir die unterschiedlichsten Zielgruppen ansprechen und rekrutieren.

6. Was wird den Personen mitgeteilt, die rekrutiert werden?

Wir gestalten den Rekrutierungsprozess transparent und fair. Jeder neue Teilnehmer wird im Vorfeld detailliert über die Regeln der Teilnahme informiert. Die Teilnahme am respondi-Panel ist freiwillig und kann zu jedem beliebigen Zeitpunkt von beiden Seiten beendet werden. Alle persönlichen Daten des jeweiligen Teilnehmers werden beim Austritt aus dem Panel umgehend gelöscht.

Die Panel-Mitglieder werden per E-Mail zur Teilnahme an den jeweiligen Befragungen eingeladen. Dabei werden sie über die voraussichtliche Dauer der Befragung, den Teilnahmezeitraum und die Belohnung, also Bonuspunkte oder Verlosung, unterrichtet. Jeder Teilnehmer darf sich nur einmal für das Panel registrieren.

Einige Befragungen wenden sich nur an an Panel-Teilnehmer mit bestimmten Merkmalen, wie Autofahrer, Schüler oder Berufstätige. Dafür werden die Teilnehmer themenspezifisch ausgewählt. Das bedeutet, dass nicht alle Mitglieder bei allen Befragungen mitmachen können und deshalb auch generell kein Anspruch auf die Teilnahme an bestimmten Projekten besteht.
Alle Mitglieder werden für die Teilnahme bei respondi belohnt. Sie erhalten für ihre Antworten Bonuspunkte.

Die von den Panel-Teilnehmern gemachten Angaben werden nach den strikten Regeln des deutschen Datenschutzes behandelt. Die Auswertungen der Untersuchungsergebnisse erfolgen in anonymisierter Form: Antworten in den jeweiligen Befragungen werden niemals in Verbindung mit Namen oder Adressen von Panel-Mitgliedern ausgewertet. Die Daten werden nicht an Dritte weitergegeben. Die Angaben werden lediglich zu Zwecken der Markt- und Sozialforschung genutzt. Die Panel-Mitglieder erhalten keine Werbe- oder sonstigen Spam-Mails.

7. Panel-Rekrutierung
Wenn die Stichprobe aus einem Panel stammt, wie sieht es mit Panel-Fluktuation aus (Verbleib, Mortalität etc.)?

Die hohe Qualität des Panels sorgt für eine geringe, jedoch natürliche Panel-Fluktuation: Innerhalb eines Jahres werden ca. 15% der Panel-Mitglieder durch Panel-Mortalität und Qualitätskontrollen aus der Datenbank entfernt. Gründe für eine Löschung aus der Datenbank sind beispielweise eine Teilnahmequote von null Prozent über einen Zeitraum von 12 Monaten, Doppelanmeldungen oder bewusste Falschangaben bei mehreren Befragungen. Diese Parameter werden von uns ständig kontrolliert. Ständige Kontrolle und eine maßvolle Einladungsfrequenz verhindern negative Aspekte wie Panel-Verzerrungen und eine „Professionalisierung“ der Mitglieder.

8. Bitte beschreiben Sie den Opt-in-Prozess.

respondi nutzt das sogenannte Double-opt-in-Verfahren. Nach der Registrierung erhält jedes Neumitglied eine Bestätigungsmail mit einer Einladung zur Stammdatenbefragung. Auf der Startseite dieser Erstbefragung muss der Panelist Regeln und Datenschutzbestimmungen aktiv zustimmen. Panelisten, die nicht an der Stammdatenbefragung teilnehmen, werden nicht zu Befragungen eingeladen und nach einer Frist von vier Wochen vollständig aus dem Panel gelöscht.

9. Werden Maßnahmen gesetzt, um die Identität der Teilnehmer zu prüfen? Gibt es Methoden, durch die betrügerische Teilnehmer aufgedeckt werden können, sobald diese sich für das Panel anmelden? Falls ja, bitte erklären Sie diese.

Bereits im Registrierungsprozess unterbindet ein Systemcheck eine Doppelregistrierung mit derselben E-Mail-Adresse. Ein Dublettencheck markiert nach der Anmeldung Teilnehmer mit ähnlichen Adressdaten, IP-Adresse und Browser-Konfiguration. Dieser Prozess wird von uns ständig überwacht, Betrüger („Faker“) und doppelt angemeldete Teilnehmer werden gefiltert und vollständig gelöscht. Außerdem erheben wir Bankkontodaten, um falsche Identitäten zu erkennen. Wir gleichen Profil- und Umfragedaten regelmäßig ab und kontrollieren auch alle weiteren Teilnehmerdaten, wie auch die Antwortqualität des einzelnen Panelisten bei Befragungen.

10. Welche Profildaten eines Panel-Teilnehmers werden gespeichert? Für welche Anzahl an Teilnehmern werden Daten gesammelt und wie oft werden diese Daten aktualisiert?

Bereits in der Stammdatenbefragung, die bei der Registrierung verpflichtend durchgeführt wird, werden ca. 300 Basisinformationen zu jedem Mitglied erhoben. Weitere 600 Profildaten liegen in den themenbezogenen Spezial-Panels vor. Außerdem wird sowohl der Eintrittsweg des Teilnehmers in das respondi-Panel, als auch alle Daten aktueller und vergangener Projekte gespeichert. Die Stammdaten werden alle 12 Monate aktualisiert.

11. Welche Größe beziehungsweise Kapazität hat Ihr derzeitiges Panel, basierend auf den aktiven Panel-Teilnehmern zu einem gegebenen Zeitpunkt? Können Sie einen Überblick über die aktiven Panel-Listen geben, basierend auf der Art der Quelle?

respondi definiert aktive Panelisten als diejenigen, die nach der Double-opt-in-Registrierung auch die Stammdatenbefragung ausgefüllt und in den letzten 12 Monaten an mindestens einer Umfrage teilgenommen haben. Insgesamt umfassen alle respondi-Panel ca. 220.000 Mitglieder. Die aktuellen Daten ändern sich aufgrund der Dynamik des Panel-Geschäfts ständig. Teilnehmerzahlen und Verbreitung können auf unserer Website eingesehen werden.

12. Panel- und Stichprobenmanagement
Bitte beschreiben Sie die Stichprobenerhebung unter Einbeziehung des Ausschlussverfahrens, falls dies maßgeblich ist. Können Samples gebündelt/wiederholt genutzt werden, abhängig von Zeitzonen, Geografie etc.? Falls ja, wie wird das kontrolliert?

Basierend auf den Stammdaten, den einzuhaltenden Quoten sowie dem notwendigen Screening wird eine zufällige Stichprobe aus der Zielgruppe gezogen. Mithilfe von Gruppenfiltern bilden wir hierzu Gruppen bzw. Subpanels. Filterkriterien können beispielsweise Stammdaten, Performanzkriterien, Felddaten und Projektdaten sein. Die so definierte Gruppe kann bereits als Stichprobe für das Projekt genutzt werden. Im weiteren Verlauf der Stichprobenziehung nutzen wir ein Schichtungs- bzw. Quotenmodul. Hier können exakte Quoten über beliebig viele Stammdatenkriterien nach absoluten oder relativen Werten gesetzt werden. Zum Versand der Einladungen können wir Zeitzonen, Regionen etc. definieren. Eine Statistik zur Panel-Belegung ermöglicht uns eine Übersicht der Teilnehmer über die Anzahl der Stichprobenmitgliedschaften.

13. Beschreiben Sie, wie mögliche Teilnehmer zu einer Befragung eingeladen werden. Wie sieht eine typische Einladung aus?

In die Einladungsmail werden die Interviewdauer und Incentivierungshöhe angegeben. Ebenso ist der Befragungslink eingefügt, über den die Teilnehmer auf den Fragebogen gelangen. Unsere Panel-Teilnehmer werden immer darauf hingewiesen, dass es sich um eine anonyme Befragung handelt. Auf keinen Fall wird dagegen das Thema der Befragung oder die Zielgruppe bei der Einladung kommuniziert.

14. Bitte beschreiben Sie die Art Ihres Prämiensystems. Variiert dieses System, abhängig von der Länge der Befragung, der Antwortencharakteristik, oder gibt es andere zu beachtende Faktoren?

Die Panel-Mitglieder erhalten für ihre Teilnahme respondi-Punkte (rps). Für ein zehnminütiges Interview wird eine Belohnung von 100 Punkten ausgeschüttet. Diese 100 Punkte entsprechen dem Gegenwert von einem Euro. Zusätzlich werden regelmäßig Verlosungen durchgeführt. Ab einer Auszahlungsgrenze von zehn Euro kann der Betrag auf das Konto überwiesen oder in einen Einkaufsgutschein umgewandelt werden. Alternativ kann der Panelist jeden beliebigen Betrag an eine ausgewählte Organisation spenden.

15. Wie oft werden einzelne Mitglieder innerhalb einer bestimmten Zeit für Online-Befragungen kontaktiert? Werden die Daten der Personen, die an einem Panel teilnehmen, gespeichert und gibt es Beschränkungen hinsichtlich der Häufigkeit der Teilnahme an Befragungen?

Im Schnitt erhält jedes Mitglied die Möglichkeit, monatlich zwei Befragungen erfolgreich zu beenden, jeder Panelist gehört also zweimal zur Zielgruppe einer Befragung.

Filter ermöglichen eine Gruppenbildung aus Panelisten, die das Limit einer vorher definierten Einladungshäufigkeit in einem definierten Zeitfenster schon überschritten haben. Dieser Gruppe wird eine entsprechende Ruhephase ermöglicht.

Grundsätzlich werden alle Daten, die für eine Panel-Teilnahme relevant sind, gespeichert. Mit einem Tracking-System erfassen wir absolute und relative Teilnahmewerte: Einladungshäufigkeit, Rücklauf, Drop-out-Rate und Anzahl beendeter Interviews.

16. Richtlinien und Einhaltung
Gibt es Datenschutzbestimmungen? Falls ja, welcher Art? Geht das Panel konform mit allen regionalen, nationalen und örtlichen Gesetzen in Bezug auf Privatsphäre, Datenschutz und Kinder wie beispielsweise EU Safe Harbour und COPPA in den USA? Werden andere Industrieforschungsstandards angewandt, beispielsweise der ICC/ESOMAR International Code der Markt- und Sozialforschung, CASRO-Richtlinien etc?

Panelisten-Informationen werden nach strikten Regeln des Datenschutzes behandelt. Befragungen werden immer anonym durchgeführt. Unter keinen Umständen werden persönliche Daten an Dritte weitergegeben. Die Mitglieder des respondi-Panels haben die Garantie, dass ihre Daten lediglich für Zwecke der Markt- und Sozialforschung genutzt werden und sie keine Werbemails oder Spams erhalten. Gemäß den Vorgaben der deutschen Datenschutzgesetze werden alle Daten eines Teilnehmers auf Wunsch bzw. beim selbsttätigen Austritt vollständig gelöscht. respondi ist Mitglied der Deutschen Gesellschaft für Online-Forschung (DGOF), des Bundesverband Deutscher Markt- und Sozialforscher (BVM) und der Weltorganisation für Marktforscher, ESOMAR. Wir unterliegen entsprechend strengen Standesrichtlinien. Diesen fühlen wir uns verpflichtet.

17. Welche datenschutzrechtlichen Sicherheitsmaßnahmen werden von Ihnen gesetzt?

Jedes Mitglied erhält die Zusicherung, dass Registrierungs- und Befragungsdaten absolut vertraulich behandelt und zu keinem Zeitpunkt kombiniert werden. Eine Weitergabe von Adressdaten an unsere Kunden ist in jedem Fall ausgeschlossen. Adressdaten und personenbezogene Daten werden getrennt voneinander gespeichert.

Jedes Mitglied erhält ein neunstelliges Pseudonym. Umfrageergebnisse und personenbezogene Daten werden damit verbunden. Zum Schutz persönlicher Daten ist die Panel-Website mit einem SSL-Zertifikat gesichert.
So kann beispielsweise der Tausch von Punkten gegen Bargeld ausschließlich über eine gesicherte Verbindung erfolgen.

18. Wenden Sie ein Qualitätsmanagementsystem an? Bitte beschreiben Sie dieses.

Unsere Software bietet einen umfangreichen Katalog an professionellen Lösungen. Sie ermöglicht automatisierte Prozesse wie Datenbereinigung in Befragungen und Dublettenchecks in der Teilnehmerdatenbank. Mit einer Qualitätskontrolle wird jede Befragungsteilnahme in Qualitätsvariablen erfasst. Mit dem Wert dieser Variablen lassen sich beispielsweise so genannte „Durchklicker“ erfassen. Das sind Teilnehmer, die eine Befragung unter einem durchschnittlichen Zeitwert durchlaufen haben.

Bereits im Registrierungsprozess werden Doppelanmeldungen mit gleicher E-Mail-Adresse ausgeschlossen. Identische oder ähnliche postalische Adressdaten, IP-Adressdaten und Browser-Einstellungen ermöglichen eine automatisierte Identifikation als Dublette.

Das Panel-Management erhebt und verarbeitet zudem in einem Benchmarking-System alle relevanten Panel-Daten. Dazu zählen technische und inhaltliche Daten wie Rücklauf, Auslastung des Panels und auch die Kommunikation mit den Teilnehmern.

Eine dritte Säule in unserem Qualitätsmanagement ist der respondi-Zufriedenheitsindex. Dieser wird monatlich bei einem repräsentativen Querschnitt der Panelisten erhoben. Er misst Zufriedenheit, Motivation und Bindung der Teilnehmer.

19. Führen Sie Online-Befragungen an Kindern und jungen Menschen durch? Falls dies der Fall ist, beschreiben Sie, wie Sie die Zustimmung dafür eingeholt wird.

Das Mindestalter für die Teilnahme am respondi-Panel beträgt 14 Jahre. Umfragen mit jüngeren Kindern werden ausschließlich über im Panel registrierte Eltern oder Erziehungsberechtigten durchgeführt.

20. Partnerschaft und Multi-Panel-Teilnehmer
Reichern Sie Ihren Online-Pool mit Samples anderer Anbieter an? Wie wählen Sie diese Partner aus? Werden Doppel- bzw. Mehrfacheinträge bei Verwendung von Multi-Samples aussortiert?

Wie viele Panel-Anbieter arbeitet auch respondi mit verschiedenen Panel-Partnern zusammen. Dies gilt insbesondere für Länder, in denen respondi keine eigenen Panels betreibt. Greifen wir auf das Angebot anderer Panel-Anbieter zurück, wird der Kunde stets vorab informiert.

Bevorzugt arbeiten wir mit nationalen Anbieter in den jeweiligen Ländern. Diese Partner werden von uns auf Qualität und Zuverlässigkeit überprüft und ausgewählt.

Um die Antwortqualität bei Multi-Panel-Befragungen gleichbleibend hoch zu halten, gleichen wir die Panelisten-Identitäten anonymisiert ab, um eine Überschneidung der Stichproben zu vermeiden.

21. Gibt es Richtlinien hinsichtlich einer Multi-Panel-Teilnahme? Welche Maßnahmen werden getroffen, um sicherzustellen, dass die Umfrageresultate von einzelnen Personen, die an mehreren Panels teilnehmen, unverfälscht sind?

Eins vorab: Die Antwortqualität eines Panelisten bemisst sich nicht ausschließlich nach der Anzahl seiner Panel-Mitgliedschaften.

respondi arbeitet mit der Technik „RelevantView“ von Relevant ID, um bestimmte Teilnahmegruppen von Befragungen auszuschließen und Dubletten zu vermeiden. Über RelevantView werden mehr als 80 Komponenten des Befragungszugriffs (IP-Adresse, Land, Stadt, Region, Browser, PC-Daten etc.) erhoben und mit Merkmalen anderer Teilnehmer verglichen. Außerdem marginalisieren wir abweichende Panel-Charakteristika. Insbesondere bei Tracking-Studien erzielen wir so valide und reliable Ergebnisse.

22. Datenqualität und Bewertung
Von welchen wahrscheinlichen Ausgangsquoten, Drop-out-Quoten und Teilnehmerquoten einer Umfrage kann man, hinsichtlich einer gegebenen Stichprobe, ausgehen?

Die durchschnittliche Teilnahmequote bei einer Umfrage mit 5 Feldtagen liegt bei 60 %. Diese Teilnahmequote berechnet sich aus der Summe der beendeten Interviews, Screen-outs, Quota-fulls und der abgebrochenen Interviews, geteilt durch die Anzahl der Einladungen.

Die hohe Stammdaten-Dichte im respondi-Panel führt im Allgemeinen dazu, dass die Screen-out-Raten gering sind. Ein kluges Feldmanagement sorgt dafür, dass Teilnehmer nicht ständig auf bereits geschlossene Quoten treffen. Drop-out-Raten von weniger als 10 % lassen auf eine hohe Motivation und Bindung der Teilnehmer schließen.

23. Wird die stufenweise Entwicklung der Teilnehmer, wie beispielsweise aktuelle Teilnehmer-Historie, Eintrittsdatum, Quelle etc. in Ihrer Panel-Liste aufgezeichnet? Wird der Kunde über die Entwicklungsstufen informiert?

Wir dokumentieren die Entwicklungsschritte eines jeden Panel-Teilnehmers über seinen gesamten Panel-Lebenszyklus hinweg. Bei jedem Panelisten wird der Eintrittsweg sowie das Eintrittsdatum verzeichnet. Zahlreiche Tracking-Variablen zeichnen alle relevanten Teilnehmerwerte der Befragungsfeldphasen auf.

Gleichzeitig werden die Mitglieder in einem internen Bewertungssystem mithilfe dieser Tracking-Variablen nach ihrem Antwortverhalten und ihrer Teilnahmebereitschaft bewertet. Dieser Panel-Compliance-Index identifiziert qualitativ schwächere und unzuverlässige Teilnehmer.

24. Führen Sie eine Datenqualitätsanalyse durch? Wenden Sie Bewertungstechniken an, um nachlässige oder betrügerische Teilnehmer zu identifizieren? Falls ja, welche Methoden werden verwendet und zu welchem Zeitpunkt des Prozesses werden diese angewandt?

Durch das von respondi genutzte interne Bewertungssystem werden die Panelisten kontinuierlich in ihrem Antwortverhalten beobachtet und gemessen.

Wir gleichen Profil- und aktuelle Umfragedaten ständig ab, außerdem erfolgt eine fortlaufende Bereinigung der Daten sowie Zeitmessung. Diese Überprüfungsmethoden erfolgen während und außerhalb einzelner Projekte.
Nach Projektende wird generell eine Qualitätskorrektur durchgeführt. Diese erzeugt eine Qualitätsvariable. Über diese lässt sich eine Aussage treffen, ob sich ein Teilnehmer mit den Fragen befasst oder sich nur durch den Fragebogen durchgeklickt hat. Neben solchen automatisierten Prozessen setzt respondi auch manuelle Methoden wie Varianzchecks und Zeitkontrollen als Bestandteil des Projektmanagements ein.

25. Bewerten Sie die Zufriedenheit der befragten Personen?

Am Ende der Befragungen wird regelmäßig abgefragt, wie zufriedenstellend Inhalt und Gestaltung einer Befragung für die Panelisten waren. Ein weiterer Maßstab zur Messung der Zufriedenheit ist das Panelisten-Feedback. Unser Panel-Mangement hat damit exzellente Möglichkeiten, individuell auf die Bedürfnisse der Teilnehmer einzugehen. Außerdem erstellen wir monatlich einen Zufriedenheitsindex unserer Panelisten. Dieser Index wird bei einem repräsentativen Querschnitt der Panelisten erhoben – er misst Zufriedenheit, Motivation und Bindung der Teilnehmer.

26. Mit welchen Informationen versorgen Sie den Kunden nach Abschluss eines Projektes?

Nach Projektende erhält jeder Kunde einen automatisch generierten Feldbericht mit allen relevanten Informationen zum Projektverlauf wie Anzahl Teilnehmer, Screen-outs, Drop-outs, Feldzeit, Zugriffszeiten etc.

Während des Projektes erhält jeder Kunde einen Reporting-Zugang zum Feld- und Ergebnisreport, der eine grafische Darstellung der Ergebnisse sowie das Lesen offener Antworten in Echtzeit ermöglicht.