Großer grüner Pfeil

LimeSurvey

Blog

Kann man hohe Antwortquoten kaufen?

graph increasing with money

Eine hohe Antwortrate ist nicht nur wichtig, um so viele Daten wie möglich mit so wenig Aufwand wie möglich zu sammeln. Sie hat möglicherweise auch einen entscheidenden Einfluss auf die Qualität der Umfrageergebnisse. Das zugrundeliegende Phänomen nennt sich Non-Response-Bias und beschreibt, dass eine Umfrage unrepräsentativ wird, wenn ein bestimmter Teil der Zielgruppe nicht an der Umfrage teilnimmt und so die Ergebnisse verzerrt werden.

Es gibt zahlreiche Faktoren, die die Antwortrate erhöhen können:
  • Ein gut durchdachtes Umfragedesign, das für den Teilnehmer ansprechend ist: Dazu gehört die richtige Länge, die Nutzung von Bildern und Farben und die Optimierung der Umfragestruktur durch Verzweigungslogik, Piping oder die Anzeige eines Fortschrittsbalkens.
  • Personalisierte E-Mails und Erinnerungsmails (die am effektivsten ein bis zwei Wochen nach der ersten Mail sind)
  • Zusichern von Anonymität
  • Anreize schaffen in Form von Gewinnspielen oder Vergütungen

Anreize schaffen

TDer Harvard Professor Michael Sandel erklärt in seinem Buch "What Money Can't Buy" auf welche Weise die Bepreisung von Objekten, diese entwerten können. Ein Paradebeispiel ist die Blutspende: Wenn man eine Belohnung im Gegenzug für die Blutspende verspricht, mit der Absicht, mehr Blut zu erhalten, wird die Qualität des Blutes sinken – so Sandels Theorie. Seine Argumentation ist wie folgt:

Ein monetärer Anreiz motiviert vor allem Personen aus dem unteren Ende des ökonomischen Spektrums. Und Personen aus dem unteren Ende des ökonomischen Spektrums tendieren dazu, einen schlechteren Gesundheitszustand zu haben und damit eine geringere Blutqualität mit einem höheren Risiko für Krankheiten wie Hepatitis.

Ein anderer Effekt, den er beschreibt, ist, dass die Blutspende ihren altruistischen Wert verliert, wenn man ihr einen monetären Wert gibt. Sie wird zu einem weiteren Objekt auf dem ökonomischen Markt und verlässt die Domäne der Moralität. Dadurch, dass sie zu einem Gut wird, verlieren die Menschen ihr Pflichtgefühl. Das könnte langfristig dazu führen, dass es weniger Blutspender gibt.

Anwendung auf Umfragen

Überträgt man diese Gedanken auf den etwas profaneren Akt, Leute dafür zu bezahlen, an Umfragen teilzunehmen, kann man dieselben zwei Level analysieren: eine Verschiebung der Zielgruppe und eine Verschiebung der Moralität. Welche Implikationen gibt es dort? Und was empfehlen Studien?

Erstens, ziehen Anreize mehr Leute an und gibt es eine demographische Verschiebung? Um es kurz zu machen, ja, Anreize funktionieren im Hinblick auf eine Verbesserung der Antwortrate. Es ist allerdings fast unmöglich, eine bestimmte Prozentzahl zu nennen, da unterschiedliche Studien unterschiedliche Ergebnisse von 10 bis 50 % bringen. Die Zahlen scheinen stark von anderen Faktoren beeinflusst zu sein. Der aktuelle Forschungsstand weist nicht auf einen demographischen Effekt hin, es sieht also so aus, als köderte der Anreiz keine bestimmte Gruppen.

Zweitens, welchen Effekt haben die Anreize auf die Moral der Umfrageteilnehmer? Ändert sich die investierte Zeit und die Qualität der Antworten? Es gibt Studien die sogar das Gegenteil zeigen: Die Anreize sind möglicherweise ein Ansporn, die Umfrage besonders gewissenhaft auszufüllen.

Gleichzeitig gibt es möglicherweise einen Einfluss auf die Soziale Erwünschtheit, was bedeutet, dass Teilnehmer Antworten geben, von denen sie glauben, dass sie von ihnen erwartet oder gewünscht werden. Dieser Effekt ist nicht eindeutig und hängt ebenfalls von verschiedenen Faktoren, wie dem Land oder der Art der Frage ab. Zum Beispiel waren innerhalb einer Studie die Antworten auf die Frage nach dem Einkommen verzerrt und die Antworten betreffend politischer Ansichten unbeeinflusst.

Welche Empfehlungen sprechen Studien aus?

Die Entscheidung zwischen einem Gewinnspiel, bei dem die Chance auf einen Preis besteht und einer Belohnung für jeden Teilnehmer hängt immer auch vom zur Verfügung stehenden Budget ab. In die Entscheidung könnte mit einfließen, dass auch andere Faktoren einen Einfluss auf die Antwortrate haben. Es scheint, als sei für kurze Umfragen ein Gewinnspiel am kosteneffizientesten und Gutscheine bei längeren Befragungen.

Ein Fun Fact bezüglich der Gewinnspieloption ist, dass sie nicht nur die Antwortrate erhöht, sondern auch die Antwortgeschwindigkeit um einige Tage. Obwohl es irrational ist, scheint dieses Verhalten durch die Fehlvorstellung geleitet sein, dass eine frühere Teilnahme die Gewinnchancen erhöht.

Um das Auftauchen frühzeitig beendeter Umfragen zu verringern, sollte auf den Zeitpunkt der Entlohnung geachtet werden. Es konnte gezeigt werden, dass die Herausgabe der Belohnung zu Beginn der Umfrage das Pflichtgefühl erhöht, die Umfrage sorgfältig zu beenden.

Was einen noch größeren Einfluss auf die Qualität der Antworten zu haben scheint, ist allerdings die Länge der Umfrage. Studien haben gezeigt, dass man eine größere Menge an „Ich weiß es nicht“-Antworten bei längeren Fragebögen erhält.

Fazit

Es scheint so, als fände Sandels Theorie keine Anwendung auf die Bepreisung der Umfrageteilnahme. Also tatsächlich, ja, Geld kann höhere Antwortraten kaufen und das anscheinend ohne Schaden anzurichten. Der Einfluss auf die Umfragequalität ist noch nicht abschließend nachgewiesen. Der zu Beginn genannte Non-Response-Bias scheint verringert zu werden unter Inkaufnahme einer leicht erhöhten Antworttendenz in Form der Sozialen Erwünschtheit.

In jedem Falle ist es sinnvoll alle oben genannten Faktoren zur Erhöhung der Antwortrate zu beachten. Jede der Funktionen kann bequem über die LimeSurvey Softwarte in die Fragebögen eingebaut werden.

Jetzt loslegen!

Melden Sie sich jetzt an, und erstellen Sie in wenigen Minuten Ihre erste Umfrage.

Account einrichten

Abonnieren Sie unseren Newsletter

Abonnieren Sie unseren Newsletter für alle Neuigkeiten rund um LimeSurvey
captcha