A/B-Tests in Umfragen

Informationen zu A/B-Tests in Umfragen

A/B Testing ist ein klassisches Forschungsformat, das disziplinenübergreifend verwendet wird. In ihr vergleichen Sie eine Kontrollbedingung mit einer Bedingung, in der eine Behandlung angewendet wird, sodass Sie dann analysieren können, ob es einen signifikanten Unterschied zwischen dem Verhalten der Teilnehmer in der Behandlung und dem Kontrollgrundwert gibt. A/B-Tests können auch in der Web-Entwicklung und im Marketing nützlich sein, da Sie damit zwei Versionen eines Produkts oder Designs vergleichen können, um zu ermitteln, welche Leistung besser ist oder von Ihren Kunden bevorzugt wird.

A/B-Tests können in Qualtrics durchgeführt werden, indem Teilnehmer nach dem Zufallsprinzip einer der beiden (oder mehr) Bedingungen zugeordnet werden, ohne die Teilnehmer darüber zu informieren, wie die andere Bedingung aussieht. Dies ermöglicht es den Befragten, Meinungen abzugeben, die von dem Wunsch, Optionen zu vergleichen und gegenüberzustellen, unvoreingenommen sind.

Grundlegende Einrichtung

In diesem Abschnitt wird die einfachste Vorgehensweise zum Einrichten von A/B-Tests in Qualtrics erläutert. Diese Einrichtung ist für Basisstudien vorgesehen, die nicht mehrere Blöcke oder andere Elemente innerhalb jeder Bedingung erfordern.

1. Beginnen Sie damit, Ihre einführenden Fragen in einem Block zu stellen.
   
   Tipp: Dieser erste Block dient oft als Einwilligungsformular, demografische Fragen oder andere allgemeine Inhalte, die jeder Teilnehmer sehen sollte, unabhängig von der Bedingung.
2. Klicken Sie auf Block hinzufügen, und legen Sie einen Block für jede Bedingung an, die Ihre Studie hat.
3. Erstellen Sie jede eindeutige Bedingung als eigenen Block.
   
4. Navigieren Sie zum Umfragenverlauf.
5. Klicken Sie auf Neues Element hier hinzufügen.
   
6. Wählen Sie Randomisierer.
7. Verschieben Sie die Bedingungsblöcke unter den Randomisierer, sodass sie unter dem Randomisierer verschachtelt sind.
   
8. Legen Sie fest, wie viele Blöcke nach dem Zufallsprinzip angezeigt werden sollen. Wenn Sie jedem Teilnehmer nur eine Bedingung zuweisen, geben Sie 1 ein.
   
9. Stellen Sie sicher, dass Gleichzeitige Elemente ausgewählt ist. Dadurch wird sichergestellt, dass Ihre Bedingungen gleichmäßig auf Ihre Stichprobe verteilt sind.
10. Klicken Sie auf Übernehmen.
    Tipp: Sie können Ihrer Umfrage zusätzliche Blöcke hinzufügen, die von allen Teilnehmern unabhängig von der Bedingung geteilt werden. Stellen Sie sicher, dass Blöcke, die Sie nicht nach dem Zufallsprinzip darstellen möchten, im Umfragenverlauf nicht unter den Randomisierer eingerückt sind. (Siehe Block Folgefragen im obigen Beispiel.)

Setup für komplexe Bedingungen

Mit den in diesem Abschnitt beschriebenen Schritten können Sie jeder Bedingung mehrere Blöcke oder Elemente hinzufügen. Die Zweige selbst werden randomisiert, aber sobald eine Verzweigung zugeordnet ist, durchläuft die Bedingung alle Inhalte der Verzweigung in der angegebenen Reihenfolge.

Außerdem exportieren Randomisierungsdaten standardmäßig nicht den Namen eines Blocks, sondern geben stattdessen eine Fluss-ID zurück. Um klarere Randomisierungsdaten zu erhalten, werden wir bestimmte Teile des Umfragenverlaufs anders einrichten als in der grundlegenden A/B-Konfiguration. Gemäß dem Beispiel in den folgenden Schritten befinden sich alle randomisierten Blockdaten unter der Bedingungsspalte Ihrer Daten.

1. Beginnen Sie damit, Ihre einführenden Fragen in einem Block zu stellen.
   
   Tipp: Dieser erste Block dient oft als Einwilligungsformular, demografische Fragen oder andere allgemeine Inhalte, die jeder Teilnehmer sehen sollte, unabhängig von der Bedingung.
2. Klicken Sie auf Block hinzufügen, und legen Sie für jedes Modul Ihrer Studie einen Block an.
3. Erstellen Sie Ihre Umfrageinhalte. Achten Sie darauf, Inhalte aus verschiedenen Bedingungen in separaten Blöcken zu halten.
   
4. Navigieren Sie zum Umfragenverlauf.
5. Klicken Sie auf Neues Element hier hinzufügen.
   
6. Wählen Sie Randomisierer.
7. Klicken Sie unterhalb des Randomizers auf Neues Element hier hinzufügen, und wählen Sie Eingebettete Daten aus.
   
8. Benennen Sie die eingebettete Datenbedingung, und setzen Sie sie auf den Namen der ersten Bedingung. In diesem Beispiel nennen wir es Altes Logo.
   
9. Klicken Sie unterhalb des Randomizers auf Neues Element hier hinzufügen, und wählen Sie erneut Eingebettete Daten.
10. Benennen Sie die eingebettete Datenbedingung, und setzen Sie sie auf den Namen der Bedingung. Dieser muss sich von Schritt 8 unterscheiden. In diesem Beispiel nennen wir es Neues Logo.
    
11. Legen Sie fest, wie viele Blöcke nach dem Zufallsprinzip angezeigt werden sollen. Wenn Sie jedem Teilnehmer nur eine Bedingung zuweisen, geben Sie 1 ein.
12. Stellen Sie sicher, dass Gleichzeitige Elemente ausgewählt ist. Dadurch wird sichergestellt, dass Ihre Bedingungen gleichmäßig auf Ihre Stichprobe verteilt sind.
13. Klicken Sie in Ihrem Umfragenverlauf auf Neues Element hier hinzufügen, und wählen Sie Branch aus.
    Tipp: Diese Verzweigung muss sich unter dem Randomisierer befinden, darf aber nicht unter dem Randomisierer eingerückt sein! Verwenden Sie die Bilder in diesen Schritten als Referenz.
14. Legen Sie die Bedingung der Verzweigung so fest, dass die eingebetteten Daten mit dem Namen Bedingunggleich demalten Logo sein müssen.
    
15. Ziehen Sie die Elemente und Blöcke aus der Bedingung Altes Logo, sodass sie unter dem Zweig verschachtelt sind.
    
16. Klicken Sie in Ihrem Umfragenverlauf auf Neues Element hier hinzufügen, und wählen Sie Branch aus.
    Tipp: Diese Verzweigung muss sich unter dem Randomisierer befinden, darf aber nicht unter dem Randomisierer oder dem anderen Zweig eingerückt sein! Verwenden Sie die Bilder in diesen Schritten als Referenz.
17. Legen Sie die Bedingung der Verzweigung so fest, dass die eingebetteten Daten mit dem Namen Bedingunggleich dem neuen Logo sein müssen.
    
18. Ziehen Sie die Elemente und Blöcke aus der Bedingung Neues Logo, sodass sie unter dem Zweig verschachtelt sind.
    
19. Klicken Sie auf Übernehmen.
    Tipp: Sie können Ihrer Umfrage zusätzliche Blöcke hinzufügen, die von allen Teilnehmern unabhängig von der Bedingung geteilt werden. Stellen Sie sicher, dass im Umfragenverlauf Blöcke, die Sie nicht nach dem Zufallsprinzip darstellen möchten, nicht unter dem Randomizer oder den von Ihnen angelegten Zweigen eingerückt sind.

Besonderer Dank an Mary Curry, Gewinnerin des Community-Wettbewerbs für „Best Common Use Case Page“.