Artikelvorlage

A/B-Tests in Umfragen

A/B Testing ist ein klassisches Forschungsformat, das in verschiedenen Disziplinen verwendet wird. Darin vergleichen Sie eine Bedingung mit einer Bedingung, auf die eine Behandlung angewendet wird, sodass Sie dann analysieren können, ob es einen signifikanten Unterschied zwischen dem Verhalten der Teilnehmer in der Behandlung und der Kontroll-Baseline gibt. A/B-Tests können auch in der Webentwicklung und im Marketing nützlich sein, da es Ihnen ermöglicht, zwei Versionen eines Produkts oder Designs zu vergleichen, um zu ermitteln, welche besser ist oder von Ihren Kunden bevorzugt wird.

A/B-Tests können in Qualtrics durchgeführt werden, indem Umfrageteilnehmer zufällig einer der beiden (oder mehr) Bedingungen zugeordnet werden, ohne den Umfrageteilnehmern mitzuteilen, wie die andere Bedingung aussieht. Auf diese Weise können Umfrageteilnehmer Meinungen abgeben, die nicht durch den Wunsch nach Vergleichs- und Kontrastoptionen verzerrt sind.

Grundlegende Einrichtung

In diesem Abschnitt wird die einfachste Möglichkeit zum Einrichten von A/B-Tests in Qualtrics erläutert. Diese Einrichtung ist für grundlegende Studien vorgesehen, die nicht mehrere Blöcke oder andere Elemente innerhalb jeder Bedingung erfordern.

1. Beginnen Sie damit, Ihre einführenden Fragen in einem Block zu stellen.
   
   Tipp: Dieser erste Block dient häufig als Einwilligungsformular, demografische Fragen oder andere allgemeine Inhalte, die jeder Befragte:r unabhängig von der Bedingung sehen sollte.
2. Klicken Sie auf Block hinzufügen und erstellen Sie einen Block für jede Bedingung, die Ihre Studie hat.
3. Erstellen Sie jede eindeutige Bedingung als eigenen Block.
   
4. Navigieren Sie zum Umfragenverlauf.
5. Klicken Sie auf Neues Element hier hinzufügen.
   
6. Wählen Sie Randomisierer.
7. Verschieben Sie die Bedingung unter den Randomisierer, sodass sie unter dem Randomisierer verschachtelt sind.
   
8. Legen Sie fest, wie viele Blöcke Sie nach dem Zufallsprinzip präsentieren möchten. Wenn Sie jedem Befragte:r nur eine Bedingung zuordnen, geben Sie 1 ein.
   
9. Stellen Sie sicher, dass Elemente gleichmäßig darstellen ist ausgewählt. Dadurch wird sichergestellt, dass Ihre Bedingungen gleichmäßig auf Ihre Stichprobe verteilt sind.
10. Klicken Sie auf Übernehmen.
    Tipp: Sie können Ihrer Umfrage zusätzliche Blöcke hinzufügen, die von allen Teilnehmern unabhängig von der Bedingung geteilt werden. Stellen Sie einfach sicher, dass im Umfragenverlauf Blöcke, die nicht zufällig dargestellt werden sollen, nicht unter dem Randomisierer eingerückt werden. (Siehe den Block Folgefragen im obigen Beispiel.)

Setup für komplexe Konditionen

Mit den in diesem Abschnitt beschriebenen Schritten können Sie jeder Bedingung mehrere Blöcke oder Elemente hinzufügen. Die Zweige selbst werden randomisiert, aber sobald eine Verzweigung zugeordnet ist, durchläuft die Bedingung alle Inhalte der Verzweigung in der angegebenen Reihenfolge.

Darüber hinaus Randomisierungsdaten exportiert standardmäßig nicht den Namen eines Blocks, sondern gibt eine Ablauf-ID zurück. Um klarere Randomisierungsdaten zu erhalten, werden wir bestimmte Teile des Umfrage anders einrichten als in der grundlegenden A/B-Setup. Gemäß dem in den folgenden Schritten erläuterten Beispiel befinden sich alle randomisierten Blockdaten unter der Spalte Bedingung Ihrer Daten.

1. Beginnen Sie damit, Ihre einführenden Fragen in einem Block zu stellen.
   
   Tipp: Dieser erste Block dient häufig als Einwilligungsformular, demografische Fragen oder andere allgemeine Inhalte, die jeder Befragte:r unabhängig von der Bedingung sehen sollte.
2. Klicken Sie auf Block hinzufügen und legen Sie für jedes Modul Ihrer Studie einen Block an.
3. Erstellen Sie Ihre Umfrage. Achten Sie darauf, Inhalte aus verschiedenen Bedingungen in separaten Blöcken zu halten.
   
4. Navigieren Sie zum Umfragenverlauf.
5. Klicken Sie auf Neues Element hier hinzufügen.
   
6. Wählen Sie Randomisierer.
7. Klicken Sie unterhalb des Randomisierer auf Neues Element hier hinzufügen und wählen Sie Eingebettete Daten.
   
8. eingebettete Daten benennen Bedingung und setzen Sie ihn auf den Namen der ersten Bedingung. In diesem Beispiel nennen wir es Altes Logo.
   
9. Klicken Sie unterhalb des Randomisierer auf Neues Element hier hinzufügen und wählen Sie Eingebettete Daten erneut.
10. eingebettete Daten benennen Bedingung und setzen Sie ihn auf den Namen der Bedingung. Diese muss von Schritt 8 abweichen. In diesem Beispiel nennen wir es Neues Logo.
    
11. Legen Sie fest, wie viele Blöcke Sie nach dem Zufallsprinzip präsentieren möchten. Wenn Sie jedem Befragte:r nur eine Bedingung zuordnen, geben Sie 1 ein.
12. Stellen Sie sicher, dass Elemente gleichmäßig darstellen ist ausgewählt. Dadurch wird sichergestellt, dass Ihre Bedingungen gleichmäßig auf Ihre Stichprobe verteilt sind.
13. Klicken Sie in Ihrem Umfragenverlauf auf Neues Element hier hinzufügen und wählen Sie Verzweigung.
    Tipp: Diese Verzweigung muss sich unter dem Randomisierer befinden, aber er darf nicht unter dem Randomisierer eingerückt werden! Verwenden Sie die Bilder in diesen Schritten als Referenz.
14. Legen Sie die Bedingung der Verzweigung so fest, dass Eingebettete Daten mit Namen Bedingung muss sein Gleich Altes Logo.
    
15. Ziehen Sie die Elemente und Blöcke aus der Bedingung Altes Logo, sodass sie unter der Verzweigung verschachtelt sind.
    
16. Klicken Sie in Ihrem Umfragenverlauf auf Neues Element hier hinzufügen und wählen Sie Verzweigung.
    Tipp: Diese Verzweigung muss sich unter dem Randomisierer befinden, aber er darf nicht unter dem Randomisierer oder der anderen Verzweigung! Verwenden Sie die Bilder in diesen Schritten als Referenz.
17. Legen Sie die Bedingung der Verzweigung so fest, dass Eingebettete Daten mit Namen Bedingung muss sein Gleich Neues Logo.
    
18. Ziehen Sie die Elemente und Blöcke aus der Bedingung Neues Logo, damit sie unter der Verzweigung verschachtelt werden.
    
19. Klicken Sie auf Übernehmen.
    Tipp: Sie können Ihrer Umfrage zusätzliche Blöcke hinzufügen, die von allen Teilnehmern unabhängig von der Bedingung geteilt werden. Stellen Sie einfach sicher, dass im Umfragenverlauf Blöcke, die nicht zufällig dargestellt werden sollen, nicht unter dem Randomisierer oder den von Ihnen erstellten Verzweigungen eingerückt sind.

Besonderer Dank an Mary Curry, Gewinnerin der Community Wettbewerb für die Seite „Best Common Use Case“.