AB Testing: Funktionsweise, Beispiele, Vor- und Nachteile

Was ist AB Testing?

AB Testing ist eine Methode, mit der zwei verschiedene Varianten einer Website oder einzelner Elemente davon gegeneinander getestet werden können. Webmaster können so herausfinden, welche der Varianten mehr Erfolg verspricht, um die geplanten Ziele und Key Performance Indicators (KPIs) zu erreichen. AB Testing wird auch als Split Testing bezeichnet und gehört zum Feld der Conversion-Rate-Optimierung.

Ziele von A/B Tests

Als Teil der Conversion-Optimierung verfolgt AB Testing das primäre Ziel, bei gleichbleibendem Traffic mehr Umsatz zu generieren. Neuen Traffic zu akquirieren kann oft kostenintensiv und zeitaufwendig sein. Daher setzen A/B Tests beim bereits vorhandenen Traffic an, um sein volles Potenzial auszuschöpfen. So können mit Split Testing bestimmte Hürden auf der Website identifiziert werden, die User davon abhalten zu konvertieren. AB Testing ist daher eine beliebte Methode im Performance Online Marketing.

Wie funktioniert Website AB Testing?

Beim Website AB Testing werden die Auswirkungen bestimmter Änderungen einer Website getestet. Dafür wird der eingehende Traffic willkürlich auf Variante A und B gesplittet – daher auch der Name Split Testing. Der einzelne User weiß nicht, dass eine alternative Version der Website existiert und ein A/B Test durchgeführt wird. Anschließend wird ausgewertet, ob eher Variante A oder Variante B zum gewünschten Ziel führt.

Dabei stehen die Auswirkungen auf folgende Aspekte im Vordergrund:

• Verweildauer
• Bounce Rate
• Klickraten
• Warenkorbwert
• Durchschnittlicher Warenkorbwert
• Conversions und Micro Conversions

Auf den Traffic wirken sich Websiteänderungen nur indirekt aus: Zunächst bleibt der Traffic konstant, da die Anpassungen nicht die Traffic-Quellen betreffen. Erst wenn sich die Besucher auf der Website befinden, bemerken sie die Änderungen. Im besten Fall ist anschließend ein Anstieg der Traffic-Menge zu verzeichnen, da die User die Seite nun öfter besuchen. Ebenso können die User jedoch vom neuen Content abgeschreckt sein, sodass sie die Website seltener aufrufen und sich der Traffic dadurch reduziert.

Beispiele für A/B Tests

Welche Elemente innerhalb eines A/B Tests überprüft werden sollten, unterscheidet sich je nach Website, Unternehmen und angestrebten Zielen. Voraussetzung, um die passenden Elemente auszuwählen, ist, dass die Webmaster die User Journey auf ihrer Seite verstehen. Im Folgenden werden einige Beispiele für A/B Tests aufgeführt – die Testmöglichkeiten sind unbegrenzt.

Text

• Überschriften: kurz und auf den Punkt oder lang und detailliert?
• Kategoriebezeichnungen: Unmissverständlichkeit, Sprache, Länge
• Content: informativ oder transaktional?
• Metadaten: Conversion-orientiert oder informativ?

Design

• Schrift: Arten, Größen, homogenes oder heterogenes Schriftbild?
• Bilder: Größe, Platzierung, Ästhetik, Anzahl, Hintergrundbilder oder Galerien?
• Button: Größe, Platzierung, Call to Action, Farbe, Form
• Gesamterscheinung: Farbschema, Ästhetik, Stil
• Formulare: Platzierung, Wortlaut, Design, optionale Felder, Anordnung der einzelnen Felder

Audiovisuelle Elemente

Für die Einbindung von Audio- oder Videodateien jeder Art können folgende Fragen gestellt werden:

• Abspielmöglichkeiten: automatisch oder vom User bestimmt?
• Inhalt: informativ oder stimmungsvoll?
• Dauer: lang oder kurz?

Usability

• Seitenstruktur: Aufteilung der einzelnen Schritte des Bestellvorgangs, unterschiedliche Conversion Funnel, Anzahl der Ebenen, Drop-Down-Menüs
• Nutzerführung: Filter, Kaufberater, Produktvergleich
• Algorithmen für Artikelvorschläge: ähnliche Produkte, am meisten gesucht, beliebteste Artikel, aktuell gefragte Produkte

Produkt und Preis

A/B Tests für grundlegende Eigenschaften eines Produktes sind nicht möglich. Allerdings können kleinere Anpassungen vorgenommen werden, die trotzdem einen spürbaren Einfluss auf die Conversion haben können.

• Rabattangebote: Bedingungen, Rabatthöhe, Auswahlmöglichkeiten, Limitierungen
• Sparpakete: Zusammenstellung, Preisnachlass, Angebotszeitraum

Der Ablauf beim Split Testing

Der genaue Ablauf eines Split-Testing-Projektes hängt von den einzelnen Zielen und Beteiligten ab, lässt sich aber grundlegend in folgenden Schritten darstellen:

Vorbereitung der A/B Tests

Je besser ein A/B Test vorbereitet ist, desto gewinnbringender können seine Ergebnisse sein. In der Planungsphase sind folgende Aspekte zu berücksichtigen:
Zusammenstellung des Projektteams: Damit ein A/B Test erfolgreich und professionell ablaufen kann, sollten folgende Kompetenzen im Team vertreten sein:

• Conversion- und Datenanalyse
• Verständnis für User Experience
• Umgang mit Testing Tools
• Projektmanagement

Datensammlung und Bestandsaufnahme: Unerlässlich ist ebenfalls die Recherche zum Nutzerverhalten auf der betreffenden Webseite. Was ist für die Kunden relevant, um eine Conversion zu generieren? Mit dieser Leitfrage lassen sich User Journey und Conversions auf der eigenen Website besser verstehen. Folgende Datenquellen können als Grundlage für die Recherche dienen:

• Session Recording
• Heatmaps
• Kundenumfragen
• Insights vom Kundenservice
• Daten aus Analytics Tools

Für eine ganzheitliche Einordnung der eigenen Daten helfen externe Datenquellen wie Wettbewerbsanalysen oder Studien zum Nutzerverhalten. Auf dieser Grundlage kann die Bestandsaufname der aktuellen Website erfolgen.
Probleme identifizieren: Mithilfe der Bestandsaufnahme können die aktuellen Conversion-Hemmer auf der Website identifiziert werden. Wo sind die Klicks zu niedrig und die Absprungraten zu hoch? Welche Elemente der Webseite erhalten zu wenig Aufmerksamkeit, obwohl die Betreiber hier viele Ressourcen investiert haben?

A/B-Testing-Hypothese formulieren und Testkriterien definieren

Auf der Bestandsaufnahme basiert schließlich die konkrete Hypothese für den A/B Test. Um eine gute Grundlage für den Test zu bieten, sollte sie folgende Merkmale aufweisen:

• Überprüfbar
• Falsifizierbar
• Zielgerichtet
• Klar und präzise
• Fokussiert auf einen Schwerpunkt

Die Hypothese sollte in Form einer Behauptung darstellen, welche Änderung aus welchem Grund welche Wirkung erzielt. Darauf wird anschließend die Definition der KPIs abgestimmt. Nur damit ist eine Erfolgskontrolle des A/B Tests gewährleistet. Wichtig dabei ist, das Leistungsversprechen des Unternehmens zu berücksichtigen.

Beispiel für eine A/B-Testing-Hypothese

• Situation: Um den Bestellvorgang möglichst kurz zu halten, ist dieser auf einer einzigen Webseite mit vielen Informationen zusammengefasst. Analysen zeigen, dass viele User den Vorgang nach den ersten Dateneingaben abbrechen.
• Vermutung: Die Seite mit dem Bestellvorgang ist zu überladen und überfordert den User.
• Ziel: Senken der Abbruchrate
• Hypothese: Wenn der Bestellvorgang in mehrere Schritte auf verschiedenen Unterseiten gegliedert wird, sinkt die Absprungrate, weil die Nutzer weniger überfordert sind.

Durchführung der Split Tests

Wie ein AB Test tatsächlich abläuft, hängt von der individuellen Ausgestaltung und vor allem dem ausgewählten Testing Tool ab. Übernimmt ein externer Dienstleister die Durchführung des Tests, liegen alle Aufgaben bei ihm:

• das geeignete A/B Testing Tool auswählen
• Änderungen der zu testenden Elemente konzipieren
• Änderungen im A/B Testing Tool umsetzen
• Test-Set-up aufsetzen und den Test durchlaufen lassen
• die einzelnen A/B Tests ausführlich dokumentieren

Auswertung des AB Testings

Die Auswertung der Rohdaten erfolgt ebenfalls im AB Testing Tool. Folgende Daten können dafür interessant sein:

Grundsätzlich stehen für die Auswertung zwei statistische Methoden zur Auswahl:

• Frequentistische Wahrscheinlichkeit: A/B Tests, die auf diesem theoretischen Ansatz basieren, können erst nach Abschluss des Durchlaufs aussagekräftige Ergebnisse ausspielen. Das Ergebnis ist als relative Häufigkeit des untersuchten Ereignisses zu verstehen. Daher muss der Test eine Zuverlässigkeitsrate von mindestens 95 Prozent aufweisen, um valide Aussagen aus ihm ableiten zu können. Bei einer niedrigeren Zuverlässigkeitsrate kann nicht sichergestellt werden, dass die Unterschiede auf den vorgenommenen Änderungen basieren und nicht zufällig sind.
• Bayessche Wahrscheinlichkeit: Der Bayessche Ansatz macht sich Informationen aus früheren ähnlichen Tests zunutze und reichert diese mit den Daten aus dem laufenden A/B Test an. Daher sind die Daten zu jedem Zeitpunkt des Testes valide interpretierbar.
  Welche Methode angewandt werden sollte, hängt vom Ziel des Tests ab. Die unterschiedlichen AB-Testing-Lösungen bzw. -Anbieter arbeiten mit verschiedenen Methoden und können hilfreiche Hinweise geben, welche Umsetzung für einen spezifischen Fall am besten geeignet ist.

Ergebnisse umsetzen

Ist der Test abgeschlossen und die Auswertung erfolgt, können die Ergebnisse umgesetzt werden. Die KPIs aus dem Split Testing sollten weiterhin getrackt werden, um sicherzugehen, dass die Änderungen dauerhaft das gewünschte Ergebnis erzielen.

Voraussetzungen für erfolgreiche A/B Tests

Nicht nur eine präzise Planung ist erforderlich, um aussagekräftige A/B Test durchführen zu können. Während der Tests sind einige Dinge zu beachten, um valide Ergebnisse zu erhalten.

Sorgsamer Umgang mit den Daten

Um ein aussagekräftiges Ergebnis des A/B Tests zu erhalten, ist ein sorgsamer Umgang mit den Daten unerlässlich – sowohl während der Erhebung als auch bei der Auswertung. Für eine saubere Datenerhebung und fundierte Interpretation gilt es Folgendes zu beachten:

• Nur eine Variable testen, um Wirkungszusammenhänge besser feststellen zu können.
• Nur einen Test auf einmal durchführen.
• Je weniger Traffic, desto weniger Varianten zum Testen.
• Vor dem A/B Test einen A/A Test mit zwei identischen Varianten durchführen, um Aufteilung des Traffics zu überprüfen und ggf. Indikatoren in verschiedenen A/B Testing Tools zu vergleichen.

Zeitliche Faktoren

Werden A/B Tests durchgeführt, müssen Variante A und Variante B innerhalb des gleichen Zeitraums an unterschiedlichen Usern getestet werden. Würden sich die Varianten etwa im Stunden-, Tages- oder Wochentakt abwechseln, könnte dies zu Verfälschungen führen. Denn äußere Störfaktoren wirken sich maßgeblich auf die Conversion-Bereitschaft eines Users aus, z. B. ob der Website-Zugriff an einem Wochenende oder Arbeitstag erfolgt, während der Arbeits- oder Freizeit oder an einem verregneten oder sonnigen Tag.

Testrelevante User auswählen

Es ist ratsam, den Traffic noch einmal zu segmentieren, bevor er auf die Testvarianten aufgeteilt wird. User, die nicht testrelevant sind, können so ausgeschlossen werden. Dazu gehören etwa:

• Bestandskunden, die von den Änderungen irritiert oder abgeschreckt sein könnten.
• Ungewöhnliche Zielgruppen, die z. B. über laufende Werbeaktionen zur Website gelangten.

Vorteile und Nachteile von AB Testing

Mit den richtigen Tools kann der Test ohne technische Vorkenntnisse durchgeführt werden.

Ständige Änderungen auf der Website können regelmäßige Kunden verwirren und abschrecken. Daher sollten möglichst nur Neukunden für die Tests herangezogen werden.

Die Bedeutung von Split Testing

AB Testing wird im Online Marketing immer relevanter, da das Verfahren eine datenbasierte Entscheidungsgrundlage für die Gestaltung einer Website bietet. Diese lässt sich nicht nur für die Optimierung der Conversion Rate heranziehen. Split-Testing-Projekte helfen Websitebetreibern grundsätzlich dabei, das Verhalten der User auf ihrer Seite zu verstehen. So können weitere KPIs optimiert werden, wie etwa die Verweildauer, um bei Suchmaschinen eine bessere Platzierung innerhalb der Suchergebnisse zu erlangen. Damit hilft AB Testing bei einem ganzheitlichen Ansatz für effizienteres Online Marketing.