Zunächst musst du die wichtigsten Kennzahlen aus deinem A/B-Test eintragen (siehe Abbildung 1). Dafür benötigst du die Anzahl der Visitors, der Unique Conversions (entsprechen der Anzahl der Converted Visitors) sowie den Gesamtumsatz für jede Variante. Diese Informationen können direkt aus dem Report deines durchgeführten Tests übernommen werden.
Anmerkung: Aktuell ist der Rechner nur für Tests mit genau einer Variante + Control geeignet.
Anschließend erhältst du als Ausgabe eine bayesianische Auswertung der vorliegenden Testergebnisse für die folgenden drei Metriken:
Conversion Rate
Average Order Value
Revenue per Visitor
Eine Zusammenfassung der Ergebnisse dieser Auswertung erscheint im oberen Bereich des Tools.
Abbildung 2: Testergebnisse einer Bayes-Analyse
So sind die einzelnen Spalten zu interpretieren:
Control bzw. Variante: Conversion Rate (CR), Average Order Value (AOV), Revenue per Visitor (RPV) in der Control bzw. Variante
Uplift: Der gemessene relative Uplift bzgl. der Metriken CR, AOV und RPV
Gewinnchance (Variante): Wahrscheinlichkeit, mit welcher die Variante gegen die Control bzgl. der jeweiligen Metrik (CR, AOV oder RPV) gewinnt, d.h. Wahrscheinlichkeit, mit welcher der tatsächliche Uplift größer als 0 % ist.
Wichtig: Die Gewinnchance bezieht sich nicht (!) auf den Uplift. Die Zahlen des oberen Beispiels bedeuten eben nicht, dass es eine Wahrscheinlichkeit von 95,84 % für einen Uplift von 10 % in der Conversion Rate gibt. Dies ist “nur” die Wahrscheinlichkeit dafür, dass es einen Uplift größer Null gibt. Die Wahrscheinlichkeiten für bestimmte Uplifts und Mindest-Uplifts können aus den darunterliegenden Wahrscheinlichkeitsverteilungen abgelesen werden.
Uplift Wahrscheinlichkeiten
Die Ergebnis-Grafiken zeigen, mit welcher Wahrscheinlichkeit die Variante verschiedene Uplift-Werte annimmt:
Grüne Balken: Wahrscheinlichkeiten für den Uplift
Rote Balken: Wahrscheinlichkeiten für den Downcast
Abbildung 3: Uplift-Wahrscheinlichkeiten bei A/B Tests
So sind die Grafiken zu lesen:
Die Wahrscheinlichkeit, dass die Variante einen Uplift von X % ergibt, liegt bei Y %.
Die Grafiken für CR, AOV und RPV erhältst du, in dem du den jeweiligen Reiter oberhalb von der Grafik anklickst. Sie dienen einer allgemeinen Übersicht über die Verteilung der Uplift-Werte. Im Business-Kontext sind allerdings die Ergebnisse für die “Wahrscheinlichkeiten für Mindest-Uplift” informativer (siehe unten).
Mindest-Uplift Wahrscheinlichkeiten
Die Grafiken zeigen, mit welcher Wahrscheinlichkeit die Variante verschiedene Mindest-Uplift-Werte annimmt:
Grüne Balken: Wahrscheinlichkeiten für den Mindest-Uplift
Rote Balken: Wahrscheinlichkeiten für den Mindest-Downcast
Abbildung 4: Mindest-Uplift-Wahrscheinlichkeiten bei A/B Tests
So sind die Grafiken zu lesen:
Mit einer Wahrscheinlichkeit von X % ergibt die Variante einen Uplift von mindestens Y %.
Die Tabellen (siehe Abbildung 4) bieten eine Schnellübersicht über die Mindest-Uplift-Werte mit den höchsten Wahrscheinlichkeiten (im Schritt von 5 %).
Business Case Berechnung
Die Business Case Berechnung wird durch Anklicken der Schaltfläche Business Case Berechnung im Input Bereich aktiviert (siehe Abbildung 5). Für die Berechnung benötigst du zunächst weitere Informationen:
Testlaufzeit (in Tagen)
Traffic-Anteil (in %)
Falls ein gewisser Traffic-Anteil aus dem Test ausgeschlossen wurde, gib hier den ungefähren Wert an (100 % minus ausgeschlossener Traffic-Anteil).Beispiel: Im Test auf der Produktdetailseite wurden Nutzer:innen mit Internet Explorer ausgeschlossen. Dieser Anteil beträgt historisch 10 %. Dementsprechend war der Traffic-Anteil des Tests 90 %.Zeitrahmen der Umsatzdifferenz
Damit ist der Zeitrahmen in der Zukunft gemeint, für den der Umsatzanstieg durch die Variante bei bleibenden Konditionen berechnet werden soll (3, 6 oder 12 Monate).Durch Anklicken der Schaltfläche Dämpfung besteht die Möglichkeit, den gemessenen Uplift für Revenue per Visitor zu verringern, um damit mögliche Gewöhnungseffekte zu berücksichtigen. Mögliche Gründe dafür, dass der A/B-Test in der Zukunft nicht den gleichen Impact hat wie jetzt, sind beispielsweise Veränderungen auf der Website, Novelty Effect, Marketing-Kampagnen, Konkurrenz etc.
Als Dämpfungsfaktor (in %) ist ein Wert zwischen 20 % – 50 % in der Regel empfehlenswert, um die Szenarien nicht zu optimistisch einzuschätzen.
Beispielrechnung:
Der gemessene Uplift für RPV ist 10 %. Der Dämpfungsfaktor ist 38 %. Ergebnis: Der gedämpfte Uplift für RPV, mit dem die Umsatzdifferenz berechnet wird, ist gleich (1 – 0.38) * 10 % = 6.62 %.
Der Business Case hilft dabei, die Performance des A/B-Tests (Uplift bzgl. RPV) in Umsatzzahlen zu übersetzen. Die Grafik zeigt, mit welcher Wahrscheinlichkeit die Variante welche Mindest-Umsatzdifferenz im gewählten Zeitraum schafft (siehe folgende Abbildung).
Grüne Kurve: Wahrscheinlichkeiten für Mindest-Umsatzanstieg
Rote Kurve: Wahrscheinlichkeiten für einen Mindest-Umsatzrückgang
So sind die Grafik/Tabelle zu lesen:
Mit einer Wahrscheinlichkeit von X % erzeugt die Variante einen Umsatzanstieg von mindestens € Y (in Tausend) in den nächsten 3, 6 oder 12 Monaten.
