Mit diesem Tool können Testergebnisse mit einer bayesianischen Analysemethode ausgewertet werden.
Es können Auswertungen für Revenue-Metriken ohne einzelne Bestelldaten erstellt werden und damit Business-Cases mit unterschiedlichen Eintrittswahrscheinlichkeiten zu diesem Test berechnet werden.
Bayesianische Analyse & Business Case Rechner
So bedienst du den Bayesianischen Business Case Rechner und interpretierst die Ergebnisse
Zunächst musst du die wichtigsten Kennzahlen aus deinem A/B-Test eintragen (siehe Abbildung 1). Dafür benötigst du die Anzahl der Visitors, der Unique Conversions (entsprechen der Anzahl der Converted Visitors) sowie den Gesamtumsatz für jede Variante. Diese Informationen können direkt aus dem Report deines durchgeführten Tests übernommen werden.
Anmerkung: Aktuell ist der Rechner nur für Tests mit genau einer Variante + Control geeignet.
Anschließend erhältst du als Ausgabe eine bayesianische Auswertung der vorliegenden Testergebnisse für die folgenden drei Metriken:
- Conversion Rate
- Average Order Value
- Revenue per Visitor
Eine Zusammenfassung der Ergebnisse dieser Auswertung erscheint im oberen Bereich des Tools (siehe Abbildung 2).
So sind die einzelnen Spalten zu interpretieren:
- Control bzw. Variante: Conversion Rate (CR), Average Order Value (AOV), Revenue per Visitor (RPV) in der Control bzw. Variante
- Uplift: Der gemessene relative Uplift bzgl. der Metriken CR, AOV und RPV
- Gewinnchance (Variante): Wahrscheinlichkeit, mit welcher die Variante gegen die Control bzgl. der jeweiligen Metrik (CR, AOV oder RPV) gewinnt, d.h. Wahrscheinlichkeit, mit welcher der tatsächliche Uplift größer als 0 % ist.
Wichtig: Die Gewinnchance bezieht sich nicht (!) auf den Uplift. Die Zahlen des oberen Beispiels bedeuten eben nicht, dass es eine Wahrscheinlichkeit von 95,84 % für einen Uplift von 10 % in der Conversion Rate gibt. Dies ist “nur” die Wahrscheinlichkeit dafür, dass es einen Uplift größer Null gibt. Die Wahrscheinlichkeiten für bestimmte Uplifts und Mindest-Uplifts können aus den darunterliegenden Wahrscheinlichkeitsverteilungen abgelesen werden (Abbildungen 3 & 4).
Abbildung 1: Eingaben für die Bayesianische Analyse von Testergebnissen
Abbildung 2: Testergebnisse einer Bayes-Analyse
Uplift Wahrscheinlichkeiten
Die Ergebnis-Grafiken zeigen, mit welcher Wahrscheinlichkeit die Variante verschiedene Uplift-Werte annimmt:
- Grüne Balken: Wahrscheinlichkeiten für den Uplift
- Rote Balken: Wahrscheinlichkeiten für den Downcast
So sind die Grafiken zu lesen: Die Wahrscheinlichkeit, dass die Variante einen Uplift von X % ergibt, liegt bei Y %.
Die Grafiken für CR (siehe Abbildung 3), AOV und RPV erhältst du, in dem du den jeweiligen Reiter oberhalb von der Grafik anklickst. Sie dienen einer allgemeinen Übersicht über die Verteilung der Uplift-Werte. Im Business-Kontext sind allerdings die Ergebnisse für die “Wahrscheinlichkeiten für Mindest-Uplift” informativer (siehe unten).
Abbildung 3: Uplift-Wahrscheinlichkeiten bei A/B Tests
Mindest-Uplift Wahrscheinlichkeiten
Die Grafiken zeigen, mit welcher Wahrscheinlichkeit die Variante verschiedene Mindest-Uplift-Werte annimmt:
- Grüne Balken: Wahrscheinlichkeiten für den Mindest-Uplift
- Rote Balken: Wahrscheinlichkeiten für den Mindest-Downcast
So sind die Grafiken zu lesen: Mit einer Wahrscheinlichkeit von X % ergibt die Variante einen Uplift von mindestens Y %.
Die Tabellen (siehe Abbildung 4) bieten eine Schnellübersicht über die Mindest-Uplift-Werte mit den höchsten Wahrscheinlichkeiten (im Schritt von 5 %).
Abbildung 4: Mindest-Uplift-Wahrscheinlichkeiten bei A/B Tests
Business Case Berechnung
Die Business Case Berechnung wird durch Anklicken der Schaltfläche Business Case Berechnung im Input Bereich aktiviert (siehe Abbildung 5). Für die Berechnung benötigst du zunächst weitere Informationen:
- Testlaufzeit (in Tagen)
- Traffic-Anteil (in %)
Falls ein gewisser Traffic-Anteil aus dem Test ausgeschlossen wurde, gib hier den ungefähren Wert an (100 % minus ausgeschlossener Traffic-Anteil).Beispiel: Im Test auf der Produktdetailseite wurden Nutzer:innen mit Internet Explorer ausgeschlossen. Dieser Anteil beträgt historisch 10 %. Dementsprechend war der Traffic-Anteil des Tests 90 %. - Zeitrahmen der Umsatzdifferenz
Damit ist der Zeitrahmen in der Zukunft gemeint, für den der Umsatzanstieg durch die Variante bei bleibenden Konditionen berechnet werden soll (3, 6 oder 12 Monate). - Durch Anklicken der Schaltfläche Dämpfung besteht die Möglichkeit, den gemessenen Uplift für Revenue per Visitor zu verringern, um damit mögliche Gewöhnungseffekte zu berücksichtigen. Mögliche Gründe dafür, dass der A/B-Test in der Zukunft nicht den gleichen Impact hat wie jetzt, sind beispielsweise Veränderungen auf der Website, Novelty Effect, Marketing-Kampagnen, Konkurrenz etc.
- Als Dämpfungsfaktor (in %) ist ein Wert zwischen 20 % – 50 % in der Regel empfehlenswert, um die Szenarien nicht zu optimistisch einzuschätzen.
Beispielrechnung: Der gemessene Uplift für RPV ist 10 %. Der Dämpfungsfaktor ist 38 %. Ergebnis: Der gedämpfte Uplift für RPV, mit dem die Umsatzdifferenz berechnet wird, ist gleich (1 – 0.38) * 10 % = 6.62 %.
Abbildung 5: Eingaben für die Bayesianische Business Case Berechnung
Der Business Case hilft dabei, die Performance des A/B-Tests (Uplift bzgl. RPV) in Umsatzzahlen zu übersetzen. Die Grafik zeigt, mit welcher Wahrscheinlichkeit die Variante welche Mindest-Umsatzdifferenz im gewählten Zeitraum schafft (siehe Abbildung 6).
- Grüne Kurve: Wahrscheinlichkeiten für Mindest-Umsatzanstieg
- Rote Kurve: Wahrscheinlichkeiten für einen Mindest-Umsatzrückgang
So sind die Grafik/Tabelle zu lesen: Mit einer Wahrscheinlichkeit von X % erzeugt die Variante einen Umsatzanstieg von mindestens € Y (in Tausend) in den nächsten 3, 6 oder 12 Monaten.
Abbildung 6: Ergebnisdiagramm der Business Case Kalkulation
Fazit: Was bietet mir das Bayesianische Analyse Tool?
Die Bayesianische Analyse ermöglicht primär eine andere Interpretation von Testergebnissen: Sowohl bei einem frequentistischen Hypothesentest als auch bei der Bayesianischen Statistik steht am Ende eine Prozentzahl im Fokus, z.B. 96 %.
Die Bedeutung dieser Zahl ist jedoch je nach Statistik-Typ völlig unterschiedlich:
- Die Bedeutung des p-Wertes (Umkehrwert von der Konfidenz) ist im frequentistischen Fall sehr unintuitiv und in den meisten Fällen falsch interpretiert. Ein Grund dafür ist, dass diese Statistik vor langer Zeit für ganz andere Anwendungen (ursprünglich: Agrarwissenschaften) konzipiert wurde, für die es in der Form passend war.
Bayesianische Statistik liefert eine intuitive Antwort, und zwar die Wahrscheinlichkeit, dass die Variante besser als die Control ist. - Mithilfe der Bayesianischen Statistik können wir zusätzlich berechnen, mit welcher Wahrscheinlichkeit der tatsächliche Uplift mindestens X % beträgt.
- Im frequentistischen Fall erhalten wir keine quantitative Aussage zum tatsächlichen Uplift. Wir können nur das Konfidenzintervall für den Uplift berechnen, das den tatsächlichen Uplift mit einer z.B. 95 %-igen Wahrscheinlichkeit enthält. Aber die Werte im Konfidenzintervall sind alle gleich wahrscheinlich.
Welche Aussage(n) können wir treffen, wenn die Konfidenz im frequentistischen Rechner kleiner als nötig ist?
- Interpretation des Ergebnisses: Basierend auf den vorhandenen Daten kann man nicht beschließen, dass der Uplift nicht durch einen reinen Zufall entstanden ist. Dies heißt auch, dass das Konfidenzintervall für den Uplift sowohl positive als auch negative Werte enthält, die alle gleich wahrscheinlich auftreten könnten.
- Es ist falsch zu sagen, dass der Uplift in diesem Fall “fast” statistisch signifikant ist, weil die Konfidenz fast 95 % ist.
- Der frequentistische Hypothesentest ist schwarz/weiß. Wenn das nötige Konfidenzniveau nicht erreicht ist, dann ist man “blind” und kann gar keine Aussage treffen, wie der Test performt hat.
- Im Fall der Bayesianischen Statistik ist das Ergebnis immer interpretierbar. Z.B. man könnte sagen, dass die Variante mit einer 92 %-igen Wahrscheinlichkeit der Gewinner ist.
Mögliche Use Cases
- Der Uplift ist im frequentistischen Rechner “fast” signifikant und damit ist keine Aussage zur Performance des Tests möglich. Mit dem Bayesianischen Rechner erhält man immer Antworten auf folgende Fragen: Mit welcher Wahrscheinlichkeit gewinnt die Variante? Mit welcher Wahrscheinlichkeit liefert die Variante mindestens X %?
- Business Case Rechnung: Was würde mir die Variante an Extra-Umsatz bringen? Dadurch ist der Business-Case Rechner eine hervorragende Entscheidungshilfe, wenn es darum geht sich festzulegen, ob eine Variante übernommen werden soll oder nicht. Liegt die Wahrscheinlichkeit für einen Mehrumsatz in Höhe der Kosten bei mehr als 50 %, hat die Entscheidung für die Variante einen positiven Erwartungswert.
- Keine Umsatz-Rohdaten sind vorhanden und damit ist der frequentistische t-Test nicht anwendbar. Mit dem Bayesianischen Rechner könnte man alleine mit der Eingabe des Gesamtumsatzes pro Variante die Performance des Tests bzgl. AOV und RPV beurteilen.
Kennst du schon unsere anderen Tools?
Wir bieten eine Vielzahl statistischer Tools, die deinen Optimierer-Alltag erleichtern und dir helfen, schnell vertrauensvolle Ergebnisse zu liefern – etwa einen Testlaufzeitrechner oder ein Check-out-Funnel Tool. Wir haben sie auf Basis zahlreicher selbst durchgeführter A/B-Tests entwickelt und nutzen sie in der täglichen Arbeit mit unseren Kunden, um Experimente einfach und vor allem valide auszuwerten.