Conversion Rate
Anteil der Visitors mit mindestens einer Conversion an allen Visitors. Berechnungsformel nutzer-basierte Conversion Rate in % (CR):
Anzahl der Unique Visitors, die an dem A/B-Test teilgenommen haben
Anzahl der Unique Conversions, d.h. Anzahl der Visitors mit mindestens einer Conversion. Achte darauf, dass hier nicht die Total Conversions eingegeben werden, wie sie z.B. oft in Google Analytics Reports verwendet werden. Die Konfidenzberechnung basiert auf Unique Conversions. Benötigt werden also nicht alle Transaktionen ingesamt sondern die Anzahl der Nutzer die überhaupt konvertiert haben.
Anteil der Visitors mit mindestens einer Conversion an allen Visitors. Berechnungsformel nutzer-basierte Conversion Rate in % (CR):
Es handelt sich hierbei um den relativen Uplift, d.h. nicht um die tatsächliche Differenz der Conversion Rates zwischen der Variante X und Control, sondern um den Anteil dieser Differenz bzgl. der Conversion Rate für Control. Berechnung:
Die Konfidenz gibt an, wie sicher man sein möchte, dass der als signifikante ausgewiesene Uplift bzw. Downcast tatsächlich einer ist. Konfidenz ist der Kehrwert des p-Werts und wird folgendermaßen berechnet:
Konfidenz = 100 % - Signifikanz (p-Wert )
Der p-Wert gibt die Wahrscheinlichkeit an, mit der wir einen mindestens so hohen Uplift gemessen hätten, wenn wir erneut einen A/A-Test (d.h. Control vs. Control) mit der gleichen Anzahl der Visitors durchgeführt hätten.
In der Regel akzeptiert man eine Fehlerwahrscheinlichkeit (Fehler 1. Art oder Alpha-Fehler) von 5%. D.h. die Konfidenz muss mindestens 95% betragen damit man von einem signifikanten Ergebnis spricht. In diesem Fall würde man akzeptieren, dass in einem von 20 A/B Tests ein signifikanter Effekt festgestellt wird, der in Wahrheit gar keiner ist.
Der A/B-Test wird als signifikant bezeichnet (grüner Pfeil nach oben beim Uplift und roter Pfeil nach unten beim Downcast), wenn der p-Wert <= 5%. Ist der p-Wert größer als 5%, wird das Ergebnis als nicht signifikant (grauer Pfeil zur Seite) ausgegeben.
Berechnung: Zur Berechnung des p-Werts wird hier der einseitige z-Test (für Proportionen) eingesetzt und standardmäßig ein Konfidenzniveau von 95% angesetzt.
