“Getting numbers is easy; getting numbers you can trust is hard!”
– Ronny Kohavi, Vice President and Technical Fellow, Airbnb
Auf dieser Seite findest du eine Auswahl statistischer Tools, die deinen Optimierer-Alltag erleichtern und dir helfen, vertrauensvolle Ergebnisse zu liefern. Wir haben sie auf Basis zahlreicher selbst durchgeführter A/B-Tests entwickelt und nutzen sie täglich selbst in unserer Arbeit, um valide auszuwerten.
Hier findest du folgende Tools:
Mit dem Konfidenzrechner von konversionsKRAFT hast du die Möglichkeit, die Ergebnisse deines A/B-Tests auf signifikante Unterschiede zu untersuchen.
Zur Berechnung der Konfidenz wird hier der z-Test für Proportionen mit einem Konfidenzniveau von 95% eingesetzt.
Visitor
Anzahl der Unique Visitors pro Variante, die am A/B-Test teilgenommen haben.
Anzahl Conversions
Anzahl der Unique Visitors, die mindestens eine Conversion ausgelöst haben.
Anzahl Varianten
Anzahl der im A/B-Test vertesteten Varianten. Dabei wird die Control nicht mitgezählt.
Einstellung einseitig (default) eignet sich, wenn du nur an der Fragestellung interessiert bist, ob die Variante einen statistisch signifikanten Uplift liefert. Beachte, dass du im Falle eines gemessenen Downcasts (negativen Uplifts) bei dieser Einstellung keine Aussage über dessen Signifikanz treffen kannst.
Wenn du daran interessiert bist, ob der gemessene Downcast nicht durch einen reinen Zufall zustande gekommen ist, sondern auch statistisch signifikant ist, dann musst du auf zweiseitig umstellen.
Conversion Rate (CR)
Anteil der Visitors in der Variante, die mindestens eine Conversion ausgelöst haben.
Berechnungsformel:
Uplift
Eine relative Veränderung der Conversion Rate durch die Variante.
Berechnungsformel:
Signifikanzniveau (Konfidenz)
Der hier berechnete Zahlenwert Signifikanzniveau (in der Fachliteratur auch p-Wert genannt) gibt die Wahrscheinlichkeit an, mit der man einen mindestens so hohen Uplift gemessen hätte, wenn man anstatt vom A/B-Test einen A/A-Test (Control vs. Control) durchgeführt hätte.
Unter Konfidenz versteht man hier den Umkehrwert zum Signifikanzniveau::
Signifikant (ja / nein)
Wenn die berechnete Konfidenz 95% übersteigt bzw. das berechnete Signifikanzniveau unter 5% bleibt, dann wird der Uplift als statistisch signifikant bezeichnet und es wird das ✅ Symbol angezeigt. Andernfalls kann der Uplift nicht als statistisch signifikant bezeichnet werden, d.h. es ist nicht auszuschließen, dass der beobachtete Uplift durch einen reinen Zufall zustande gekommen ist. In diesem Fall wird das ⛔️ Symbol angezeigt.
Das Sample Size Tool hilft dir, deine Uplifts sicher nachzuweisen und eine bessere Einschätzung für den nachweisbaren Effekt vornehmen zu können:
Zur Berechnung der Testdauer benötigt das Tool folgende Informationen von dir, welche du auf der linken Seite in die Felder eingibst:
Visitors pro Monat – Die durchschnittliche monatliche Anzahl der Unique Visitors auf dem Seitentyp, der vertestet werden soll.
Planst du zum Beispiel einen Test auf der Produktdetailseite, so verwendest du hier die Anzahl der unique Visitors pro Monat, die die Produktdetailseite besucht haben.
Wir empfehlen hier einen Durchschnittswert über mehrere Monate in der Berechnung zu bilden, um Einflüsse von Werbekampagnen oder saisonale Schwankungen abzufangen.
Aktuelle Conversion Rate (in %) – Der Anteil der Visitors auf dem Seitentyp, der vertestet werden soll, mit mindestens einer Conversion an allen Visitors auf dem Seitentyp.
Wichtig ist, dass sich die Conversion Rate auf die Visitors bezieht, die die zu vertestende Seite besucht haben. Für den Test auf der Produktdetailseite verwendest du dann die Conversion Rate der Besucher, die überhaupt eine Produktdetailseite besucht haben (Tipp: Für die Berechnung empfehlen wir, ein entsprechendes Segment im Web Analytics Tool anzulegen, in dem die relevante Besucherbasis für den Seitentyp erfasst wird).
Auch hier empfehlen wir, Werte über mehrere Monate zu einer durchschnittlichen Conversion Rate zu aggregieren.
Die Anzahl der Varianten – Das ist die Anzahl der Varianten (inklusive Control), die vertestet werden sollen.
Die Eingaben zu Konfidenzlevel und Power sind standardmäßig zur Berechnung auf 95 % für das Konfidenzlevel und 80% für die Power eingestellt. Du kannst diese natürlich trotzdem anpassen wenn du andere Werte verwenden möchtest.
Anmerkung: Die Berechnungen zur benötigten Testlaufzeit basieren auf einem einseitigen Hypothesentest.
Das Feld Conversion-Wert in EUR ist ein optionales Feld, das dir helfen soll, eine bessere Einschätzung des zu erwartenden Uplifts vorzunehmen und deinen Test besser priorisieren zu können. Es zeigt dir, welchen zusätzlichen Umsatz das Testkonzept auf Basis deiner Eingaben und eines bestimmten Uplifts generiert, wenn du das erfolgreiche Testkonzept ausrollen würdest.
Schau dir unseren Blogpost an, in dem wir zeigen, warum A/B-Tests oft viel zu früh abgebrochen werden, wie du statistische Testpower sicherstellst und wie dir das Sample Size Tool helfen kann, bessere Tests zu starten.