Auf dieser Seite findest du eine Auswahl statistischer Tools, die deinen Optimierer-Alltag erleichtern und dir helfen, vertrauensvolle Ergebnisse zu liefern. Wir haben sie auf Basis zahlreicher selbst durchgeführter A/B-Tests entwickelt und nutzen sie täglich selbst in unserer Arbeit, um valide auszuwerten.
„Getting numbers is easy; getting numbers you can trust is hard!
Mit dem Konfidenzrechner von konversionsKRAFT hast du die Möglichkeit, die Ergebnisse deines A/B-Tests auf signifikante Unterschiede zu untersuchen.
Das Sample Size Tool hilft dir, deine Uplifts sicher nachzuweisen und eine bessere Einschätzung für den nachweisbaren Effekt vornehmen zu können.
Zur Berechnung der Testdauer benötigt das Tool folgende Informationen von dir, welche du auf der linken Seite in die Felder eingibst:
Visitors pro Monat – Die durchschnittliche monatliche Anzahl der Unique Visitors auf dem Seitentyp, der vertestet werden soll.
Planst du zum Beispiel einen Test auf der Produktdetailseite, so verwendest du hier die Anzahl der unique Visitors pro Monat, die die Produktdetailseite besucht haben.
Wir empfehlen hier einen Durchschnittswert über mehrere Monate in der Berechnung zu bilden, um Einflüsse von Werbekampagnen oder saisonale Schwankungen abzufangen.
Aktuelle Conversion Rate (in %) – Der Anteil der Visitors auf dem Seitentyp, der vertestet werden soll, mit mindestens einer Conversion an allen Visitors auf dem Seitentyp.
Wichtig ist, dass sich die Conversion Rate auf die Visitors bezieht, die die zu vertestende Seite besucht haben. Für den Test auf der Produktdetailseite verwendest du dann die Conversion Rate der Besucher, die überhaupt eine Produktdetailseite besucht haben (Tipp: Für die Berechnung empfehlen wir, ein entsprechendes Segment im Web Analytics Tool anzulegen, in dem die relevante Besucherbasis für den Seitentyp erfasst wird).
Auch hier empfehlen wir, Werte über mehrere Monate zu einer durchschnittlichen Conversion Rate zu aggregieren.
Die Anzahl der Varianten – Das ist die Anzahl der Varianten (inklusive Control), die vertestet werden sollen.
Die Eingaben zu Konfidenzlevel und Power sind standardmäßig zur Berechnung auf 95 % für das Konfidenzlevel und 80% für die Power eingestellt. Du kannst diese natürlich trotzdem anpassen wenn du andere Werte verwenden möchtest.
Anmerkung: Die Berechnungen zur benötigten Testlaufzeit basieren auf einem einseitigen Hypothesentest.
Das Feld Conversion-Wert in EUR ist ein optionales Feld, das dir helfen soll, eine bessere Einschätzung des zu erwartenden Uplifts vorzunehmen und deinen Test besser priorisieren zu können. Es zeigt dir, welchen zusätzlichen Umsatz das Testkonzept auf Basis deiner Eingaben und eines bestimmten Uplifts generiert, wenn du das erfolgreiche Testkonzept ausrollen würdest.
Schau dir unseren Blogpost an, in dem wir zeigen, warum A/B-Tests oft viel zu früh abgebrochen werden, wie du statistische Testpower sicherstellst und wie dir das Sample Size Tool helfen kann, bessere Tests zu starten.