Konfidenzrechner (Signifikanzrechner)

Mit dem Konfidenzrechner von konversionsKRAFT hast Du die Möglichkeit, die Ergebnisse Deines A/B-Tests auf signifikante Unterschiede zu untersuchen.

Wie sind die Zahlenwerte zu interpretieren?

Als Ergebnis erhalten Sie neben der Conversion Rate, den Uplift und das Signifikanzniveau.

Conversion Rate = Anzahl Conversions / Visitor * 100 (in %).

Uplift = (Conversion Rate „Variante“ – Conversion Rate „Original“) / Conversion Rate „Original“ (in %).

Signifikanzniveau = Der Wahrscheinlichkeitswert, dass der ermittelte Uplift (oder Downlift) rein zufällig zustande gekommen ist.

Konfidenz = Die Umkehrwahrscheinlichkeit des Signifikanzniveaus (100% – Signifikanzniveau). Die meisten Website-Testing-Tools geben diese Umkehrwahrscheinlichkeit für die Signifikanzprüfung an.

Ab wann ist das Ergebnis signifikant?

Mit dem Konfidenzrechner kannst Du die Wahrscheinlichkeit bestimmen, dass es sich bei den gemessenen Ergebnissen um einen zufällig gemessenen Uplift oder Downlift handelt.

Nach streng wissenschaftlicher Konvention ist ein Ergebnis signifikant, wenn das berechnete Signifikanzniveau < 5% (>95% Konfidenz) ist.

Je kleiner das ermittelte Signifikanzniveau ist, desto unwahrscheinlicher ist es, dass der gemessene Uplift rein zufällig entstanden ist.

Einseitiges oder zweiseitiges Testen?

Der grundsätzliche Unterschied zwischen einseitigem und zweiseitigem Testen liegt in der Fragestellung.

Bist Du daran interessiert, ob die getestete Variante besser als die Original ist? Dann empfehlen wir Dir einen einseitigen Test.

Bist Du daran interessiert, ob es überhaupt einen Effekt (besser oder schlechter) zwischen der getesteten Variante und der Original gibt? Dann solltest Du zweiseitig testen.

Falls Du noch tiefer in dieses Thema einsteigen möchtest, empfehlen wir folgendes E-Book: Leitfaden: Statistische Interpretation von Testergebnissen