Data Science: Statistik und Analytics für bessere Tests

Signifikanz sagt dir, wie unwahrscheinlich ein so großer Unterschied zwischen den Varianten wäre, wenn es in Wahrheit gar keinen gäbe. Sie sagt nicht, wie groß der Effekt ist und auch nicht, mit welcher Wahrscheinlichkeit Variante B besser ist.

Teststärke (englisch Power) ist die Wahrscheinlichkeit, einen tatsächlich vorhandenen Effekt einer bestimmten Größe auch zu erkennen. Üblich sind 80 Prozent. Ist die Teststärke zu gering, übersiehst du echte Gewinner und erklärst gute Ideen für gescheitert.

So lange, bis die vorab berechnete Stichprobe erreicht ist, und mindestens über volle Wochen, damit Unterschiede zwischen Wochentagen ausgeglichen sind. Brich einen Test nicht ab, nur weil das Tool zwischendurch Signifikanz meldet. Die nötige Dauer berechnet unser Testlaufzeitrechner.

Beide Ansätze sind zulässig. Die klassische, frequentistische Auswertung prüft, ob ein Effekt mit hoher Sicherheit vorliegt. Die bayesianische Auswertung gibt an, wie wahrscheinlich Variante B besser ist und welchen Umsatzeffekt du erwarten kannst. Für geschäftliche Entscheidungen ist die zweite Antwort oft nützlicher.