Von Steffen Schulz | Hintergründe Theorie | 5 Reaktionen

Basiswissen: Das 1×1 um Testresultate souverän zu interpretieren. Kostenloses E-Book

Leitfaden Statistik

Die Zeiten, dass Statistik hauptsächlich im Zusammenhang mit der Medizin oder den Sozialwissenschaften auftaucht, sind vorbei.

Mit dem Beginn des Website-Testings ist die Statistik auch in den Bereich der Conversion Optimierung eingezogen. Nahezu jedes Website-Testingtool liefert neben den gemessenen Werten wie der Conversion Rate pro Variante und einem entsprechenden Up- oder Downlift auch eine Signifikanzprüfung. Die Signifikanzprüfung ist Ihnen vielleicht auch unter einem anderem Namen bekannt, wie Chance-To-Beat-Baseline (CTBB), Chance-To-Beat-Original (CTBO) oder Confidence.

Aber können Sie in diesem Zusammenhang auch nachfolgende Fragen beantworten? 

  • Kennen Sie den Unterschied zwischen Signifikanz und Konfidenz?
  • Wenn ein Tool einen Uplift von 5% und eine Chance-to-beat-Baseline von 95% ausweist, bedeutet dies, dass ich mit einem Uplift von 5% zu einer 95%-igen Wahrscheinlichkeit rechnen kann?
  • Wissen Sie, was ein klassischer A/B Test mit einem Münzwurf zu tun hat?
  • Können Sie sich erklären, dass ein Website-Testing-Tool an einem Tag eine Gewinner-Variante krönt und sich diese Ergebnisse am nächsten Tag  gedreht haben?
  • Wissen Sie, was das Aufstellen von Hypothesen mit der Statistik zu tun hat? 

Mit diesem E-Book will ich Ihnen einen Leitfaden an die Hand geben, mit dem Sie Ihre Testergebnisse souverän interpretieren können. Zudem liefert es die gesuchten Antworten genau auf die gestellten Fragen.

Als kleines Extra stelle ich einen exklusiven konversionskraft Konfidenzrechner zur Verfügung. Mit diesem können Sie Ihre Testergebnisse auf signifikante Unterschiede hin untersuchen. Wie der Konfidenzrechner funktioniert und wo Sie diesen benutzen können, erfahren Sie in diesem eBook.

An wen richtet sich das eBook und welche Fragestellungen werden behandelt?

Das eBook richtet sich  an alle Online-Marketer, welche mit dem Thema Statistik zu tun haben. Es werden grundlegende Begriffe der Statistik erklärt und auf den Bereich Conversion Optimierung übertragen. Dabei liegt der Fokus des eBooks  auf Verständlichkeit und Nachvollziehbarkeit.

Inhalt – Was erwartet mich im eBook?

  1. Einführung in die Statistik: Grundlagen und Ergebnisinterpretation
  2. Was sich hinter dem Begriff „deskriptive Statistik“ verbirgt
  3. Die schließende Statistik – Wir schließen von Testdaten auf allgemeingültige Aussagen
  4. Testen mittels Ablehnung der Nullhypothese
  5. Inwieweit sind Sie bereit, einen Zufallsfehler einzugehen?
  6. Einseitiges oder zweiseitiges Testen – Der Unterschied liegt in der Fragestellung
  7. Wie Testingtools mit der Signifikanzprüfung umgehen
  8. Konfidenzintervalle – Inwieweit von dem gemessenen Uplift auf den tatsächlichen Uplift geschlossen werden kann
  9. Betrachtung von Testresultaten ohne Berücksichtigung des Traffics
  10. Der Unterschied zwischen der Conversion Rate und Revenue Werten
  11. Wie Sie Ihre gemessenen Ergebnisse auch ohne Website-Testing-Tool auf Signifikanz überprüfen können

Download

eBook-cover-Statistik

Das eBook „Leitfaden zur statistischen Interpretation von Testergebnissen – Das Statistik 1×1 für Online-Marketer“ umfasst als PDF 48 Seiten und kann unter „Studien & eBooks“ heruntergeladen werden.

 

 

Ich wünsche viel Spaß beim Lesen und würde mich über einen Kommentar hier im Blog sehr freuen.

PS: Den Konfidenzrechner gibt es hier: //www.konversionskraft.de/tools

Steffen Schulz

Steffen Schulz ist Senior Conversion Consultant bei der Web Arts AG und beschäftigt sich mit der Optimierung von Websites. Neben der Erstellung von quantitativen und qualitativen Analysen legt er dabei den Fokus auf die statistische Auswertung sowie die Interpretation von Testergebnissen. Zudem beschäftigt er sich mit der Erstellung von Testkonzepten und dabei insbesondere mit der Definition und Integration von verhaltenspsychologischen Triggern aus der Konsumforschung und des Neuromarketings. Als Google AdWords-Professional und Konzeptionierer ist ihm eine ganzheitliche Betrachtung und Optimierung von Websites sehr wichtig. Bei Fragen können Sie Ihn gerne jederzeit auf Xing kontaktieren.
Frage zum Artikel? Frag den Autor

5 Reaktionen auf „Basiswissen: Das 1×1 um Testresultate souverän zu interpretieren. Kostenloses E-Book

  1. Kompliment! Ich finde den Inhalt sehr gelungen – ein umfangreicher, verständlich aufgearbeiteter Einstieg in Statistik im A/B-Testing! Danke hierfür, ich werde das E-Book sicher weiterempfehlen.

    Die Anregungen, beispielsweise zum Konfidenzintervall zu Uplifts / Downcasts, habe ich an unser Statistik-Produktteam hier bei Optimizely weitergeleitet. Danke auch dafür!

    • Ich finde Klasse wie viel Mühe ihr euch gebt, die Statistik-Grundlagen weiterzugeben. Also weiter so! – Zudem ist der Artikel auch für den (lernwilligen) Einsteiger verständlich rüber gebracht worden.

      Insbesondere bei gewagten oder entscheidenden Hypothesen kann eine falsche Herangehensweise bei der Datenauswertung sehr teuer werden. Wenn die Fehler 1.Art und 2.Art aufgrund der individuellen Datenbasis größer werden, kann man es ja gleich dem Zufall überlassen, wie das Ergebnis der Hypothese aussieht…

      Und das ist ja nicht Sinn der Sache!

      • Danke für die Zusammenfassung. Zum Konfidenzintervall um den Effekt:

        „Viel mehr ist man ja daran interessiert, in welchem Intervall sich der Unterschied der beiden Varianten bewegt.
        Optimizely sowie VWO treffen hierzu leider keine Aussage und haben diese Funktion nicht in ihrem Tool implementiert.“

        Ironischer Weise ist diese Funktion auch im Tool auf konversionskraft nicht implementiert. Das wäre eine schöne Erweiterung.

        Schreibe einen Kommentar

        Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.