Was ist Multivariates Testing?
Wenn man den Effekt von mehreren Änderungen an verschiedenen Elementen in einem Test untersuchen möchte, bietet sich ein multivariater Test an. Dieser bietet in einem solchen Fall wichtige Vorteile gegenüber eines herkömmlichen A/B-Tests. Dadurch ist es möglich, den Effekt mehrerer Optimierungsmaßnahmen, zum Beispiel ein neuer Teaser und eine andere Headline, in einem Test in Kombination als auch isoliert zu messen.
Ziel des Multivariaten Testings ist es zum einen, die erfolgreichste Kombination der verschiedenen Elemente zu ermitteln. Gleichzeit möchte man aber auch herausfinden, welchen Effekt die einzelnen Maßnahmen für sich haben. Dafür muss zunächst für jedes Element eine Hypothese aufgestellt werden. Anschließend werden die verschiedenen Elemente in einem Test sinnvoll kombiniert und getestet.
Dadurch, dass beim Multivariaten Testing mehrere Tests gleichzeitig laufen, wird der Traffic auf die verschiedenen Varianten aufgeteilt. Im Vergleich zum A/B-Test erfordert ein Multivariater Test mehr Aufwand bei der Auswertung sowie einen höheren Traffic, um valide Ergebnisse zu erhalten.
Die Anzahl der Kombinationen, also Varianten, ergibt sich durch das Produkt der Varianten der einzelnen Elemente, die getestet werden sollen. Als Beispiel ergeben also 2 Varianten von Element A und 2 Varianten von Element B: 2 x 2 = 4 Varianten.
Vorteile des Multivariaten Testings
Ein Multivariater Test, der richtig durchgeführt wird, ist ein mächtiges Instrument, um Faktoren und Kombinationen zu testen. Dabei kann man mehrere Faktoren auf einer Seite gleichzeitig testen. Im Idealfall sind keine Folgetests mehr nötig, daher ist diese Methode sehr zeitsparend.
Nachteile des Multivariaten Testings
Der limitierende Faktor, möchte man aussagekräftige Ergebnisse beim Multivariaten Testing erhalten, ist die Stichprobe, welche wiederum durch den Traffic limitiert wird. Bei einem A/B-Test wird der Traffic einfach gleichmäßig auf beide Varianten aufgeteilt. Je mehr Varianten man aber hat, desto kleiner wird bei gleichmäßiger Aufteilung die Sample Size pro Variante. Dementsprechend sinkt die Validität der Ergebnisse.
Um ein valides Ergebnis zu erhalten, muss bereits vor dem Test die nötige Stichprobengröße festgelegt werden. Liegt der Traffic der Seiten darunter, so muss a) die Anzahl Varianten reduziert oder b) die Testlaufzeit verlängert werden.
Um die maximale Anzahl an Varianten bei Multivariatem Testing zu berechnen, stehen praktische Tools wie Iridion zur Verfügung.
Mehr Informationen zur Testlaufzeit, auch in Abhängigkeit von mehreren Varianten, können in diesem Artikel von Manuel Brückmann nachgelesen werden.
Das Problem zu vieler Testvarianten
Ein Optimierungsprozess sollte immer hypothesengetrieben sein. Wahllos mit unzähligen Varianten herum zu testen birgt eine große Gefahr, und zwar die der Alpha-Fehler-Kumulierung. Diese besagt folgendes:
Bei jedem Test wird eine gewisse Irrtumswahrscheinlichkeit akzeptiert, da man beim Testing nur einen Ausschnitt aus der kompletten Kundenbasis betrachtet. Damit das Ergebnis des Tests auf die gesamte Kundenbasis übertragbar ist, sollte das Konfidenzniveau möglichst hoch sein. In der Regel arbeitet man mit einem Konfidenzniveau von 95%. Die Wahrscheinlichkeit für den Fehler 1. Art (Alpha-Fehler) – also dass man auf ein signifikantes Ergebnis stößt, welches keines ist – beträgt in diesem Fall 5%. Mit steigender Anzahl der Varianten kumuliert sich der Alpha-Fehler wie folgt:
Wie Du den Alpha-Fehler selbst berechnen, korrigieren und limitieren kannst, erklärt Dir Dr. Julia Engelmann in ihrem Artikel 10 Statistik-Fallen beim Testing.
Weiterführende Artikel zum Thema Multivariates Testing
https://www.konversionskraft.de/data-analytics/10-statistik-fallen-beim-testing-der-ultimative-guide-fuer-optimierer.html
https://www.konversionskraft.de/tipps/das-schlechteste-ab-testingtool%E2%80%A6.html
https://www.konversionskraft.de/cro-serien/welches-testingtool-10-conversion-testingtools-im-vergleich-teil-2.html
https://www.konversionskraft.de/conversion-optimierung/a-b-testing-probleme.html
https://www.konversionskraft.de/conversion-optimierung/testing-falle.html
https://www.konversionskraft.de/conversion-optimierung/conversion-deckungsbeitrag-case-study.html
https://www.konversionskraft.de/conversion-optimierung/es-lebe-die-integrale-conversion-optimierung.html
https://www.konversionskraft.de/cro-serien/10-conversion-testingtools-im-vergleich-teil-1.html
https://www.konversionskraft.de/tipps/flicker-effekt-flacker-fehler-bei-ab-tests.html
https://www.konversionskraft.de/konversionsrate/konversionsrate-verbessern.html
https://www.konversionskraft.de/strategie/conversion-testingtools-9-marktfuehrer-im-vergleich-e-book.html
https://www.konversionskraft.de/tipps/tipps-konversionsrate.html
https://www.konversionskraft.de/hintergrunde/conversion-tests-richtig-interpretieren-ein-pladoyer-fur-laufzeitverlangerung.html
https://www.konversionskraft.de/theorie/agiles-optimieren-in-der-praxis-nacheinander-gleichzeitig-oder-multivariat-testen.html
https://www.konversionskraft.de/landing-page-optimierung/roi-landingpage-optimierung.html
https://www.konversionskraft.de/hintergrunde/mehr-konversion-durch-personas.html
https://www.konversionskraft.de/trends/selbstoptimierung-cro-szene-bestandsaufnahme.html
https://www.konversionskraft.de/konversionsrate/das-gefahrliche-leben-der-optimierer-3.html
https://www.konversionskraft.de/konversionsrate/beyond-conversion-funf-fehler-bei-der-webanalyse-die-fast-jeder-macht.html