Was ist Multivariates Testing?

Wenn man den Effekt von mehreren Änderungen an verschiedenen Elementen in einem Test untersuchen möchte, bietet sich ein multivariater Test an. Dieser bietet in einem solchen Fall wichtige Vorteile gegenüber eines herkömmlichen A/B-Tests. Dadurch ist es möglich, den Effekt mehrerer Optimierungsmaßnahmen, zum Beispiel ein neuer Teaser und eine andere Headline, in einem Test in Kombination als auch isoliert zu messen.

Ziel des Multivariaten Testings ist es zum einen, die erfolgreichste Kombination der verschiedenen Elemente zu ermitteln. Gleichzeit möchte man aber auch herausfinden, welchen Effekt die einzelnen Maßnahmen für sich haben. Dafür muss zunächst für jedes Element eine Hypothese aufgestellt werden. Anschließend werden die verschiedenen Elemente in einem Test sinnvoll kombiniert und getestet.

Dadurch, dass beim Multivariaten Testing mehrere Tests gleichzeitig laufen, wird der Traffic auf die verschiedenen Varianten aufgeteilt. Im Vergleich zum A/B-Test erfordert ein Multivariater Test mehr Aufwand bei der Auswertung sowie einen höheren Traffic, um valide Ergebnisse zu erhalten.

Die Anzahl der Kombinationen, also Varianten, ergibt sich durch das Produkt der Varianten der einzelnen Elemente, die getestet werden sollen. Als Beispiel ergeben also 2 Varianten von Element A und 2 Varianten von Element B: 2 x 2 = 4 Varianten.

 

Vorteile des Multivariaten Testings

Ein Multivariater Test, der richtig durchgeführt wird, ist ein mächtiges Instrument, um Faktoren und Kombinationen zu testen. Dabei kann man mehrere Faktoren auf einer Seite gleichzeitig testen. Im Idealfall sind keine Folgetests mehr nötig, daher ist diese Methode sehr zeitsparend.

 

Nachteile des Multivariaten Testings

Der limitierende Faktor, möchte man aussagekräftige Ergebnisse beim Multivariaten Testing erhalten, ist die Stichprobe, welche wiederum durch den Traffic limitiert wird. Bei einem A/B-Test wird der Traffic einfach gleichmäßig auf beide Varianten aufgeteilt. Je mehr Varianten man aber hat, desto kleiner wird bei gleichmäßiger Aufteilung die Sample Size pro Variante. Dementsprechend sinkt die Validität der Ergebnisse.

Um ein valides Ergebnis zu erhalten, muss bereits vor dem Test die nötige Stichprobengröße festgelegt werden. Liegt der Traffic der Seiten darunter, so muss a) die Anzahl Varianten reduziert oder b) die Testlaufzeit verlängert werden.

Um die maximale Anzahl an Varianten bei Multivariatem Testing zu berechnen, stehen praktische Tools wie Iridion zur Verfügung.

Iridion
Mit Tools wie Iridion kann man bereits vorab prüfen, wie viele Varianten man maximal testen darf, um valide Ergebnisse zu erhalten.

Mehr Informationen zur Testlaufzeit, auch in Abhängigkeit von mehreren Varianten, können in diesem Artikel von Manuel Brückmann nachgelesen werden.

 

Das Problem zu vieler Testvarianten

Ein Optimierungsprozess sollte immer hypothesengetrieben sein. Wahllos mit unzähligen Varianten herum zu testen birgt eine große Gefahr, und zwar die der Alpha-Fehler-Kumulierung. Diese besagt folgendes:

Bei jedem Test wird eine gewisse Irrtumswahrscheinlichkeit akzeptiert, da man beim Testing nur einen Ausschnitt aus der kompletten Kundenbasis betrachtet. Damit das Ergebnis des Tests auf die gesamte Kundenbasis übertragbar ist, sollte das Konfidenzniveau möglichst hoch sein. In der Regel arbeitet man mit einem Konfidenzniveau von 95%. Die Wahrscheinlichkeit für den Fehler 1. Art (Alpha-Fehler) – also dass man auf ein signifikantes Ergebnis stößt, welches keines ist – beträgt in diesem Fall 5%. Mit steigender Anzahl der Varianten kumuliert sich der Alpha-Fehler wie folgt:

Abbildung 3: Je mehr Varianten man testet, desto höher ist das Risiko einer falschen Entscheidung.
Je mehr Varianten man testet, desto höher ist das Risiko einer falschen Entscheidung.

Wie Du den Alpha-Fehler selbst berechnen, korrigieren und limitieren kannst, erklärt Dir Dr. Julia Engelmann in ihrem Artikel 10 Statistik-Fallen beim Testing.

 

Weiterführende Artikel zum Thema Multivariates Testing

10 Statistik-Fallen beim Testing – Der ultimative Guide für Optimierer

Das schlechteste A/B-Testingtool…

Welches Testingtool? 10 Conversion Testingtools im Vergleich – Teil 2

3 Fehler beim A/B-Testing, die Sie übersehen (Ihre Konkurrenz aber nicht)

Die Testing-Falle, in die jeder mal tappt

Case Study zu KPIs beim A/B-Testing: Conversion, Retouren, Deckungsbeitrag

Es lebe die integrale Conversion Optimierung

Welches Testingtool? 10 Conversion Testingtools im Vergleich – Teil 1

Unnötige Flacker-Fehler bei A/B Tests, die fast jeder macht…

Konversionsrate verbessern: Numbercrunching oder Psycho-Kram?

Conversion Testingtools: 9 Marktführer im Vergleich (kostenloses eBook 101 Seiten)

Fünf Experten zum Thema Konversionsrate

Conversion-Tests richtig interpretieren: ein Plädoyer für Methode und Geduld

Agiles Optimieren in der Praxis: Nacheinander, gleichzeitig oder multivariat testen?

Landingpage Optimierung: Neue Hebel für mehr ROI

Der Distanz keine Chance! Mehr Konversion durch die Arbeit mit Personas

Die Selbstoptimierung der CRO-Szene – eine Bestandsaufnahme

Das gefährliche Leben der Optimierer (3)

Beyond Conversion – fünf Fehler bei der Webanalyse, die fast jeder macht.