Von André Morys | Conversion Optimierung | 4 Reaktionen

5 übelriechende A/B-Testing Mythen, die den Erfolg kosten können [Neu]

A/B-Testing ist ein beinahe unerlässliches Werkzeug bei der Optimierung. Die Möglichkeit, Veränderungen objektiv messen zu können, gab dem Thema Conversion Optimierung erst den richtigen Schub. Und dennoch ranken zu viele Halbwahrheiten und Mythen über das Thema A/B-Testing. Damit ist jetzt Schluss:

Mythos 1: Zuerst große Schritte testen

Oft wird fälschlicherweite empfohlen, zu Beginn der Optimierung weitreichende Veränderungen oder komplett andere Konzepte zu testen. Darin liegt jedoch ein Problem: Wer zu viel ändert, weiß nicht mehr was Ursache und Wirkung ist. Das kennt man vom Relaunch: Am Ende hat man so viel verändert, dass man nicht mehr weiß was gut und was schlecht war.

A/B-Testing Mythen - zuerst große Schritte

Gute A/B Tests analysieren pro Variation die Wirkung einer dezidierten Variante, die sauber einer klaren Hypothese folgt.

Nur so lässt sich bei der Ergebnisinterpretation sauber feststellen, warum ein Test erfolgreich (oder unerfolgreich) war.

Mythos 2: Bei Landingpages anfangen

Landingpages sind wie eine grüne Wiese auf der zunächst alles möglich ist. Sie lassen sich aus dem komplexen IT System heraus nehmen und beliebig verändern. Zumal oft viel SEA Budget auf der Landingpage „verbrannt“ wird. Ein häufiger Grund, mit A/B-Testing auf Landingpages anzufangen.

Aber: Eine Landingpage Optimierung scheint zwar das SEA Budget zu schonen, vom Optimierungs-Effekt „vorne“ kommt am Ende meist nichts oder nicht viel an. Ein Optimierer, der mit Hilfe von A/B-Testing nur auf sinkende Bouncerates optimiert, trägt daher eventuell nicht wirklich zum ROI bei.

Besser: Vor allem im E-Commerce sind Tests „tiefer“ im Funnel erfolg versprechender. Dank moderner Testing-Tools muss niemand mehr die Komplexität in den Systemen scheuen.

Mythos 3: multivariate Tests (MVT) sind zu aufwändig

Die Vorstellung, mehrere Faktoren einer Seite gleichzeitig gegeneinander bzw. miteinander zu testen, klingt in der Tat kompliziert. Die Idee hinter einem echten MVT (gegenüber mehreren einfacheren A/B-Testing) ist vielen jedoch nicht klar.

Mit einem MVT lassen sich nicht nur mehrere Hypothesen gleichzeitig testen sondern auch die Wechselwirkung der Hypothesen. Wer all das per A/B-Testing heraus finden will, braucht viel mehr Zeit.

Und: Die Wechselwirkungen der Faktoren untereinander lassen sich im sequentiellen A/B-Testing überhaupt nicht ermitteln.

Mythos 4: Viele Micro-Conversions ergeben mehr Makro-Conversions

Oh jeh – das klingt so verlockend. Wer an allen Stellen eines linearen Funnels die Click-Through-Rate (Micro Conversion) erhöht, hat am Ende mehr Makro-Conversion.

Stimmt natürlich nicht.

Denn echte Nutzer bewegen sich nicht in einem linearen Funnel. Ein Uplift von Suchergebnis zu Produktseite ergibt noch lange keinen Makrouplift (Umsatz).

A/B-Testing Mythen - Micro-vs-Makro-Conversion

Besser: Jeder Test sollte daher immer das Makro-Ziel messen (z.B. im E-Commerce Umsatz), die Microconversions dienen maximal der Diagnose.

Mythos 5: Durch A/B-Testing findet man die beste Lösung

Nein, leider nicht – jedenfalls nicht automatisch. Mit A/B-Testing lassen sich Optimierungsideen (Hypothesen) validieren. In einer Welt der unbegrenzten Anzahl an Variationen ist jede einzelne Optimierung jedoch ein „Schuss ins Blaue“. Es wäre schon großes Glück, wenn mit wenigen „Schüssen“ direkt der Optimalzustand gefunden würde.

Merke: Eine Version, die besser ist als die aktuelle Seite ist ein lokales Maximum. Die „beste Lösung“ wäre das globale Maximum (Optimum). (Siehe Wikipedia: Extremwert)

A/B-Testing Mythen - Lokales-vs-Globales Maximum

Übrigens: Den „Optimalzustand“ kennen (jedenfalls in Teilen oder in Form vager Vermutungen) die Kunden – obwohl sie sich dessen meist nicht bewusst sind.

Das „globale Maximum“ zu erreichen ist daher das Ergebnis einer sauberen Zusammenarbeit verschiedener Methoden.

Denn: Optimieren ist nicht Ausprobieren.

Bonus Mythos: Resultate müssen statistische Signifikanz haben

Mein Kollege Alexander Staats hat es bereits treffend in seinem Artikel „Conversion-Tests richtig interpretieren: ein Plädoyer für Methode und Geduld“ beschrieben. Oft spucken die Testingtools nach wenigen Tagen einen positives Ergebnis aus und behaupten, ein gewisses Signifikanzniveau erreicht zu haben.

Die Feststellung, ob und wann ein Test erfolgreich oder misserfolgreich ist, hängt jedoch von weiteren Faktoren ab, die nur ein erfahrener Optimierer einschätzen kann.

Richtig ist: Erfolgreiche Tests brauchen mehr als nur statistische Signifikanz. Erst wenn ein Test über mindestens > 10 Tage wirklich stabil mit wenig Schwankungen und ohne Ausreißer („Rauschen“) läuft, kann man die Ergebnisse als sicher ansehen.

Ein wirklich stabiler Test übersteht problemlos Trafficschwankungen, Katalog- oder Newsletter-Aussendungen.

Weitere Ressourcen zu A/B-Testing:

Search Engine Watch: 8 Rules of A/B Testing – The Art in Marketing Science

Avinash Kaushik: Excellent Analytics Tip#1: Statistical Significance

konversionsKRAFT: Das schlechteste Testing-Tool (inkl. 5 Vorurteile über Testingtools),

Donny Gamble kennt noch mehr Mythen: Debunking Conversion Optimization Myths

konversionsKRAFT: Conversion-Tests richtig interpretieren: ein Plädoyer für Methode und Geduld

André Morys

André Morys ist Gründer und Vorstand von konversionsKRAFT und beschäftigt sich seit 1996 mit der Conversion Optimierung von Websites und Onlineshops. André Morys ist Dozent für User Experience an der TH Mittelhessen und Autor des Fachbuchs "Conversion Optimierung". Er ist häufiger Sprecher und Moderator auf Konferenzen.
Frage zum Artikel? Frag den Autor

4 Reaktionen auf „5 übelriechende A/B-Testing Mythen, die den Erfolg kosten können [Neu]

  1. von Eckhard Schneider

    Das ist zwar an einigen Stellen ziemlich polarisierend dargestellt, aber alles plausibel. Nur bei Mythos 4 frage ich mich ob das nicht etwas dogmatisch ist – ich habe Beispiele gesehen, bei denen die Konversionsrate des Gesamt-Funnels recht gering war (1%), der Traffic nicht sehr hoch, und der Funnel auch nicht 100% linear. Bei der Optimierung der Seiten vorne im Funnel war kein statistisch signifikantes Ergebnis zu erzielen, weil man vermutlich Monate gebraucht hätte bis alle zufälligen Faktoren sich rausgemittelt hätten.
    In solch einem Fall finde ich die Optimierung auf Micro-Conversions immer noch besser als nichts. Erstens kann man wenig falsch machen (weil eine Verschlechterung der Gesamt-Conversion ja wie beschrieben nicht messbar ist) und zweitens ist der Normalfall ja doch eher der, dass Micro-Conversions sich aufaddieren. Oder?

    Schreibe einen Kommentar

    Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.