Von André Morys | Conversion Optimierung | 7 Reaktionen

3 Fehler beim A/B-Testing, die Sie übersehen (Ihre Konkurrenz aber nicht)

Eine kleine Fabel zu Beginn: Stellen Sie sich vor, Sie wechseln die Branche. Ab sofort helfen Sie mit Ihrer Online-Marketing-Erfahrung bei der Vermarktung der Pizzeria Alfonso in einer deutschen Kleinstadt. Ein Pizzabäcker kann vom modernen Instant-Uplift-Prinzip des A/B-Testings noch viel lernen. Eine Idee: Sie testen zum Beispiel zwei verschiedene Versionen der Speisekarte und messen, welche Variationen mehr Umsatz bringt. Wenn Sie die Tests immer und immer wiederholen, tritt eine kontinuierliche Verbeserung ein, die Umsätze steigen, oder?

Soweit die Theorie.

Fehler Nr. 1: Es wird nur vorne optimiert.

(Riesen-ROI-Speichel)

173% Uplift – Wow! 93% weniger Bouncerate – Hurra! Die Case-Studies zum Thema Conversion-Optimierung lesen sich beinahe derart vielversprechend, dass selbst erfahrenen Conversion-Experten manchmal der Mund offen steht und der aufgrund des allmächtigen Riesen-ROI der Speichel im Mund zusammen läuft. Und tatsächlich, man kann es nicht nur nach rechnen, es beeindruckt auch immer noch den einen oder anderen Händler, wenn man Deckungsbeitragsrechnung erklärt und er merkt, dass 1% mehr Conversion manchmal 400% mehr Deckungsbeitrag am Ende sind.

Stellen wir uns vor, die kleinen Änderungen auf der Speisekarte hätten den Umsatz der Pizza Diavolo tatsächlich um 43% gesteigert – das wäre doch toll, oder?

Hmmm – ich zeige einmal eine Case-Study aus der US-Versicherungsbranche:

GEICO Landingpage

Bei dieser Landingpage der US-KFZ-Versicherung GEICO geraten Online-Marketer ins schwärmen. Die Conversion wurde vervielfacht – sie gilt als Single-Purpose-Website der ersten Stunde. Klarheit, Relevanz, UVP – ein einfaches Formularelement direkt auf der ersten Seite, alles bestens.

Die Case-Study dazu lautet bestimmt „1.400% mehr Conversion auf der Landingpage – 8 x mehr Marketing-ROI, blablabla.“

Die Wahrheit hinter der Kampagne sieht dann so aus:

Geico Formular Realität

Das Formular dahinter hat nicht einmal die PLZ-Eingabe übernommen. Die 5-seitigen Formularwüsten wurden kaum optimiert, weil das aus rechtlichen und IT-technischen Gründen nicht geht. (Kennen Sie solche Argumente?) Die wahren Conversion-Killer sitzen manchmal im Stockwerk unter Ihnen… Der Erfolg auf der Landingpage zählt nicht – nur die Gesamt-Conversion gemessen an Profit und Kundenwert sagt etwas über den Marketing-ROI einer Kampagne aus.

Das bringt uns zum zweiten Punkt:

Fehler Nr. 2: Sie wissen immer noch nicht, warum keiner kommt.

(Im Taumel des Testing Rauschs)

Erste kleine Erfolge fühlen sich toll an. Sie haben nur ein bisschen was geändert, und: ZACK! 43% mehr verkauft! Das war toll – davon wollen Sie jetzt noch mehr. Sie haben gelernt: In Ihrem kleinen Mikro-Kosmos zwischen Betreten des Restaurants und der ersten Kaufentscheidung können Sie die Dinge optimieren.

Doch Vorsicht: Sie übersehen wichtige globale Zusammenhänge im Taumel des Testing-Rauschs. Und zwar registrieren Sie z.B. nicht, dass Sie zwar bei den Gästen, die zu Ihnen kommen 43% mehr Umsatz machen – aber insgesamt die Pizzeria nebenan fünf mal mehr Kunden jeden Abend hat.

Es gibt also ein Problem, dass Sie nicht lösen können während Sie in Ihrem eigenen Laden stehen. Sie werden das Problem nicht einmal registrieren, wenn Sie den Kopf nicht ein wenig über den Rand der Pizzateller strecken! Wenn Sie wissen wollen, warum im direkten Vergleich der Konsumentenpräferenz Ihre Pizza auf dem vorletzen Platz ist, müssen Sie anders vorgehen – Sie müssen die Leute auf der Straße fragen, in welche Pizzeria sie am liebsten gehen und warum sie sich so entscheiden.

IKEA Landingpage Betten

Conversion Optimierung ist die Kunst, Konsumenten-Entscheidungen in die richtige Richtung zu lenken – und da spielen die Marktteilnehmer im direkten Umfeld eine größere Rolle. Hätten Sie die Leute gefragt, wüssten Sie z.B. dass es die Pizzeria nebenan nur einen kleinen Grappa für 50 Ct. kostet um ihre Kunden doppelt so gut zu binden.

Fehler Nr. 3: Irgendwann ist Schluss

(Die Kröung der Online-Marketing-Evolution)

Das beinahe sexuell attraktive Verprechen, mit Hilfe vieler kleiner Optimierung in einer Art Website-Mini-Evolution die Krönung der Online-Marketing-Schöpfung erschaffen zu können, ist leider eine Illusion. Im Marktvergleich zeigt sich, dass Ihre alte Speisekarte ziemlich schlecht und durchschnittlich sein muss um mit einfachen Mitteln eine strategisch bedeutsame Verbesserung hervor zu rufen.

Profit entsteht nicht singulär auf der Speisekarte, dem Schaufenster oder der Landkarte – es ist ein Gesamtergebnis aus vielen Faktoren (weshalb sich vor allem große Retailer schwer damit tun, effektive Conversion-Optimierung im Unternehmen zu implementieren). Maximaler Umsatz und vor allem maximaler Markterfolg sind schließlich das Resultat einer stimmigen Kombination aus Produkt, Positionierung, Preis, Ambiente, Erscheinungsbild, Kundenservice, Lieferqualität, etc. – rein oberflächliche Optimierung sind mit ihrer Effektivität schnell am Limit.

iPhone 4 Markterfolg

Könnte z.B. Markterfolg im Wert von 8 Mrd. Dollar – trotz Antennenproblemen und mit schlechter Call-to-Action – ein Resultat permanenter Tests sein? Die Frage, ob die ideale Kombination vieler Optimierungen gemessen an der Masse eher zu einem genialen Ergebnis und Marktdominanz oder vielleicht doch in Richtung Durchschnittsbrei führt, ist beinahe philosophisch…

Fazit: Testen Sie,…!

Testing ist toll. Es eröffnet unserer Marketing-Welt ungeahnte Möglichkeiten und lässt uns endlich ganz pragmatisch die eine oder andere Idee einfach austesten. Es stellt müßige Diskussionen über Geschmacklichkeiten ins Abseits und entmachtet den subjektiven Geschmack des Marketing-Managers. Testergebnisse stehen auf einmal in der Unternehmenshierarchie noch über dem Corporate-Identity-Handbuch weil ab sofort der Umsatz entscheidet. So etwas konnten wir in den letzten 150 Jahren Werbung in der Geschwindigkeit bislang noch nicht – eine Revolution, ein Game-Changer.

Im Test entscheidet sich, ob die Ratschläge der Conversion-Experten, der Online-Agentur oder von-wem-auch-immer wirklich ziehen. Testergebnisse geben uns wichtige Learnings, Tests dienen der Evalutation der Optimierung-Hypothesen.

Conversion-Optimierung geht nicht ohne Testing.

Wirklich.

Aber Achtung – hier kommt der Haken:

Bei allem Testosteron-Rausch über die ungeahnten Möglichkeiten des Testings sind ein paar Zusammenhänge schnell übersehen die das komplexe System des Unternehmens- und Markterfolgs stark beeinflussen. Viele kleine positive Ergebnisse lassen manchen Online-Marketer vergessen, dass auch ein 200-prozentiger Uplift von 1 auf 3 Prozent Konversionsrate immer noch ein beschissenes Ergebnis ist, wenn der Branchendurchschnitt bei 8 Prozent Gesamtkonversion liegt.

Da wird klar, dass die neue Version nicht 200% besser sondern die alte nur deutlich schlechter war.

„Hurra, die alte Landingpage hatte 66% Downlift“.

Nein, das klingt nicht so toll.

Viel Spaß beim Optimieren, ich freue mich auf Kommentare und Ihre Sichtweise auf die Herausforderungen des Testings….

(P.S.: Die Pizza-Analogie habe ich auf einem US-Blog gelesen und nur sinngemäß wieder gegeben. Leider habe ich die URL nicht archiviert, vielleicht kennt sie aber jemand.)

André Morys

André Morys ist Gründer und Vorstand von konversionsKRAFT und beschäftigt sich seit 1996 mit der Conversion Optimierung von Websites und Onlineshops. André Morys ist Dozent für User Experience an der TH Mittelhessen und Autor des Fachbuchs "Conversion Optimierung". Er ist häufiger Sprecher und Moderator auf Konferenzen.
Frage zum Artikel? Frag den Autor

7 Reaktionen auf „3 Fehler beim A/B-Testing, die Sie übersehen (Ihre Konkurrenz aber nicht)

  1. von tennisschlaeger-hammer.de

    Schöner Artikel. Das, was beim Testen häufig missverstanden wird, ist dass zunächst einmal eine These oder irgendeine Form von Ziel definiert werden sollte. Wenn dieses Ziel erreicht, oder die These bestätigt wird, kann man von einem Erfolg sprechen. Blindes Testen und das Sich-drüber-freuen, dass irgendwelche Zahlen jetzt doppelt so hoch sind – da ist die Ursache meistens im Bereich „Zufall“ zu finden…

    • Schöner Schreibstil, ein bisschen leger (ups, der hat „Scheiße“ gesagt) aber spritzig und aufgeräumt.

      • Die magischen Zahlen und die verzauberten Personen dahinter. Am besten gefiel mir der Vergleich mit dem „Pizzateller“ um das Potenzial abzuschätzen. Vielleicht hilft auch das gute und immer wieder verlässliche Bauchgefühl bei vielen Einschätzungen weiter…

        Schreibe einen Kommentar

        Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.