Von Julian Bachmann | Conversion Optimierung Tipps | 0 Reaktionen

Warum Dein Test gescheitert ist – 10 sofort umsetzbare A/B-Testing Tipps für mehr Uplift

Schlechte Testergebnisse tun weh. Immerhin wurde viel Arbeitszeit und nicht zuletzt ein Testslot dafür aufgewendet. Doch woran lag’s? In diesem Artikel verraten wir Dir häufige Gründe für negative Testresultate und 10 konkrete A/B-Testing Tipps für mehr Uplift.

„Die Idee ist super, das müssen wir unbedingt testen!“ – so oder so ähnlich werden viele A/B-Tests geboren. Bleibt die Conversion Rate unverändert, war den Nutzern die Änderung augenscheinlich egal.

Dabei war die Idee doch so gut! Aber warum sprechen die Zahlen eine andere Sprache? Um zukünftige Testerfolge zu sichern, solltest Du die folgenden Fragen stellen.

Frage 1: Lief der Test am richtigen Ort auf der Website?

Zu Beginn eines jeden Testingprogramms stellt sich die Frage: Wo fange ich an zu testen? Was ist das Problem auf der aktuellen Webseite, warum wird nur ein kleiner Anteil der Besucher zu Kunden? Auf dem Weg zu mehr Online-Umsatz sind verschiedene Metriken beteiligt, die es zu verbessern gilt (Klickraten, Produktaufrufe, Upsells, Customer Lifetime Value und so weiter).

Um gute Testergebnisse zu erreichen, sollte an Stellen auf der Website getestet werden, die für die jeweilige Zielmetrik tatsächlich relevant sind. Die Veränderung muss die Wirkung möglichst direkt entfalten können.

Steht beispielsweise die „finale“ Conversion (also der tatsächliche Kauf) im Vordergrund, lassen Änderungen der Startseite nicht die größten Hebel vermuten. Änderungen dort sind einfach zu weit von der gemessenen Kennzahl entfernt.

In diesem Fall wäre eine Veränderung auf der Produktseite sehr viel sinnvoller, da dort der Kaufentscheid getätigt wird.

TIPP #1: Teste zuerst an Stellen, die nah am „Moment of Truth“ sind. Nicht die Menge des Traffics entscheidet über die Wichtigkeit, sondern wie sehr die Veränderung auf dieser Seite auf die untersuchte Zielmetrik einzahlt.

Frage 2: Passt die Veränderung zu den Bedürfnissen Deiner Zielgruppe?

Auf das Wo folgt unweigerlich die Frage: Was fange ich an zu testen? In vielen Fachbereichen schwirren Ideen herum, die nach einem Test schreien.

Doch wer garantiert, dass die Ideen nicht doch aus der Innensicht Deines Unternehmens stammen und mit dem eigentlichen Nutzerproblem nicht viel zu tun haben?

Die Antwort ist so simpel wie kompliziert: Frag’ einfach Deine Nutzer!

Durch Nutzerbefragung von Probanden Zielgruppen-Bedürfnisse erkennen
In Nutzerbefragungen erfährst Du, was den Kunden motiviert und was vom Kauf zurückschrecken lässt.

Die Nutzer fragen? Wie bekommst Du sie dazu? Ein Online-Fragebogen ist sicherlich der einfachste Weg, allerdings sind die Insights hier sehr begrenzt. Besser ist die Beauftragung einer Agentur, welche die Probandenakquise nach Deinen Anforderungen übernimmt.

  • Befrage Probanden zum Beispiel in einem Motivation Lab gezielt nach ihrer Motivation. Beobachte sie bei der Nutzung Deiner Webseite, um Hürden und Motivationsblocker zu identifizieren.
  • Eine Fokusgruppe kann Dir neue Denkanstöße liefern, besonders in einem frühen Projektstand bzw. wenn Deine Zielgruppe stark gestreut ist.
  • Personas können helfen, Dir eine Vorstellung über diejenigen Nutzer zu verschaffen, für die du die Veränderungen umsetzt.
TIPP #2: Erfahre möglichst viel über Deine Zielgruppe. Sprich dazu mit Personen im Unternehmen, die direkten Kundenkontakt haben. Oder besser noch: Frage Deine Kunden, um Motivatoren und Demotivatoren zu erfahren.

Frage 3: Wird die Hypothese von den Analytics-Daten gestützt?

Um zu erkennen, ob die jeweilige Zielseite wirkliche Conversion-Killer ausweist, ist der Blick in die Tracking-Daten enorm wichtig. Auf der einen Seite steht damit die (qualitative) Analyse von Potentialen, die sich durch Kundenbefragungen und Dein eigenes Expertenwissen ergibt.

Doch ohne Datengrundlage basiert die Testidee auf reinem Bauchgefühl – es ist also wichtig, die qualitative Analyse mit der quantitativen Analyse zu verknüpfen. Dabei musst du Dir die Frage stellen: Wo liegt das Problem? Sind bspw. viele Abbrüche auf der Warenkorbseite vorhanden, kann dies daran liegen, dass der Warenkorb als Merkzettel „missbraucht“ wird.

Überdurchschnittlich hohe Exits und Bounceraten deuten auf ein hohes Optimierungspotential
Überdurchschnittlich hohe Exits und Bounceraten deuten auf ein hohes Optimierungspotential

Halte nach ungewöhnlichen Ausreißern Ausschau: Sind im Conversion Funnel bspw. Seiten vorhanden, deren Ausstiegsquoten und Bouncerates sich nicht erklären lassen?

TIPP #3: Verknüpfe qualitative mit quantitativer Analyse: Wenn auch die Daten darauf hinweisen, dass auf der getesteten Seite Potential besteht, bist du auf dem richtigen Weg.

Dein Test lief auf einer für die Zielconversion relevanten Seite? Er basierte auf einem echtem Nutzerproblem, auch die Daten deuteten darauf hin? Dann helfen Dir folgende Fragen.

Frage 4: War der Test kontrastreich?

Die Frage, die Du Dir nun stellen solltest: War der Test kontrastreich genug? Doch was bedeutet eigentlich Kontrast beim A/B-Testing? Mit Kontrast ist der Grad der wahrgenommenen Veränderung einer Seite gemeint. Je höher der Kontrast, desto größer der Unterschied, desto wahrscheinlicher wird der Test signifikant.

Das muss nicht immer eine große optische Veränderung heißen. Auch ohne große Umstellung der Seite kann eine große inhaltliche Veränderung erzielt werden, die sich auf das Verhalten auswirkt.

Mehr Kontrast im A/B-Testing
Das Entfernen von relevanten aber nicht förderlichen Informationen und der Einsatz eines Behavior Patterns erzeugten einen starken Uplift.

Um zu überprüfen, ob Du eine kontrastreiche Veränderung vorgenommen hast, stell’ Dir die einfache Frage: Führt die Veränderung dazu, dass ein signifikanter Teil der nicht-konvertierenden Nutzer auf einmal sagt „Hier kaufe ich doch!“? In unserem Artikel „Mut zu mehr Kontrast“ lernst Du alles zum Thema kontrastreiches Testing.

TIPP #4: Sorge dafür, dass eine Wahrnehmungsveränderung beim Besucher erfolgt. Stelle entscheidungsrelevante Elemente deutlich(er) in den Vordergrund. PS: Traue nicht den Tests auf WhichTestWasStoppedTooEarly.com (oder wie diese eine Webseite heißt 😉).

Frage 5: War die Hypothese trennscharf genug?

Um den Kontrast zu maximieren, könnte nun die Schlussfolgerung sein, dass alle Ideen gleichzeitig getestet werden sollten. Doch davor ist – Du ahnst es schon – zu warnen. Denn verschiedene Elemente zahlen mit unterschiedlicher Wirkung auf das Nutzerverhalten ein.

Veränderungen können genau gegensätzliche Auswirkungen auf das Nutzerverhalten haben. Wenn das passiert, hast Du ungewollt Einfluss auf andere Faktoren genommen und das Testergebnis ist gefährdet.

Im Extrembeispiel zeigt sich das an den vielen erfolglosen Relaunches – große Veränderungen, die meist rein designgetrieben unternommen werden, ohne auf die zugrunde liegende Nutzermotivation zu achten. In diesem Fall mag nicht die zugrunde liegende Hypothese das Problem sein, sondern das Gesamtkonzept berücksichtigt diese Motivatoren nicht genügend.

Doch nicht allein ungewollte Einflussnahme ist das Problem. Nach dem Test lässt sich außerdem nicht identifizieren, welches Element welche Auswirkung erzielt hat. Deswegen ist es wichtig, in einem Test nur diejenigen Elemente gleichzeitig zu verändern, die sich auf die gleiche Testhypothese beziehen.

Achte also darauf, dass Du im ganzen Optimierungswillen nicht andere wichtige Elemente negativ beeinflusst. Das Hypothesen-Template gibt Dir alles an die Hand, was Du dafür brauchst:

TIPP #5: Überprüfe, ob die Veränderungen auf genau eine Testhypothese einzahlen. Ansonsten solltest Du überlegen, wie sie sich in Einzel-Hypothesen aufteilen lassen.
Wenn Du diese 5 Fragen mit „Ja“ beantworten kannst, hast Du in konzeptioneller Hinsicht alles richtig gemacht. Mit den nächsten Tipps vermeidest Du außerdem technische Fehler.

Frage 6: Kannst Du Implementierungsfehler ausschließen?

Nun hast Du diese konzeptionellen Grundlagen für erfolgreiche Tests befolgt, und es stellen sich trotzdem keine positiven Effekte ein – was dann? Möglicherweise lag der Fehler nicht im Konzept, sondern in der Umsetzung.

Bist Du beispielsweise sicher, dass die Webseite in der Kontroll- sowie in der Testvariante gleich lang lädt? Werden Elemente am Frontend verändert, bedeutet dies auch immer die Gefahr von Flackern. Sich bewegende Elemente werden verstärkt wahrgenommen – was einen unerwünschten Fokus zur Folge haben kann. Ist dies der Fall, wirst Du das Testergebnis fehlinterpretieren.

Einfaches Beispiel für eine Flicker-Effekt. Rechts in der MP-Spalte wird die Reihenfolge und das Suchfeld angepasst.
Einfaches Beispiel für einen Flicker-Effekt. Rechts in der MP-Spalte wird die Reihenfolge und das Suchfeld angepasst.

Hier erfährst du, wie sich Flackern vermeidern lässt.

TIPP #6: Stelle sicher, dass die Nutzererfahrung nicht durch technische Fehler negativ beeinflusst wird. Dafür solltest Du vor Teststart eine gründliche Qualitätssicherung der Tool-Implementierung durchführen.

Frage 7: Wurde eine Browser-/Geräte-Whitelist erstellt?

Ein kurzer Blick ins Analytics verrät Dir: Die Nutzer greifen mit den unterschiedlichsten Browser(-Versionen) auf Deine Webseite zu. Jeder Entwickler weiß: Leider interpretieren die Browser den Code nicht auf die gleiche Weise. Erstellen wir also eine Veränderung auf der Website, kann es sein, dass Elemente auf verschiedenen Endgeräten unterschiedlich dargestellt werden. Im schlimmsten Fall wird die Webseite sogar völlig zerschossen.

Korrekte Testergebnisse durch eine Browser- bzw. Geräte-Whitelist
Technische Fehler (z.B. in einem bestimmten Browser) führen zu verzerrten Testergebnissen.

Ein kleines anschauliches Beispiel: Stand jetzt erzielst Du 5% Conversion Rate. Angenommen ein Fünftel der Nutzer verwenden einen Browser, bei dem die Conversion durch einen Bug im Test nicht auslösen kann. Nur um die Einbußen im fehlerhaften Browser wettzumachen, muss der restliche Testtraffic über 20% Uplift erzielen, damit Du überhaupt positive Resultate im Testingtool siehst.

Um solche Bugs auszuschließen, solltest Du für Deine Tests eine Whitelist zugelassener Browser bzw. Endgeräte erstellen, anstatt den Test für alle Nutzer auszuspielen. Damit reduzierst Du den Aufwand in der Qualitätssicherung aufs Nötigste. Immerhin testen wir Veränderungen. Ein Test erhebt also nicht die gleichen Ansprüche wie ein vollständiges Deployment.

TIPP #7: Lass nur die meistgenutzten Browser zum Test zu und unterzieh den Test auf diesen zugelassenen Browsern einer gründlichen Prüfung. Teste im gleichen Zuge, ob die Goals ordentlich ausgelöst werden!

Frage 8: Kannst Du saisonale Verzerrungen bzw. den Einfluss anderer Marketingaktionen ausschließen?

Nicht zu unterschätzen ist auch der Einfluss von kurzfristigen Marketingaktionen oder Feiertagen, welche die Nutzer-Motivation stark verändern können.

Nehmen wir den Black Friday/Cyber-Monday – im E-Commerce besonders umsatzstarke Tage. An diesen Tagen sind überdurchschnittlich viele Schnäppchenjäger unterwegs – ein Beispiel für eine besondere Nutzermotivation, die zu verzerrten Testergebnissen führen kann.

Gleiches gilt für den Newsletter-Versand (in dem z.B. bestimmte Produkte beworben wurden oder den eine bestimmtes Nutzersegment bevorzugt erhält).

Traffic Pollution im A/B-Test-Reporting
Eine Sale-Aktion hat die Vorteile der eigentlich starken Variante überlagert.
TIPP #8: Lass nur die meistgenutzten Browser zum Test zu und unterzieh den Test auf diesen zugelassenen Browsern einer gründlichen Prüfung. Teste im gleichen Zuge, ob die Goals ordentlich ausgelöst werden!

Frage 9: Wurde der Test für alle ausgespielt?

Letztlich kann es sein, dass der Test für manche Nutzergruppen besonders wirksam war, für andere jedoch keine (oder sogar negative) Effekte hatte. Dann ist es wahrscheinlich, dass Du falsche Rückschlüsse über Erfolg und Misserfolg Deines Tests ziehst.

Abweichende Testergebnisse in den Segmenten
New und Returning Visitors reagieren in diesem Test sehr unterschiedlich auf die Testvariante.

Möglicherweise ist die vorgenommene Veränderung für eine Kundengruppe jedoch so wirksam, dass sich eine Umsetzung auf jeden Fall lohnt. Damit würdest Du den ersten Schritt in Richtung einer Personalisierungs-Strategie gehen. Auch der umgekehrte Fall ist möglich: Auf den Gesamt-Traffic könnte Dir ein Sieger ausgespielt werden, obwohl der Test in den Segmenten ein Verlierer war.

Im Artikel „Weshalb Du Deinem Testing Tool also nicht blind vertrauen solltest“ erfährst Du mehr über dieses sogenannte Simpson Paradoxon.

TIPP #9: Schaue nach Unterschieden in Segmenten, um testrelevante Kundengruppen zu identifizieren. Auch durch eine nachträgliche Segmentierung kannst Du neue Erkenntnisse gewinnen, auf die Du in Folgetests eingehen kannst.

Frage 10: War die Idee schon reif zur Zeit des Tests?

Hast Du sowohl konzeptionelle Qualität wie auch technische Fehlerfreiheit sichergestellt? Dann war die Zeit vielleicht einfach noch nicht reif für die Idee. Auch beim Testing gibt es ein „zur richtigen Zeit am richtigen Ort“. So sind Conversational Interfaces derzeit ein beliebtes Trendthema. Das Problem dabei: Zumindest hierzulande werden solche KI-gesteuerten Abläufe von den Nutzern häufig noch nicht angenommen, auch wenn bestimmt viel Potential darin steckt. Doch das muss nicht so bleiben.

Hast Du vielleicht schon Dinge getestet, für die einfach nicht die richtigen Voraussetzungen gegeben waren?

TIPP #10: Forsche in alten Tests nach guten Ideen, die nicht gut genug umgesetzt wurden oder für die die Zeit einfach noch nicht reif war.

Fazit: Besser geht immer!

Auf dem Weg zum erfolgreichen Testing muss vieles beachtet werden und scheiternde Tests gehören dazu. Eine Studie von Convert.com ergab, dass nur 14% aller A/B-Tests zu positiven Resultaten führte. Mit Unterstützung durch eine Testing-Agentur liegt die Erfolgsquote bei 33%. 

Testerfolge mit vs. ohne Unterstützung durch CRO-Agentur
Agenturgestütztes Testing führt zu höheren Erfolgsquoten.

Doch egal, welche Erfolgsquote Du bisher erreichst: Es gilt, noch besser zu werden! Eine gute Idee allein ist dabei kein Erfolgsgarant. Wenn Du diese 10 A/B-Testing Tipps berücksichtigst, erhöhst Du die Trefferchance Deiner Tests und wirst mit Sicherheit zum besseren Conversion Optimierer.

Julian Bachmann

Julian Bachmann berät, trainiert und begleitet Kunden unterschiedlichster Branchen bei strategischen Optimierungsprojekten. Seine Konzepte beruhen auf Datenanalysen, Expertenwissen und verhaltenspsychologischen Prinzipien aus Konsumforschung und Neuromarketing, wodurch er seine Kunden systematisch zu mehr Geschäftserfolg führt. Kontaktieren Sie Ihn auf XING oder LinkedIn.
Frage zum Artikel? Frag den Autor

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.