Erfolgreiches A/B-Testing mit Mut zu mehr Kontrast
Der Test läuft seit knapp drei Wochen, und die Linien im Testingtool rücken immer näher zusammen. Ein Bild, dass sich leider bei vielen Tests abzeichnet. Keine der Varianten hat einen signifikanten Unterschied für ein relevantes Ziel bewirkt. Es gibt keine Verbesserung und keine Verschlechterung. Der Test ist nichtssagend. Ein wenig frustrierend.
Nachdem die üblichen Gedanken aufkommen wie etwa:
„Überhaupt kein Unterschied, kann doch nicht sein!“
oder
„Vielleicht misst das Tool ja falsch…?“
muss man sich eingestehen, dass die Varianten den Besucher einfach nicht stark genug in seiner Entscheidung beeinflussen konnten. Es wurde schlichtweg nichts Relevantes verändert.
Es fehlt an Kontrast.
Mit Kontrast ist beim A/B-Testing der Grad der Unterscheidung der zu testenden Variationen gemeint. Je höher der Kontrast, desto größer der Unterschied, desto wahrscheinlicher wird der Test signifikant.
Beispiele aus der Praxis
Der überwiegende Teil aller A/B-Tests ist dabei einem der folgenden Szenarien zuzuordnen:
1. Keinerlei Abweichungen = Kein Gewinner
Hat ein Test überhaupt keinen Kontrast, läuft er nach kurzer Zeit komplett zusammen. Die Zahlen im Tool zeigen also bei keiner Variante eine Verbesserung oder eine Verschlechterung:
So sah das Konzept aus: Unterschiedliche Platzierungen des Cross-Selling Elements auf der Produktdetailseite:
Was zu tun ist: In diesem Fall bleibt leider keine andere Möglichkeit, als die Varianten neu zu konzipieren und den Test zu wiederholen. Dabei gilt der Fokus dem Kernargument – und das scheint offenbar nicht die Position des Cross-Sellings zu sein. Ein kleines Learning lässt sich also auch aus so einem Ergebnis ziehen.
2. Nur die Varianten haben keinen Kontrast = Viele Gewinner?!
Dieser Fall ist Fluch und Segen zugleich: Die Varianten des Tests zeigen einen Uplift, sind aber untereinander nicht unterscheidbar. Es stellt sich also die Frage: Welche ist die Beste?
So sah das Konzept aus: Unterschiedliche Beschriftungen des „Warenkorb-Buttons“ auf der Produktdetailseite:
Was zu tun ist: Hier haben die Verantwortlichen die Qual der Wahl: Entweder wird die präferierte Variante sofort ausgerollt, oder der Test wird weiter validiert, indem die Sieger-Varianten mit stärkeren Ausprägungen noch mal gegeneinander getestet werden.
3. Echter Kontrast = Ein Gewinner!
Am schwierigsten zu erreichen, aber das Ziel eines jeden A/B-Tests: Ein klarer, unangefochtener Gewinner.
So sah das Konzept aus: Entfernen der Versandkosten aus der Buy-Box (A & B) + Dringlichkeit beim Versandzeitraum (B):
Was zu tun ist: Variante B live stellen, in die Entwicklung geben, Lob abholen und den Sekt aufmachen!
Unterschiedliche Wahrnehmung
Aber wie kann es sein, dass mit zu wenig Kontrast getestet wird? Denn ohne jeden Zweifel gab es in jedem der obigen Konzepte einen klar erkennbaren Unterschied.
Der Grund dafür liegt in den verschiedenen Wahrnehmungen von Test-Verantwortlichen und Besuchern.
Wird ein Testkonzept entwickelt, kennen die Verantwortlichen immer alle Varianten. Automatisch wird verglichen und Schlüsse werden gezogen, es wird bewertet.
Spricht man also von Kontrast, meint man meist nur den visuellen Unterschied der Test-Varianten. Für den Test-Besucher ist dies allerdings ein Problem, da er ja nicht vergleichen kann. Er sieht die Unterschiede nicht, sondern einfach nur eine Variante des Tests. Die Entscheidung fällt nicht für A und gegen B, sondern lediglich für oder gegen eine Variante. Das war’s.
Folgendes bekanntes Beispiel, erklärt dies recht anschaulich:
Frage: Welcher der beiden inneren Kreise ist größer?
Natürlich sind beide gleich groß 😉
Die unterschiedliche Wahrnehmung entsteht durch den Kontrast der angrenzenden Kreise. Entfernt man die äußeren Kreise aber nun, fehlt der Kontext und der Effekt verschwindet. Ganz ähnlich wie beim A/B-Testing:
Dieses Phänomen, gepaart mit der Vorsicht nichts kaputt machen zu wollen, führt zu Testkonzepten die so wenig verändern, dass es fast nicht mehr messbar ist.
Die Schnittmenge der Besucher, die auf beide Varianten gleich reagieren ist dann einfach zu groß:
Kontrast ohne visuelle Komponente
Um einen A/B-Test kontraststark, und damit erfolgreich zu machen, ist es deshalb entscheidend, Kontrast nicht nur über visuelle Elemente zu definieren. Der Unterschied darf nicht einfach verschwinden, wenn man die „äußeren Kreise“ entfernt. Jede Variante muss für sich selbst sprechen können. Und dies schafft man nur, wenn man den Besucher aktiv in seiner Entscheidung beeinflusst.
Kontrast entsteht im Kopf der Nutzer, nicht am Reißbrett der Designer.
Echter Kontrast – so geht’s
Eine Garantie gibt es leider nicht, aber Wege die Chancen auf einen wirklich erfolgreichen Test zu erhöhen.
Wenn die Antwort auf eine der folgenden Fragen „Ja“ lautet, ist die Wahrscheinlichkeit hoch, einen kontraststarken Test ins Rennen zu schicken:
- Löst die Variante einen komplizierten Sachverhalt auf der Webseite?
- Wurden relevante Informationen auf der Seite hinzugefügt?
- Wurden relevante Informationen von der Seite entfernt? (z.B. Lieferkosten, Lieferzeit, etc.)
- Erzeugt die Variante eine veränderte Wahrnehmung der Seite beim Besucher (z.B. wirkt teuer, wirkt dominanter, wirkt stimulanter, etc.)?
- Verändert die Variante die Tonalität der Seite?
- Wurde die Customer-Journey verändert (z.B. Warenkorb-Layer vs. direkte Weiterleitung, o.ä.)?
- Verändern Sie die Usability der Seite (z.B. Navigationsverhalten, Formular-Validierung, etc.) ?
- Nutzt die Variante ein bereits erforschtes psychologisches Prinzip (z.B. Decoy-Effekt, Spurring, etc.)?
Dabei ist es wichtig, die Fragen nicht nur mit Bezug auf die Control zu stellen, sondern auch zu allen anderen Varianten des Tests. Hält dabei eine Testvariante nicht stand, sollte sie überarbeitet oder notfalls sogar ganz aus dem Testkonzept gestrichen werden.
Fazit: Kontraststarkes A/B-Testing = Erfolgreiches A/B-Testing
Den Weg zur Kontraststärke muss jedes Testing-Team für sich selbst finden. Eine erfolgsversprechende Zauberformel gibt es leider nicht. Wie in der Bildverarbeitung etwa:
„Variante A hat zu B einen Kontrast von 0,75 – genug für einen messbaren Unterschied.“
Das würde das Leben eines Optimierers deutlich erleichtern. Auch funktioniert es nicht, den Schwerpunkt auf Designfragen zu legen, denn echter Kontrast ist keine Frage des Layouts (oder nicht nur), sondern entsteht im Kopf der Zielgruppe.
Um diese fehlende Berechenbarkeit auszugleichen, gibt es nur ein Mittel: Mut zu Veränderung.
Denn Kontrast bedeutet nichts anderes als eine messbare Verbesserung zu entwickeln. Und messbar sind nur Dinge, die eine Verhaltensänderung beim Besucher bewirken. Also große, bedeutsame Veränderungen.
So gilt für jedes Testkonzept folgende Frage, bevor man den Test entwickelt:
Ist die durch den Test angestrebte Verbesserung wirklich bedeutsam?
4 Kommentare
Markus Kehrer,
Genau dafür sollte man A/B Testing nutzen – um mit einem Kontrast etwas Neues auszuprobieren und zu sehen wie die Kunden das finden! Wenn man das systematisch und iterativ optimierend macht kann man nur erfolgreich sein.
Pascal,
Super Artikel! Ich bin prinzipiell auch ein Fan von kontrastreichem Testing…Leider wird dies heute viel zu wenig eingesetzt, meistens unterscheiden sich die Testing-Varianten dann doch kaum. Man sollte einfach immer daran denken dass sich zu ähnliche Varianten oft zu wenig unterscheiden, was gerne zu verfälschten Daten führen kann…
Ruben Pasternak,
Hallo Max,
dein Beitrag ist echt super. Natürlich sollte der Kontrast bei Splittestings vorhanden sein, damit wie du es sagst ein signifikanten Ergebnis dabei herum kommt. Das Interessante daran ist einfach das es nur 1 oder 2 kleiner Veränderungen bedarf und die Zahlen explodieren, bleiben so oder senken sogar.
Beste Grüße
Ruben Pasternak
Wladi,
Sehr schöner Beitrag mit anschaulichen Beispielen, hat mir sehr geholfen, danke dafür!