Hast Du schon mal einen Test durchgeführt der ein (signifikant) negatives Ergebnis hatte – also einen Testverlierer hervorgebracht hat? Wie bist Du damit umgegangen? Wie hast Du es dem Team, bzw. dem Chef erklärt? Wie war die Reaktion? Es scheint, als schwebe ein Damokles-Schwert über jeden, der negative Test-Ergebnisse verantworten muss. Wie ist der richtige Umgang mit negativen Tests?

Das ist alles nur ein Experiment

Ein guter Test beginnt immer mit einer Hypothese. Diese dient als Basis für das Testkonzept. Die Idee für die Hypothese wird in einer Analyse geboren. Mit quantitativen und qualitativen Forschungsmethoden werden Motivationsbarrieren und Conversion Killer identifiziert. Der Website-Test soll nur noch belegen, ob Deine Hypothese bestätigt oder abgelehnt werden kann.

Das Ganze ist ein Experiment. Nicht mehr und nicht weniger. Mit dem Test kannst Du letztlich nur belegen, dass Deine Idee funktioniert hat und bei der Zielgruppe zu einer positiven Reaktion geführt hat. Damit hast Du etwas gelernt und den Beweis erbracht, dass Dein Prinzip funktioniert.

Du suchst nach einem Sieger? Du wirst ihn finden.

Nach Hypothese, Konzeption, Design und Test-Setup folgt die Testing-Phase. Wir nennen es mal die Zeit des Bangens. Denn hier zeigt sich, wie gut das Testkonzept wirklich ist. Klar sind die Erwartungen hoch und idealerweise soll der eigene Favorit auch gewinnen. Bei der Interpretation der Testergebnisse neigen wir gerade deshalb dazu, die Daten so zu interpretieren, dass unsere Erwartungen erfüllt werden (confirmation bias – Bestätigungsfehler). In der Praxis wird ein Test zum Beispiel dann gestoppt, wenn der Uplift oder die chance to beat original möglichst hoch sind. Doch das ist nicht der richtige Zeitpunkt zum Stoppen. Wir belügen uns selbst.

Lief der Test lange genug?

Ob Du einen Testsieger feierst oder ein langes Gesicht machst, hängt davon ab, wie valide Deine Ergebnisse sind. Lief der Test lange genug, um eine verlässliche Aussage zu treffen? Kannst Du den Daten trauen? 2/3 aller Tests sind nicht valide!

Mithilfe des konversionsKRAFT Testmengen-Kalkulators kannst Du das genau ausrechnen.

Wenn Du Dir sicher bist, dass die Laufzeit ausreichend war und Du den Daten trauen kannst, dann sollten die Ergebnisse des Testverlierers kommuniziert werden. Dabei solltest Du aber folgendes beachten:

Es gibt keine Verlierer!

Wenn man es streng nimmt, gibt es beim Testing keinen Verlierer. Die Erklärung liegt in der Methodik des hypothesengetriebenen Testings, denn Deine Hypothese kann nur bestätigt oder abgelehnt werden.

Beispiel für eine Hypothese:

Wenn … wir die Service-Vorteile unseres Online-Shops stärker kommunizieren
Dann … werden mehr Besucher zu Kunden,
Weil … sie verstehen, dass sie diesen Service nur bei uns bekommen

Einseitiges Testing
Da mit dieser Hypothese auf einen positiven Effekt der Variante abgezielt wird, bedeutet eine Bestätigung, dass die Hypothese zutrifft (einseitiger Test).

Die Hypothese für die Steigerung der Conversion Rate lautet:

Hypothese: p>p0
(Der Conversion Rate der neuen Variante ist größer als in der Control-Variante)

Wenn der Test allerdings einen negativen Effekt erzielt, kann rein statistisch gesehen die Hypothese nur abgelehnt werden. Doch was heißt das in der Praxis? Wenn wir nicht mehr Conversions haben, was haben wir denn dann? Natürlich haben wir gleich viele, oder weniger Conversions. Doch rein methodisch gesehen, kannst Du nicht einfach sagen, dass der Test dann signifikant schlechter läuft.

Zweiseitiges Testing
Wenn Du die Möglichkeit einer Steigerung und einer Senkung der Conversion Rate einer Variante überprüfen möchtest, dann sprechen wir von einem zweiseitigen Test. Die Hypothese muss sich ändern:

Vorher: Einseitiger Test
Wenn … wir die Service-Vorteile unseres Online-Shops stärker kommunizieren
Dann … werden mehr Besucher zu Kunden,
Weil … sie verstehen, dass sie diesen Service nur bei uns bekommen

Nun die neue Hypothese (bitte genau lesen)
Zweiseitiger Test
Wenn … wir die Service-Vorteile unseres Online-Shops verändern
Dann … wird sich das Kaufverhalten der Besucher verändern,
Weil … die Services bei der Kaufentscheidung eine wichtige Rolle spielen

Die Hypothese beim zweiseitigen Testing lautet:
H1:p≠p0
(Der Conversion Rate der neuen Variante ist anders als in der Control-Variante)

Du siehst, dass sich mit der Hypothese das Konzept ändern müsste, um diese zu bestätigen. Eine völlig andere Herangehensweise, denn in der Praxis wird bei einer Senkung der Conversion Rate einfach nur die Auswertung (zweiseitig) geändert, allerdings nicht das Konzept. 

Im konversionsKRAFT Konfidenz-Rechner kannst Du überprüfen, ob ein Test ein signifikantes Ergebnis erzielt hat (einseitig und zweiseitig).

Doch was tun, wenn der Test lange genug lief und die Daten wirklich valide sind?

Wir haben einen Testverlierer – wir werden alle sterben.

Wer überbringt schon gerne eine schlechte Nachricht? Niemand!
Und niemand will sagen: „Tut mir leid, der Test hatten keinen Sieger. Wir haben sogar eine Verschlechterung der Conversion Rate nachweisen können für die Variante B.“

Ruhig Blut, das Geschäft wird aufgrund des Tests schon nicht den Bach runtergehen. Es war ein Experiment, ein Test, ob etwas funktioniert. Es wurde nicht komplett ausgerollt. Dafür hat man es ja getestet, weil man sich unsicher war, ob es funktioniert. 

Loser-Varianten sind unbeliebt und das völlig zu unrecht, denn beim Website-Testing geht es nicht darum, einen Sieger zu präsentieren. Es geht darum, etwas über das Verhalten der Zielgruppen zu lernen und damit eine datengetriebene Entscheidungsgrundlage für Maßnahmen zu schaffen.

Conversion Optimization = Data Driven Marketing

Wie viele (Marketing-) Entscheidungen treffen wir täglich? 15, 50, 76? Wie viele davon treffen wir aus dem Bauch heraus? Wie hoch denkst Du ist die Trefferquote-Deines Bauchs? Wie oft liegst Du also daneben?

Wir machen täglich Fehler. Das ist normal.

Mit Hilfe der Conversion Optimierung haben wir allerdings die Möglichkeit, Ideen auszuprobieren. Wir bekommen ein Sicherheitsnetz, einen doppelten Boden.

Wir können etwas T E S T E N.

Und diese Tests liefern Ergebnisse, auf deren Basis wir wiederum Entscheidungen treffen können. Jemand der einen Test-Verlierer abstraft, hat nicht verstanden, dass es sich um ein Experiment gehandelt hat, aus dem man lernen sollte. Anhand eines Praxisbeispiels möchte ich aufzeigen, was ich genau damit meine.

Praxisbeispiel

Im folgenden Praxisbeispiel möchte ich zeigen, was aus einer Testvariante geworden ist, die als Testverlierer feststand. Im Zuge eines Relaunches wurden bei Görtz unterschiedliche Seitentypen getestet. Ein Test hat sich mit der Gestaltung der Detailseite beschäftigt.

Testing-Sprint “Detailseite”
Im ersten Sprint wurde die Detailseite auf das neue Design des Relaunchs angepasst. Zusätzlich wurden eine Leiste mit Service-Vorteilen (Var A) und die Zahlungsarten (Var B) und getestet.

Die Varianten im Detail

Die Ergebnisse
Die Variante A mit der Service-Leiste hat zu einer signifikanten Verschlechterung der Conversion Rate geführt (-5,4%). Die Variante B mit den Zahlungsarten hatte keinen Effekt erzielt. (In einem zweiseitigen Test könnte man sagen, es wurde nichts kaputt gemacht).
Wir hatten keinen eindeutigen Gewinner und auch noch einen Verlierer. Doof erstmal. Was nun? Die Variante B umsetzen, Variante A verwerfen?

Wir haben uns für die Umsetzung der Variante B entschieden (wegen des neues Designs), ABER dort nicht aufgehört. Wir wollten verstehen, warum A schlechter performt hat. Wo ist der Unterschied zu B?

Follow-up Test
Im Folgetest haben wir unser darauf konzentriert, wichtige Service-Vorteile im Multichannel Marketing hervorzuheben und diese zudem noch viel prominenter abzubilden.

Die Service-Vorteile der grünen Leiste gab es im ersten Test in der Control-Variante und in der Variante A. Doch in der Variante A waren diese Vorteile nicht sichtbar bei Standardauflösungen. Die prominente Platzierung der Zahlungsarten (Variante B) hatte keinen Einfluss auf die Kaufentscheidung. Daher konnten wir diese Fläche nutzen und haben die Service-Vorteile dort in einem Folgetest nochmal gespielt und wichtige Fragen zum Versand & Rückversand, zur Filiale und zu Kauf auf Rechnung aufgenommen.

Die Varianten im Detail

Die Ergebnisse
Die Ergebnisse haben die Hypothese bestätigt und es konnte ein signifikanter Uplift in Höhe von 5,7% (Sales Conversion Rate) erzielt werden. Der Test hat gezeigt, dass die Vorteile wichtig waren, aber noch viel stärker hervorgehoben werden mussten.

Fazit – liebe Deine Loser-Varianten!

Wir neigen sicherlich dazu, Testverlierer schnell abzustempeln und sie in einer Loser-Schublade verschwinden zu lassen. Das Beispiel soll zeigen, dass dies völlig zu unrecht geschieht. Testing heißt lernen, auch aus Verlierern. Deswegen ist es umso wichtiger, die Gründe für negative Effekte einer Testvariante zu hinterfragen. Auf einen Testverlierer muss daher immer ein Sieger folgen.

Viel Erfolg beim Testing!

Wer dennoch einen Verlierer findet, für den gilt 😉