Es ist Anfang des Jahres. Die besinnlichen Feiertage liegen hinter uns und im Online Handel kehrt langsam wieder Normalität ein. Geschenke wurden ausgepackt, bestaunt, verräumt, zurückgegeben oder direkt entsorgt. Das Konsumverhalten der Zielgruppe nimmt langsam wieder normale Züge an, sobald die letzten Gutscheine „vershoppt“ wurden. In vielen Online Shops wird im Weihnachtsgeschäft so viel umgesetzt, wie im ganzen Jahr zusammen. Grund genug, um auch unter dem Jahr die Kunden mit Aktionen zum Kaufen zu bewegen. Rabatte, Product-bundles, Versandkosten-Aktionen, Newsletter-Gutscheine und viele andere Kaufanreize sollen einen niemals endenden Konsumstrom erzeugen.

Für Conversion Optimierer, User-Experience Experten und Online- Marketingverantwortliche stellt das allerdings eine Herausforderung in der Interpretation ihrer Optimierungsmaßnahmen dar. Denn Sales Aktionen können die Zahlen ganz schön durcheinander bringen.

Das Pralinen Problem – überlagernde Effekte

Bei Sales Aktionen in Online Shops versucht man, die Kaufentscheidung der Besucher anzuheizen. Als Betreiber kalkuliert man, was einem die Aktion kostet und was sie aller Voraussicht nach bringen wird. Dabei werden gerne auch mal Anreize wie „kostenloser Versand“ oder 2 zum Preis von 1 verwendet.

Der Psychologe und Verhaltensökonom Dan Ariely hat zur Wirkung des Wortes „free“ eine Studie mit Pralinen durchgeführt. Am Eingang eines großen öffentlichen Gebäudes bauten sie einen Tisch auf, an dem Pralinen verkauft wurden. Es wurde eine höherwertige Praline (Lindt) und eine eher durchschnittliche Praline (Hershey’s) zum Kauf angeboten. Die Kunden durften nur eine Praline kaufen. Der wahrgenommene Wert, der auch Rückschluss auf die Qualität zulässt, betrug bei der Lindt Praline 1,00€ und bei Heryshey’s 0,10€.

Kaufentscheidung (vorher)

Bei Preisen von 15 Cent (Lindt) und 1 Cent (Hershey’s) entschieden sich 71% der Probanden für die Lindt Praline. Die wahrgenomme Qualität hat sich auch in der Kaufentscheidung widergespiegelt.

Nun wurden beide Pralinen um den gleichen Betrag reduziert – 1 Cent. Die Lindt Praline war für 14 Cent zu haben und die Heryshey’s kostete nichts mehr – also gratis.

Kaufentscheidung (nachher)

Nach der Senkung der Preise um den gleichen Betrag von 1 Ct (d.h. Hershey’s nun kostenlos) entschieden sich 73% für die Hershey’s. Wie vergessen sind die Qualitätsmerkmale der teureren Praline. Kaum jemand will mehr zartschmelzende Pralines von Lindt. Die Angst, eine bessere Alternative (die Gratis-Praline!) auszuschlagen, ist so groß dass sich die Probanden für die weitaus bessere Alternative der kostenlosen Pralines entschieden haben, obwohl ihnen der bessere Geschmack vorher viel mehr wert war.

Wen das Experiment näher interessiert, kann sich gerne hier einlesen:

http://web.mit.edu/ariely/www/MIT/Papers/zero.pdf

Auswirkung von Kaufanreizen auf Website-Tests

Wer in seinem Shop also “Gratis”-Kaufanreize anbietet (kostenloser Versand, 1 zahlen, 1 umsonst, etc.) und zeitgleich Website-Tests durchführt, läuft Gefahr, dass die Kaufentscheidung durch das Wörtchen “Gratis” derart beeinflusst wird, dass andere Qualitätsmerkmale, die in einem Tests verprobt werden, vollkommen überstrahlt werden. Die Conversion Rate steigt zwar im kompletten Shop und damit auch in der Variante B eines Tests an, aber der Effekt, der eigentlich getestet wird, kann durchaus in den Hintergrund treten und so zu nicht verwertbaren Test-Ergebnissen führen.

Andere Kaufanreize wie Preisnachlässe (Sales Rabatte) führen zu ähnlichen Schwankungen in den Daten (eigene Auswertungen unserer Tests zeigen das immer wieder).

Folgendes Schaubild soll verdeutlichen, wie sich die Entscheidung ändern kann, wenn Sales Aktionen die Effekte des Tests überstrahlen:

Auffälligkeiten in Testing-Daten

Da in Unternehmen durchaus unterschiedliche Abteilungen mit dem Shop zu tun haben, kann es vorkommen, dass Sales-Maßnahmen nicht immer mit allen Beteiligten abgesprochen sind. Ein Blick in die Daten zeigt allerdings schnell, wenn Sales Aktionen beginnen und wann sie enden. Häufig ändern sich Traffic und auch die Conversion Rate gleichzeitig.

Die nachfolgende Abbildung zeigt die Conversion Rate im Zeitverlauf. Ab dem rot markierten Datum zeigt sich ein Einbruch der Conversion Rate, die sich hinterher auf einem Niveau einpendelt. Ausgelöst durch eine Sales-Aktion, die an diesem Datum endete, kann man erkennen, wie die Kaufmotivation zurückgeht.

Auswirkung auf die Testergebnisse

Der Knick sieht zwar nicht wirklich bedrohlich aus, aber die Daten repräsentieren das menschliche Verhalten im Shop. Der Einbruch der Conversion Rate sind relativ gemessen ca. 30%! Die Performance der getesteten Varianten hat sich allerdings vor und nach der Sales-Aktion dramatisch geändert (siehe Tabelle).

Zu erkennen ist, dass es vorher so gut wie keine Uplifts gab. Der Einfachheit halber haben wir die restlichen Daten (Signifikanz, etc.) rausgelassen. Nach der Sales Aktion gab es auf einmal mehr positive Vorzeichen in den Testergebnissen. Am auffälligsten ist allerdings, dass aus einer sehr schlechten Variante v05 eine sehr gute Variante geworden ist. Hätte man sich also vor dem Ende der Aktion für oder gegen eine Variante entscheiden müssen, hätten man sich gegen den vermeintlichen Testsieger entschieden.

Sind Tests in Sales Aktionen dann überhaupt möglich?

Ja, Testing während Sales-Phasen ist möglich. Allerdings muss methodisch sauber gemessen und darauf geachtet werden, dass eben keine überlagernden Effekte auftreten. Gratis-Aktionen sind wichtig und steigern den Absatz, sollten aber mit Website-Tests abgestimmt werden.

Hier unsere Tipps für das Testing in Sales-Phasen:

9 Tipps für Testing in Sales Phasen

1. Transparenz und Ankündigung von Sales-Aktionen in interdisziplinären Teams

Um alle Beteiligten im Bilde zu halten, sollten geplante Sales-Aktionen dem Testingteam angekündigt werden. Somit kann verhindert werden, dass ein Test, der zum Beispiel auf Zahlungsmodalitäten abzielt, von einer Versandkosten-Aktion überstrahlt wird.  Kurzfristig durchgeführte Aktionen werden auf kurzem “Dienstweg” weitergegeben.

2. Dokumentation von Sales Aktionen in den relevanten Systemen

Um auch im Nachhinein Effekte zuordnen zu können, ist es wichtig, im Testingtool wie auch Analytics Tool Anmerkungen zu den Aktionen zu machen (annotations). Sowohl der Anfang wie auch das Ende des Tests und der Sales-Aktionen sollte hinterlegt werden. Somit können Schwankungen sofort zugeordnet werden.

3. Abstimmung zur Konsistenz von Werbemitteln und Inhalten des Shops (auch in Testvarianten)

Um keine ungleichen Kandidaten in einen Test zu schicken, müssen Sales Aktionen in der control wie auch in den Testingvarianten beworben werden. Wer also nur die control-Variante mit einer Sales Aktion bewirbt, wird die Variante B unausweichlich zum Verlierer küren.

4. Tagesaktuelles Screening der Testing- Daten

Auch wenn man Website-Tests generell tagesaktuell beobachten sollte (um Fehler ausschließen zu können), so ist dies in Sales Phasen besonders wichtig. Wie entwickeln sich die Varianten? “Drehen” sich die Ergebnisse? Läuft alles stabil? Kommt es zu unerwarteten Einbrüchen?

5. Laufzeit des Tests anpassen

Wer schon vorher weiß, wann Aktionen durchgeführt werden, der kann die Tests darauf abstimmen. So kann man zum Beispiel den Testzeitraum so legen, dass man sowohl vorher wie auch nach der Aktion Testdaten sammelt. Oder man kann Tests zeitgleich mit den Aktionen laufen lassen. Wichtig ist allerdings immer, dass man genau weiß, wann was lief.

6. Interpretation der Test-Ergebnisse

Bei der Interpretation der Ergebnisse braucht es auf jeden Fall mehr Fingerspitzengefühl als bei Tests ohne Sales-Phase. D.h. man muss tiefer in die Daten reinschauen, um mögliche Effekte erkennen zu können. So verhalten sich Bestandskunden womöglich anders als Neukunden. Personen, die über Newsletter oder Banner-Kampagnen auf die Aktion aufmerksam gemacht wurden, verhalten sich anders als Besucher, die direkt in den Shop einsteigen etc. Das führt direkt zum nächsten Punkt.

7. Segmentierung

Bei der Segmentierung der Testergebnisse sollten die gerade genannten Zielgruppen durchaus berücksichtigt werden. D.h. eine Segmentierung nach Besuchertypen, nach Besucherquellen ist sinnvoll, aber auch nach Zeiträumen.

Nachfolgend sieht man die markierten Bereiche eines Testverlaufs (Klick zum Vergrößern), in denen es  Sales-Aktionen gab. Somit können die Daten auch isoliert betrachtet werden. Man sieht sehr schön, den Einbruch der Conversion in der 1. Sales Aktion, aber auch den plötzlichen Anstieg in der 2. Sales Aktion. Für die Interpretation von Testergebnissen ist die isolierte Betachtung dieser Phasen sehr wichtig, um nicht falsche Schlüsse aus einem Test zu ziehen.

8. Sale-freie Phasen nutzen

Wenn es die Marketing-Abteilung zulässt und es Sales-freie Phasen gibt, dann sollte man diese auch für Tests nutzen. So kann man die Wahrscheinlichkeit, dass die Daten zusätzlichen externen Einflüssen unterliegen, senken.

9. Zur Not auch mal einen Test wiederholen

Wenn bei der Interpretation der Daten, auch nach Segmentierung und nach Betrachtung von unterschiedlichen Zeiträumen, keine sinnvollen Ergebnisse zu erkennen sind, dann muss man so fair sein und einen Test wiederholen können. Die Gefahr einer Fehlinterpretation der Ergebnisse ist zu hoch, als sich für einen Sieger entscheiden zu können. Das Beispiel in der Tabelle weiter oben hat gezeigt, dass aus einem vermeintlichen Verlierer auch ein Gewinner werden kann. Schlimmer ist es aber umgekehrt: Man entscheidet sich für eine Variante, die eigentlich einen negativen Einfluss auf die Kennzahlen hatte, aber vorher positive Effekte gezeigt hatte.

Fazit

Testing in Sales-Phasen ist möglich. Unsere Erfahrung hat gezeigt, dass innerhalb bestimmter Sales-Phasen allerdings die verrücktesten Dinge mit Website-Tests passieren können. Daher sind die obigen 9 Punkte bei der Auswertung und Planung von Tests immer wieder wichtig. Man muss sich gewahr sein, dass Website-Tests Experimente sind, die externen Faktoren unterliegen.