Checkliste: 15 einfache Dinge für reibungslose A/B-Tests

Welcher Optimierer träumt nicht von einem reibungslosen Testing-Zyklus? Von der perfekten Hypothese zum wunderschönen Design. Eine IT-Abteilung die Hand in Hand mit der Qualitätssicherung eine fehlerfreie Umsetzung übergibt und nach einer kurzen Testlaufzeit eine zweistellige Steigerung der Verkaufszahlen ermöglicht. Alles natürlich ohne Diskussionen mit Kollegen, Problemen bei der Umsetzung oder Qualitätssicherung und alles in der Hälfte der Zeit. Falls dies bei Ihnen nicht zutrifft, willkommen in der Realität.


Im folgenden Artikel möchte ich Ihnen Tipps für eine erfolgreiche Testumsetzung geben. Mit diesen Tipps können Probleme schon frühzeitig verhindert und der Testing-Zyklus optimiert werden.

#1 Keine Deployments während des Testlaufs

Änderungen oder Bugfixes, auch wenn sie noch so klein und wenig komplex zu scheinen mögen, können zu Komplikationen bei der Testausspielung führen. Dies spielt vor allem bei <tag>-basierten Testingtools eine große Rolle. Existiert eine Roadmap mit definierten Deployment-Terminen, können Tests vor- oder nachher durchgeführt werden. Sollte ein Deployment während einer Testlaufzeit nicht zu verhindern sein, sprechen Sie frühzeitig mit Ihrer Entwicklung. Mit einer Kopie des laufenden Tests und einer Anspielung z.B. auf einem Staging-Server, können mögliche Konflikte frühzeitig erkannt und der Test angepasst werden.

Sie möchten die Testlaufzeit einschätzen? Unsere Faustformel für eine durchschnittliche Testlaufzeit:

Ein Test sollte mindestens 2 – 4 Wochen laufen und pro Variante
mindestens 1.000 – 2.000 Conversions beinhalten. Es sollten in diesem Zeitraum Aktionen (Newsletter, TV-Spots, Sales etc.) stattfinden. Es sollten möglichst unterschiedliche Kanäle abgebildet werden (Gesamt-Traffic-Mix, entweder durch Targeting im Vorfeld oder Segmentierung im Nachgang). Hat der Test eine minimale statistische Signifikanz von 95% erreicht (zweiseitig, d. h. positiv wie negativ) und ist diese stabil, so wird der Test angehalten.

Mein Kollege Manuel Brückmann geht auf dieses Thema in seinem Artikel Warum Sie Ihre A/B-Tests zu früh abschalten im Detail ein.

#2 Kontrast beachten

Die Kombination unterschiedlicher Anpassungen ermöglicht oft ein kontraststarkes Testen. Ein zu großer Kontrast macht eine anschließende Analyse der effektivsten Hebel jedoch schwierig. Zudem wird der Aufwand für Umsetzung und Qualitätssicherung steigen.

Meine Empfehlung wäre daher: Überprüfen Sie große Anpassung durch einen ersten Test. Mit Folgesprints weitere Anpassungen vornehmen und validieren.

André Morys geht näher auf das Thema kontrastreichen Optimierungshypothesen in seinem Artikel Für mehr Uplift: Der goldene Zirkel der Conversion-Optimierung detaillierter ein.

#3 Worst-Case-Szenario beachten

Oft gibt es bei großen Produktsortimenten abweichende Darstellungen im Template oder der Header verändert sich im Verlauf der Seite, z.B. werden UVP’s im Checkout stärker präsentiert. Dies kann bei der Entwicklung sowie der Qualitätssicherung zu kleinen bis großen Probleme führen. Durch eine im Vorfeld erstellte Worst-Case-Liste (z.B. in Form eines Impediment Backlogs) können schon bei der Entwicklung entsprechende Sonderfälle beachtet werden. Die Qualitätssicherung kann mit dieser Liste eine optimale Überprüfung aller möglichen Szenarien bieten. Fragen Sie bei Ihren Kunden nach Sonderfällen (Sondergrößen, besondere Produktkategorien wie z.B. Accessoires etc.). Dies erleichtert auf beiden Seiten das Abfangen von Abweichungen.

#4 Agilität vs. Perfektion

Oft sollen A/B Tests in völliger Perfektion umgesetzt werden. Nach mehreren Wochen Abstimmungs-Zyklen, Entwicklung, Qualitätssicherung und Testlaufzeit ist das Ergebnis jedoch nicht erfolgreich. Gerne sagen wir “Ein Test ist kein Deployment”. Wichtig: Hiermit ist keine Minderung der Qualität einer Testumsetzung oder Qualitätssicherung gemeint. Vielmehr geht es um die Umsetzung von minimalen Details, deren Auswirkung aber auf einen Besucher in Frage zu stellen ist.

Sollten Sie bei nächster Gelegenheit vor diesem Problem stehen, stellen Sie sich einfach folgende Frage: “Würde ich dieses Produkt nicht kaufen, weil z.B. Schriftgröße, Zeilenabstand oder Borderbreite nicht stimmt?”.

#5 Quereinstiege beachten

Quereinstiege in einen Test sollten immer beachtet werden. SEA, SEO oder Bestandskunden könnten unter Umständen eine veränderte Seite angezeigt oder auf eine andere Seite weitergeleitet werden. Im ersten Fall könnten zudem schwerwiegende Fehler auftreten, welche durch die Testausspielung verursacht werden.

#6 Testeinstiege & Abweichung der URL Struktur beachten

Vor allem bei der Durchführung von Multi-Page bzw. Funnel-Tests sollte ein Blick auf eine mögliche Abweichung der URL-Struktur geworfen werden. Sollte sich die Struktur unerwartet ändern, kann im schlimmsten Fall das Targeting des Testingtools nicht mehr greifen. Dies hat zur Folge, dass Teilnehmer die Testvariante nicht mehr sehen. Bei externen Anbietern, für z. B. Zahlungsmethoden, können – durch eine fehlende Rückleitung auf die Dankeseite – Conversion & Revenue verloren gehen.

#7 Kein Test ohne Targeting

Wenn die Qualitätssicherung eine fehlerfreie Testausspielung auf allen Endgeräten mit zugehörigen Browsern gewährleisten kann, ist ein Ausschluss von bestimmten Devices / Browsern nicht notwendig. In den seltensten Fällen ist dies jedoch möglich. Durch eine Whitelist, einer Auflistung aller in der Qualitätssicherung zu überprüfenden Endgeräte sowie Browser, können potenzielle Fehlerquellen ausgeschlossen werden. Es ist von Vorteil diese Liste schon vor der Freigabe der Entwicklung zu definieren. Als Hilfestellung dienen die aktuellen Zugriffszahlen aus einem bestehenden Web Analytics / Reporting Tool wie Google Analytics.

Custom Targeting bei Visual Website Optimizer

Das etwas versteckte Custom-Targeting bei Visual Website Optimizer.
Das obere Target beispielhaft für den Ausschluss von mobilen Endgeräten. Das untere Target besteht aus einem regulären Ausdruck, wodurch nur erwünschte Browser (Whitelist) zum Test zugelassen werden.

#8 Von der Messung ausschließen

Wer sind die täglichen Besucher einer Seite? Neben Ihren Kunden sind dies oft externe Dienstleister wie Call-Center oder auch der Kollege im Büro nebenan. Dies kann Ihre Ergebnisse jedoch verfälschen. Schließen Sie daher Ihre eigene IP-Adresse sowie von internen und externen Mitarbeiter von der Messung aus. Achtung, nicht jedes Tool bietet die Möglichkeit, IP-Adressen noch nachträglich aus den Ergebnissen zu filtern.

#9 Auch Browser werden alt

Ältere Browser wie z.B. IE 7 & 8 sterben aus. Durch einen Blick auf die Traffic-Zahlen können oft ältere Browser vernachlässigt werden. Browser wie der IE 7 oder IE 8 verursachen in der Entwicklung und Qualitätssicherung erfahrungsgemäß enormen Zusatzaufwand.

Browser Statistik Dezember 2014

Quelle: http://www.w3schools.com/browsers/browsers_stats.asp

Internet Explorer Statistik Dezember 2014

Bei 1.000 Besuchern haben wir nach der Statistik von Dezember 2014 einen Anteil von IE 7 & 8 Besuchern von 1,5%. Dies entspricht 15 Besucher.
Quelle: http://www.w3schools.com/browsers/browsers_explorer.asp

#10 Sind iFrames vorhanden?

Gerne wird die eigene Seite durch Funktionen von externen Dienstleistern erweitert. Es kommt vor, dass diese Funktionen über einen iFrame implementiert wird. iFrames können manipuliert werden, wenn diese auf der gleichen Domain liegen. Ist dies nicht der Fall muss Ihr Testingtool auf der Domain des Dienstleisters implementiert werden. Wenn Sie Glück haben, ist dies möglich, in den meisten Fällen jedoch nicht. Überprüfen Sie das Konzept gemeinsam mit Ihrer Entwicklung vorab auf die Umsetzbarkeit.

#11 Aufwand der Qualitätssicherung beachten

Die benötigte Zeit für die Qualitätssicherung wird oft unterschätzt. Typische Problemfälle sind Tests der Produktdetailseite oder Checkout. Der Aufwand kann exponentiell ansteigen. Sprechen Sie vorab mit Ihrer Qualitätssicherung um keine Überraschung zu erleben.

Hier ein Beispiel für eine vereinfachte Berechnung der benötigten Zeit für Checkout-Tests:

Varianten x Browser x Seiten x Kundentypen x Lieferarten x Zahlungsarten x Sonderfälle
= Zu betrachtende Seiten

Zu betrachtende Seiten x Zeit pro Seite
= Zeitaufwand Qualitätssicherung

Ein Test mit 2 Varianten bei nur 4 Browsern, mit 5 Seiten, 3 Lieferarten und 5 Zahlungsarten entspricht 600 zu untersuchende Seiten. Bei nur 2 Minuten pro Seite besteht ein Zeitaufwand von 20 Stunden.

#12 Ist die Produktvielfalt bekannt?

Die Produktdetailseite bietet häufig ein großes Optimierungspotential. Von kleinen Anpassungen bis hin zu einer kompletten Umstrukturierung. Oft wird jedoch die Menge der Produkte und deren unterschiedliche Darstellung (Sonderfälle) nicht beachtet. Das Resultat sind notwendige Anpassungen für die Entwicklung und Zusatzaufwand für die Qualitätssicherung. Eine Verzögerung des Teststarts ist die Folge.

Produktdetailseiten von Amazon im Vergleich

Auf Amazon findet man eine Vielzahl von unterschiedlich strukturierten Produktdetailseiten.

Falls Ihnen nicht alle möglichen Sonderfälle bekannt sind, suchen Sie nach Kollegen die Ihnen weiterhelfen können. Fassen Sie schon vor der Testkonzeption entsprechende Sonderfälle zusammen und geben Sie diese Informationen entsprechend an die Entwicklung und Qualitätssicherung weiter.
Sollte es dafür doch zu spät sein oder unerwartete Probleme auftreten, sollten Sie Folgendes beachten: Können vorerst einzelne Kategorien oder Marken getestet werden? Dies ermöglicht einen Teststart und gibt Puffer für die Anpassung des Tests auf Ihr gesamtes Sortiment.

#13 Ajax oder Anpassung von Produktbildern beachten

Nicht selten werden Änderungen per dynamisch nachgeladenen Inhalt vorgenommen z.B. Informationen über den Lagerbestand. Aber nicht immer ist dies sofort offensichtlich. Im besten Fall entsteht nur ein Mehraufwand für die Entwicklung, im schlimmsten Fall ist eine Umsetzung nicht möglich.
Bei der Verkleinerung oder Vergrößerung von Produktbildern muss auf die Qualität der Bilder geachtet werden. Ein verpixeltes Bild verhindert eine optimale Produktdarstellung.

13-2-final

Bei einer Vergrößerung der Thumbnails wird schnell klar, dass die Bildqualität nicht mehr ausreichend ist.

Produktdetailseite adidas

Nachgeladener Inhalt steht nicht sofort für Manipulationen zur Verfügung. Hier muss im Einzelnen überprüft werden, ob dies zu Problemen bei der Umsetzung von Tests führen kann.

Nachgeladenen Inhalt beachten und die Entwicklung frühzeitig mit ins Bott holen. Die Vergrößerung von Produktbildern sowie das Hinzufügen von großen Inhalten (Text oder Bild) sollten Sie vorzeitig testen, um eine Machbarkeit zu gewährleisten.

#14 Komplexe Umbauten durch Ladeanimationen verdecken

Durch sichtbare Umbauten kann ein Besucher verunsichert werden. Im schlimmsten Fall verliert er das Vertrauen und bricht seinen Besuch ab. Durch die Verwendung von Ladeanimationen kann dieser Effekt gemindert werden. Der betroffene Bereich wird vorerst ausgeblendet und mit einer Ladeanimation versehen. Nach allen benötigten Manipulationen wird dieser Bereich sichtbar gemacht. So werden Umbauten im besten Fall unsichtbar und steigern ggf. sogar den Joy of Use.

Der Artikel Endstation Ladezeit: 3 Geheimtipps für ein optimales Ladeverhalten meines Kollegen Manuel Brückmann befasst sich detaillierter mit diesem Thema.

#15 100% Ausspielungen als Zwischenlösung

Nach einem erfolgreichen Test soll die Anpassung oft schnellstmöglich dauerhaft auf der Seite implementiert werden. Je nach Deployment-Zyklus eines Unternehmen kann dies jedoch schnell ein paar Wochen oder Monate dauern. Als Überbrückung bieten sich 100% Ausspielungen an. In der Regel sind die Kosten des Testingtools geringer als der erhöhte Umsatz durch die Anpassung der Ausspielung. Somit kann der erhöhte Umsatz direkt mitgenommen werden.

Fazit

Sobald der Wunsch besteht, mehr zu testen als roter vs. blauer Button, wird der gesamte Prozess von Idee über Konzept bis hin zu einem fertigen Test komplexer. Dies wird leider in der Praxis oft nicht beachtet. Viele Probleme lassen sich durch eine gute Vorbereitung und Kommunikation mit Kollegen schon vor der Entstehung verhindern. Beachten Sie die Aufwände von Umsetzung und Qualitätssicherung und halten Sie rechtzeitig Rücksprache mit Ihrer Entwicklung und Qualitätssicherung. Auf diese Weise können Aufwände und eventuelle Problemstellen besser eingeschätzt werden.

Oft wird nur über negative Testergebnisse gesprochen, um Verbesserungen und Learnings zu generieren. Ein Test wurde erfolgreich durchgeführt? Viele werden keine Informationen über die Testergebnisse erhalten. Geben Sie das Erfolgserlebnis an alle Beteiligten weiter und steigern Sie damit die Motivation des gesamten Teams. Feiern Sie den Erfolg zusammen!

Wie verfahren Sie beim Entwickeln von Tests? Über Ihr Feedback würde ich mich freuen!

  • Send to Kindle
  • http://kKrft.ly/ESo
Max Vith Max Vith ist als Senior Conversion Engineer bei der Web Arts AG tätig. Folgen Sie ihm auf Twitter oder verlinken Sie sich auf XING.

3 Reaktionen auf  “Checkliste: 15 einfache Dinge für reibungslose A/B-Tests”

Trackbacks/Pingbacks

  1. […] 15 einfache Dinge für reibungslose A/B-Tests – Welcher Optimierer träumt nicht von einem reibungslosen Testing-Zyklus? Von einer IT-Abteilung die Hand in Hand mit der Qualitäts-sicherung eine fehlerfreie Umsetzung übergibt. Weiter… […]

  2. […] Eine Checkliste mit 15 Punkten zur Prüfung möglicher Fallstricke finden Sie in diesem vorangegangenen Beitrag: Checkliste: 15 einfache Dinge für reibungslose A/B-Tests […]

  3. […] Performance prüfen Je nach Ladeverhalten der Seiten kann ein testbedingter Umbau zu sehr unschönen Effekten führen. Scroll-, Slider- und Zoomeffekte sollten nicht nur auf verschiedenen Seiten, sondern auch in den verschiedenen Browsern gründlich getestet werden. Tipps zu komplexen Umbauten gibt unser Kollege Max Vith in seinem Artikel “Checkliste: 15 einfache Dinge für reibungslose A/B-Tests”. […]

Hinterlassen Sie einen Kommentar