Von René Link | Tipps | 1 Reaktion

Checkliste: Qualitätssicherung als Erfolgsfaktor beim A/B Testing

Heureka, es ist vollbracht. Nach allen Regeln der Kunst wurde ein erfolgsversprechendes Testkonzept entwickelt. Natürlich hypothesenbasiert, auf Basis relevanter Statistiken und unterstützt durch qualitative Analysen. Der Designer hat tolle Arbeit geleistet, der Entwickler hat sich in der Umsetzung selbst übertroffen.

Ok, es hat ein bisschen länger gedauert, aber dafür stimmt diesmal Alles. Der Test startet. Alle warten gespannt auf die ersten Ergebnisse. Und dann… die schockierende Realität. 10% Downlift! Wie bitte? Ungläubigkeit. Warum nur? Es war doch alles perfekt?

Auf der Suche nach dem Fehler findet jemand dann eine Anomalie in den Auswertungszahlen des Testingtools. Bei einer genauen Segmentierung wird klar: in zwei Browsern hat die Variante signifikant schlechter abgeschnitten. Aber: warum kaufen die Nutzer dieser Browser denn signifikant weniger in unserer Testvariante als in der Kontrollvariante? Warum kann die Testvariante die User anderer Browser eher überzeugen? Ein kurzer Blick in die entsprechenden Browser gibt Gewissheit: die Variante ist kaputt, unbrauchbar, hier möchte – und kann! – kein Kunde kaufen.

Stirnrunzeln. Und dabei gibt es eine einfache Erklärung: es gab keine ordentliche Qualitätssicherung. Auf Ihre Frage hin, warum das nicht geprüft wurde, kommt nur ein:

„Also in meinem Browser sah es gut aus“.

QS_Beispiel_Checkout_Sicht_Entwickler
Das sah der Entwickler

 

QS_Beispiel_Checkout_Sicht_Kunde
Das sahen 10% der Kunden

Warum wurde der Inhalt nicht angezeigt?

Was leider niemandem aufgefallen war: in einer etwas älteren Internet Explorer Version gab es einen entscheidenden Bug. Es wurde bei der Auswahl der Zahlungsarten kein Content ausgespielt! Der Kunde konnte demnach keine Zahlweise auswählen – und war damit gezwungen, den Kauf abzubrechen.

Wie konnte es dazu kommen? Es hatte sich niemand vor Teststart die Mühe gemacht, die Testvarianten in verschiedenen Browsern auf Herz und Nieren zu prüfen.

Aber ein Test, der nicht qualitätsgesichert wird, ist ein echtes Risiko. Aus diesem Grund möchten wir uns bei konversionsKRAFT diesmal einem Thema widmen, welches oft nur Randerwähnung findet: die Qualitätssicherung. Dabei ist der Aufwand – im Vergleich zu den anderen Prozessschritten eines Testing-Projekts – gar nicht so hoch, kann im Zweifelsfall aber für das Gelingen oder Scheitern eines Tests der entscheidende Faktor sein.

Folgende Aspekte können dafür verantwortlich sein, dass die Qualitätssicherung (nachfolgend “QS”) nicht ordentlich erfolgt:

  • Es gibt keine Ressourcen (Zeit, Budget) mehr, bzw. es sind überhaupt keine für die QS eingeplant.
  • Es gibt nicht die erforderliche Hardware, um sich den Test auf allen Browsern anzuzeigen, auf denen er ausgespielt werden soll.
  • Der Teststart ist bereits verzögert, also „schaut nur noch einer mal schnell drüber”…
  • Es gibt keinen Testplan d.h. es wird nicht festgehalten, was die einzelnen Varianten auf der Seite ändern und wie diese im Detail aussehen. Somit gibt es keinen vernünftigen „Soll-Zustand”, mit dem die QS die Umsetzung abgleichen kann.
  • Es gibt keine so genannte „Whitelist”, es fehlt also eine verbindliche Auflistung aller in der Qualitätssicherung zu überprüfenden Endgeräte sowie Browser.
  • Das Konzept behandelt nur ein Idealszenario. Mögliche Ausnahmen oder Extremfälle werden nicht berücksichtigt.
  • Das QS Personal ist unerfahren und nicht geschult.
  • Noch schlimmer: Projektbeteiligte prüfen ihre eigene Arbeit – ohne Vieraugenprinzip.

Wichtig ist also, dass die Qualitätssicherung als essentieller Prozessschritt eines (A/B-) Tests bereits in der Projektplanung berücksichtigt wird: mit ausreichend Budget bzgl. Zeit und Ressourcen, mit der richtigen Hardware und geschultem Personal.

Hier eine Auswahl typischer Fehler, denen wir in der täglichen Qualitätssicherungs-Arbeit immer wieder begegnen – mit mehr oder weniger schwerwiegenden Folgen:

Typische Fehler, die man während der Qualitätssicherung immer wieder sieht

1. Rechtschreibfehler und Fehler in der optischen Konsistenz:

QS Beispiel für konsistente Rechtschreibung
Hier wird das Wort PKW nicht einheitlich geschrieben
QS_Beispiel_Z-Indexierung
Sehr beliebt: Z-Index-Fehler. Elemente sind korrekt programmiert, werden aber in Kombination mit bereits bestehenden Seitenelementen nicht korrekt angezeigt
QS_Beispiel_Z-Indexierung_2
Auch hier gibt es Überlappungen

 

2. Fehler in der Darstellung von Formularen

QS_Beispiel_Formularlogik
„Eine Frage der Reihenfolge”.. wenn beide Felder rot sind, kann das obere nicht zuerst ausgefüllt werden, das funktioniert erst, nachdem das untere Feld ausgefüllt wurde.
QS_Beispiel_Formularlogik_2
Hier gibt es eine Fehlermeldung, weil die Person ihre Mailadresse nicht eingetragen hat. Allerdings gibt es das hierfür notwendige Eingabefeld gar nicht.

3. Logikfehler

QS_Beispiel_Größenfiltern_ohne_Größen
In diesem Beispiel wurde eine Filteroption für Größen hinzugefügt. Was jedoch niemand beachtet hat ist, dass es auch Artikel gibt, die gar keine Angabe zur Größe besitzen bzw. nur in einer Einheitsgröße vorhanden sind.

4. Fehler durch mangelnde Berücksichtigung von Sonderfällen

QS_Beispiel_Warenkorb_Layer_Kunde
Hier arbeitet ein User mit einer Bildschirmauflösung von 1600×900 px – dabei wird die CTA des Warenkorb-Layers nicht mehr angezeigt, sondern muss „erscrollt” werden.
QS_Beispiel_Warenkorb_Layer_Designer
Und so sah es der Designer auf seinem schönen großen 24 Zoll Bildschirm.
QS_Beispiel_Rondell_mit_nur_1_Bild
Ein Rondell aus Produktbildern… funktioniert nicht, wenn es nur ein Produktbild gibt.
QS_Beispiel_Sale_Banner_kollidiert_mit_Logo
Einführung eines Sale-Banners. Gute Idee. Es wurde aber nicht berücksichtigt, dass bei Markenprodukten der Markenname in der oberen rechten Ecke steht und vom Sale-Banner nun überdeckt wird.

5. Fehler durch ungewöhnliches Userverhalten

QS_Beispiel_Userverhalten_Farbwahl
Bei Auswahl einer anderen Farbe oder Größe werden das Layout von Warenkorb- und Merkzettel-Button zerstört. Es fehlen die Infos zu verfügbaren Größen. Die Buybox verschwindet.
Beim Ändern der Farbe verschwindet der Preis.
QS_Beispiel_Userverhalten_Vormerken
Das Szenario „Artikel vormerken” wurde im Konzept nicht berücksichtigt.
QS_Beispiel_Userverhalten_Mehrfachklick
Merhfachklick auf eine nicht vorhandene Größe.
QS_Beispiel_Userverhalten_Mehrfachklick_2
Oder auf eine vorhandene Größe.

Folgen durch mangelnde Qualitätssicherung

1. Testergebnisse verfälscht durch Fehler in den Varianten

Wie bereits oben dargestellt gibt es eine Menge an optischen und funktionellen Abweichungen, die auftreten können. Dadurch kann es passieren, dass ein durch die Hypothese prognostizierter Effekt nicht eintritt oder ein anderer ungewollter Effekt an dessen Stelle eintritt.

2. Testergebnisse sind falsch, weil es Fehler in der Messung der Goals gibt

Neben der optischen und funktionalen Prüfung der Varianten muss natürlich auch sichergestellt werden, dass die im Testingtool definierten Goals richtig eingerichtet wurden, und entsprechend auslösen. Mögliche Folge einer fehlerhaften Goalmessung ist, dass ein eigentlich erfolgreicher Test nicht als solcher ausgewiesen wird.

Typische Fehler sind z.B:

  • Es wird vergessen, Goals in eine Variante einzufügen.
  • Goals lösen mehrfach aus.
  • Es wird ein Klickgoal auf eine CTA gelegt. Dabei wird aber nicht berücksichtigt, dass z.B. am Ende der Produktdetailseite eine Kopie der CTA liegt oder es neben der CTA noch andere Links gibt, die einen Artikel in den Warenkorb legen. Es kann also passieren, dass es mehr Warenkorbaufrufe (Page View Goals) gibt als ausgelöste CTAs (Click Goal). Die dabei entstehende Differenz sorgt für Verwirrung und führt möglicherweise dazu, dass die Testergebnisse nicht richtig interpretiert werden und somit falsche Schlüsse gezogen werden.

3. Wirtschaftlicher Schaden, da Elemente der Seite beschädigt wurden

Dies ist wohl der Worst Case. Es kann durchaus vorkommen, dass gewisse fehlerbehaftete Umbauarbeiten in Varianten z.B. ein Fortschreiten im Checkoutprozess verhindern, oder dass eine Call to Action einfach nicht mehr angezeigt wird. Der Kunde wird an dieser Stelle verwundert oder verärgert sein und verlässt den Shop – vielleicht für immer.

Qualitätssicherung – Was tun?

Ein guter Qualitätsicherer ist in der Lage zu verhindern, dass es soweit kommt. Qualitätssicherung ist dabei weitaus mehr als nur: „Suche die 5 Unterschiede zwischen den beiden Bildern” (auch wenn die Überprüfung der optischen Konsistenz und das Korrekturlesen neuer Inhalte nicht zu vernachlässigende Aspekte sind!).

Testszenarien entwickeln
Je nachdem, welche Art Test geplant wird, sollten verschieden Testszenarien durchdacht werden. Ein Produktdetailseitentest erfordert beispielsweise eine andere Vorgehensweise als ein Test im Checkoutprozess. Im Produktdetailseitentest werden überwiegend interaktive Elemente wie Größen und Farbwahl geprüft. Im Checkout dagegen werden die einzelnen Prozessschritte vor- und zurückgeschaltet sowie die Formularfelder geprüft.

Performance prüfen
Je nach Ladeverhalten der Seiten kann ein testbedingter Umbau zu sehr unschönen Effekten führen. Scroll-, Slider- und Zoomeffekte sollten nicht nur auf verschiedenen Seiten, sondern auch in den verschiedenen Browsern gründlich getestet werden. Tipps zu komplexen Umbauten gibt unser Kollege Max Vith in seinem Artikel “Checkliste: 15 einfache Dinge für reibungslose A/B-Tests”.

Goals auslösen
Bevor der Test live geschaltet wird, muss überprüft werden, ob die Goals im Testingtool auch so auslösen, wie es vom Konzept her gewünscht ist. Dabei sollten nicht nur die Testvarianten überprüft werden, sondern auch die Kontrollvariante!

Fehler forcieren
Gibt es Fehlermeldungen oder Hinweise, die korrekt platziert werden müssen, damit der Kunde nicht die Orientierung verliert? Gerade bei Formularen sollte man immer versuchen zu prüfen was passiert, wenn man Falscheingaben produziert. Werden Fehler korrekt angezeigt, gibt es genügend Hinweise? Auch die optische Platzierung von Fehlermeldungen muss bei einem Formularumbau berücksichtigt werden.

Untypisches Verhalten simulieren (Doppelklicks, Hin- und Hernavigieren…)
Hier ist die Kreativität des Qualitätssicherers gefragt. Was passiert eigentlich, wenn ich im letzten Schritt des Checkout-Prozesses die Sprache auf Englisch stelle? Oder einen leeren Gutscheincode versuche zu bestätigen? Dabei ist es wichtig, davon auszugehen, dass der User zu Hause am Bildschirm kein „Musteruser” ist, der den Prozess ordentlich und Schritt für Schritt durchgeht. Auch kann es sein, dass Funktionalitäten nicht als solche erkannt werden, dass z.B. auf ein Navigationselement doppelt geklickt wird, obwohl ein einfacher Klick genügt hätte. Auch das Vor- und Zurücknavigieren im Browser, über Breadcrumbs etc. muss genau geprüft werden.

Testbestellungen auslösen (in verschiedenen Szenarien)
Gerade Änderungen im Checkout erfordern oft eine Prüfung des Prozesses bis zum simulierten Kaufabschluss. Vereinbaren Sie daher einen Testaccount, über den Sie Bestellungen durchführen können.

Fazit

Qualitätssicherung im Testing ist essentiell. Eine nicht korrekt ausgespielte Variante kann den Test unbrauchbar machen oder im schlimmsten Fall den Kunden für immer vergraulen. Deshalb muss sorgfältig geprüft werden, ob Varianten optisch und technisch korrekt umgesetzt werden. Ein kurzer Blick ist nicht ausreichend. Deshalb:

QS_Checkliste

Herzlichen Dank an Jenny Morys und an das gesamte QS-Team beim aktiven Mitwirken an diesem Beitrag.

René Link

René Link, Jahrgang 1976, Dipl. Media System Designer, ist Head of Quality Management bei konversionsKRAFT - Deutschlands führende Agentur für Conversion Optimierung.
    Frage zum Artikel? Frag den Autor

    1 Reaktion auf „Checkliste: Qualitätssicherung als Erfolgsfaktor beim A/B Testing

    1. Hallo Rene,
      ein wirklich sehr gelungenerer Artikel, der die Qualitätssicherung gut und anschaulich beschreibt. Mir persönlich gefallen die vielen Beispiele, an denen du die jeweiligen Aspekte beschreibst. Die Tests in den unterschiedlichen Browsern können teilweise auch automatisiert bzw. parallelisiert werden, dann ist es einfacher. Aber es ist unheimlich wichtig, dass man sich im Vorfeld ein Testkonzept überlegt und sich strikt daran hält. Das spart a) Zeit und b) ist nachweisbar.

      Immer weiter so!

      Viele Grüße
      Christoph

      Schreibe einen Kommentar

      Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.