Vorsicht: Testing ohne Analytics ist nur die halbe Wahrheit

Testing ohne Analytics ist nur die halbe WahrheitDie Hauptarbeit eines Tests liegt für gewöhnlich in der Vorbereitung. Hypothesen, Konzept, Design, Umsetzung und Qualitätssicherung benötigen einiges an Aufwand und wenn der Test dann endlich läuft, lehnt man sich zurück und wartet die Ergebnisse ab.

Oft ist es aber auch so, dass der Test-Interpretation relativ wenig Zeitaufwand zufließt. Warum sollte man auch einen Test mit 15 Prozent Uplift hinterfragen? Oder in einen Test mit 6 Prozent Downlift noch mehr Arbeitszeit investieren?

Der Grund ist simpel: Sie verlieren Zeit und Geld, wenn Sie es nicht tun! Ein Test kann gut oder auch schlecht funktionieren, eines bringt er jedoch immer mit, und das ist Wissen.

Jeder Test liefert bei genauem Hinsehen Hinweise, wie nun am besten weiter vorgegangen werden muss, um mehr aus seiner Seite herauszuholen. Es liegt dann am Seitenbetreiber, ob er diesen Hinweisen nachgeht, oder auf wichtige Erkenntnisse für künftige Entscheidungen verzichten möchte.

Fehlendes Detailwissen

Damit aber Tests überhaupt erst richtig verstanden werden können, ist es notwendig, tiefer in die Welt der Daten einzutauchen und mehr zu betrachten als nur Conversion Rate oder Umsatz.

Viele wichtige Details, die entscheidend sein können für weitere Tests, finden sich in der Datenwüste der Analyse-Systeme. Um sie abrufen zu können, ist eine funktionierende Schnittstelle zwischen Testing- und Analyse-Tool notwendig. Diese Verbindung stellt eine der einfachsten und gleichzeitig profitabelsten Wege dar, um vergangene Tests zu interpretieren und kommende Tests richtig auszurichten. Man muss sie nur nutzen.

Simple Integration

Die Schnittstelle einzurichten ist von Tool zu Tool natürlich unterschiedlich, in der Regel aber sehr einfach. Beispielhaft finden Sie nachfolgend eine Erklärung für die Testing-Tools Visual Website Optimizer (kurz VWO) und Optimizely. Als Analyse-Tool wurde das wohl am weitesten verbreitete Google Analytics gewählt.

Als kleiner Nachtrag sollte vielleicht noch erwähnt werden, dass eine Brücke zwischen Testing- und Analyse-Tool eigentlich immer irgendwie möglich ist, egal welches Tool Sie nutzen. Und sei es auch nur mithilfe von Kampagnenparameter oder benutzerdefinierten Variablen. 

Anbindung VWO -> Google Analytics

In VWO kann im Test selbst, unter dem Reiter „Edit Test Details“, die Integration vorgenommen werden. Der ausgewählte Slot entspricht später der benutzerdefinierten Variable (der Datensatz unter dem die Testdaten gesammelt werden) in Google Analytics und ist frei wählbar.

Google Analytics Schnittstelle in VWO

Google Analytics Schnittstelle in VWO

 

Anbindung Optimizely –> Google Analytics

In dem Tool Optimizely sind die Einstellungen ähnlich einfach gehalten. Im Test kann unter Optionen/Analytics Integration der Slot aktiviert und bestimmt werden.

Google Analytics Schnittstelle in Optimzely

Google Analytics Schnittstelle in Optimzely

Die korrekte Übermittlung an Google Analytics ist aber nur der erste Schritt. Der Zweite ist die richtige Darstellung und Kombination mit den vorhandenen Analyse-Daten. Dafür ist es im Falle von Google Analytics am sinnvollsten, für jeden Test ein einzelnes Segment anzulegen.

Dazu gehen Sie wie folgt vor:

(Vorsicht, nun wird es ein wenig technisch. Wer keine Lust auf die exakte Step-by-Step Anleitung hat, springt einfach einen Absatz weiter zu „Testsegmente richtig einsetzen“)

Legen Sie als erstes ein neues Segment in Google Analytics an (1). In der linken Navigation wählen Sie dabei den Reiter „Bedingungen“ aus (2) und suchen danach in der Dropdown-Liste die benutzerdefinierte Variable mit dem Schlüssel (Vorsicht, nicht mit Wert verwechseln), den Sie vorher im Testing System hinterlegt haben (3). In diesem Beispiel ist es die Nummer vier. Danach wählen Sie im rechten Textfeld die ID des zu messenden Tests aus (4). Fügen Sie nun eine weitere Bedingung hinzu (5) und suchen erneut im Dropdown nach der benutzerdefinierten Variabel, aber diesmal mit dem Wert vier (6). In das Textfeld dahinter schreiben Sie nun den Namen einer der Testvarianten (7) und benennen dann abschließend das Segment (8). Und natürlich speichern nicht vergessen (9)!

Segment für Control erstellen

Segment für Control erstellen

Wiederholen Sie diesen Vorgang für jede Variante aus Ihrem Test:

Segment für weitere Test-Varainten erstellen

Segment für weitere Test-Varainten erstellen

Die erstellten Segmente können dann auf das gesamte Analyse-System angewendet werden.

Testsegmente richtig einsetzen

Wenn Sie diese Einstellungen vorgenommen haben, ist der langweilige Teil geschafft. Ab jetzt müssen Sie nur noch Ihre Testdaten mit den gewünschten Analyse-Daten kombinieren und die richtigen Schlüsse daraus ziehen. Aber womit fängt man an?

Da der Datensammelwahnsinn ja praktisch kein Ende zu nehmen scheint und man wirklich nur schwer einen Überblick behält, möchte ich Ihnen im Folgenden gerne vier Beispiele zeigen, die sich wirtschaftlich wirklich lohnen werden:

1. E-Commerce-Tracking

Das Wichtigste zuerst: Die Kombination von Testdaten mit E-Commerce-Tracking. Natürlich können Sie mit Ihrem Testing-Tool den Umsatz und den Absatz messen. Was meist jedoch nicht möglich ist, ist die genaue Analyse einzelner Verkaufssegmente. Sprich: Wird ein Produkt eventuell mit meinem Test bevorteilt? Steigt der Absatz hier, fällt jedoch da?

Gerade für Onlineshops, die verschiedene Varianten Ihrer Produkte anbieten (z.B. Abo - kein Abo, Single Produkt vs. Outfit, Sale – none Sale, Basis vs. Premium, etc.) ist diese Einsicht goldwert.

Google Analytics Bericht: Produktleistung

Ansicht E-Commerce Daten inkl. Traffic-Segmentierung

Ansicht E-Commerce Daten inkl. Traffic-Segmentierung

2. Neue und wiederkehrende Besucher

Eine Veränderung auf der Webseite sollte natürlich immer für jeden Besucher positive Auswirkungen haben. Die Realität sieht allerdings oft anders aus. Was Neukunden begeistert, schreckt Bestandskunden vielleicht ab. Sie verändern die Filternavigation und alle sind glücklich? Nicht immer! Stammkundschaft ist oft an Ihre Benutzeroberfläche gewöhnt und schnell verärgert, wenn bekannte Elemente sich plötzlich anders verhalten oder gar ganz wegfallen.

Auf der anderen Seite gibt es auch viele Möglichkeiten, Bestandskunden zu erfreuen und Neukunden zu verunsichern. Allein aus wirtschaftlichem Interesse ist es daher wichtig, Testauswirkungen in dieser Hinsicht zu untersuchen.

Google Analytics Bericht: Neu und wiederkehrend

Ansicht Neue und wiederkehrende Besucher inkl. Test-Segmentierung

Ansicht Neue und wiederkehrende Besucher inkl. Test-Segmentierung

3. Traffic-Quelle

Einer, wie ich finde, der wichtigsten Punkte überhaupt: Die Aufschlüsselung der Testdaten nach Traffic-Quelle.

Viele Webseiten kaufen Affiliate-Traffic und betreiben SEA, versenden Newsletter oder machen Werbung über Ihren Blog. Diese Besucher müssen zwingend in Tests unterschieden werden, um klare Ergebnisse zu erhalten. Gerade im Bereich Affiliate erlebt man es immer wieder, dass ein plötzlicher Traffic-Push die Testdaten gehörig ruinieren kann.

Wenn ich aber unterscheiden kann, woher die Besucher der verschiedenen Varianten kommen und wie diese auf meine Hypothesen reagieren, liefert mir dies einen guten Einblick. Und vielleicht verhindert es, dass ich eine Variante verwerfe, nur weil mal wieder 10.000 Besucher von dubiosen Pop-Unders auf die Webseite geleitet werden.

Google Analytics Bericht: Channels

Ansicht Traffic-Quelle inkl. Test-Segmentierung

Ansicht Traffic-Quelle inkl. Test-Segmentierung

4. Tests über mehrere Seiten (z.B. im Checkout)

Auch dieses Szenario wird vielen bekannt vorkommen: Man testet eine neue Prozessbar im Checkout oder setzt bestimmte verkaufspsychologische Patterns über mehrere Seiten ein. Das Testing-Tool liefert dazu den Umsatz und die CR. Mehr aber meistens auch nicht.

Dabei ist es doch gerade bei Tests über mehrere Schritte interessant zu sehen, wie die Besucher sich von Seite zu Seite bewegen. Gut, natürlich gibt es die Möglichkeit mit Custom Conversion Goals die komplette Antragsstrecke zu verminen, aber selbst dadurch wissen Sie nicht, wie sich der Kunde jeweils von einem Schritt zum nächsten verhält. Der Startpunkt bleibt immer der Testeinstieg.

Google Analytics Bericht: Alle Seiten

Ansicht Content-Seiten inkl. Test-Segmentierung

Ansicht Content-Seiten inkl. Test-Segmentierung

Stolperfallen: Messmethoden und Datenflut

Bei den ganzen Erkenntnissen darf trotzdem nicht vergessen werden, dass es natürlich auch Dinge gibt, die man beachten sollte. Eine unsaubere Analyse durch beispielsweise eine Fehlinterpretation der Zahlen, kann einen schnell auf die falsche Fährte locken.

Unterschiedliche Messmethoden wären so ein Klassiker. In VWO beispielsweise kann ein Testteilnehmer eine Conversion nur ein einziges Mal abschließen. Auch wenn er vielleicht zwei Bestellungen innerhalb von drei Wochen aufgibt. In Analytics sieht das wiederum anders aus.

Eine direkte Lösung gibt es dafür leider nicht. Die Messmethoden der Tools lassen sich natürlich nicht ändern und auch eine Manipulation vorhandener Daten ist ohne Weiteres nicht möglich. Daher gilt es, sich darüber bewusst zu sein, wie die eingesetzten Tools messen und worin sie sich von einander unterscheiden. Nur dadurch ist es möglich, bei einer Interpretation die entsprechenden Schlüsse ziehen zu können.

Detailwissen zum Thema unterschiedliche Messmethoden finden Sie im Artikel meines Kollegen Manuel Brückmann. Hier klicken ...

Des Weiteren ist es wichtig, sich nicht zu sehr in den Massen der Daten zu verlieren. Am besten ist man sich im Vorfeld eines Test schon darüber im klaren, welchen Testdaten man Aufmerksamkeit schenkt und welche man vernachlässigen kann.

Fazit

Die Kombination aus Testing- und Analyse-Tool ist eigentlich ein alter Hut. So gut wie jeder Shop besitzt beide Systeme und so gut wie jeder Benutzer weiß auch, dass er sie in Kombination nutzen kann. Trotzdem wird es oft nicht gemacht, obwohl es eigentlich so einfach ist.

Vielleicht liegt es an der fehlenden Zeit und der Agilität der Branche. Ein Test muss am besten nach drei Tagen valide sein und der nächste sofort starten. Wer hat da noch die Zeit, Ergebnisse korrekt auszuwerten und zu interpretieren?

Allerdings ist der Mehrgewinn durch eine richtige und ausführliche Interpretation so hoch, dass es fast schon fahrlässig ist, wenn man sie aus Zeitgründen nicht macht. Eine gute Analyse dauert vielleicht 4 – 6 Stunden pro Test. Der Aufwand, einen Folgetest zu konzipieren, um dann festzustellen, dass der Fehler doch wo anders lag, kann wahrscheinlich eher mit 4 – 6 Wochen beziffert werden.

Wie gehen Sie persönlich mit diesem Thema um? Analysieren Sie Ihre Tests bis aufs Mark oder verlassen Sie sich auf Ihr Gespür? Ich freue mich auf Ihre Kommentare!

 

Weiterführende Artikel:

  • Teilen
  • Send to Kindle
  • http://kKrft.ly/OGj
Max Freund Max Freund ist als Senior Conversion Architect bei der Web Arts AG tätig. Er beschäftigt sich mit der Konzeption, Analyse und Interpretation von Tests zur Optimierung von Online-Portalen.

Frage zum Artikel? Fragen Sie den Autor!


Please leave this field empty.

, ,

2 Reaktionen auf  “Vorsicht: Testing ohne Analytics ist nur die halbe Wahrheit”

Kommentare

  1. Thorsten Barth Thorsten Barth

    Anmerkung: Es gibt natürlich auch mehrere Testing-Tools auf dem Markt, bei denen präzise eingestellt werden kann, wie mit mehreren Conversions in Folge umgegangen wird – beispielsweise kann bei Adobe Target umgeschaltet werden, so dass mehrere Conversions mehrfach gezählt werden, darüber hinaus kann z.B. auch ein Score aus unterschiedlichen Conversion-Typen gebildet werden, die sich dabei verschieden gewichten lassen – ideal, um Micro-Conversions und Neben-Ziele mit einfließen zu lassen, oder Engagement zu messen (z.B. gerade bei Publishern ist ja oft die Anzahl der PageViews und eine hohe aktive Verweildauer auf der Seite ein primäres Ziel, „die eine Conversion“ gibt es da nicht…) Auch die Möglichkeit, Auswertungen detailliert zu segmentieren, ist von Testing-Tool zu Testing-Tool unterschiedlich ausgeprägt. Dennoch – im Web Analytics System kann ich auch komplexere Fragestellungen zum Verhalten der Nutzergruppen beantworten, daher ist eine Übergabe von Testing-Informationen an das Analytics-System m.E. ein absolutes Muss!

Trackbacks/Pingbacks

  1. […] Testing ohne Analytics ist nur die halbe Wahrheit – Hypothesen, Konzept, Design, Umset-zung und Qualitätssicherung benötigen einiges an Aufwand und wenn der Test dann endlich läuft, lehnt man sich zurück und wartet die Ergebnisse ab. Weiter… […]

Hinterlassen Sie einen Kommentar