Das schlechteste A/B-Testingtool…

Shop und Website Testing

...ist überhaupt keines. Fünf Vorurteile, die es zu bekämpfen gilt, damit das Testingtool nicht zum Konversionskiller wird:

In letzter Zeit kam im Gespräch mit Kunden des Öfteren die Frage auf, ob sich Testing für sie lohnen würde und was wohl die passende Software für sie sei bzw. auf welche Leistungsmerkmale sie dabei achten sollten.

Das Thema kann zwar sehr komplex und vielschichtig werden und es gibt einige Vorurteile, die sich hartnäckig halten – meine wichtigste Erkenntnis aus diesem Gesprächen ist jedoch simpel und lässt sich schnell auf den Punkt bringen:

  • Ausreden gelten nicht – Testing jetzt starten.
  • Bei der Wahl des Testingtools sollte man zu Beginn keine Angst vor Fehlinvestitionen haben.
  • Lieber klein anfangen – das schlechteste Testingtool ist überhaupt keines.
  • Auch Targeting ist kein Voodoo – heutige Testingsoftware lädt dazu ein, es auszuprobieren.
  • Die Erkenntnisse aus Testing sind nicht auf anderen Wegen zu gewinnen.

In einem Satz: Es gibt absolut keinen Grund mehr, mit dem Einsatz einer Testing-Software noch zu warten oder darauf zu verzichten!

Für Testing-Neulinge: Wozu braucht man eine A/B- oder MV-Testing-Software?

Eine Testing-Software wird verwendet, um in eine Website – es kann sich dabei selbstverständlich auch um einen Shop handeln, muss aber nicht – unterschiedliche Varianten von Inhalt, Gestaltung, Bedienbarkeit oder Funktionalität gegeneinander daraufhin zu testen, bei welcher Variante die Benutzer der Website sich stärker im vom Betreiber gewünschten Sinne verhalten. Ziele können dabei z.B. eine höhere Conversion Rate (z.B. mehr Bestellungen pro 1.000 Besucher), eine längere durchschnittliche Verweildauer auf der Website, ein höheres Warenkorbvolumen oder andere Aktivitäten sein.

Sie sehen: Der Absatz ist sehr lang geworden. Weil sowohl die Ziele und deren Gewichtung zueinander, als auch die beeinflussenden Faktoren sehr unterschiedlich und vielschichtig sind.

Und genau weil das so ist, ist eine Testing-Software die einzige Möglichkeit, um zu beweisen, dass eine Optimierungsidee wirklich einen Erfolg bringt – oder eben nicht.

5 gängige Vorurteile gegen Testing-Software

Vorurteil 1: Testing-Software ist teuer

Stimmt nicht: Selbst wenn die kostenfreie Lösung „Google Website Optimizer“ nicht ausreicht, gibt es komfortable und leistungsfähige Miet-Lösungen schon ab 25 US$ pro Monat. Aber: Das Testingtool ist das Backbone für alle CRO-Prozesse – selbst eine Lösung mit Kosten im fünf oder gar sechsstelligen Bereich kann ihr Geld wert sein, wenn sie den Prozess sauber abbildet und Effizienz und Effektivität der Testingprozesse sicher stellt.

Vorurteil 2: Testing-Software ist aufwändig zu implementieren.

Stimmt nicht: Die Implementierung von Testing-Software erfordert oft nur die einmalige Einbindung eines kleinen JavaScripts im Kopfbereich der Seiten. Ein einfacher Test kann – sobald diese Vorarbeit erledigt ist – innerhalb einer halben Stunde eingerichtet und gestartet werden. Texte und Bilder austauschen, HTML-Stil modifizieren, Layoutänderungen – alles lässt sich bei vielen Tools in einer komfortablen mausgesteuerten Oberfläche ganz ohne Programmierung machen.

Vorurteil 3: Testing-Software ist ein großes Risiko für die Stabilität unserer Website

Stimmt nur bedingt: Die Softwarehersteller achten peinlich genau darauf, dass die einzubindenden JavaScript-Codes keine Fehler – auch in Wechselwirkung mit Site-eigenen Scripts – verursachen. Dennoch ist es für geschäftskritische Seiten unabdingbar, im Zuge bzw. nach der Einrichtung eines Tests die einwandfreie Funktion und Darstellung der Site zu überprüfen.

Fällt der Server des Testing-Anbieters aus, liegen die Tests zwar brach – die Website wird aber in der Default-Variante angezeigt, unmerklich für den Nutzer.

Vorurteil 4: Ob das neue Design besser ist, finde ich auch heraus, indem ich vor und nach dem Golive in mein Analytics-Tool schaue.

Leider stimmt das so nicht: Es gibt so viele Einflussfaktoren (Markt und Wettbewerb, eigene Produkt- und Preispolitik, Suchmaschinenplatzierung, saisonale Faktoren, politische und kulturelle Ereignisse, Wetter u.v.m.).

Versuchen Sie erst gar nicht, diese Einflüsse abzuschätzen und rechnerisch zu eliminieren – am Ende gibt es statt statistischer Signifikanz doch wieder nur ein „Gefühl“, das zudem eine Spielweise für subjektive Faktoren ist.

Und wenn Sie mehrere Aspekte der Website gleichzeitig verändern, funktioniert es ohne Testingsoftware sowieso nicht mehr – egal, ob es sich um einen multivariaten Test oder um mehrere unterschiedliche A/B-Tests für unterschiedliche Landing Pages handelt.

Vorurteil 5: Targeting brauchen wir erst viel später – vielleicht…

Hierzu habe ich eine Gegenthese: Da Targeting heutzutage bereits bei sehr überschaubaren und einfach zu realisierenden Szenarien beginnt, und da die heutige Testing-Software nahezu ausnahmslos auch Targeting unterstützt, wird man schnell feststellen, dass es sich lohnt, sich mit der Bildung von Besuchersegmenten zu befassen.

Für Betreiber von Online-Shops ist es ja schon seit längerem an der Tagesordnung, zumindest bei bekannten, wiederkehrenden Kunden bzw. in Abhängigkeit von der Kampagne oder des Suchbegriffs, über die der Besucher in den Shop gelangt ist, entsprechend personalisierte Inhalte anzubieten. Mit den Möglichkeiten heutiger Targeting-Software ist es ganz einfach, derartige Mechanismen auch dort zu implementieren, wo keine leistungsfähige E-Comemerce-Software und keine Software für die Generierung adaptiver Landing Pages im Einsatz ist.

Denkanstöße zu Targeting:

  • Hervorheben lokaler Angebote, wo es für den Nutzer Sinn macht, z. B. Sonderangebote einer bestimmten Filiale, Abhol-Möglichkeit für Ware usw. mit Hilfe von Geotargeting
  • Feststellen und Berücksichtigen von Zusammenhängen zwischen der Internet-Herkunft von Benutzern und der Affinität zu bestimmten Angeboten: Beispielsweise können Besucher, die von einem KFZ-Tuning-Forum kommen, bestimmte Sonderangebote erhalten als Besucher, die über Google den Firmennamen des Shops gesucht haben.

 

Die Rolle von Testing-Tools im Rahmen Relaunches oder Facelifts

Ich rate inzwischen generell Kunden, die einen Relaunch ihrer Website planen – unabhängig davon, ob die Ziele eine Erneuerung der technischen Plattform, ein Redesign/Facelift oder eine inhaltlich/strukturelle Überarbeitung handelt, über die Möglichkeit und Sinnhaftigkeit eines A/B-Tests, der alte und neue Website vergleicht, nachzudenken. Mit einem solchen Test können die Auswirkungen des Relaunches auf wichtige Kennzahlen wie Konversionsrate, durchschnittliches Bestellvolumen etc. direkt gemessen werden.

Unabhängig davon gibt es spätestens bei einem Projekt wie einem Relaunch keine „Ausreden“ mehr, nicht zumindest ein Testing-Tool einzuführen, um direkt nach dem Relaunch schrittweise Verbesserungen testen zu können – seien es Kinderkrankheiten der neuen Site, seien es Dinge, die beim Golive noch nicht implementiert werden konnten und „nachgereicht“ werden.

Einteilung der gängigen Testing-Tools

Die Menge der am Markt verfügbaren Testing-Tools kann zunächst unüberschaubar wirken. Ich bin zu nachfolgender Einteilung gelangt:

Die kostenlose Lösung: Google Website Optimizer

Die Lösung von Google bietet sich an, um völlig ohne Kosten einen einfachen A/B-Test einzurichten, wenn die beiden Varianten ohne großen Mehraufwand als zwei eigenständige Seiten unter separaten URL-Adressen erreichbar gemacht werden können. Das JavaScript, das in die Seiten eingebunden wird, leitet die Nutzer per Redirect auf die jeweils andere Variante um, wenn dies erforderlich ist.

Nachteil: Die Unterscheidung der URL-Adressen erfordert genaue Planung. Die Implementierung jedes Tests muss in den meisten Konstellationen durch einen Entwickler erfolgen, der auf dem Server abweichende Kopien der Seiten anfertigt oder Fallunterscheidungen integriert.

Einfache Miet-Lösungen mit dem Schwerpunkt: Testing

Diese Tools, wie z.B. Visual Website Optimizer oder Optimizely, sind für die meisten Anforderungen hervorragend geeignet. Es handelt sich meiner Einschätzung nach überhaupt nicht um Low-Class-Tools – man stößt im Bereich Testing erst bei äußert komplexen Aufgaben an die Grenzen – anders als beim Targeting, wo sie gegenüber den High-End-Produkten doch einige Schwächen zeigen.

Funktionsweise: Ein zentral eingebundenes JavaScript manipuliert im Browser dynamisch den DOM-Baum der HTML-Seite und bringt Änderungen daran an. Viele Tests können mit einer visuellen Oberfläche direkt im Browser erstellt werden, indem die bestehende Website bearbeitet wird. Komplexere Tests, insbesondere bei dynamischem Seitenaufbau, lassen sich erstellen, indem CSS-Code bzw. JavaScript-Code injiziert wird. Wer schon einmal mit einem JavaScript-Framework wie jQuery gearbeitet hat, kann sich die Möglichkeiten bestimmt ausmalen.

Landing Page-Generierungs-CMSe mit integriertem Testing

Die spezielle, aber nicht zu vernachlässigende Gattung der Online-Baukästen für Landing Pages wartet ebenfalls mit einem integrierten Testing auf.

Diese Tools – ein bekannte Beispiel sind Unbounce und Liveball – eignen sich immer dann, wenn Sie Landing Pages noch per Hand produzieren, aufwändig in einem CMS oder E-Commerce-System anlegen oder noch schlimmer: Falls Sie gar keine Landing Pages einsetzen. Sie werden häufig von Agenturen eingesetzt, die schnell und flexibel Landing Pages für SEA- und andere Online-Kampagnen generieren und verwalten wollen. Dank der vielfältigen Möglichkeiten, aus unterschiedlichen Basislayouts zu wählen und die Gestaltung der Seiten anzupassen, laden diese Systeme geradezu dazu ein, mit unterschiedlichen – auch sehr stark abweichenden – Varianten ins Rennen zu gehen.

Es gibt sogar Szenarien, wo sich zumindest für einen gewissen Zeitraum der parallele Einsatz eines derartigen Systems und eines separaten Onsite-Testing-Tools lohnt.

Höherpreisige Tools

Im Bereich der etwas höherpreisigen Tools gibt es mehrere Player. Platzhirsche wie „TEST&TARGET“ von Adobe/Ominture haben Konkurrenz von neueren innovativen Lösungen wie Sitespect, Maxymiser und anderen Anbietern bekommen. Sie alle zeichnen sich durch unterschiedliche technische Ansätze und unterschiedliche Schwerpunkte im Leistungsportfolio aus. So gibt es Software wie Maxymiser, die – ähnlich wie die preisgünstigen Lösungen – mit JavaScript und DOM-Manipulationen arbeitet, und Software wie z.B. Sitespect, die als Proxy-Server fungiert und den Datenstrom zwischen Server und Browser verändert, so dass im Browser von den Tests nichts mehr zu merken ist, und das klassische MBox-Konzept, bei dem jeder Test separat in die Templates bzw. Seiten integriert wird, was aber z.B. bezüglich der Übergabe von Parametern umfassende Möglichkeiten eröffnet.

Meiner Einschätzung nach lohnt sich die Investition in eine derartige Software vor allen Dingen, wenn entweder aus technischen Gründen eine Lösung mit DOM-Manipulation ungünstig erscheint und statt dessen eine Proxy-Lösung präferiert wird, oder wenn mittelfristig die deutlich leistungsfähigeren Segmentierungs- und Targeting-Möglichkeiten dieser Software zum Einsatz kommen sollen.

High End-Lösungen

Auf die High End Lösungen wie z.B. Accenture, Conversion Multiplier, Autonomy usw. will ich in diesem Blogpost nicht näher eingehen – die Zielgruppe, bei denen sich Tools dieser Preisklasse lohnen ist überschaubar und sicher bereits mit den Anbietern in Kontakt.

Fazit

Es ist Zeit zu starten!

Man kann – anders als bei der Auswahl einer E-Commerce-Plattform oder eines ERP-Systems – aufgrund der geringen Implementierungskosten so gut wie nichts falsch machen. Ein späterer Wechsel des Tools ist jedenfalls weit weniger schädlich, als über längere Zeit auf ein Tool verzichtet zu haben.

Meine Empfehlung: Sammeln Sie erste Erfahrungen mit einem preisgünstigen Tool, befassen Sie sich dann auch mit den Targeting-Möglichkeiten, die dieses bietet – und sofern Ihre Site in der entsprechenden Liga spielt, nutzen Sie Ihre Erfahrungen bei der Auswahl eines leistungsfähigeren Tools zu einem späteren Zeitpunkt.

Und kämpfen Sie gegen Vorurteile!

Weiterführende Informationen

Gegenüberstellung von Testing-Tools und –anbietern: www.whichmvt.com

  • Send to Kindle
  • https://www.konversionskraft.de/?p=9034
Thorsten Barth Thorsten Barth hat einen Hintergrund als Software-Entwickler und arbeitet mit Leidenschaft an der Schnittstelle zwischen Menschen, Daten und Prozessen. Als Vorstand der Web Arts AG ist er zuständig für alle Themen der Softwareintegration - Analytics, Testing, Targeting, Recommendations, Search, E-Commerce-Plattformen, Content Management Systeme uvm. Aktuelle Interessensgebiete sind u.a. Big Data, RTB, User Profiling und die damit verbundenen Targeting-Möglichkeiten.

,

14 Reaktionen auf  “Das schlechteste A/B-Testingtool…”

Kommentare

  1. Tom Bauer Tom Bauer

    Hallo Herr Barth,

    vielen Dank für den Einblick in die verschiedenen Testing Tools. Leider habe ich oft das Gefühl das es schwierig ist direkt in dynamischen Shopumgebungen zu testen. Gibt es Anlass zu dieser Sorge oder kommen die verschiedenen Lösungen damit zurecht?

    Weiterhin würde mich interessieren ob es direkt Shopbezogene Lösungen gibt, die zum Beispiel für Oxid Shops besonders gut geeignet sind.

    VG Tom Bauer

  2. Jörg Dennis Krüger Jörg Dennis Krüger

    Hallo Tom,

    das Testen in Shops ist anspruchsvoll – jedoch kein Problem.

    Es gibt dazu verschiedene Ansätze, in 90% der Fälle kommt man jedoch mit einem Ansatz, ohne Eingriffe in das Shop-Template zum Ziel. Dies klappt beispielsweise mit Vertster oder ähnliches Tools sehr gut, wo man nur etwas JavaScript in den Head der HTML-Seite setzen muss und sonst keine Änderungen an der Seite notwendig sind.

    Damit testet man auf vielen Seiten im Shop sehr gut auch größere Anpassungen. Wir bei QUISMA sind so beispielsweise bei Koffer-direkt.de sehr erfolgreich.

    Viele Grüße,
    Dennis

  3. Uwe Kuhl Uwe Kuhl

    Mich interessiert auch mal die Frage, wie sich der ständige Eingriff in die angezeigte Seite SEO-seitig auswirkt. Wenn ich das richtig verstanden habe, wird unter ein und derselben URL mindestens zwei untschiedliche Versionen meines Contents ausgeliefert. Also auch an die Spider? Ist bekannt, wie Google auf so etwas reagiert? Diese Unsicherheit hat mich bislang stets vom A/B-Testing abgehalten, nicht die Komplexität…

    Oder gilt das hier Geschriebene nur für (nicht SEO-optmimierte) Landingpages?

  4. Thorsten Barth Thorsten Barth

    @Tom Bauer:

    Testen in dynamischen Shopumgebungen ist grundsätzlich sehr gut machbar, wenn man sich mit der Materie auskennt. Ich unterscheide dabei zwischen drei Grundtypen:

    a) Tests, die sich auf Elemente beziehen, die eine definierte Position haben – entweder in einer bestimten Seite, oder in mehreren Seiten, die per URL-Pattern über einen einzigen Test angesprochen werden. Dieser Typ ist unproblematisch.

    b) Tests, die sich auf dynamisch generierte Elemente beziehen wie z.B. die einzelnen Einträge in Produktlisten. Diese Elemente können mehrfach vorkommen. Je nach Testing-Tool wird es schwierig, hier alle Elemente mit einer allgemein gültigen Regel zu „treffen“ (das ist einer der Vorteile von RegExp-baseierten Systemen wie Sitespect, hier geht´s leicht). Wenn man hier nicht mit einfachem CSS weiter kommt, verwendet man z.B. einfach jQuery – hier kann man mit einer kleinen Code-Zeile umfassende Massen-Manipulationen an mehreren Stellen des generierten HTML-Dokumentes über eine Regel vornehmen lassen. Man injiziert also über das Testingtool nur diese eine JavaScript-Zeile und lässt diese dann die Arbeit erledigen.

    c) Wenn die Funktionalität sich deutlich ändert – z.B. die Reihenfolge der Schritte im Checkout, Abhängigkeiten und Validierungen – muss man serverseitig eingreifen und beispielsweise zwei Template-Varianten online stellen, so dass das Testing-Tool hier nur noch die Variante wählt und den Erfolg kontrolliert. Teilweise lassen sich geänderte Funktionen wie Pflichtfelder auch für einen Test mit JavaScript simulieren (z.B. man will testen, ob das Weglassen eines Pflichtfelds die Konversion erhöht: Man belegt es über das Testingtool per JavaScript mit einem Wert vor und blendet es über CSS aus – so hat man ohne Servereingriffe und Releases die Ergebnisse. Auf Dauer würde man das dann aber serverseitig nachziehen, um die Software sicher, übersichtlich und gut weiterentwickelbar zu halten.

  5. Thorsten Barth Thorsten Barth

    @Jörg Dennis Krüger: Danke – das sehe ich genau so!

  6. Thorsten Barth Thorsten Barth

    @Uwe Kuhl:

    Das hängt von der Technologie ab:

    Die JavaScript-basierten Tools arbeiten so, dass die Seite im ursprünglichen Zustand ausgeliefert wird und auch genau so von den Crawlern indiziert werden.
    Erst wenn im Browser des Benutzers das Testing-JavaScript ausgeführt wird, und dieses entscheidet, dass eine alternative Version gezeigt werden soll, führt dieses dynamisch – d.h. im Browser des Benutzers – nachträgliche Änderungen am HTML durch. Diese bekommt der Crawler jedoch nicht zu sehen.

    Bei Google Website Optimizer und generell immer dann, wenn die verschiedenen Varianten unter unterschiedlichen URLs liegen, muss man mit entsprechenden Canonical-Tags oder noindex dafür sorgen, dass nur eine der Versionen indiziert und die anderen ignoriert werden – sonst wird es als Duplicate Content gewertet und darüber hinaus wäre dann unklar, welche Version die Suchmaschine ausliefert.

    Bei Lösungen, die den Datenstrom manipulieren, wie Sitespect, prüft das Testing-Tool, ob es sich um einen Crawler handelt (vermutlich aus einer Kombination von User-Agents, IP-Adresslisten usw.) und manipuliert den Datenstrom nur dann, wenn es der Meinung ist, dass es sich um einen menschlichen Benutzer handelt. Sitespect gibt an, dass die Wahrscheinlichkeit, hier falsch zu liegen, extrem gering ist, so dass man sich auch hier keine Sorgen um das Suchergebnis machen muss.

  7. Thorsten Barth Thorsten Barth

    @Tom Bauer:

    Ich habe noch etwas vergessen: Ja, es gibt neben den generischen Ansätzen auch Module für OXID. Ein Modul (von NFQ) arbeitet auf Basis der Subshop-Funktionalität, d.h. es ist damit möglich, zwei oder mehr voneinander abweichende Shopoberflächen zu erstellen und im Test gegeneinander laufen zu lassen. Ein Analytics-Tool ist für die Auswertung erforderlich. Ich persönlich habe dieses Modul nicht evaluiert, aber es klingt so, als hätte dieser Ansatz auch Nachteile – man gibt ein bischen die Visualität auf und braucht wohl wieder für jeden Test den Template-Entwickler…

    Ich persönlich würde aus dem Bauch heraus dazu tendieren, erst einmal mit Vertster, WVO oder Optimizely zu starten ohne Eingriff ins Shopsystem.

  8. Uwe Kuhl Uwe Kuhl

    Oh oh, dann lasse ich das mal lieber. Da ist mir die Gefahr, wegen Cloaking (http://de.wikipedia.org/wiki/Cloaking) aus den SERPs zu fliegen, einfach zu groß. Für Traffic, den ich mir über SEA generiere, mag Testing ja dann ganz hilfreich sein.

  9. Jörg Dennis Krüger Jörg Dennis Krüger

    In einen ähnlichen Themenkomplex wie SEO findet man sich übrigens auch bei Seiten, die man als Landingpages für Adwords-Kampagnen benutzt. Google folgt bei der Berechnung des Qualityscores auch (JavaScript)-Weiterleitungen. Da bringt dann leider auch kein „noindex“ oder ähnliches etwas: Man muss auf andere Methoden setzen, um nicht ungewollt dem Qualitätsfaktor zu schaden.

  10. Jörg Dennis Krüger Jörg Dennis Krüger

    @Uwe: Google bietet ja selbst ein Tool für Testing an und forciert das Thema stark. QUISMA ist beispielsweise von Google als „Conversion Professional“ zertifiziert, was sogar die Nutzung von professionellen Testing-Tools voraussetzt. Wir stehen zudem in sehr engem Kontakt mit Google. Da bekommt man die klare Aussage: Solange durch das Testing kein Schindluder getrieben wird, ist das kein Cloaking.

  11. Eva Eva

    Danke für diesen Artikel. Ich kann nur zustimmen, dass es jede Menge Vorurteile zu A/B-Tests gibt. Oftmals fehlt aber auch ein Plan, wie genau man beim Testing vorgehen möchte (ein paar Tipps haben wir auf unserem Blog zusammengetragen: http://www.omw-blog.com/conversion-optimierung-email-marketing/). Haben Sie dazu auch schon Erfahrungen gemacht?

Trackbacks/Pingbacks

  1. […] Sie schon oder testen Sie noch? Warum ein A/B Test sein […]

  2. […] reden seit rund fünf Jahren von Testing – und immer noch gibt es so viele Vorurteile zum Testing hinter denen meist ein Vorwand steckt: Der fehlende Mut, Fehler zu machen (denn darum geht es beim […]

  3. […] der Segmentierungs- und Targeting-Möglichkeiten, empfehle ich Ihnen den Artikel von Thorsten Barth „Das schlechteste A/B-Testingtool…“ der eine gute Einteilung und Beschreibung der hochpreisigeren Tools am Markt vornimmt. Zudem ist an […]

Hinterlassen Sie einen Kommentar