In den vergangenen Monaten haben wir uns verschiedene Conversion Testingtools angeschaut. Dabei haben wir den Fokus überwiegend auf die Funktionalität und Leistungsfähigkeit gesetzt, um einen Überblick und entsprechende Vergleichbarkeit zur ermöglichen. Der Letzte Artikel zur Serie fasst die Tools zusammen und beleuchtet diese unter einem eher strategischen Ansatz: Welches Tool eignet sich für welchen Einsatzzweck?

• Teil 1 – Vorstellung des ersten Testfeldes (Visual Website Optimizer, Adobe Test&Target, Optimizely, GoogleAnalytics CE, SiteSpect)
• Teil 2 – Vorstellung des zweiten Testfeldes (Monetate, Maxymiser, Vertster, Divolution, Optimost)
• Teil 3 – Welches Tool eignet sich für welchen Einsatzzweck?

Zusammenfassung aller Conversion Testingtools (in alphabetischer Reihenfolge)

Einige Tools – vor allem in ähnlichen Preisgefilden – überschneiden sich erwartungsgemäß im Funktionsumfang, zeigen aber doch in Teilbereichen Stärken, Schwächen und heben sich stellenweise durch besondere Fähigkeiten von der Konkurrenz ab.

Welche Tools eignen sich besonders für Testing-Einsteiger?

Für den Einstieg in Testing empfehlen sich Tools im Preissegment deutlich unter 1000,- EUR / Monat. Hier ist die Investitions- und Implementationshürde gering, die Verträge sind monatlich kündbar. Aber auch generell für Unternehmen mit geringeren Budgets oder wenn beim Vorhaben z. B. Themen wie behavioural Targeting weniger eine Rolle spielen, Tests aber eher einfach und schnell realisiert werden sollen, finden sich in dieser Leistungsklasse geeignete Tools.

Unter diesen Kriterien treten zum aktuellen Zeitpunkt in unserem Vergleich Visual Website Optimizer (VWO), Optimizely, Vertster und Google Analytics – Content Experiments (GACE) gegeneinander an.

Letzteres ist – ehemals als das eigenständige Produkt “Google Website Optimizer” bekannt – seit seiner Integration in Google Analytics im Funktionsumfang reduziert worden. Da hiermit nur noch A/B-Tests im Form von Split-URL-Tests möglich sind, lassen sich keine komplexeren Testkonstruktionen umsetzen (z. B. Multivariate). Für den Einstieg in Conversion Testing eignet sich GACE nur, sofern die Möglichkeit besteht, Testvarianten auf dem Server als lauffähige Seiten mit eindeutiger URL anzulegen. Ein agiles Conversion Testing ist dabei mitunter schwierig, je nach dem wie hier Prozesse oder Zyklen zum Deployment eine Rolle spielen.

Am Ende unseres Ranking befindet sich das etwas in die Jahre gekommen zu scheinende Vertster. Es kann mit keinem relevanten Feature mit der Konkurrenz aus USA (Optimizely) oder Indien (VWO) mithalten.

Damit sind wir schon bei den aktuell leistungsfähigsten Conversion Testingtools im Vergleich des Einstiegs-Preissegment. Sowohl mit Visual Website Optimizer als auch Optimizely stehen schon ab ca. 15 EUR / Monat umfangreiche Möglichkeiten zum Testing zur Verfügung.

Welches der beiden Tools letztlich “besser” geeignet ist, bleibt eine Ermessensfrage. Was beide Tools gemeinsam haben sind

• sehr einfache Implementierung,
• Content-Manipulation durch HTML, JavaScript (jQuery) und CSS,
• einfache Testsetups (Targets, Goals, WYSIWYG, Click & Edit in Place),
• Revenue-Tracking, eigene Conversion Goals und API-Zugriff,
• sehr guter Support,
• gute Usability und
• hohe Innovationsfreude (ständige Weiterentwicklung).

Beide Tools arbeiten mit einem Konfidenzintervall von 80%, basierend bei der Gewinnerdefinition auf CTBO/CTBC (Chance To Beat Original/Control) und sind in der Genauigkeit der Messergebnisse für diese Preisklasse etwa gleich auf. Optimizely ist etwas präziser was die Traffic-Verteilung angeht (Mehr zum Thema Konfidenzsintervall, Konfidenzniveau, Signifikanz und CTBO/C/A erfahren Sie im Artikel von meinem Kollegen Thorsten Barth).

Letztlich unterscheiden sich die beiden Tools eher in den funktionellen Details. Wer beispielsweise Wert legt auf –

• Multivariate Tests,
• Mobile Testing Support,
• Heat-/Klickmaps,
• Targeting (auch auf Varianten),
• Tageweise und kumulierte Daten,
• sowohl die Möglichkeit per Click & Edit in Place als auch
• direkt und schnell in HTML, JavaScript & CSS Tests umzusetzen –

und das alles schon ab dem kleinsten Paket, ist mit VWO gut beraten.

Wem auf der anderen Seite zusätzlich Features wie –

• Post-Conversion-Segmentierung,
• Live-Reporting,
• Leistungsfähige API,
• globales JavaScript / CSS,
• umfangreiche Testpage-Pattern –

wichtig sind, bzw. umgekehrt Multivariate Tests, oder Multi-Page-Funnel Testing erst ab 200.000 Visitor / Monat interessant sind, ist mit Optimizely gut beraten.

Im Vergleich lohnen sich lediglich zum aktuellen Zeitpunkt bei Optimizely der Mobile Website Testing Support bzw. die Custom Segments – welche beide nur im höchsten Paket angeboten werden – noch nicht. Hier stimmt das Preis- / Leistungverhältnis, im Vergleich mit anderen Tools aus dem Preissegment über 1000 EUR noch nicht.

Conversion Testingtools aus der höheren Leistungsklasse

In unserem Vergleich standen sich in dieser Preisklasse Sitespect, Adobe Test & Target, Monetate, Optimost, Divolution und Maxymiser gegenüber. Im Gegensatz zu den bereits vorgestellten Tools unterscheiden sich diese maßgeblich im Funktionsumfang, beispielsweise in der technischen Funktionsweise (Client, Server,…), Targeting (Behavioural…), Performance (Latenz…) oder Segmentierung (Regelbasiert…).

Fast alle Anbieter der Tools bieten neben der reinen SaaS-Lösung ganzheitliche Conversion Optimierung mit Beratungsleistungen und neben dem Testingtool auch mehrere Produkte als Pakete an.

Was die Tools in der Regel gemeinsam haben, sind unter anderem

• umfangreiches Targeting und Segmentierung,
• komplexe Testszenarios realisierbar (z. B. Prozesse),
• Personalisierung und Integration externer Daten bzw. Kombination mit anderen Systemen oder
• vielfältige Anpassungsmöglichkeiten (z. B. Reports).

Welche Tools eignen sich besonders für hohe Performance?

In Bezug auf Performance hat sich im Vergleich besonders Sitespect hervorgetan. Durch die Verwendung des Testsystems als Proxy-Server, spielt es (fast) keine Rolle, wie umfangreich und komplex die Testszenarios ausschauen. Das Testsystem schaltet sich zwischen den “eigenen” Webserver und den Kunden. Das System erhält demnach das durch den Server zur Verfügung gestellte HTML, manipuliert dieses innerhalb des Testingsystem (Blackbox) und reicht die Testvariationen direkt an den Nutzer weiter. Hier wird also die Manipulation der Variationen nicht im Browser des Nutzers sondern auf dem Server ausgeführt, was deutlich schneller ist.

Ein weiteres Tool, welches sich durch eine besonders gute Performance ausgezeichnet hat, war Divolution. Auch hier konnten beispielsweise bei der Server-to-Server-Integration die Experimente besonders schnell ausgespielt werden, gerade bei vielen Daten (auch externen) oder komplexen Szenarios kann hier Divolution punkten.

Sofern ausreichend Traffic zur Verfügung steht, war die Performance bei Adobe Test & Target in Ordnung. Bei zu wenig Page Impressions (PIs) im Vergleich allerdings nicht zufriedenstellend, was wohl mit dem Caching und der Server Infrastruktur zuzammenhängt.

Die Performance der übrigens Tools waren durch die <tag>-basierte Integration unauffällig. Bei den beiden wesentlichen Faktoren,

1. Latenz (Laden des Steuerscripts) und
2. Ausspielung (Auslieferung des Testscripts)

unterscheiden sich diese im Millisekunden Bereich. Zumindest was 1. das Laden des Steuerscripts angeht. Wie bei <tag>-basierten Tools üblich, hängt die Performance von 2. maßgeblich von folgenden Faktoren ab:

• Integration des Tools
  Ist das Tool synchron integriert, wartet die Seite auf das Laden des Steuerscripts und die Ausspielung des Tests. Bei der asynchronen Integration wird das Tool und der Test parallel zur Seite geladen. Letzteres ist technisch schneller, weil die Seite unabhängig vom Tool fertig laden kann. Subjektiv kann dies aber langsamer wirken, weil der Nutzer die Veränderung / Umbau der Seite gegebenenfalls mitbekommt (Seite bereits fertiggeladen bevor das Testingtool diese manipulieren kann).
• Umfang der Änderungen
  Je mehr Änderungen, desto mehr Code muss zusätzlich zur Control-Seite geladen werden. Hier kommen schnell, besonders wenn Grafiken ausgetauscht werden sollen, einige MB an Daten zusammen.
• Art der Änderungen
  Das Laden der Seite ist subjektiv von der Fertigstellung der Veränderung abhängig. Je mehr “nachträglich” beispielsweise per JavaScript “umgebaut” wird, desto “langsamer” wird die Seite wahrgenommen.
• Qualität des Quellcodes
  Zu einem gewissen Anteil kann auch die Qualität des bestehenden Quellcodes die Ausspielung des Tests verlangsamen. Ist das Markup “unsauber” oder veraltet, kann gegebenenfalls das Tool nicht direkt auf die zu manipulierenden Elemente zugreifen.

Welche Tools haben sich besonders bei Nutzerprofilierung, Segmentierung, Targeting oder Customization ausgezeichnet?

In puncto Segmentierung und Targeting haben sich besonders Adobe Test & Target, Sitespect und Monetate hervorgetan. Letzteres verwendet dabei einen einzigartigen Ansatz – es ist komplett regelbasiert. Diese Regeln werden in Form von W-Fragen in einer Art “Test-Satzbau” definiert. Die Art und Vielfalt dieser Kombinationen – auch in Bezug auf Anreicherung mit externen Daten wie beispielsweise Wetterdaten – sind sehr umfangreich.

Aber auch Test & Target ist hierbei sehr leistungsfähig. Bei keinem anderen Tool im Vergleich konnten wir in der Art flexibel Targets und Segmente definieren oder scripten. Hier spielt das Tool seine Stärken aus. Sitespect bietet dafür mit seinen Custom Segements und Response Points auch eine sehr elegante Möglichkeit, regelbasiert nach Behaviour zu targeten, ohne dabei Scripting anzuwenden und ist an dieser Stelle intuitiver. Die Verwendung von Eigen- oder Drittdaten beim Targeting ist aber nur über spezifische Parameter-Lookups möglich, so dass hier auf deren Basis zumindest Ja/Nein Targetingentscheidungen getroffen werden können.

Beide Tools eignen sich in der Handhabung für Testing- und Targeting-Szenarios auch ohne technisches Grundlagenwissen (z. B. durch Marketing oder Produktmanagement) – vorausgesetzt sie wurden zuvor entsprechend in die Infrastruktur integriert.

Bei beispielsweise Maxymiser, Optimost und Divolution wird dies über die Beratungs- und Service-Leistungen auch ermöglicht.

Welche Tools eigenen sich besonders für deutschen Datenschutz (z. B. PCI-Compliance, ISO-Zertifizierung etc.)

Experimente können gegebenenfalls in sensiblen Umgebungen stattfinden – z. B. im Checkout. Wer hier seine PCI Compliance nicht riskieren möchte (sofern vorhanden), setzt auf Tools die diese auch abdecken. Letztlich versichern die Anbieter in Ihren AGBs oder auf Nachfrage, dass keinerlei personenbezogene Daten erhoben oder generell Daten an dritte weitergeben werden. Eine eidesstattliche Erklärung ist in der Regel kein Problem.

Dennoch ist es theoretisch möglich, auf allen Seiten – auf denen das Testingtool-Zugriff erhält – diese Daten zu verarbeiten (beispielsweise Kreditkarten-Informationen). Ist im Unternehmen generell Sicherheit ein Knackpunkt, so sind hier die Produkte von Maxymiser, Sitespect und Divolution zu empfehlen. Letzteres ist ein rein deutsches Produkt, die Server und der Gerichtsstand sind in Deutschland. Bei Sitespect kann als Mietlösung die Blackbox in-house im eigenen Datenverarbeitungszentrum integriert werden. Dadurch verlassen keinerlei Testdaten das Haus (bei SaaS-Lösung ist die Datenhaltung in USA o. Niederlande). Die Verträge werden nach deutschem Recht inkl. Datenschutzrecht abgeschlossen. Maxymiser ist ISO zertifiziert, bietet PCI-Compliance und hat den Gerichtsstand in München.

Bei den anderen Tools ist der Gerichtsstand in der Regel im Ursprungsland, die Server sind häufig aus Performance Gründen Cloud-basiert und somit weltweit verteilt.

Bei welchen Tools lassen sich Eigen- und Drittdaten besonders gut verarbeiten?

Die Möglichkeit, mit externen Daten – wie beispielsweise Informationen aus Produktinformations-, Bewertungs- oder Retourenmanagement-Systemen – zu arbeiten, bieten mehr oder weniger alle Tools in der Leistungsklasse. Es existieren entweder fertige Schnittstellen, PlugIns oder zumindest die Möglichkeit, eine individuelle Anbindung zu schaffen.

Besonders positiv sind hier Monetate, Sitespect und Divolution aufgefallen. Aber auch Maxymiser und Adobe Test & Target bieten hier viele Möglichkeiten, sowohl zum Targeting als auch zur Anreicherung der Experimente mit Informationen. Bei einigen Tools besteht sogar die Möglichkeit, innerhalb des Testingtools mit den Daten serverseitige Berechnungen oder Scripting zu vollziehen (z. B. bei Adobe Test & Target).

Welche Tools haben besonders niedrige Implementationshürden?

Systembedingt lassen sich alle <tag>-basierten Testingtools einfacher und schneller integrieren als beispielsweise Server- oder Proxy-basierte. Dennoch gibt es auch hierbei Unterschiede. Die einfachste und kompakteste Implementierung hat Optimizely. Bei den anderen <tag>-basierten Tools kommt es meist darauf an, welche Integrationsart gewählt wird oder wie tief und umfangreich diese sein soll.

Bei Adobe Test & Target beispielsweise kann der Aufruf des Control-Scripts und ein weiterer Script-Aufruf theoretisch reichen. Je nach Anwendungsfall, gewünschter Komplexität und Möglichkeiten (z. B. dauerhaftes Targeting an gezielten Positionen in Templates), kann die Implementation auch umfangreicher sein. Ähnlich ist es bei Divolution. Da dieses sich auf sehr viele verschiedene Arten implementieren lässt, variiert der Aufwand von sehr kompakt bis umfangreich. Bei Maxymiser und Visual Website Optimizer ist die Implementation dagegen immer kompakt. Da es sich bei Sitespect um einen Proxy-Server handelt, kommt es darauf an, für welches Lizenzmodell sich entschieden wird. In der SaaS-Lösung steht der Proxy-Server bei Sitespect, so dass nur der eigene Webserver auf die IP des Proxys verweisen muss.

Bei welchen Tools lassen sich Tests besonders schnell (selbst) realisieren?

Auf statischen Seiten lassen sich einfache Änderungen am schnellsten mit Visual Website Optimizer und Optimizely realisieren. Neben Verster sind diese drei Tools die einzigen im Vergleich, welche einen Click & Edit in Place bzw. WYSIWYG-Editor anbieten und damit Änderungen schnell und einfach, auch ohne technisches Hintergrundwissen ermöglichen. Maxymisers Visual Campaignbuilder bietet hierbei ähnliche Funktionen.

Bei dynamischen Seiten oder tiefer greifende Änderungen, lassen sich bei VWO und Optimizely Experimente häufig einfacher und schneller per JavaScript / CSS an den Start bringen als bei den anderen Tools. Werden die Baustellen komplexer (z. B. Anwendungen, Prozesse oder Multi-Page-Funnel), soll nicht nur das bestehende HTML manipuliert werden oder spielen Behavioural Targeting und Segmentierung eine Rolle, so kommen hier Adobe Test & Target, Sitespect und Monetate zum Zug. Sind diese erst mal in die Infrastruktur integriert, lassen sich auch hier Tests recht schnell (selbst) realisieren. Z. B. durch eine seperate Definition von Elementen, die in einem zweiten Schritt im Rahmen der angelegten Kampagnen manipuliert werden können.

Eine zeitnahe Realisierung von Tests ist bei Maxymiser und Divolution auch durch die Beratungs- und Serviceleistungen des Anbieter bzw. Partner möglich.

Welche Tools zeichnen sich durch einen guten Workflow und Bedienung aus?

Hier verfolgt jedes Tool mehr oder weniger seinen eigenen Ansatz. Am besten haben uns für einfachere Baustellen Visual Website Optimizer und für komplexere Maxymiser gefallen. Hier liefen der Workflow und die Bedienung am intuitivsten ab – Darstellung und Usability waren sehr gut. Aber auch Monetates W-Fragen-Konzept ist verständlich. Tools wie Sitespect, Adobe Test & Target oder Divolution sind in der Handhabung vergleichsweise komplizierter. Es lässt sich sehr viel einstellen, gerade durch globale oder abstrakte Definitionen, so dass ungeübte Nutzer schnell mal den Überblick verlieren. Letztlich waren aber alle Tools im Vergleich Gewöhnungssache. Bis auf Vertster ist keines wirklich negativ aufgefallen. Bei diesem war es nicht möglich, aufgrund der Performance des Administrationsbereichs, einen Test zu konfigurieren.

Positiv zu erwähnen ist für versierte Nutzer Adobe Tests & Targets n:m Beziehung zwischen Experiment (Campaign) und Testcode (Offer) und die dabei unabhängige Pflege der Variationen. Hierdurch lassen sich beispielsweise bestehende Tests sehr leicht und schnell administrieren, anpassen oder für andere Tests oder Targeting Kampagnen wiederverwenden. Bei Optimizely dagegen störte in der dauerhaften Nutzung, dass einige Minuten vergehen bevor Änderungen auf das Content Delivery Network verteilt sind – das schränkt die Agilität bei Anpassungen ein.

Zusammenfassung und Fazit

Generell ist die Entscheidung für ein neues Tool letztlich immer eine Ermessensfrage. Die Zusammenfassung und Gegenüberstellung der Funktionen und Möglichkeiten sowie unsere Erfahrungen der Vor- und Nachteile sind nur einige Richtwerte, die bei der Kaufentscheidung unterstützen können.

Grob lassen sich – unserer Erfahrung nach – die Tools wie folgt nach Ihren besonderen (positiven) Faktoren mit Schlagworten zusammenfassen (in alphabetischer Reihenfolge):

• Adobe Test & Target
  Targeting Genauigkeit
• Divolution
  Performance Externe Daten Compliance
• Google Analytics – Content Experiments
  Kostenlos
• Maxymiser
  Komplettlösung Compliance Targeting
• Monetate
  Targeting Externe Daten
• Optimizely
  Preis / Leistung Einfachheit
• Optimost
  keine Empfehlung
• Sitespect
  Performance Compliance Möglichkeiten
• Vertster
  keine Empfehlung
• Visual Website Optimizer
  Preis / Leistung Einfachheit

Bei einigen Tools ist die Investition geringer als bei anderen. Die Vertragslaufzeiten variieren zwischen monatlich kündbar und bis zu 2-Jahres Verträgen. Die Kosten fangen bei 15 EUR / Monat an und können auch 5.000 EUR / Monat übersteigen. Neben den Kosten, Fähigkeiten und der Zuverlässigkeit der Tools spielen gegebenenfalls auch

• Investions- und Implementationshürden,
• technische Verfügbarkeit (Service Level Agreements),
• Support & Services (Sprache, Erreichbarkeit, Schulungen),
• Zertifizierung (PCI, ISO) und
• Datenschutz (Gerichtsstand, Serverstandorte)

eine erhebliche Rolle.

Um sich für ein Tool entscheiden zu können, sollten nicht (nur) einzelne Features den Ausschlag geben, sondern eher die Kombination der bereits vorgestellten oder anderer für das Businessmodel relevanten Einsatzmöglichkeiten. Diese schränken die Auswahl ein und machen die Entscheidung, welches Tool im Unternehmen eingesetzt werden sollte, leichter.