Welches Testingtool? 10 Conversion Testingtools im Vergleich – Teil 2
Im ersten Teil haben wir bereits einige der gängigen Conversion Testingtools – vorwiegend unter einer funktionalen Sicht – vorgestellt.
Jetzt folgt der zweite Teil mit dem zweiten Testfeld. Auch hier vergleichen wir Faktoren wie beispielsweise Features, Usability und Performance unter diesem Gesichtspunkt.
- Teil 1 – Vorstellung des ersten Testfeldes (Visual Website Optimizer, Adobe Test&Target, Optimizely, GoogleAnalytics CE, SiteSpect)
- Teil 2 – Vorstellung des zweiten Testfeldes (Monetate, Maxymiser, Vertster, Divolution, Optimost)
- Teil 3 – Welches Tool eignet sich für welchen Einsatzzweck?
Testumfeld Teil 2 – Überblick
Monetate
Monetate enthält als Softwaresuite für Testing, Targeting und Personalisierung unter den Basisfunktionen einige Besonderheiten, die besonders für E-Commerce-Anbieter interessant sind. Neben den Bausteinen für Testing (“TestLab”) und Targeting (“LiveTarget”) gibt es optionale Add-Ons:
- “Merchandiser” integriert eine Recommendation Engine (dynamische Produktempfehungen), eine personalisierbare, auch für E-Commerce einsetzbare Suchmaschine, sowie so genanntes Badging – Elemente können in bestehendes Bildmaterial dynamisch hinein gerendert werden – dabei kann es sich z.B. um Störer wie “50% sparen” oder auch um sogar dynamisch personalisierbarte Texte handeln. Alle Manipulationen lassen sich mit Hilfe von Selektionskriteren auf eine für jeden Nutzer individuell dynamisch ermittelte Teilmenge eines Sortiments anwenden.
- “SmartCanvas” erlaubt, flexibel Inhalte und Navigationsstrukturen dynamisch zu bestehenden Sites hinzuzufügen.
- “Touchpoints” ermöglicht, Testing/Targeting auch für Social Media einzusetzen.
Die Softwaremodule sind darauf ausgelegt, kundeneigene Datenbestände zu verarbeiten und diese für den Anwender verständlich in der Benutzeroberfläche anzubieten. Insbesondere für E-Commerce interessant: Alle relevanten Informationen über das Produktsortiment sind auf diese Weise direkt in der Softwareoberfläche verfügbar: Produktname, Hersteller, Warengruppe, Preis, Verfügbarkeit, Bewertungen, Relevanzinformation usw. So ist es mit wenigen Mausklicks möglich, eine Regel wie beispielsweise “Blende abhängig vom lokalen Wetter am Ort des Nutzers eine bestimmte Werbefläche ein, wenn mindestens ein Produkt der Kategorie “Outdoorbekleidung” im Warenkorb liegt und der Gesamtwert des Warenkorbs über 300 EUR ist” zu erstellen. Auch Daten aus einem CRM, oder geobasierte Daten wie eine Liste von Filialen, lassen sich einbinden und in der Benutzeroberfläche miteinander verknüpfen.
Es ist weder ein freier WYSIWYG-Editor, noch eine Unterstützung für Entwickler auf Kundenseite (jQuery o.ä.) vorgesehen. Das Tool wird einmalig <tag>-basiert integriert und in Zusammenarbeit mit Monetate-Consultants und -entwicklern konfiguriert. Dafür stellt es die vorkonfigurierten Manipulationsmöglichkeiten und Daten in einer übersichtlichen Benutzeroberfläche dar. Somit eignet sich die Software für Szenarien, bei denen es sich lohnt, ein umfangreiches Set von Elementen, Templates, Conversion Goals u.a. vorzudefinieren. Als Lohn winkt hoher Komfort und agiles Arbeiten weitgehend ohne Entwickler einzubeziehen. Damit ist Monetate interessant für eCommerce-Inhalte, Sites mit vielen Landing Pages, Bannern, Promotions, Kampagnen und generell bei eher umfangreichen Webangeboten.
Erwähnenswert ist die Darstellung von Tests- und Targetingszenarien in der Benutzeroberfläche: Diese erfolgt in Form von lesbaren Sätzen, die zunächst gewöhnungsbedürftig wirken. Ausgedruckt beispielsweise können diese auch in einem größeren Kreis von Nicht-Technikern besprochen werden, ohne diese vorher für das Tool zu schulen. Das Reporting ist umfangreich, aber ebenfalls zunächst gewöhnungsbedürftig und kann ein gutes Web Analytics System nicht ersetzen.
Die Referenzkundenliste enthält namhafte Retailer und Markenartikler aus vielen Branchen. Den deutschsprachigen Markt hat Monetate jedoch noch nicht intensiv erschlossen.
Der Preis wird von Monetate auf Anfrage auf Grundlage des Gesamt-Traffics der letzten 12 Monate jeweils als Flatrate für die nächsten 12 Monate berechnet.
Vorteile:
- Umfangreiche E-Commerce-Funktionen
- Verarbeitung von kundeneigenen und fremden Datenbeständen
- Personalisierung auch von Mobile Websites und Social Media Sites
- Testing, Targeting und Personalisierung
- Testen im Alltag ohne Entwickler
Nachteile:
- Kein WYSIWYG-Modus, um statische Seiten völlig frei zu bearbeiten
- Keine Focussierung auf Webentwickler
- Etwas gewöhnungsbedürftiges Reporting
- Für kleinere Vorhaben überdimensioniert
Maxymiser
Maxyimizer bietet neben dem eigentlich Testingtool MaxTEST™ noch eine Reihe weiterer, für den CRO-Prozess relevanter Tools und Services an. Damit verfolgt Maxymiser einen ganzheitlichen Ansatz und bietet Fullservice mit Agentur-Leistungen – vom Konzept über die Realisierung bis hin zur Steuerung und Analyse der Tests. Die Tests müssen durch Maxymiser(partner) umgesetzt werden und der Aufwand “in-house” kann gering gehalten werden. Tests lassen sich somit ohne eigene IT oder weitere Dienstleister realisieren – ähnlich wie bei Monetate.
Das Tool an sich lässt sich intuitiv bedienen, ist einfach gehalten, gut strukturiert und durchdacht. Alle für den gängigen Testing-Alltag relevanten Funktionen, Testarten und Reportings wie z. B. Live-Monitoring oder Dashboards stehen zur Verfügung. Der Kampagnen-Builder unterstützt beim Anlegen von Kampagnen und bietet alle Einstellungen und Optionen auf einen Blick. Ein Report-Builder leistet Unterstützung beim Erstellen von Reports, welche sich auch filtern (Post-Conversion-Segmentierung) und planen (Schedule) lassen.
Für umfangreiche Optimierungen ist allerdings die Kombination der Tools notwendig (z.B. MaxSEGMENT™ für erweiterte Segmentierung oder MaxPREDICT™ für Behavioural Targeting). Einen visuellen “point-and-click”-Editor gibt es nicht. Dafür stehen durch die weiteren Produkte wie z.B. MaxRECOMMEND™ erweiterte Tests im Bereich Recommendation, mit MaxMOBILE™ Testing und Personalisierung von Inhalten für Mobile und Tablets zur Verfügung.
Das können allerdings andere Tools im Umfeld schon in der Basis-Version ohne Zusatzkosten oder -produkte. Spannend wird Maxymiser durch MaxSOCIAL™, welches die Möglichkeit bietet, Facebook-Seiten zu testen und z. B. auf Basis der entsprechenden Facebook Nutzerprofildaten zu personalisieren. Die Implementierung von MaxTEST™ und den anderen Maxymiser Produkten ist ähnlich zu den anderen Tools eine JavaScript-basierte “single-line-of-code” Lösung. Bei Maxymiser heißt das Ganze OneTouch™.
Vorteile:
- Umfangreicher Fullservice – geringer Aufwand in-house
- Einfacher, gut strukturierter & durchdachter Administrationsbereich
- Gutes Behavioral Targeting (durch Zusatzprodukt)
- Report- / Kampagnen-Builder
- Erweiterte Segmentierung (durch Zusatzprodukt)
- Komplette Suite deckt viele Bereiche ab
- International etabliertes Testingtool / Unternehmen
- Einfache Implementierung
Nachteile:
- Umsetzung / Betreuung muss durch Maxymiser(partner) erfolgen
- Für umfangreiche Tests sind Zusatzsprodukte erforderlich
- Serviceleistungen obligatorisch
- Administrationsbereich hat z. B. bei Reports relativ lange Ladezeiten
Vertster
Vertster zählt zu den frühen Testingtools und ist schon lange auf dem Markt. Leider wirkt das Tool vielleicht dadurch etwas eingerostet. Es handelt sich bei Vertster, wie bei den meisten Tools im Vergleich, um eine <tag>-basierte “single-line-of-code” Lösung. Will man eigenen Code in die Seite “injecten”, kommt noch ein weiteres Script dazu. Tatsächlich haben wir bis heute kaum Praxiserfahrung mit Vertster gesammelt und werden es – zumindest zum aktuellen Stand – auch nicht. Grundsätzlich bewegt sich Vertster im Konkurrenzfeld von Optimizely und Visual Website Optimizer. Preislich unterbietet Vertster sogar die bereits günstigen Konkurrenz-Produkte, hängt dafür aber in allen Punkten deutlich hinterher (Funktionsumfang, Bedienbarkeit, Performance, Erreichbarkeit, Weiterentwicklung).
Die Funktionsweise ist prinzipiell ähnlich zu anderen Systemen, arbeitet aber weniger effektiv: Ist ein Test angelegt, können die zu manipulierenden Elemente per Editor ausgewählt werden – jedes Element einzeln. Dabei arbeitet Vertster per klassischem JavaScript. Ein visueller “point-and-click”-Editor ist in einem Beta-Stadium implementiert, aber produktiv noch nicht nutzbar. Insgesamt ist der Administrationsbereich von Vertster recht langsam, was das Arbeiten zusätzlich erschwert.
Zum Zeitpunkt unserer Recherche waren der Support und die Knowledge Base nicht erreichbar (allerdings funktionieren diese aktuell wieder). Es war selbst zu Recherchezwecken nicht möglich, einen Test zum Laufen zubringen.
Vorteile:
- Sehr günstig
- Frei definierbare Ziele
- Lange auf dem Markt (Vorreiter)
Nachteile:
- Instabil, stürzt häufig ab
- Langsamer Administrationsbereich
- Nichts für Einsteiger (erfordert technischen Background) –
“point-and-click”-Editor noch Beta - Konsole zeigt erzeugten Code, dieser lässt sich dort nicht verändern
- Community / Blog wird nicht aktualisiert (letzter Artikel 03/12)
Divolution
Einen im Testfeld einmaligen Ansatz bietet Divolution. Als einziges komplett in Deutschland entwickeltes Tool bietet Divolution nicht nur wie bei der Konkurrenz die Möglichkeit, entweder Client- oder Serverseitig zu integrieren, sondern beides. Es ergeben sich daraus vielfältige Möglichkeiten zur Implementierung und Testszenarien.
Der zentrale Dreh- und Angelpunkt bei Divolution ist das “Template”. Dieses beinhaltet in der Regel ein HTML-Konstrukt mit Platzhaltern. Hier ist der Ansatz ähnlich zu Adobe Test&Target. Anstatt Marketing-Boxen (mbox) umschließen bei Divolution sogenannte Dyboxen die zu manipulierenden Inhalte / Bereiche. Der Unterschied ist, dass diese nicht direkt auf dem “eigenen” Quellcode hinzugefügt werden, sondern in einer separaten Template-Datei, welche bei Divolution hochgeladen wird. Es lassen sich auf dieser Grundlage nicht nur umfangreiche Inhaltsänderungen sondern auch Layoutänderungen verproben (Templatetests).
Divolution lässt sich z. B. klassisch per JavaScript, als Link, über PHP, als iFrame, direkt On-Server oder als Subdomain einbinden, um nur einige Möglichkeiten zu nennen. Vergleichbar vielfältige Implementationen bietet kein anderes Tool im Umfeld. Als Wermutstropfen ist ein systembedingter höherer Initialaufwand zu nennen, fällt aber im Verhältnis zum Nutzen nicht besonders ins Gewicht. Ein weiterer Unterschied zu anderen Tools ist das Zählen der Conversions – hier muss für jedes Ziel ein separates Script auf den zu zählenden Seiten implementiert werden. Der Aufwand ist zwar höher – dafür kann an die Conversion jegliche Art und beliebig viele Informationen übergeben und im Test verwendet bzw. ausgewertet werden. Damit ist unter anderem Revenue-Tracking und Ergebnis-Segmentierung / -Filterung möglich.
Sowohl die Server, als auch Gerichtsstand und Datenschutz sind in Deutschland. Dies ist, gerade was Compliance angeht ein nennenswerter Vorteil, auch im Vergleich zur Konkurrenz.
Ähnlich wie andere Tools in diesem Preissegment bietet auch Divolution neben dem Testingtool (Optimizer) weitere Tools für User Analysen (Analyzer) sowie Erweiterte Segmentierung & Live Targeting (Profiler) und damit eine Daten-Management-Plattform, mit welcher sich ein User-Relationship-Management System aufbauen lässt. Beispielsweise lassen sich Verhaltensstreams der User messen, Angebote & Content personalisieren und für die Zielgruppenansprache optimieren, nicht nur für Web sondern auch für Mobil und soziale Netze.
Vorteile:
- Vielfältige Implementationsarten
- Umfangreiche Inhalts- und Templatetests möglich
- Support, Entwicklung, Datenschutz, Server und Gerichtsstand in Deutschland
- Fullservice möglich
- Individuelle Anpassungen möglich (z.B. Schnittstellen zu Bid Management, Customer Journey Tracking & Webanalyse)
Nachteile:
- Relativ hoher Initialaufwand (Technischer Background erforderlich)
- Keine Standard-Plugins vorhanden (es können auf Nachfrage jedoch individuelle Schnittstellen entwickelt werden)
- Servicekomponente für Tests erforderlich
Optimost
Optimost ist bereits sehr lange auf dem Markt und zählt zu den Wegbereitern. Es handelt sich hierbei ähnlich zu Monetate und Maxymiser um eine Softwaresuite mit obligatorischer Dienstleistung. Dafür erhält man auch ohne eigene Conversion Testing Erfahrung die Möglichkeit, Conversion Tests durchzuführen und die Conversion Rate zu optimieren. Autonomy bietet hierfür sogar Weiterbildungen der eigenen Mitarbeiter an. Die Angenturleistung umfasst die gesamte Testbetreuung – Autonomy nennt das Ganze “managed services team”. Dieses liefert alles, vom Konzept über Best Practices und Vorschläge für Optmierungen, die komplette Testimplementierung und -Setup bis hin zum Monitoring der Experimente und der Ergebnispräsentation. Hier bestehen also einige Parallelen z. B. zu Maxymiser.
Das Tool selbst lässt für ein Oberklasse-Produkt aus Feature-Sicht kaum Wünsche offen: Neben klassischen Tests auf Landing Pages, dynamischen Prozessseiten (Registrierung, Warenkörbe oder Payment), Pop-Ups, Bannerwerbung oder Web-Anwendungen lassen sich grundsätzlich nahezu alle Inhalte manipulieren. Dazu zählen neben Formularen und kompletten Layouts auch Rich Internet Applications (RIA) mit AJAX, Bildern, Videos und sogar Flash. Im Umfeld können dies nur wenige Tools (z. B. Monetate oder SiteSpect).
Auch im Bereich Behavioural Targeting und Segmentierung ist Optimost sehr leistungsfähig. Hier lassen sich klassische Merkmale genau so kombinieren, wie beispielsweise Personas, die nach verschiedenen anderen Charakteristiken gebildet werden. Optimost nennt das “Adaptive Targeting” in dem Inhalte identifiziert und gegen verscheidene Nutzergruppen getestet werden. Zur Verfügung stehen hierbei rollenbasiertes oder automatisches Targeting und Personalisierung. Ermöglicht wird dies durch den “Autonomy Intelligent Data Operating Layer (IDOL)” welcher mittels automatisierter Segment Entdeckung sowie regelbasierte Segmentdefinition zusammen mit der Analyse von Besucherverhalten in Echtzeit funktioniert (Echtzeit Nutzerdaten).
Wie auch die anderen Tools im Vergleich wird Optimost Clientseitig implementiert und bietet die gängigen A/B- und Multivariaten Testarten. Es lassen sich mit dem “simple multivariate Testing” individuelle Elemente wie beispielsweise Angebote, Preise, Bilder und Inhalte gegeneinander Testen. Mit “full multivariable testing” lassen sich die komplexen Testszenarios realisieren.
Optimost ist neben dem Testing besonders für Marketingabteilungen emfehlenswert, welche Channel übergreifend arbeiten und die Werbemaßnahmen optimieren wollen. Hier bietet die Suite mit “Ad Optimization”, “Keyword Optimization”, “Keyword Bidding” und “Landingpage Optimization” eine Reihe von nützlichen Funktionen, welche mit den zahlreichen Segmentierungs und Targeting Möglichkeiten sehr umfangreich eingesetzt werden können – auch für Social Media und Mobile.
Vorteile:
- Echtzeit Nutzerdaten
- Umfangreiches Behavioural Targeting und Segmentierung
- Integriertes Analystics
- Fullservice – keine Expertise in-house erforderlich
- Komplexe Testszenarios möglich (auch dynamische Seiten, Prozesse, RIAs)
- Automatisiertes und/oder rollenbasiertes Targeting / Personalisierung
- 100% anpassbare Reports
Nachteile:
- Nur im englischen Sprachraum – kein Vertrieb in Deutschland
- Support schwer erreichbar
- Serviceleistungen obligatorisch
- Verhältnismäßig teuer
HINWEIS: Bedauerlicherweise haben wir bisher keine Praxiserfahrung mit Optimost sammeln können. Wir würden uns daher über Feedback und Erfahrungen sehr freuen!
Zweites Zwischenfazit
Die hier genannten Conversion Testingtools haben das Testfeld zwar nicht gänzlich aufgemischt, aber zumindest noch mal Würze in unseren Vergleich gebracht. Mit vielseitig einsetzbaren Tools wie Divolution, Komplettlösungen wie Maxymiser und Optimost oder dem highlevel Segmentierungs- und Targeting-Meister Monetate, die Features wie Retrospektive Segmentierung mit in die Waagschale werfen, wird der Vergleich noch spannender ausfallen.
Jetzt wo der Überblick über alle Tools steht, wird der letzte Artikel dieser Serie zeigen, welches Tool in welchem Bereich tatsächlich die Nase vorn hat. Eins steht schon mal fest, leicht wird die Bewertung der einzelnen Faktoren nicht.
(Stand 24.01.2013)
2 Kommentare
Katharina Jahn,
Netter Artikel und tolle Übersicht der tools am Markt! Vielen Dank dafür.
Ich arbeite in einem internationalen Online Reiseunternehmen in London und wir nutzen Optimost als Testing-tool zur Optimierung der Webseiten (auf dem deutschen, englischsprachigen und französischen Markt).
Ich war überrascht hier zu lesen was das tool offensichtlich alles kann, denn wir nutzen es offensichtlich nicht voll aus. Obwohl wir vollen Support von Optimost haben. Unser Account Manager ist auch immer und gut erreichbar.
Allerdings – achtung jetzt kommt es 😉 – ist die Beratung echt grottig. Leider. So haben wir learnings länderübergreifende nicht voneinander übernehmen können. Das kann man noch verkraften. Trauriger finde ich dann aber dass der Account Manager zwar das tool kennt, selbst aber wenig bis keine Ahnung von Kennzahlen, Auswertung und Regeln fürs testing hat.
So wurden uns ein confidence level 75% als eindeutig und aussagekräftig nahe gelegt, und vorgeschlagen zwei Tests gleichzeitig laufen zu lassen (bspw auf der Startseite und im checkout).
Das Aufsetzen eines Tests dauert jedesmal 4-6 Wochen, weswegen wir es inzwischen schon fast eingestellt haben mit Optimost zu testen.
Die Abnahme der Tests vor liveschaltung war inakzeptabel, denn weder browseroptimiert noch im Vorfeld intern bei Optimost abgenommen worden.
Ich glaube die richtige Wahl des tools hängt sehr stark davon ab wie sehr sich die Entscheider auf Kundenseite mit Testing auskennen.
Ich würde mich zumindest nicht für Optimost entscheiden und kann es leider auch nicht weiterempfehlen.
Ich hoffe sehr dass andere user bessere Erfahrungen mit Optimost gemacht haben!
Schöne Grüße,
Ina
Manuel Brückmann,
Hallo Ina,
vielen Dank für Dein Feedback! Genau diese Insights fehlen uns leider bisher. Da wir selbst noch keine Praxiserfahrung mit Optimost sammeln konnten, müssen wir uns für diesen Artikel komplett auf die von Optimost zur Verfügung gestellten Informationen verlassen. Deine Erfahrungen mit den Consultants halte ich für sehr wichtig und kritisch. Für ein Tool in dieser Preisklasse muss die Beratung stimmen, zumal sie obligatorisch ist. Auch ein Testsetup von 4-6 Wochen halte ich für grenzwertig, das wiederstrebt jedem agilen Testing-Prozess.
Insofern vielen Dank für die Informationen, ich bin gespannt ob es noch andere Erfahrungen mit Optimost gibt.
Viele Grüße,
Manuel