Welches Testingtool? 10 Conversion Testingtools im Vergleich – Teil 1

Bereits 2011 haben wir über das schlechteste A/B-Testingtool berichtet und dabei sozusagen die Lanze für den Einsatz von Conversion Testingtools gebrochen. Dieses mal werden wir mit dieser dreiteiligen Artikelserie 10 der auf dem Markt verbreiteten Tools vergleichen und genauer unter die Lupe nehmen.

Testumfeld Teil 1 – Überblick

Übersicht Conversion Testingtools - Teil 1

Vergleich Conversion Testingtools – Copyright © konversionsKRAFT 2012

Visual Website Optimizer

Visual Website Optimizer zählt zu den günstigsten Tools im Testumfeld. Es bietet neben der einfachen Implementierung vor allem Vorteile in der einfachen, intuitiven und einsteigerfreundlichen Bedienoberfläche. Wie die meisten Conversion Testingtools im Vergleich ist es <tag>-basiert und wird mit einem JavaScript Snipplet im <head>-Bereich der zu testenden bzw. zählenden Seiten integriert.
Danach steht dem/der Tester(in) die auf URL-basis bestehende Testumgebung zur Verfügung, welche neben dem visuellen „point-and-click“-Editor auch die Möglichkeit bietet beliebiges HTML, JavaScript und CSS in die zu testenden Seiten einzufügen.
Der Funktionsumfang für ein Tool in diesem Preissegment ist recht umfangreich. Neben Targeting sind unter anderem auch Multivariate Tests, Mobile-Testing, Heat-/Clickmaps, Revenue-Tracking und beliebig viele Conversion Goals und Variationen im kleinsten Paket bereits enthalten. Erfreulich ist, dass die an VWO übermittelte URL bei Bedarf überschrieben werden kann (z.B. wenn diese nicht eindeutig genug ist), ähnlich wie Canonical. Außerdem lassen sich neben Seitenaufrufen, Form-Submits, Clicktracking auch beliebige per JavaScript ausgelöste Conversion Goals einsetzen.

Vorteile:

  • einfache Implementierung (auch asynchron)
  • wird im CDN gehostet (weltweit)
  • gute Segmentierung und Targeting
  • jQuery wird bereits mitgeliefert (kann sofern jQuery ab 1.4.2 vorhanden ist auch deaktiviert werden)
  • schneller und kompetenter Support
  • Revenue Tracking (muss auf Conversion Seiten zusätzlich implementiert werden)
  • Plugins und Schnittstellen zu vielen WebAnalytics-, Shop- und Content Management Systemen
  • Heat- und Clickmaps

Nachteile:

  • Vorschau funktioniert auf Prozess- oder Folgeseiten nicht (z.B. Checkout)
  • Testpage-Patterns und Conversion URLs können nicht mit Regulären Ausdrücken (RegExp) aufgebaut werden
  • Support nur per E-Mail und auf Englisch
  • keine Post Conversion Segmentierung
  • kein Expertenmodus für fortgeschrittene Nutzer (Variantenpflege zeitaufwendig)

Adobe Test&Target

Das ursprünglich von Omniture entwickelte Testingsystem ist wie der Name vermuten lässt besonders im Bereich Targeting leistungsfähig. Neben der Möglichkeit völlig uneingeschränkt eigene Targets definieren zu können ist es gerade für Kampagnen-Tests interessant und kann beliebiges HTML, JavaScript und CSS in die Seite einfügen – aber auch direkt überschreiben.
Im Gegensatz zu anderen Conversion Testingtools bietet es keinen visuellen Editor, kann aber bei entsprechend sorgfältiger Integration auch von weniger aversierten Nutzern bedient werden.
Der Implementierungsaufwand ist im Vergleich zu anderen <tag>-basierten Tools relativ hoch, da in bestehenden Templates die zu testenden Bereiche mit sog. Marketing-Boxen (MBox) markiert werden müssen. Ist der höhere Implementierungsaufwand erst mal überwunden, so bietet Test&Target auf Basis der zahlreichen Segmentierungen eine Vielzahl von denkbaren Testszenarien. Es ist vor allem für Kunden mit viel Traffic interessant.

Als einziges Tool im Testumfeld ist es nicht URL-basiert sondern reaktiv und damit von den implementierten MBoxen abhängig. D.h. überall dort wo das System eine MBox registriert, steht diese für Manipulationen und/oder Conversion-Messung zur Verfügung – auch mehrfach oder sogar gleichzeitig.
Als besondere Ausnahme setzt Test&Target bei Multi Variaten Tests auf Taguchi anstatt auf vollfaktoriell.

Vorteile:

  • sehr viele Möglichkeiten im Bereich Targeting
  • Post Conversionen Segmentierung (sofern zuvor definiert)
  • gute Onsite Preview / Debugfunktion
  • n:m Beziehung zwischen Manipulation und Test
  • Manipulationen und Targets können mehrfach- / wiederverwendet werden
  • einfache und schnelle Variantenpflege
  • Revenue-Tracking (auf Wunsch Ausschluß von extremen Bestellungen)
  • Einzelaufstellung der Bestellungen
  • Deutschsprachiger Support

Nachteile:

  • nur klassische Integration (blocking)
  • Manipulationen werden erst „on document ready“ ausgespielt
  • relativ hochpreisig
  • Bedienung wenig intuitiv
  • kein CDN – da selbst gehostet
  • Testergebnisse lassen sich nicht flushen

Optimizely

Optimizely kann als direktes Konkurrenzprodukt zu VWO betrachtet werden. Es spielt preislich in der gleichen Liga (etwas günstiger) und bietet etwa den gleichen Funktionsumfang, ist aber länger auf dem Markt. Die Integration ist nahezu identisch – mit einem JavaScript-Snipplet im <head> der zu testenden Seiten ist die Integration abgeschlossen.
Soll noch Revenue-Tracking zur Verfügung stehen, so müssen auch hier auf der Conversion-Seite ähnlich zu VWO die Werte an das Tool übermittelt werden. Das gleiche gilt für Custom Conversions. Auch bei Optimizely können beliebige Goals per JavaScript ausgelöst werden. Im direkten Vergleich ist Optimizely etwas weniger intuitiv – bietet aber im Großen und Ganzen die gleichen Features.
Positiv ist die frei definierbare Anzahl an unterschiedlichen URLs für einen Test und die Möglichkeit, auch RegExp bei den Patterns (zu testenden Seiten) zu verwenden. Der visuelle „point-and-click“-Editor leistet gute Dienste und basiert wie bei VWO intern komplett auf jQuery. Für fortgeschrittene Tester(innen) legt dies Nahe direkt jQuery zu verwenden. Das integrierte jQuery ist standardmäßig im Funktionsumfang eingeschränkt, einige Methoden der Bibliothek werden nur unterstützt, wenn diese in der Konfiguration global freigeschaltet wurden. Unerfreulich ist, dass HTML und CSS nicht direkt eingefügt werden können und zwischen dem einpflegen von Änderungen und der Verfügbarkeit im Test einige Minuten vergehen, was die Produktion erschwert.
Was dafür wiederum sehr positiv auffällt ist die Möglichkeit, Reguläre Ausdrücke auch bei Conversion Goals zu verwenden. Außerdem sehr hilfreich ist die Möglichkeit, Preview-URLs zu generieren. Bei diesen kann per URL-Parameter das Ausspielen einzelner Variationen erzwungen werden (z.B. für die Qualitätskontrolle oder zur Freigabe). Auch die automatische Benachrichtigung über positive oder negative Testergebnisse ist hilfreich, um die Experimente im Auge zu behalten.

UPDATE I: Seit Januar 2013 bietet Optimizely ein Team für den deutschen Markt mit der Europa-Zentrale in Amsterdam. Damit stellt Optimizely ab sofort auch deutschen Support mit entsprechend guten Antwortzeiten zur Verfügung, was einen Mehrwert im Vergleich zur Konkurrenz bietet.

UPDATE II: Seit kurzem können bei Optimizely Conversions im Reporting segmentiert werden. Dabei stehen Standardsegmente wie Browser, Mobile und Trafficquelle zur Verfügung. Als Platinum-Kunde lassen sich auch eigene Segmente hinzufügen. Damit bietet Optimizely in diesem Preissegment einen klaren Vorteil zur Konkurrenz.

Vorteile:

  • Einfache Implementierung
  • Test- und Conversion-URLs sehr flexibel (mehrere / Reguläre Ausdrücke)
  • Gutes (Behavioral) Targeting
    Edit: Standard Targets vorhanden
  • Schnittstellen und Plugins zu WebAnalyse-, Shop und Content Management System vorhanden
  • Eingepflegtes JavaScript (jQuery) wird validiert
  • Preview-URLs mit Steuerung der Variationen über Parameter
  • Edit: Leistungsfähige API (Teststeuerung, Segmentierung etc.)
  • Edit: Globales Experiment spezifisches JS & CSS pflegbar

Nachteile:

  • nur klassische Implementierung (blocking)
    Edit: Synchrone und Asynchrone Integration möglich
  • Edit: Multivariate Tests erst ab höheren Paketen möglich
  • keine direkte HTML / CSS Injection möglich
  • mitgelieferte JavaScript Bibliothek eingeschränkt
    Edit: Es lässt sich auf Wunsch die komplette Bibliothek einbinden
  • keine Post Conversion Segmentierung
    Edit: Segmentierung nach Browser, Mobile und Trafficquelle möglich
  • Zeitverzögerung bei Teständerungen (Entwicklung im Tool mühselig)

Google Analytics – Content Experiments

Mit dem Umzug des Google Website Optimizers in Google Analytics bietet das Tool leider keine Multi Variaten Tests mehr. Ein deutlicher Rückschritt zum Vorgänger. Dafür bietet die Hochzeit der beiden Tools jedoch zahlreiche neue Funktionen was die Segmentierung der Testergebnisse angeht. Diese lassen sich jetzt aus bestehenden Zielen oder neu definierten Segmenten im Test einsetzen. Leider nur für die Messdaten, nicht aber für den Test oder die Variationen.

Für ein kostenloses Tool bietet damit aber Google ein zuverlässiges Einsteigersystem, sofern auf Multi Variates Testing und Testsegmentierung verzichtet und die Umsetzung der Testvariationen auf unterschiedlichen URLs zur Verfügung gestellt werden kann. Hier besteht der Hauptunterschied zu allen anderen Conversion Testingtools. Content Experiments kann lediglich nach der definierten Verteilung den Traffic auf die unterschiedlichen Variationen weiterleiten (Split-URL Testing). D.h. die Änderungen müssen in Form von physikalisch existierenden Seiten zur Verfügung stehen. Neu ist, dass wie bei den meisten Tools nur noch ein JavaScript-Snipplet im <head>-Bereich integriert werden muss – sofern auf der Originalseite und den Varianten der dazugehörige Google Analytics Code integriert ist.

Was sich leider nicht geändert hat ist die Einschränkung, dass es nur eine Ziel-Conversion (URL) gibt, welche bei allen Variationen auf der gleichen Domain liegen muss.

Vorteile:

  • Kostenloses Einsteigertool
  • Wenig inversive Integration (sofern Google Analytics bereits vorhanden)
  • Post Conversion Segmentierung

Nachteile:

  • keine MVTs
  • nur ein Conversion Goal
  • Variationen müssen programmiert werden
  • kein Targeting
  • Tests können nicht pausiert werden
  • Testlaufzeit auf 3 Monate beschränkt

SiteSpect

Bei SiteSpect handelt es sich um das einzige Proxy-basierte Tool im Testfeld. Im Gegensatz zu den <tag>–basierten Tools wird dieses zwischen dem Webserver und dem Testteilnehmer geschaltet, so dass der komplette Traffic der Originalseite(n) das Tool durchläuft. Damit kann nicht nur wie bei anderen Conversion Testingtools das bestehende HTML ausgetauscht oder manipuliert, bzw. JavaScript und CSS eingefügt werden, sondern theoretisch alles was das Tool passiert. Dazu zählen z.B. auch andere Inhalte wie Grafiken, Flash oder Videos, aber auch externe Inhalte beispielsweise von Drittanbietern wie Kampagnen oder Banner.

Grundsätzlich gibt es zwei Möglichkeiten SiteSpect zu implementieren. Die günstigere ist als ASP indem der Traffic per DNS Umstellung auf den SiteSpect-Server weitergeleitet wird. Die kostspieligere Kauflösung der Hardware ermöglicht diese physikalisch nach dem Webserver in das eigene Rechenzentrum zwischen zu schalten. Hier hat die eigene IT dann die volle Kontrolle über das Tool, was häufig gerade in Unternehmen mit sensiblen Daten eine wichtige Rolle spielt – im Gegensatz zu allen anderen Conversion Testingtools im Vergleich verlassen keine Daten das Haus.

Das größte Risiko bei der Proxy-Lösung ist der Ausfall des SiteSpect-Servers. Anders als bei den <tag>-basierten hätte dies nicht nur ein verzögertes Laden bzw. „nicht fertig laden“ der Seite zur Folge, sondern prinzipiell bekommt der Nutzer gar kein Ergebnis mehr ausgespielt, weder Original noch als Variation.
Dies wird durch einen regelmäßigen „still alive“-Check geprüft. Sollte der Proxy nicht in einer definierten Zeit antworten, wird der komplette Traffic durch einen Loadbalancer am Proxy vorbeigeleitet.

Hat man die technische Implementierung überwunden, steht dem/der Tester(in) ein sehr mächtiges Tool zur Verfügung. Es führt ihn/sie durch seine Wizard-Oberfläche und ermöglicht recht einfach selbst komplexere Änderungen. Neben vollfaktoriellen bietet SiteSpect auch fraktionell faktorelle MVTs an.
Das Targeting, sowohl auf Standard als auch Behavioral Targets, ist umfangreich. Besonders hilfreich für Agenturen ist die Möglichkeit, Preview-URLs für die Variationen zu generieren, um diese beispielsweise im Vorfeld an die Entscheider zur Freigabe zu verschicken. Besonders auffällig ist die sehr gute Performance der Tests. Hier spielt die Proxy-Lösung ihre wahren Stärken aus. Die Ergebnisse kommen – unabhängig davon was und wie komplex geändert wird – ohne Zeitverzug beim Nutzer an, teilweise sogar schneller als bei der Original-Version (z.B. bei Originalseiten ohne CDN).

Vorteile:

  • sehr leistungsstark und performant (teilweise sogar schneller als Original)
  • alle Inhalte des Webservers lassen sich ändern (alles was per RegExp markiert werden kann)
  • Fehleranfälligkeit ist sehr gering (Ergebnis kommt direkt mit Änderung beim Nutzer an und muss nicht „nachträglich“ manipuliert werden)
  • Dynamische Inhalte und Prozesse lassen sich verändern
  • Daten bleiben „in-house“ – keine Compliance-Probleme (bei Hardware-Lösung)

Nachteile:

  • hohe (psychologische) Implementierungshürde (hoher IT-Aufwand bzw. DNS-Änderung)
  • Relativ hochpreisig

Zwischenfazit

Die ersten fünf Conversion Testingstools haben in der Vergleichsübersicht und Leistungsbeschreibung gezeigt, welche zwei Lager sich im Testumfeld aufstellen:

Günstige Einsteigertools im Bereich 20$ – 730$ / Monat, welche bereits mit einer Reihe „upperclass features“ ausgestattet sind und für den Einstieg in’s Testing – auch für einen längeren Zeitraum völlig ausreichend sind.

Spielen Themen wie sensible Daten, Compliance, maximale Performance und Advanced Targeting eine Rolle, so kommen die Tools im deutlich vierstelligen Bereich in Frage. Es bleibt spannend ob die Produkte im zweiten Testfeld in beiden Bereichen das Feld noch mal aufmischen können. Derzeit zeichnen sich als heiße Kandidaten für den Klassensieg Visual Website Optimizer und SiteSpect ab. Es bleibt spannend ob hier breiter aufgestelle Lösungen wie Monetate, Allrounder wie Maximiser oder über viele Jahre etablierte wie Vertster noch das Blatt wenden können.

Hinweis

Die hier beschriebenen Vor- und Nachteile basieren zum einen auf den Leistungsangaben der Anbieter und zum anderen im wesentlichen auf unseren Erfahrungen mit diesen Tools.

Sollten sie andere Erfahrungen gemacht haben, oder uns Aspekte entgangen sein, so würden wir uns sehr über ihr Feedback freuen. (Stand 21.11.2012)

  • Send to Kindle
  • http://kKrft.ly/yqt
Manuel Brückmann Manuel Brückmann ist als Mitglied der Geschäftsleitung bei der Web Arts AG für den Bereich Technologie verantwortlich. Er beschäftigt sich neben der Beratung im Bereich Testing mit eCommerce-Entwicklung und -Optimierung. Folgen Sie ihm auf Twitter oder verlinken Sie sich auf Google+, XING oder LinkedIn.

, ,

28 Reaktionen auf  “Welches Testingtool? 10 Conversion Testingtools im Vergleich – Teil 1”

Kommentare

  1. Mike Schwede Mike Schwede

    Danke für die Übersicht. Wäre cool, wenn du „die Klassiker“ KISS Metrics und Mixpanel beim nächsten Review miteinschliessen könntest.

  2. Julian Kleinknecht Julian Kleinknecht

    Wir haben uns für Optimizely und gegen den VWO entschieden. Deshalb möchte ich kurz die Vorteile von Optimizely gegenüber dem VWO darstellen:

    *Visual Website Optimizer*
    -Nachteil: eingeschränkte Möglichkeit des Targeting: wie beschrieben können keine reguläre Ausdrücke verwendet werden. Es können jedoch auch keine eigenen Regeln in JavaScript festgelegt werden
    -Nachteil: Targeting-URLs können in Nachhinein nicht verändert werden

    *Optimizely*
    -Vorteil: einfach zu integrierendes Revenue Tracking
    -Vorteil: kompetenter Support (da in Californien muss man oft bis zum nächsten Tag warten)
    -Vorteil: wird im CDN gehostet (weltweit)

    Außerdem noch zwei Anmerkungen/Fragen zur Kritik an Optimizely
    -es stimmt, dass man leider kein individuelles CSS für einzelne Varianten ausliefern lassen kann (global für alle Varianten geht das). Einen wirklichen Nachteil sehe ich hierin aber nicht. Mit jQuery kann man einfach ans Ende des Quelltexts ein -Tag einfügen
    -welche jQuery-Methoden sind bei Optimizely nicht verfügbar, wenn man das mitgelieferte Skript verwendet?

    Persönlich halte ich fast alle Unterschiede zwischen Optimizely und dem VWO für vernachlässigbar. Die eingeschränkte Targeting-Möglichkeit finde ich aber extrem nervig. Sie macht es sehr schwierig manche Testszenarien umzusetzen

  3. Manuel Brückmann Manuel Brückmann

    Hallo Julian,

    Danke für Dein Feedback. Ich denke man muss hier von Fall zu Fall unterscheiden. Wie beschrieben sind die Unterschiede nicht besonders groß, welches Tool sich letztendlich besser eignet hängt vom gewünschten Einsatz ab.

    Was die Unterschiede zwischen Visual Website Optimizer und Optimizely angeht: Reguläre Ausdrücke können in VWO bei Targets sehr wohl eingesetzt werden, lediglich beim Testpage-Pattern nicht (hier nur *-Wildcards). Dies lässt sich aber mit einem Workaround über die Exclude URL (diese kann RegExp mit Reverse Lookup) bewerkstelligen.

    Eigene Regeln über JavaScript geht tatsächlich in VWO nicht, ist aber in dem Preissegment nicht weiter tragisch. Die wichtigsten Standard und Behavioral Targets sind vorhanden. Allerdings lassen sich Targeting-URLs im Nachhinein sehr wohl verändern.

    Das Revenue Tracking ist bei VWO genau so einfach zu implementieren wie bei Optimizely, vielleicht sogar etwas einfacher.

    Der Support bei Optimizely ist tatsächlich sehr kompetent, aber wie Du bereits schreibst ist dieser durch die Zeitverschiebung teilweise etwas verzögert. Obwohl Wingify in New Delhi sitzt, sind die Reaktionszeiten sehr gut (1-2 Std.) und vergleichbar kompetent.

    VWO wird seit dem letzten Release auch weltweit im CDN gehostet, hier hat also Optimizely auch keinen wirklichen Vorteil.

    Beide Tools sind also was die KPIs angeht in etwa gleich auf. Für uns z.B. ist CSS Injection allerdings sehr wichtig, weil diese viel schneller zur Verfügung steht als JavaScript, direkt greift und nicht von Events abhängig ist. Hierauf gehe ich im Artikel 5 Tipps für Testing – die jeder Conversion Engineer kennen sollte genauer ein. Performance spielt eine Große Rolle, je weniger der Nutzer vom Testszenario mitbekommt, desto besser.

    Im Standard jQuery von Optimizely fehlen z.B. Methoden wie hide, show, fade oder toggle. Wenn wir schon auf JavaScript zurückgreifen müssen, um Elemente weg oder einzublenden, so sollte dies wenigstens mit einer gewissen joy-of-use erfolgen, damit der Nutzer den Umbau der Seite nicht als negativ empfindet (die Seite lädt subjektiv langsamer). Für eine neutrale oder sogar positive User Experience sind daher Effekte wie softes FadeIn wichtig.

    Letzlich ist es immer Geschmacksache welches Tool einem besser liegt und steht und fällt mit dem Einsatzbereich.

  4. Julian Kleinknecht Julian Kleinknecht

    Hallo Manuel,

    vielen Dank für die ausführliche Antwort und Erklärungen. Wir stimmen ja beide darin überein, dass die Unterschiede zwischen Optimizely und dem VWO nicht allzu groß sind.

    Vielen Dank auch für den Hinweis auf den Workaround bezüglich Targeting beim VWO. Auf diese Weise kann man in der Tat mehr Szenarien umsetzen als ich zuerst dachte. Die benutzerdefinierten Regeln vermisse ich trotzdem, da es beispielsweise Seite gibt, wo man Produktdetailseite nicht anhand der URL targeten kann. Dann kann man dies mit JavaScript-Variablen aus dem Shopsystem sehr elegant lösen.

    Zu den Thema Revenue Tracking, CDN und Support gebe ich dir Recht. Da gibt es keine großen Unterschiede.

    Das Thema fehlende jQuery-Funktionen in Optimizely sehe ich allerdings als nicht besonders schwerwiegend. Ich habe bis jetzt noch bei keiner Website gesehen, die wir testen, dass sie jQuery nicht sowieso schon integriert hätte. Dann kann man natürlich alle Funktionen verwenden. Natürlich gibt hier bestimmt aber auch Ausnahmen.

    Die CSS-Injection-Funktion finde ich sehr interessant. Du hast natürlich Recht, dass Besucher am besten nicht bemerken sollen, dass sie an einem Test teilnehmen und dass sich die Seite beim Laden verändert. Gibt es hier aber wirklich einen Geschwindigkeitsunterschied zwischen der CSS Injection vom VWO und meinem Workaround für Optimizely? Ohne Frage ist VWOs Ansatz eleganter. Da aber sowohl Optimizely als auch der VWO den DOM per JavaScript verändern, fügen doch beide nur ein -Tag per JavaScript in den DOM ein. Ob man diese nun „manuell“ macht wie von mir beschrieben oder per eingebauter Funktion CSS Injection macht doch für die Ausführungsgeschwindkeit keinen Unterschied. Ich freue mich auf deine Antwort zu diesem Thema.

  5. Manuel Brückmann Manuel Brückmann

    Hallo Julian,

    Danke für Dein konstruktives Feedback – selten dass ich auf dem Level Feedback bekomme… 😉
    Bezüglich der benutzerdefinierten Regeln stimme ich Dir zu – dass ist in Optimizely tatsächlich etwas eleganter gelöst. Bei VWO lässt sich nur beim Targeting des Tests bzw. der Variationen auch über andere Inhalte wie beispielsweise auf Cookie, Query-Parameter oder JavaScript-Variablen zurückgreifen.

    Zum Thema Optimizelys jQuery Einschränkungen: Wie schwerwiegend die fehlenden jQuery-Funktionen sind hängt natürlich auch von der Testkonstruktion ab. Tatsächlich haben einige unsere Kunden kein jQuery (auch wenn das zum Glück nicht die Regel ist). Unabhängig davon ob jQuery vorhanden ist, der Validator von Optimizely selbst lässt die Änderung gar nicht erst zu, weil er die Methoden nicht kennt. Man müsst das JavaScript über die globale Script Funktion von Optimizely einbinden, was etwas mühsam ist.

    Bezüglich der Performance der CSS-Injection von VWO und Optimizely möchte ich dem 3. Artikel zur Serie nicht zu sehr vorausgreifen. Hierfür machen wir über alle Tools hinweg einen Benchmark. Aber soviel sei schon mal verraten – es macht einen Unterschied, wenn auch nur geringfügig. Die Injection bei Optimizely ist an das Event DOM-Ready gebunden, während bei VWO direkt mit der Antwort vom Server das CSS ausgeführt wird, ohne das dieses noch vom JavaScript-Interpreter des Browser verarbeitet werden muss. Aber generell ist bei beiden Tools die Änderung über CSS natürlich viel schneller als über JavaScript – unabhängig davon ob diese direkt per CSS oder über JavaScript in die Seite eingefügt wurde. Auch aktuelle Browser können CSS immer noch deutlich schneller verarbeiten als JavaScript.

  6. Manuel Brückmann Manuel Brückmann

    Hallo Mike,

    Danke für den Hinweis. KISS Metrics könnten wir tatsächlich noch zusätzlich berücksichtigen – als Tool das sowohl Analytics als auch A/B-Testing kann und schon lang genug auf dem Markt ist. Mixpanel kann soweit mir bekannt jedoch nur Web Analytics, bzw. Mobile. Würde in dieser Artikelserie somit rausfallen.

  7. Philip Philip

    Interessanter Artikel, ich freue mich schon auf die Fortsetzungen.

    Wir vergleichen momentan für den eigenen Einsatz auch einige Tools, allerdings ist mir aufgefallen (wie schon im Artikel beschrieben), dass VWO und Optimizely starke schwächen in Prozessen (Warenkorb/Checkout) aufzeigen und es teilweise nicht möglich ist, Varianten hierfür zu erstellen. Ich sehe es doch richtig, dass mit diesen Tools ausschließlich Varianten über den Visual Editor erstellen kann, oder? Der Funktionsumfang ist sehr komplex, allerdings stößt man meiner Meinung nach schnell an die Grenzen.

    Was mir aufgefallen ist, dass sich gute Testing-Tools im höheren Preissegment befinden, die für uns erst zu einem späteren Zeitpunkt interessant werden und wir dementsprechend eine gute Einsteigerlösung suchen. Daher interessieren mich deine Ergebnisse im 2. Teil sowie dein Fazit sehr. Wann kann man denn mit den weiteren Ergebnissen rechnen?

  8. Manuel Brückmann Manuel Brückmann

    Hallo Philip,

    freut mich zu hören dass das Thema Anklang findet. Die Fortsetzung ist für 20. November geplant.

    Um kurz auf Deine Frage einzugehen: Ob man auf dynamischen Seiten Tests mit beiden Tools umsetzen kann hängt von den JavaScript Programmierfähigkeiten ab. In beiden Tools ist es möglich, jegliche durch jQuery initiierte Manipulation (HTML bzw. CSS ändern / hinzufügen) durchzuführen. Mit einem URL-Pattern lässt sich das auf mehrere oder unterschiedliche Seiten anwenden. Den visuellen Editor verwenden wir beispielsweise gar nicht. Dieser eignet sich bei beiden Tools tatsächlich nur für inhaltliche Änderungen bei statischen Seiten, was in unseren Testkonzepten selten vorkommt.

    Prozessseiten können also sehr wohl geändert werden, allerdings ist hierbei entsprechendes Fachwissen erforderlich und die Manipulationen beschränken sich auf Layout und Inhalt. Änderungen am Prozess selbst – also z.B. das Schritt 3 im Checkout vor Schritt 2 oder ein zusätzliches Eingabefeld getestet werden soll – funktioniert nur mit systemseitigen Änderungen. Hier stoßen aber alle Systeme an Ihre Grenzen – auch die im höheren Preissegment (Sitespect bietet hier noch die meisten Möglichkeiten).

  9. Paras Chopra Paras Chopra

    Thanks for the wonderful discussion. I’m the CEO & founder of Wingify, the company behind Visual Website Optimizer. Even though I am using Google Translate, I thought I should address some of the points.

    >Page Test Patterns and Conversion URLs can not be built with regular expressions (RegExp)

    >Preview does not work in process or result pages (eg check)

    We’re actively working to address these two shortcomings. This is definitely in our development plan.

    >No expert mode

    There’s a tradeoff between making the tool easy to use for non-technical people v/s providing an advanced mode. We do provide option to modify CSS/HTML/JavaScript on a page, but I do agree that we can expand on the advanced mode to make it more powerful. Shall certainly add this in our development plan.

    Thanks SO much for recognizing our support times. Customer support is a religion at our company and all employees (including the CEO and CTO) do support. We really want our customers to succeed at their testing and optimization efforts 🙂

    Do let me know if you need any additional information regarding our development plan and priorities. Happy to discuss them.

  10. Ali Ali

    VWO teste ich gerade auf 2 meiner Blogs. Usability ist gut, wobei ich erst nicht gemerkt hatte, dass die Teste nach dem letzten Schritt noch zusätzlich aktiviert werden müssen.

    Das Tool ist auch für weniger technik-affine Blogger geeignet, da es ein WP-Plugin gibt.

  11. Andreas Andreas

    Hallo Manuel,

    guter Artikel!

    Nur: November ist jetzt schon etwas her … 😉 Wann kommt denn die Fortsetzung? 🙂

  12. Manuel Brückmann Manuel Brückmann

    Hallo Andreas,
    vielen Dank! Die Fortsetzung ist für den 24.01. geplant.

  13. Matt Althauser Matt Althauser

    Hallo Manuel,

    danke für die Übersicht, wir haben den Artikel mit großem Interesse gelesen! Ich möchte mich zu einzelnen Punkten äußern damit keine Missverständnisse entstehen:

    Wir haben Anfang des Jahres unsere Europa-Zentrale in Amsterdam eröffnet. Hier haben wir auch ein Team für den deutschen Markt.

    Wir bieten sowohl eine synchrone, als auch eine asynchrone Installation des Snippets an.

    Übrigens: Letzten Herbst haben wir Test & Target bei der Anzahl Installationen überholt: http://techcrunch.com/2012/10/09/optimizely-vs-omniture/.

    Viele Grüße

    Matt

  14. Manuel Brückmann Manuel Brückmann

    Hallo Matt,

    vielen Dank für Dein Update und Feedback.
    Wir haben die Aktualisierungen entsprechend die Vergleichstabelle und den Artikel aufgenommen.

    Viele Grüße,

    Manuel

  15. Marco Marco

    Noch als Ergänzung zur Diskussion VWO / Optimizely:
    Multivariate Tests gibts bei Optimizely erst ab der Gold-Version (ab 359$/Monat), während diese beim Visual Website Optimizer in allen Versionen mit dabei sind. Aufgrund der Kosten hatte ich mich deswegen für VWO entschieden und bin zufrieden – auch der Support ist top.
    Gerade für kleinere Projekte und Budgets würde ich deswegen aus Kostengründen den VWO vorziehen. Dort gibt es übrigens (inoffiziell) auch ein Paket für 19$ mit 4000 Visits/Monat (nicht aufgebrauchte Visits werden bei allen Paketen einmalig auf den Folgemonat übertragen).

  16. Manuel Brückmann Manuel Brückmann

    Hallo Marco,

    vielen Dank für Deinen Input.
    Sollten MVTs erwünscht sein und wenig Budget zur Verfügung stehen, kommt in diesem Fall tatsächlich nur VWO in Frage.
    Das Paket für 19$ war uns bisher nicht bekannt. Hier würde mich interessieren, wie man dieses buchen kann?

    Viele Grüße,

    Manuel

  17. Marco Marco

    Hallo Manuel
    Das 19$-Paket vom VWO wird nicht offiziell angeboten. Ich hatte das 49$ Paket während einem halben Jahr und hatte dann um eine Pausierung des Accounts gebeten weil mir die Test-Ideen ausgegangen waren. Dann hat mir der Support das 19$ Paket angeboten und jetzt teste ich wieder 😉
    Das ist die Antwort die ich von Ankit Sinha vom VWO Support erhalten hatte auf meine Bitte, meinen Account zu Pausieren:
    „I would also like to tell you that there is also a $19 plan available which gives you 4000 visitors/month to test. If you want, you can get your plan downgraded to this so that you can continue testing when ever it’s required. “

    Also direkt buchen kann man ihn nicht, aber als Downgrade via Support auf alle Fälle.

  18. Manuel Brückmann Manuel Brückmann

    Super, vielen Dank! Wird sicherlich für einige Test-Einsteiger interessant sein!

  19. Hildegard Fuchs Hildegard Fuchs

    Vielen Dank für die umfangreichen Infos. Möglicherweise ist meine Frage eine Anfängerfrage – aber vielleicht weiß hier jemand eine Antwort: Ich suche eine Möglichkeit, ein neues Layout seitenübergreifend zu testen. Die Webseite besteht aus eine großen Anzahl statischer Seiten + einem Shopsystem. Die Layoutvarianten unterscheiden sich nur durch die css-Dateien, die dem Besucher dann konsistent ausgeliefert werden sollen.
    Vielen Dank für alle Hinweise!

  20. Manuel Brückmann Manuel Brückmann

    Hallo Frau Fuchs,
    wenn Sie die Änderungen eh über CSS auspielen können und diese entsprechend explizit auf das Markup der zu Verändernden Seiten ausgelegt sind, dann können Sie je nach Testingtool ein entsprechend „weiches“ URL-Pattern definieren (z. B. VWO oder Optimizely).
    D.h. dass Sie dieses so weit „auf“ machen, dass alle Ihre statischen- und Shop-Seiten davon betroffen sind (z. B. http://www.weingut-fuchs.de/*). Gegebenenfalls müssen ungewollte Seiten per Exclude ausgeschlossen werden. Alternativ können Sie auch nur die gewünschten Zielseiten hinzufügen, je nachdem welcher Weg am kürzesten bzw. sichersten ist.
    Ein offenes Pattern birgt die Gefahr, dass der Test auf ungewollten Seiten ausgespielt wird.

    Ich hoffe ich konnten Ihnen damit weiter helfen.

  21. Michael Michael

    Hallo, danke für den Artikel. Ich habe eine kurze Anfängerfrage. Wir haben nun erste Erfahrungen mit VWO gemacht und haben schon sehr hilfreiche Test auf URL-Basis umgesetzt. Kann mir Jemand sagen, ob man mit og. Tools auch Website-übergeifende Tests aufsetzen kann? D.h. ich würde gerne ein Headline-Bild im A/B Test auf der gesamten Website testen. Die Besucher sollen natürlich während der gleichen Session immer nur eine Variante sehen. Wenn ich das richtig verstanden haben, dann kann man mit den Tools immer nur Varianten auf einer URL testen. Richtig?

  22. Manuel Brückmann Manuel Brückmann

    Hallo Michael,

    Danke für Dein Feedback. Die Antwort auf Deine Frage ist ähnlich wie bei Frau Fuchs ein Kommentar zuvor. Man kann über die Tools mit Wildcards (*) oder Regulären Ausdrücken arbeiten. Letzteres dürfte für den Einstieg in Testing etwas zu technisch sein, aber mit Wildcards kommt man schon recht weit. Dabei kann das sog. Testpage-Pattern wie folgt ausschauen:
    http://emric.de/*.php
    Damit würde der Test auf allen Seiten mit der Endung .php ausgespielt werden. Allerdings lässt sich bei Testpage-Pattern in der Regel der visuelle Editor nicht einsetzen, weil der Aufbau der Seiten zu unterschiedlich sein kann, als dass dies mit dem Editor abgedeckt werden könnte.

  23. Hildegard Fuchs Hildegard Fuchs

    Hallo Herr Brückmann,
    vielen Dank für die Info. Wenn man z.B. für einzelne Ordner die passenden A/B-css-Dateien zuordnen kann, wäre das sehr hilfreich. Auszuschließen wäre z.B. die komplette mobile Version, die in einem eigenen Ordner ../m/ angesiedelt ist.
    Ich hatte bisher nach einer php-Lösung, die in jede Einzelseite implementiert wird, Ausschau gehalten. Ordnerübergreifend wäre natürlich wesentlich weniger aufwendig.
    Beste Grüße
    Hildegard Fuchs

  24. Patrick A. Patrick A.

    Hallo Herr Brückmann,
    ich recherchiere gerade über die Stärken und Schwächen des Visual Website Optimizers. Allerdings tue ich mich mit zwei der Begrifflichkeiten sehr schwer.

    Was ist eine „Post Conversion Segmentierung“ und ein „Expertenmodus“?
    Google bringt mich da auch nicht weiter.

    Für eine kurze Antwort wäre ich sehr dankbar!
    Beste Grüße

    Patrick A.

  25. Manuel Brückmann Manuel Brückmann

    Hallo Patrick,

    mit „Post Conversion Segmentierung“ meinen wir eine Segmentierung bzw. Filterung nach erfolgter Conversion. Also z. B. die gezählten Conversions nach Browser filtern, oder Traffic etc. Die Begrifflichkeit „Ergebnis Filterung“ wäre vielleicht weniger missverständlich gewesen… 😉

    Für uns als „heavy User“ wäre ein „Experten-Modus“ hilfreich, bei welchem lediglich das von uns geschriebene JavaScript / CSS für die Varianten gepflegt werden kann. Das Tool ist primär für den visuellen Editor ausgelegt, weshalb die Variantenpflege bei komplexen Tests umständlich ist. Aber man kann sich hier arrangieren.

    Ich hoffe ich konnte Ihre Fragen damit beantworten.

  26. Patrick A. Patrick A.

    Ja, das konntest Du.

    Danke, sehr hilfreich :).

Trackbacks/Pingbacks

  1. […] legt (an dieser Stelle sei auf die vorzügliche Artikelserie des Kollegen Brückmann verwiesen: Welches Testingtool? 10 Conversion Testingtools im Vergleich: Teil I,  Teil II & Teil III) muss im Vorfeld gut geplant werden, was mit gegebenen Budgets denn auch […]

  2. […] Eine umfangreichere Gegenüberstellung der verschiedenen Testing Tools finden Sie in dem Artikel „Welches Testingtool? 10 Conversion Testingtools im Vergleich“ von Manuel […]

Hinterlassen Sie einen Kommentar