Testing-Kultur: Wild oder wissenschaftlich. Oder beides?

Conversion-Optimierer gibt es solche und solche – dachte ich immer.
Die einen, die in Testing-Tools beinahe magische Kräfte vermuten und munter drauf los testen und die anderen, die es mit den Zahlen genauer nehmen und das Thema beinahe wissenschaftlich behandeln.

Wenn man sich einmal still zu den Optimierern setzen würde, um zu beobachten, wie Tests vorbereitet, durchgeführt und nachbearbeitet werden, trifft man wohl im wesentlichen auf zwei unterschiedliche Typen von ihnen:
Es gibt Optimierer in wild oder wissenschaftlich.

Verschiedene Typen – Wild oder wissenschaftlich?

 

Zwei gänzlich verschiedene Typen: Der Wilde und der Wissenschaftler

Stellte man sich die beiden Typen einmal in extremer Ausprägung vor, verhielte es sich wohl so:

Die Wilden testen im Wesentlichen irgendwas, beenden Tests, die nicht gut anliefen lieber schnell wieder, bringen aber auch schnell wieder neue Tests an den Start. Das ist agil, aber oftmals auch ineffektiv.

Die Wissenschaftlichen versuchen Learnings zu generieren und robustere Daten zu gewinnen. Sie arbeiten präziser, legen aber dafür oftmals zu sehr Wert auf die letzten Nachkommastellen in der Signifikanz und bremsen damit ein schnelles Vorankommen.

Beide Typen können in ihrer Extremform also Geld kosten. Geld, das eine erfolgreiche Conversion-Optimierung dem Seitenbetreiber einbringt oder sonst als Opportunitätskosten liegen bleibt.

 

Zusammenhang der Kosten der Conversion-Rate-Optimierung und der Validität

Das Diagramm zeigt den Zusammenhang zwischen den für eine Optimierung getätigten Aufwänden (Kosten) und des Unterschieds im Anspruch an die Validität des Testergebnisses.
Ein schnelles Vorgehen ist preiswerter – hat aber Defizite in der Validität. Ist diese zu niedrig, kann das Ausrollen eines vermeindlichen Siegers am Ende Geld kosten, wenn er dann doch schlechter statt besser funktioniert.
Andersherum kostet jeder Anstieg im Anspruch an eine möglichst hohe Validität ein vielfaches mehr.
Der „Sweet Spot“ ist der Punkt, an dem die Aussage, dass eine Variante sicher besser ist, erfüllt ist. Das aber ohne die im Testing-Tool gezeigte Signifikanz bis auf die Nachkommastelle tweaken zu wollen.

Entwicklung in Phasen

Die breite Einführung von Technologien verläuft im Wesentlichen immer gleich. Die Conversion-Optimierung bildet hier keine Ausnahme. Sie ist ein gutes Beispiel dafür, wie nach einem ersten Hype ein Weg zu gehen ist, ehe die neuen Möglichkeiten in der Praxis das produktive und sinnvolle Niveau erreichen.

Aufgehangen habe ich die Entwicklung am Model des Gartner Hype Cycles, der darstellt, welche Phasen eine neue Technologie durchläuft, ehe sie das Plateau der Produktivität erreicht.

Die Phasen in der Entwicklung eines Conversion-Optimierers

Genau wie die gesamte Disziplin verläuft auch jeder Optimierer diese Phasen des Hype Cycles.

Phase 1: Trigger

Entdeckung von Testing-Tools

In dieser Phase nutzt der potenzielle Anwender von Conversion-Optimierung bereits Web Analyse. Damit sind KPIs bekannt, auf die optimiert werden kann – allem voran Umsatz und Conversions.
Testing wird als sehr einfach propagiert. Tool-Hersteller bieten mit WYSIWYG-Editoren und anderen Hilfsmitteln niedrige Einstiegsbarrieren.

Phase 2: Hype

Wildes Herumprobieren

Es wird wild und euphorisch getestet, alles an Ideen hineingeworfen und vor allem auf „Low Hanging Fruits“ geschaut. Testing wird als „Wunderwaffe“ verkauft und technisch betrachtet. Testgegenstand sind eher Hygienefaktoren wie die Usability.
Die Wissenschaftlichkeit spielt eine untergeordnete Rolle. Credo: Einfach mal herumprobieren…

Phase 3: Desillusionierung

Testergebnisse zeigen sich nicht reell

Nachdem der erste Hype und das „wilde Testen“ abgeklungen ist, stellt sich Ernüchterung ein: Entweder haben die Tests bereits in den Ergebnissen, die man im Testing-Tool sehen kann, keine zufriedenstellende Performance gezeigt, oder ein großer, im Test gemessener Uplift stellt sich in der Praxis nach dem Rollout nicht ein. Die wissenschaftliche Seite stellt sich den Zahlen.

Phase 4: Erkennen der Wichtigkeit von stabilen Hypothesen und Validität

Aufbau auf Learnings und Hypothesen

Es setzt sich die Erkenntnis durch, dass die gezeigte Signifikanz im Testing-Tool nicht mit der für die Praxis notwendigen Validität einhergeht.
Die Bedeutung von Learnings ist ein wichtiger Baustein für weitere Tests. Um ein Learning zu generieren, bedarf es einer abgegrenzten Hypothese und – um den Effekt messen zu können – einem möglichst großen Kontrast zur Kontroll-Variante.
Multivariates Testing als „magischer und beinahe automatischer Baukasten“ wird zugunsten „selbst erarbeiteter“ A/B/n-Varianten weniger genutzt.

Phase 5: Produktive Nutzung von Testing

Etablieren einer Testing-Kultur

Nach dem anfänglichen Hype und unkoordiniertem Testing pendelt sich die erkannte Bedeutung von Testing nach der (manchmal leider notwendigen) Stufe der Desillusionierung dort ein, wo Testing nicht mehr als „Wunderwaffe“ gesehen wird. Verstanden worden ist, dass Testing keine rein technische Sache ist, sondern dass es dabei um die Motivation des Nutzers geht.
Auf der einen Seite bewährt es sich, mutig zu sein und manchmal unkonventionelle Wege auszuprobieren – auf der anderen Seite aber werden deutlich bessere und vor allem reproduzierbare Ergebnisse generiert, wenn CRO mit dem nötigen „wissenschaftlichen Auge“ betrachtet wird.

Fazit

Die Mitte ist das richtige Maß

Ist man wie professionelle Agenturen oder spezialisierte Inhouse-Abteilungen in der letzten Phase angelangt, hilft Conversion-Optimierung dabei, den Unternehmenserfolg zu entwickeln und trägt als integraler Bestandteil maßgeblich zum Wachstum bei.
Der Schlüssel zum Erfolg liegt in der Balance beider Typen: Wild, agil und leidenschaftlich sollte ein Optimierer sein – aber gleichermaßen auch wissenschaftlich dabei vorgehen.

Jede Phase ist überwindbar und die Erfahrungen es wert, sie durchschritten zu haben. Wenn Sie wissen wollen, wo Sie derzeit stehen und wie Sie ggf. weiterkommen können, lesen Sie gerne weiter.
Teilen Sie Ihre Erfahrungen mit den Phasen und geben Sie mir Feedback. Ich freue mich darauf!

Addon: Checkliste und Tipps

In welcher Phase sind Sie gerade?

Machen Sie den Selbsttest und beantworten Sie sich dafür die folgenden Fragen. Wenn Sie alle Fragen einer Phase mit „Ja“ beantworten können, haben Sie diese wahrscheinlich bereits durchschritten und es gilt, wiederum die nächste zu durchlaufen.


[ ] Nutzen Sie Testing-Software zur Conversion Optimierung?
Wenn ja: Sie sind mind. in der *Phase 2: Hype*
Hilfestellung


[ ] Testen Sie Usability-Verbesserungen?
[ ] Testen Sie kleinere Farb-/Positionierungs- oder Wording-Änderungen?
Wenn alle ja: Sie sind mind. in der *Phase 3: Desillusionierung*
Hilfestellung


[ ] Haben Sie erkannt, dass Sieger im Testing-Tool nicht zwangsläufig wirklich besser sind?
[ ] Ist die Aussage hinter der Konfidenz eines Testergebnisses bekannt?
[ ] Exisitert eine geordnete Sammlung von Testideen mit einer Priorisierung?
[ ] Nutzen Sie Personas und Modelle zur Hypothesen-Erstellung?
[ ] Bauen Ihre Tests teilweise aufeinander auf?
Wenn alle ja: Sie sind mind. in der *Phase 4: Erkennen der Wichtigkeit von stabilen Hypothesen und Validität*
Hilfestellung


[ ] Finden Optimierungen zyklisch und regelmäßig statt?
[ ] Haben Sie einen Verantwortlichen für die Optimierung (Person oder Agentur)?
[ ] Sehen Sie Conversion-Optimerung als agilen Treiber für Ihren Online-Erfolg?
Wenn alle ja: Super! Sie sind in der *Phase 5: Produktive Nutzung von Testing*
Hilfestellung


Wie überwinde ich eine Phase?

Der Selbsttest deutet es bereits an: Um in eine höhere Phase zu gelangen, müssen wichtige Fragen mit „Ja“ beantwortet werden können.
Anbei finden Sie ein wenig Handwerkszeug, um von einer Phase in die nächste zu wechseln und nicht in die Wildheits- bzw. Zahlen-Falle zu tappen.

Phase 1: Trigger > Phase 2: Hype

wow-step1to2
> Suchen Sie sich ein geeignetes Testing-Tool aus, das Ihre Anforderungen erfüllt.


Phase 2: Hype > Phase 3: Desillusionierung

wow-step2to3
> In diese Phase taucht man oftmals automatisch ein, wenn man beginnt, Testing zu betreiben. Aber man kann Stolpersteine, wie zu allgemeine Best-Practices anzuwenden, vermeiden.


Phase 3: Desillusionierung > Phase 4: Erkennen der Wichtigkeit von stabilen Hypothesen und Validität

wow-step3to4
> Es ist wichtig zu verstehen, was die Daten im Testing-Tool bedeuten.
> Die Testplanung und die Ergebnisinterpretation sollten gut durchdacht werden.
> Testing-Ideen sollten interdisziplinär zentral gesammelt und nach verschiedenen Kriterien priorisiert werden
> Modelle aus der Nutzersicht helfen bei der wichtigen Hypothesenerstellung, auf der alle Tests basieren sollten.
> Nur klare Hypothesen generieren mit den Test-Ergebnissen auch Learnings – auf diese gestützt sich wieder neue Tests konstruieren lassen.


Phase 4: Erkennen der Wichtigkeit von stabilen Hypothesen und Validität > Phase 5: Produktive Nutzung von Testing

wow-step4to5
> Binden Sie in Ihre Entscheidungsprozesse das Testing mit ein. Verzichten Sie auf Relaunches zugunsten der Denkweise „Ein Radiergummi ist günstiger als ein Presslufthammer.„.
> Eine richtige „Testing-Kultur“ ist dann erreicht, wenn CRO keine Unterdisplin mehr ist, sondern als agiler Wachstumsmotor für den Online-Erfolg verstanden wird.

  • Send to Kindle
  • http://kKrft.ly/e0y
Alexander Richter

Alexander Richter ist Senior Conversion Engineer bei der Web Arts AG. Er beschäftigt sich passioniert mit dem großen Ganzen der Conversion-Optimierung, Test-Entwicklung und -Durchführung und den damit verbundenen, oft maßgeblichen Auswirkungen auf den Unternehmenserfolg.

Vernetzen Sie sich mit ihm bei Google+,
XING oder
LinkedIn.

, ,

1 Reaktion auf  “Testing-Kultur: Wild oder wissenschaftlich. Oder beides?”

Trackbacks/Pingbacks

  1. […] Testing-Kultur: Wild oder wissenschaftlich. Oder beides? […]

Hinterlassen Sie einen Kommentar