CHPL – das Schweizer Taschenmesser der Test-Priorisierung

Eine der wichtigsten Aufgaben von Conversion-Verantwortlichen ist die Priorisierung von Testhypothesen. Immer wieder erlebe ich in Kundenprojekten eine große Unsicherheit bei der komplexen Entscheidung welcher Test als nächstes starten soll. Ich möchte Ihnen heute ein einfaches aber sehr wirkungsvolles Tool vorstellen, das Ihnen helfen wird die richtigen Entscheidungen zu treffen.

Sie als Conversion-Verantwortlicher stehen immer wieder vor der Frage mit welchen Test sie jetzt starten sollen. Aus den Abteilungen kommen Optimierungs-Ideen im Minuten-Takt. Leicht verliert man den Überblick.

Die Menge an Detail-Entscheidungen die nötig sind um die gelieferten Test-Hypothesen zu priorisieren macht es nicht einfacher. Viele Kriterien müssen berücksichtigt werden: wie ist die Ressourcen-Situation in Ihrer Abteilung, benötige ich zur Umsetzung weitere Ressourcen aus der IT-Abteilung oder sind politische Entscheidungen auf Entscheider-Ebene zu treffen, die den Test verzögern könnten? Alles wichtige Fragen, die Sie beantworten müssen und bei denen Ihnen das CHPL helfen kann.

Screenshot Hypothesen-Priorisierung

CHPL was ist das?

CHPL steht schlicht und einfach für Conversion-Hypothesen-PriorisierungsListe – das klingt nur nicht so cool.

Die CHPL ist eine strukturierte Excel-Liste, in der Sie all Ihre Testhypothesen eintragen, nach einzelnen Kriterien bewerten und als Ergebnis eine objektive Priorisierung der einzelnen Maßnahmen erhalten.

Die CHPL können Sie am Ende des Beitrags herunterladen.

Der Aufbau der Hypothesenpriorisierungsliste

Aufbau Hypothesen-Priorisierung

Die CHPL gliedert sich grundlegend in die drei folgenden Bereiche:

  1. Hypothesen-Beschreibung
  2. Hypothesen-Bewertung
  3. CHPL-Score

zu 1) Hypothesen-Beschreibung

Hier wird eine aussagekräftige, jedoch möglichst prägnante Beschreibung der zu testenden Dinge integriert. Wichtig hierbei sollte sein, dass dies auch andere Mitarbeiter verstehen sollen.

zu 2) Hypothesen-Bewertung

In dem größten Bereich der CHPL geht es um die eigentliche Bewertung der Hypothese. Dieser Bereich ist in vier Bereiche gegliedert:

A. Verbesserungspotential

In dieser Spalte wird auf Basis einer einfachen Einschätzung das Optimierungspotential der Maßnahme eingetragen. Eine 1 für geringes Potential, eine 2 für mittleres Potential und eine 3 für hohes Potential.

B. Aufwände

Der Bereich Aufwände gliedert sich in grafischen, Umsetzungs- und Qualitätssicherungsaufwand.

B.1 Grafischer Aufwand

Sind grafische Änderungen an den zu testenden Seiten notwendig? Wenn ja, wie komplex sind diese? Das Ändern von Text und Bildinformationen entspricht einer 1, komplexe Layout-Änderungen einer 3.

B.2 Umsetzungsaufwand

Tragen Sie den geschätzten Aufwand für die Umsetzung der Testhypothese ein. Eine kleine Änderung im HTML, der sich einfach durch das Testing-Tool induzieren lässt entspricht hier einer 1, komplexerer Änderungen, wie z.B. das Umarangieren und Umstylen bestehender Elemente einer 2, sehr große Layout-Änderungen einer 3.

B.3 Qualitätssicherungsaufwand

Die durchgeführten Änderungen müssen einer gründlichen Qualitätskontrolle unterzogen werden. Tragen Sie hier eine 1 ein, wenn es sich um einfache Änderungen, wie z.B. Text- und Bild-Anpassungen handelt. Eine 3 sollte bei sehr komplexen Änderungen, wie z.B. seitenübergreifenden Hypothesen oder Prozess-Optimierungen eingeplant werden.

C. Organisatorische Komplexität

Neben der Ausgestaltung und Umsetzung der Testhypothese haben auch organisatorische Elemente Einfluss auf die Priorisierung der Testhypothesen.

C.1 Werden zusätzliche IT-Ressourcen benötigt?

Werden zusätzliche IT-Ressourcen zur Umsetzung von Testszenarien benötigt, so kann dies zu einer Verzögerung der Ausspielung führen. Werden diese benötigt wird eine 0,5 eingetragen. Können Sie alles ohne Ihre IT lösen, dann die 1.

C.2 Werden politische Freigaben benötigt?

Politische Freigabe für Tests sind sehr kritisch. Oft wird nicht anhand objektiver Fakten, sondern Befindlichkeiten entschieden, auf die Sie leider keinen Einfluss haben. Benötigen Sie beispielsweise für die Freigabe einer kleinen Layout-Anpassung die Freigabe der „CI-Polizei“ und ist diese Ihnen nicht unbedingt wohlgesonnen tragen Sie eine 0,5 ein. Haben Sie die komplette Freiheit für diesen Test, dann nehmen Sie die 1.

C.3 Sind mehrere Abteilungen in die Freigabe des Tests involviert?

Das Einbeziehen mehrerer Abteilungen ist immer aufwändiger, als der kurze Dienstweg, oder die Entscheidung im von Ihnen beeinflussten Team. Ist für den Test die Freigabe von mindestens zwei Abteilungen nötig, tragen Sie eine 0,5 ein. Treffen Sie die Entscheidung, dann eine 1.

D. Test-Komplexität

Neben der Produktion des Tests und der Organisation ist ein weiterer wichtiger Punkt zur Priorisierung die Komplexität des Tests selbst. Hierzu hat sich in der Praxis gezeigt, dass vor allen Dingen die Anzahl der Seitentypen und Änderungen an Prozessen oder zu speichernden Daten die potentiellen Schwierigkeiten deutlich steigern.

D.1 Wie viele Seitentypen sind vom Test betroffen?

Je mehr Seitentypen von einem Test betroffen sind, desto komplexer ist der komplette Prozess und auch die Aufwände der Qualitätssicherung. Wird beispielsweise ein Test auf der Produkt-Detailseite durchgeführt, so ist dieser deutlich weniger komplex und kann deutlich weniger ungewollte „Nebenwirkungen“ haben, wie z.B. das künstliche Erzeugen einer neuen Shop-Kategorie durch Kombinieren unterschiedlicher Sub-Kategorien.

Achtung: Wichtig ist es, dass „normale“ Sitewide-Tests wie z.B. das Integrieren eines Trust-Elements im Header maximal 3 Punkte bekommen dürfen, auch wenn es sich die Änderung auf 20 Templates auswirkt. Ein guter Richtwert für einen solchen Test ist es die entsprechend notwendig werdenden Änderungen an Include-Files zur Bewertung heranzuziehen und diese zu zählen. Müsste beispielsweise nur ein Include-File angepasst werden, so sollte die Komplexität an dieser Stelle ebenfalls mit 1 bewertet werden.

D.2 Bleiben die Primär-Prozesse konsistent?

Das Ändern von Prozessen durch Testing-Tools ist sicher die hohe Kunst des Testings, sofern diese nicht Backend-seitig produziert und durch Split-URL oder Parameter ausgespielt werden.

Wichtig ist, dass bei der Änderung dieser Primär-Prozesse z.B. dem Bestellprozess eine sehr intensive Qualitätskontrolle notwendig ist und die Gefahr für potentielle Fehler deutlich höher ist.

Das Überführen einer Warenkorb-Zwischenseite (Bestätigung, dass das Produkt in den Warenkorb gelegt wurde) in ein Layer auf der Produkt-Detailseite ist eine Änderung des Primär-Prozesses. Werden hier jedoch nur bestehende Elemente genutzt so bleibt dieser größtenteils gleich (Wert= 0,5). Wird die Seite jedoch neu „erfunden“ oder der Checkout komplett geändert, so entspricht dies dem Wert von 0,25.

D.3 Bleiben erhobene Kunden-Daten konsistent?

Ein typisches Testszenario ist die Optimierung von Eingabefeldern. Oft wollen Websitebetreiber am besten alle Daten ihrer potentiellen Kunden haben und die Formulare sind entsprechend lang. Werden beispielsweise Nicht-Pflichtfelder ausgeblendet, oder sogar Pflichtfelder mit Dummy-Daten gefüllt um die Komplexität des Formulars zu reduzieren tragen Sie eine 0,5 ein. Bleiben alle Felder unangetastet und werden maximal umsortiert nehmen Sie die 1.

zu 3) CHPL-Score

Die CHPL-Score gibt den Wert der Maßnahme wieder. Je höher dieser Wert ist, desto höher sollte die Maßnahme für Sie priorisiert werden. Der maximale Score beträgt 3.000 Punkte.

Download Worksheet CHPL

Laden Sie sich die CHPL Excel-Datei mit PayWithATweet herunter. Sollten Sie keinen Twitter- oder Facebook-Account haben, schreiben Sie mir eine E-Mail an torsten.hubert@web-arts.com. Ich maile Ihnen gerne die Datei zu.

Hypothesen-Priorisierung Download Excel-Tool

;

Was habe ich vergessen? Welche Elemente sind Ihrer Meinung nach besonders wichtig? Wie sieht Ihre CHPL aus?

Ich hoffe ich konnte Ihnen eine Inspiration für die Priorisierung Ihrer Optimierungsmaßnahmen geben und freue mich auf Ihre Kommentare.

  • Send to Kindle
  • https://www.konversionskraft.de/?p=13657
Torsten Hubert Torsten Hubert beschäftigt sich seit fünfzehn Jahren intensiv mit Webmarketing und ist Google Advertising Professional. Er ist hauptberuflich Head of Consulting und Mitglied der Geschäftsleitung bei dem CRO-Spezialisten Web Arts AG und hat sich dort auf strategisches Growth-Consulting spezialisiert. Weiterhin ist Torsten Hubert Dozent für Conversion Optimierung, Usability und Motivatorik an der Hochschule Darmstadt.Sie erreichen Torsten Hubert auch über XING.

4 Reaktionen auf  “CHPL – das Schweizer Taschenmesser der Test-Priorisierung”

Kommentare

  1. peter peter

    worin besteht der Unterschied zwischen dem Punkt B1 und D?
    Das hört sich für mich gedoppelt an.

Trackbacks/Pingbacks

  1. […] Sie ein Ideen-Backlogs für Tests. Hier hilft Brainstorming und Priorisierung das Backlog immer zu füllen und mit den richtigen Tests zu […]

  2. […] Je größer das Unternehmen, desto mehr Beteiligte “wollen ‘mal was testen”. Man testet, weil man es kann. Wer am lautesten schreit, bekommt dann einen Testslot. So etwas versaut die Wachstums- und Erfolgsquote. In einem perfekten Optimierungsprozess wird jede Testhypothese einer Kosten-Nutzen-Analyse unterzogen. (Hier gibt es eine Priorisierungs-Vorlage) […]

  3. […] Ergebnisinterpretation sollten gut durchdacht werden. > Testing-Ideen sollten interdisziplinär zentral gesammelt und nach verschiedenen Kriterien priorisiert werden > Modelle aus der Nutzersicht helfen bei der wichtigen Hypothesenerstellung, auf der alle […]

Hinterlassen Sie einen Kommentar