Experimentation

Praxiserfahrung: Fallstricke bei Testing-Projekten

mbrueckmann
 Lesezeit: 6 Minuten    
0
arrow_down
0

In den letzten Jahren sind uns beim Einsatz von Testing in Unternehmen einige Fallstricke begegnet, welche sich unserer Erfahrung nach vermeiden lassen. Sowohl bei der Planung als auch bei der Konzeption und Umsetzung von Testing-Projekten können – bei entsprechender Kommunikation – Verzögerungen und Demotivation vorgebeugt werden. Damit Sie Testing-Projekte besser vorbereiten können, zeigen wir Ihnen hier 5 beliebte Fallstricke:
Hangman Testing

#1 Änderungen während des Testlaufs

Freeze bedeutet FREEZE – Diese Stolperfalle hat gleich zwei Auswirkungen auf laufende Tests. Zum einen können Änderungen am Quellcode den gesamten Test gefährden, zum anderen können Sie das Ergebnis verwässern.

Die meisten Tools sind reaktiv und explizit, mit anderen Worten vom Quellcode abhängig. Ändert sich der Quellcode, so kann das Tool unter Umständen die Testvariante nicht mehr fehlerfrei ausspielen. Hier können schon Details den weiteren Verlauf im Testcode behindern und im schlimmsten Fall eine unvollständige Variante zur Folge haben. Ein Beispiel hierfür kann schon das scheinbar unkritische Einfügen eines Streichpreises sein.

Die Interpretation der Testdaten kann gefährdet sein, weil sich im Verlauf des Tests die Variablen des Experiments verändert haben. Die Veränderung findet zwar bei der Kontrollvariante und Variation gleichermaßen statt (zumindest sollten sie das), führt aber zu einer Abweichung vom ursprünglichen Konzept und des Test-Szenarios. Ist es eine temporäre Maßnahme, z. B. eine Gutscheinkampagne, so kann der damit verbundene Uplift im Testzeitraum fehlinterpretiert werden. Noch schlimmer: Ist die Änderung nur bei der Kontrollvariante sichtbar, beispielsweise weil die Variation einen veränderten Quellcode hat, so sind die Testergebnisse unbrauchbar. Neben den unbrauchbaren Messergebnissen behindert vor allem der Zeitverlust einen agilen Optimierungsprozess.

Das gleiche gilt übrigens für Veränderungen an der Testvariation während des Testlaufs. Hier werden die Ergebnisse genauso verfälscht.

Maßnahme:
Tests mit den Marketing-Kampagnen und anderen Releases unter einen Hut bringen bzw. bei der Planung frühzeitig berücksichtigen und keine Änderungen an laufenden Tests durchführen.

#2 Konkurrierende Abteilungen / Dienstleister

Dies ist praktisch der Klassiker in größeren Unternehmen und häufig eine Störquelle, wenn unterschiedliche Dienstleister für einen Kunden arbeiten.

Die häufigsten Konflikte entstehen bei den Parteien durch innere Dialoge wie, “jetzt kommt da so ein Conversion Optimierer und…”

  • “macht meine Arbeit schlecht” z. B. bei Verantwortlichen
  • “wir müssen noch mehr arbeiten” z. B. bei IT-Dienstleistern
  • “wir haben es nicht gerne wenn jemand in unserem Gewässer fischt” z. B. bei breit aufgestellten Dienstleistern die auch CRO mit anbieten.

Das gleiche gilt für konkurrierende Abteilungen. Anstatt das gemeinsame Unternehmensziel im Auge zu behalten sorgen persönliche Interessen für Reibereien und vermeidbare Komplikationen.

Also meistens – salopp gesagt – unnötiges “Alpha-Tier-Gehabe”. Leider leidet darunter ein agiler Optimierungsprozess und führt zu Demotivation der Projektbeteiligten auf allen Seiten.

Maßnahme:
Alle Beteiligten ins Bot holen, die Verantwortlichkeiten klären, Transparenz schaffen und den Nutzen für alle aufzeigen. Auf Augenhöhe kommunizieren und den Konkurrenzgedanken am besten direkt im Keim ersticken.

#3 Fehlende Entscheidungsfreiheit

Hat ein Ansprechpartner oder Projektverantwortlicher nicht ausreichend Entscheidungskompetenz, um beispielsweise Testkonzepte freizugeben, inhaltliche Fragen zu beantworten oder schlicht weg Entscheidungen zum Test zu treffen, so ist ein agiler Optimierungsprozess praktisch unmöglich.

Auch das führt zur Demotivation auf allen Seiten. Das Projekt zieht sich unnötig in die Länge.

Maßnahme:
Damit Entscheidungen nicht durch zu viele Hände laufen müssen, frühzeitig den Entscheidungsspielraum klären und für ausreichend Kompetenzen sorgen.

#4 Overscope & Komplexität

Zu viel Komplexität in Testkonzepten ist ein Nebeneffekt von Wachstum. Wenn die Erfahrungen in Optimierungsthemen immer größer werden, wachsen auch ganz automatisch die Konzepte mit und werden komplexer. Eben weil mehr Wissen zur Verfügung steht und auch mehr Möglichkeiten bzw. Schwachstellen erkannt werden. Kleinere Optimierungen werden dabei häufig aus dem Auge verloren und komplexe Dinge, Prozesse und (zu) viel auf einmal geändert.

Dies kann gleich mehrere Probleme mit sich bringen:

1. Verwässerung

Zu viele Änderungen auf einmal machen es schwer, hinterher zu interpretieren, was für den Uplift oder Downlift verantwortlich war. Oder noch schlimmer die Ungewissheit: “…hätte der Uplift sogar noch höher sein können?!?”

2. Aufwand & Sonderfälle

Je komplexer das Testkonzept, desto umfangreicher in der Regel auch der Aufwand für die Umsetzung. Zu viele Änderungen, zu viele Varianten oder ein zu komplexes Setup können einen Testplan dem Aufwand eines Relaunchs gleich setzen.

Beinhaltet der Testscope einen Seitentyp, der viele Sonderfälle beinhaltet, z. B. eine Produktdetailseite bei einem Sortiment > 50 Produkte, so kann das den Aufbau eines Tests maßgeblich beeinflussen – von der Konzeption, über die Umsetzung bis hin zur Qualitätskontrolle.

Im Kombination können diese Kriterien einen Test ernsthaft gefährden.

Maßnahme:
Um Verwässerung durch zu viele Änderungen zu vermeiden, sollten gerade am Anfang eher einfache Dinge und Prinzipien getestet werden (Stichwort “Low hanging fruits”). Auch kleine Änderungen können großen Einfluss haben. Ansonsten mutig sein und auch mal gröber zur Sache gehen. Beispielsweise anstatt viele kleine Dinge eine große, eindeutige Änderung testen.

Eine Maßnahme zum Einschätzen des Aufwands kann z. B. eine Bewertungsmatrix sein. Eine Liste mit allen Veränderungen, einer Bewertung des erwarteten Impacts und des Aufwands, um so abwägen zu können, was realisierbar ist.

#5 Unzählige Iterationsrunden / Detailreiche Anforderung

Ist der Detailgrad und damit die Anforderungen an ein Testkonzept sehr hoch, so kann auch das einen agilen Optimierungsprozess beeinträchtigen.

Ein Testkonzept sollte eine (oder mehrere) Optimierungshypothese(n) beinhalten und eine Verbesserung an einem bestehenden System darstellen. Im Rahmen einer Testkampagne sollte dieses Konzept mit echten Nutzungsdaten be- oder widerlegt werden.

Dabei spielt neben dem Konzept das Design eine tragende Rolle. Die Veränderungen sollten sich dabei in der gewohnten Umgebung bewegen und nicht als Fremdkörper oder Störquelle wahrgenommen werden.

Zwischen der Wahrnehmung des Kunden und einer nach Styleguide diktierten Pixel genauen CD-Richtlinie (Corporate Design) gibt es einen Pfad, auf welchen sich die Testkonzepte bewegen sollten.

Gemäß dem Paretoprinzip können 80% der Ergebnisse in 20% der Gesamtzeit eines Projekts erreicht werden. Die verbleibenden 20%, die einem hohen Detailgrad geschuldet sind, benötigen 80% der Gesamtzeit und verursachen die meiste Arbeit. Für den Beweis, ob ein Testkonzept funktioniert oder nicht, spielt das allerdings keine Rolle.

Maßnahme:
Allen Projektbeteiligten den Testing-Gedanken näher bringen und klar machen, dass Qualität und ein gutes Design wichtig sind, allerdings der Detailgrad für das Verproben von Hypothesen und Prinzipien im Verhältnis zum Aufwand stehen sollte.

Fazit

Die Top-5 Fallstricke aus der Praxiserfahrung mit Testing-Projekten spiegeln 5 Fälle wieder, welche sich durch transparente Kommunikation häufig vermeiden lassen. Behält man solche Stolpersteine im Auge, können Optimierungsprozesse wesentlich agiler durchgeführt werden und Unzufriedenheiten auf allen Seiten vermieden werden.

Welche Erfahrungen haben Sie im Alltag bei Optimierungsprozessen gesammelt? Über Ihr Feedback würde ich mich sehr freuen!

Ähnliche Artikel

Über den Autor

manu-brueckmann

Manuel Brückmann

Principal Technology Consultant

Manuel Brückmann, Jahrgang 1982, ist als Principal Technology Consulting bei konversionsKRAFT – Deutschlands führende Agentur für Conversion Optimierung – für den Bereich Technologie Beratung verantwortlich.

Sein Werdegang begann 2007 im Bereich Design & Usability. Mit dem Abschluss als Dipl. Ing. (FH) Medieninformatik sammelte er als Consultant und Projektmanager in den darauf folgenden 2 Jahren Erfahrungen, bis er 2009 in den Bereich Interaction Design & Interface Development wechselte. Zwei Jahre später sammelte er in der Rolle des Senior User Experience Engineer Erfahrungen im UX-Bereich. In den folgenden Jahren übernahm er seit Anfang 2012 die Verantwortung für den Bereich Conversion Engineering bei konversionsKRAFT und führte eine interdisziplinäre Business Unit. Seit Anfang 2016 gehörte er zur Geschäftsleitung und übernahm dort die Führung der Technologie im Unternehmen. Seit 2019 konzentriert er sich als Principal Technology Consultant auf die technischen Beratungsthemen im Unternehmen.

Neben umfangreichen Kenntnissen aus dem Bereich Technologie und Webentwicklung (Web Oberflächentechnologien, Medien, User Experience, Mobile, SEO) weist er 15 Jahre Erfahrung in den Bereichen Conversion Optimierung, E-Commerce, Lead-Generierung, Konsumpsychologie, Usability, Projekt-, Account -und Team-Management vor.

Frage zum Artikel? Frag den Autor!

Welche Frage hast du an den Autor?

6 [contact-form-7 id="53320" title="Autorkontakt"]

Schreibe einen Kommentar

Teile diesen Artikel

Kostenlos anmelden