Praxiserfahrung: Fallstricke bei Testing-Projekten
In den letzten Jahren sind uns beim Einsatz von Testing in Unternehmen einige Fallstricke begegnet, welche sich unserer Erfahrung nach vermeiden lassen. Sowohl bei der Planung als auch bei der Konzeption und Umsetzung von Testing-Projekten können – bei entsprechender Kommunikation – Verzögerungen und Demotivation vorgebeugt werden. Damit Sie Testing-Projekte besser vorbereiten können, zeigen wir Ihnen hier 5 beliebte Fallstricke:
#1 Änderungen während des Testlaufs
Freeze bedeutet FREEZE – Diese Stolperfalle hat gleich zwei Auswirkungen auf laufende Tests. Zum einen können Änderungen am Quellcode den gesamten Test gefährden, zum anderen können Sie das Ergebnis verwässern.
Die meisten Tools sind reaktiv und explizit, mit anderen Worten vom Quellcode abhängig. Ändert sich der Quellcode, so kann das Tool unter Umständen die Testvariante nicht mehr fehlerfrei ausspielen. Hier können schon Details den weiteren Verlauf im Testcode behindern und im schlimmsten Fall eine unvollständige Variante zur Folge haben. Ein Beispiel hierfür kann schon das scheinbar unkritische Einfügen eines Streichpreises sein.
Die Interpretation der Testdaten kann gefährdet sein, weil sich im Verlauf des Tests die Variablen des Experiments verändert haben. Die Veränderung findet zwar bei der Kontrollvariante und Variation gleichermaßen statt (zumindest sollten sie das), führt aber zu einer Abweichung vom ursprünglichen Konzept und des Test-Szenarios. Ist es eine temporäre Maßnahme, z. B. eine Gutscheinkampagne, so kann der damit verbundene Uplift im Testzeitraum fehlinterpretiert werden. Noch schlimmer: Ist die Änderung nur bei der Kontrollvariante sichtbar, beispielsweise weil die Variation einen veränderten Quellcode hat, so sind die Testergebnisse unbrauchbar. Neben den unbrauchbaren Messergebnissen behindert vor allem der Zeitverlust einen agilen Optimierungsprozess.
Das gleiche gilt übrigens für Veränderungen an der Testvariation während des Testlaufs. Hier werden die Ergebnisse genauso verfälscht.
Maßnahme:
Tests mit den Marketing-Kampagnen und anderen Releases unter einen Hut bringen bzw. bei der Planung frühzeitig berücksichtigen und keine Änderungen an laufenden Tests durchführen.
#2 Konkurrierende Abteilungen / Dienstleister
Dies ist praktisch der Klassiker in größeren Unternehmen und häufig eine Störquelle, wenn unterschiedliche Dienstleister für einen Kunden arbeiten.
Die häufigsten Konflikte entstehen bei den Parteien durch innere Dialoge wie, “jetzt kommt da so ein Conversion Optimierer und…”
- “macht meine Arbeit schlecht” z. B. bei Verantwortlichen
- “wir müssen noch mehr arbeiten” z. B. bei IT-Dienstleistern
- “wir haben es nicht gerne wenn jemand in unserem Gewässer fischt” z. B. bei breit aufgestellten Dienstleistern die auch CRO mit anbieten.
Das gleiche gilt für konkurrierende Abteilungen. Anstatt das gemeinsame Unternehmensziel im Auge zu behalten sorgen persönliche Interessen für Reibereien und vermeidbare Komplikationen.
Also meistens – salopp gesagt – unnötiges “Alpha-Tier-Gehabe”. Leider leidet darunter ein agiler Optimierungsprozess und führt zu Demotivation der Projektbeteiligten auf allen Seiten.
Maßnahme:
Alle Beteiligten ins Bot holen, die Verantwortlichkeiten klären, Transparenz schaffen und den Nutzen für alle aufzeigen. Auf Augenhöhe kommunizieren und den Konkurrenzgedanken am besten direkt im Keim ersticken.
#3 Fehlende Entscheidungsfreiheit
Hat ein Ansprechpartner oder Projektverantwortlicher nicht ausreichend Entscheidungskompetenz, um beispielsweise Testkonzepte freizugeben, inhaltliche Fragen zu beantworten oder schlicht weg Entscheidungen zum Test zu treffen, so ist ein agiler Optimierungsprozess praktisch unmöglich.
Auch das führt zur Demotivation auf allen Seiten. Das Projekt zieht sich unnötig in die Länge.
Maßnahme:
Damit Entscheidungen nicht durch zu viele Hände laufen müssen, frühzeitig den Entscheidungsspielraum klären und für ausreichend Kompetenzen sorgen.
#4 Overscope & Komplexität
Zu viel Komplexität in Testkonzepten ist ein Nebeneffekt von Wachstum. Wenn die Erfahrungen in Optimierungsthemen immer größer werden, wachsen auch ganz automatisch die Konzepte mit und werden komplexer. Eben weil mehr Wissen zur Verfügung steht und auch mehr Möglichkeiten bzw. Schwachstellen erkannt werden. Kleinere Optimierungen werden dabei häufig aus dem Auge verloren und komplexe Dinge, Prozesse und (zu) viel auf einmal geändert.
Dies kann gleich mehrere Probleme mit sich bringen:
1. Verwässerung
Zu viele Änderungen auf einmal machen es schwer, hinterher zu interpretieren, was für den Uplift oder Downlift verantwortlich war. Oder noch schlimmer die Ungewissheit: “…hätte der Uplift sogar noch höher sein können?!?”
2. Aufwand & Sonderfälle
Je komplexer das Testkonzept, desto umfangreicher in der Regel auch der Aufwand für die Umsetzung. Zu viele Änderungen, zu viele Varianten oder ein zu komplexes Setup können einen Testplan dem Aufwand eines Relaunchs gleich setzen.
Beinhaltet der Testscope einen Seitentyp, der viele Sonderfälle beinhaltet, z. B. eine Produktdetailseite bei einem Sortiment > 50 Produkte, so kann das den Aufbau eines Tests maßgeblich beeinflussen – von der Konzeption, über die Umsetzung bis hin zur Qualitätskontrolle.
Im Kombination können diese Kriterien einen Test ernsthaft gefährden.
Maßnahme:
Um Verwässerung durch zu viele Änderungen zu vermeiden, sollten gerade am Anfang eher einfache Dinge und Prinzipien getestet werden (Stichwort “Low hanging fruits”). Auch kleine Änderungen können großen Einfluss haben. Ansonsten mutig sein und auch mal gröber zur Sache gehen. Beispielsweise anstatt viele kleine Dinge eine große, eindeutige Änderung testen.
Eine Maßnahme zum Einschätzen des Aufwands kann z. B. eine Bewertungsmatrix sein. Eine Liste mit allen Veränderungen, einer Bewertung des erwarteten Impacts und des Aufwands, um so abwägen zu können, was realisierbar ist.
#5 Unzählige Iterationsrunden / Detailreiche Anforderung
Ist der Detailgrad und damit die Anforderungen an ein Testkonzept sehr hoch, so kann auch das einen agilen Optimierungsprozess beeinträchtigen.
Ein Testkonzept sollte eine (oder mehrere) Optimierungshypothese(n) beinhalten und eine Verbesserung an einem bestehenden System darstellen. Im Rahmen einer Testkampagne sollte dieses Konzept mit echten Nutzungsdaten be- oder widerlegt werden.
Dabei spielt neben dem Konzept das Design eine tragende Rolle. Die Veränderungen sollten sich dabei in der gewohnten Umgebung bewegen und nicht als Fremdkörper oder Störquelle wahrgenommen werden.
Zwischen der Wahrnehmung des Kunden und einer nach Styleguide diktierten Pixel genauen CD-Richtlinie (Corporate Design) gibt es einen Pfad, auf welchen sich die Testkonzepte bewegen sollten.
Gemäß dem Paretoprinzip können 80% der Ergebnisse in 20% der Gesamtzeit eines Projekts erreicht werden. Die verbleibenden 20%, die einem hohen Detailgrad geschuldet sind, benötigen 80% der Gesamtzeit und verursachen die meiste Arbeit. Für den Beweis, ob ein Testkonzept funktioniert oder nicht, spielt das allerdings keine Rolle.
Maßnahme:
Allen Projektbeteiligten den Testing-Gedanken näher bringen und klar machen, dass Qualität und ein gutes Design wichtig sind, allerdings der Detailgrad für das Verproben von Hypothesen und Prinzipien im Verhältnis zum Aufwand stehen sollte.
Fazit
Die Top-5 Fallstricke aus der Praxiserfahrung mit Testing-Projekten spiegeln 5 Fälle wieder, welche sich durch transparente Kommunikation häufig vermeiden lassen. Behält man solche Stolpersteine im Auge, können Optimierungsprozesse wesentlich agiler durchgeführt werden und Unzufriedenheiten auf allen Seiten vermieden werden.
Welche Erfahrungen haben Sie im Alltag bei Optimierungsprozessen gesammelt? Über Ihr Feedback würde ich mich sehr freuen!
Ähnliche Artikel
- Die Testing-Falle, in die jeder mal tappt – André Morys
- Die wirklich wahren Conversion-Killer – Mit 5 Maßnahmen zur Testing-Exzellenz – Alexander Staats
- 10 Schritte Bestpractice zum Testingprozess – Manuel Brückmann