7 Expertentipps für überzeugendes A/B-Test-Reporting an Stakeholder
In einer perfekten Welt erzielen wir mit jedem A/B-Test einen so hohen Umsatz-Uplift, dass das A/B-Test-Reporting der Ergebnisse leichtfällt. Die Erfolge sind so gut, dass alle Türen für den Ausbau des Testing-Programms offen stehen. Die Realität sieht leider etwas anders aus, denn selbst bei erfolgreichen Testergebnissen gibt es immer wieder Diskussionen um Daten, Aussagekraft und nächste Schritte.
Gemeinsam mit unseren Partnern aus der Global Optimization Group und weiteren internationalen CRO Experten zeigen wir Dir, worauf es beim Reporting von A/B-Testergebnissen an Stakeholder ankommt.
Mit diesen 7 handlichen Tipps schaffst Du es, Deine Ergebnisse so zu präsentieren, dass alle Stakeholder zufrieden sind, den Wert der Conversion Optimierung erkennen und erzielte Erfolge auch als solche wahrnehmen.
Probleme beim A/B-Test-Reporting
Häufig verzerren die Meinungen der am Test beteiligten Personen den objektiven Blick auf die Testergebnisse. Auch wenn Unternehmen den Anspruch haben, datengetrieben zu sein, werden Gewinnervarianten nicht immer von allen Beteiligten mit Applaus begrüßt und umgesetzt.
Die Faktoren „Persönliches Interesse“ und „Geschmack“ wohnen jedem Menschen inne und lassen sich auch im Job nicht unbedingt mit einem Lächeln beiseite schieben. Plötzlich wird der Uplift nebensächlich, denn es sollte doch eigentlich die Variante gewinnen, die man zuvor ausgelobt hat.
„Variante C gewinnt mit einem Uplift von 13,2%. Doch dem Chef und der Designerin gefällt Variante B besser. Was kann ich tun, damit Variante C als neue Basis akzeptiert und ausgerollt wird?”
Bei so einem Ergebnis sind Diskussionen mit den Stakeholdern schon vorprogrammiert. Gerade Experten mit langjähriger Erfahrung wollen „Recht“ behalten und verstehen Testing auch gerne Mal als Angriff auf die eigene Expertise.
Um diese Situationen zu meistern, brauchst Du die richtigen Argumente und eine geschickte Strategie.
Ziel beim Reporting von A/B-Tests ist es, einen Testreport zu erstellen, dessen Ergebnisse alle Stakeholder zufriedenstellen. Bei diesem Spagat möchten wir Dich mit diesen 7 Tipps für den Aufbau von Reports und die Kommunikation von Testergebnissen unterstützen.
Tipp 1: Stelle das Wichtigste in den Vordergrund
Normalerweise ist nicht viel Zeit, um mit den Ergebnissen eines Tests zu überzeugen. Deshalb lohnt sich als allererstes der Blick auf das, was für einen Report am wichtigsten ist.
Das sagt Chris Goward, Gründer & CEO von WiderFunnel zu den wichtigsten Bestandteilen eines Testreports:
- What was tested? Clear representation of the test parameters, including goals, hypotheses, variations, isolations, live screenshots.
- What did we learn and earn? Insights that the results reveal about the shopper, beyond simply the winning variation, and the ROI.
- What’s next? How will we build on these insights with the next tests and how should the results inform the PIE prioritization.
Chris spricht hier gleich mehrere relevante Punkte an: Es geht um mehr als den Uplift, wenn wir erreichen wollen, dass die Empfänger unseres Testreportings den Wert des Optimierungsprogramms noch besser nachvollziehen können.
Hebe diese Dinge im A/B-Test-Reporting hervor
- Was bringt der Test unterm Strich?
- Was haben wir mit Hilfe des Tests über die Zielgruppe gelernt?
- Welche äußeren Bedingungen (z.B. Sale-Aktionen, Traffic-Entwicklung) waren während der Testlaufzeit vorhanden?
- Wie beeinflusst das Ergebnis dieses Tests die weitere Vorgehensweise?
Nach jedem Test lohnt sich der erneute Blick in die priorisierte Liste an Testideen (Backlog). So kann direkt entschieden werden, ob auf Grund des letzten Ergebnisses etwas umgeplant – zum Beispiel die Priorisierung überarbeitet – werden sollte.
Tipp 2: Behalte Einflussfaktoren im Blick!
Ein A/B-Test soll immer ein in sich geschlossenes Experiment sein, dessen Umfeld möglichst kontrolliert ist. Trotzdem kann es sein, dass ein Testergebnis von externen Faktoren beeinflusst wurde. Die prominentesten dieser Spielverderber sind:
- Sale-Aktionen (erhöhen den Kaufdruck so stark, dass eventuell die Vorteile der Variante darin versinken)
- Veränderung an der Traffic-Qualität (Affiliates, SEO)
- Releases und Deployments (welche die Control und damit den Test verändern)
Beispiel Verzerrung durch Sale-Aktion:
Das dargestellte Diagramm aus dem Testing Tool ist gutes Futter für Diskussionen.
Was ist passiert? Eine Sale-Aktion hat die Vorteile der eigentlich starken Variante überlagert.
Austausch gibt Sicherheit
Ein guter Austausch zwischen den Abteilungen und Teams ist sehr wichtig, damit diese Einflussfaktoren für das Reporting geprüft werden können. Ansonsten stellt man erst bei der Vorstellung des Reports fest, dass den Daten nicht vollständig geglaubt werden kann.
Austausch schafft Learnings
Aber sollte man sich nur austauschen, um Fehler zu vermeiden? Nein.
Chris Out von Rockboost.com aus den Niederlanden sieht die Möglichkeit, Learnings aus diesen externen Faktoren zu ziehen, wenn man die Daten zu einem späteren Zeitpunkt mit denen weiterer Tests in Verbindung bringt:
Context of the test – Which internal and external factors were in play that might have affected the test? For example, marketing campaigns, seasonality, weather. This puts the result in a bigger perspective. When reviewing on a later date, this might result in more relevant learning. Especially if you include the factors that actually drove the decision to run this test.
Ist das „Herding-Pattern“ z.B. in mehreren Tests besonders erfolgreich, während eine Sale-Aktion läuft, könnte dieses gleich in die zukünftige Konzeption von Aktionen eingearbeitet werden.
Tipp 3: Habe alle wichtigen Details präzise zur Hand
Bei einer guten Management Summary geht es darum, die Ergebnisse eines Tests in knapper Form zu dokumentieren. Um die Qualität der Ergebnisse zu untermauern, solltest Du dennoch präzise Angaben zum Test bewusst einsetzen.
Peep Laja (Conversion XL) gibt Beispiele für diese Details:
- Full raw data: number of days it ran, absolute number of visitors and conversions + relative change in CR, RPV etc
- All variations, incl. the ones that lost.
- Performance across key segments (provided there’s enough sample size in the segments)
- The Report should also indicate hypothesis coming in, and takeaways / potential insights from the test results along with a proposal what to do next (iterate, move on to testing something else, implement and test something else etc)
Diese Angaben erhöhen die Glaubwürdigkeit Deines Reports. Sie belegen, dass Du nichts verschleiern willst oder vorschnell auf „Stopp“ gedrückt hast, nur weil das Testing-Tool kurz „signifikant“ angezeigt hat.
Oft reicht es, dass diese Infos auf der Folie stehen. Du musst nicht immer explizit im Gespräch darauf eingehen.
So könnte das z.B. aussehen:
Tipp 4: Wähle den richtigen Aufbau / Dramaturgie
Wie bei jedem Vortrag ist auch bei einer Executive Summary die Dramaturgie ein entscheidender Faktor. Dazu müssen zunächst die Inhalte festgelegt werden, welche sich wiederum danach richten sollten, wem der Report vorgestellt wird.
1. Inhalte festlegen
Nach Conversion.com CEO Steven Pavlovich machen drei Dinge einen guten A/B-Test-Report aus:
- Strategic analysis – ie what impact does the test have (or what insight does it give) for the wider business.
- Understandable to everyone – ie it’s meaningful to anyone client-side who reads it, not just the team directly involved in the testing.
- Record of what was tested – ie it can be referenced in 6 months’ time and will clearly show exactly what was tested, why, the data, and the follow-up actions/hypotheses.
Der Einfluss auf Businesskennzahlen und die generierten Learnings gehören ebenso in den Report, wie ein Statement zu den nächsten Schritten auf Basis des Ergebnisses.
Ziel ist eine nachvollziehbare Aufbereitung für jeden, auch und gerade außerhalb des Optimierungsteams. Allein aus Dokumentations-Gründen braucht es für jeden Test Screenshots jeder Variante und einen Hinweis darauf, woher die Testidee kam sowie welche Hypothese dahinter stand.
2. Inhalte priorisieren
Wurden die Inhalte festgelegt, so müssen sie im nächsten Schritt priorisiert werden. Je nach Stakeholder sollte der Aufbau eines Testreports in der Regel einem dieser Ansätze folgen:
Data-first
Hierbei konzentriert man sich auf die Gewinner-/ Verlierer-Variante. Dabei solltest Angaben zur Stichprobe und weiteren statistischen Faktoren wie Konfidenzintervall und CTBO machen. Außerdem solltest Du die gemessene Veränderungen der wichtigsten KPIs darstellen. Ableitungen und Details zu den getesteten Varianten kommen in den Anhang.
Kommunikations-Beispiel:
„Durch das Umwandeln der Produkttexte in Bullet-Points haben sich 13% mehr Nutzer für ein Produkt entschieden und dieses in den Warenkorb gelegt.“
Insights-first
Hier liegt der Fokus auf den herbeigeführten Verhaltensänderungen in allen Testvarianten im Vergleich. Du solltest klar herausstellen, welche Bedeutung die Ergebnisse für ein besseres Verständnis der Zielgruppe hat. Es ist weniger wichtig, eine Aussage über den genauen Uplift zu treffen, als darzustellen, weshalb eine Hypothese bestätigt oder widerlegt wird. Bei Bedarf kannst Du hier auch Detailgoals betrachten.
Kommunikations-Beispiel:
„Durch die Verbesserung der Klarheit im Warenkorb haben wir gelernt, dass Nutzer bei unserem Produkt weniger Details benötigen, um die Wahl zwischen den verschiedenen Optionen treffen zu können.“
Methodology-first
Hierbei konzentriert Du Dich auf den Ursprung der Testidee und der Hypothese. Du beschreibst die „Teamleistung“ und wie ihr genau vorgegangen seid. Dabei gehst Du auf die Entstehung des Konzepts sowie des Designs ein und stellst das Ganze iterativ vor. Außerdem betrachtest Du die Lösung, die für das bestehende Problem entwickelt wurde.
Kommunikations-Beispiel:
„Wir haben durch die qualitative Analyse herausgefunden, dass viele Nutzer nicht mit der Merklisten-Funktion zurechtkommen. Wir haben eine Lösung entwickelt, die zur Mehrnutzung der Funktion geführt hat.“
Ton Wesseling von Online Dialogue unterstützt diesen Ansatz, der das Ergebnis ganz ans Ende stellt:
A good report will be about:
- what customer journey you were going to optimize
what you knew up front- what hypothesis you based on what
- what you learned on the multiple experiments on a specific hypothesis
- what you changed on the customer journey (or are proposing to change)
- what the business impact is (or would be)
Bedenke bei der Priorisierung, wer Dein Stakeholder ist!
Sicher stellst Du Dir jetzt die Frage, welche dieser drei Methoden die beste ist. Natürlich könnte man jetzt sagen, ein Testreport bräuchte eine gesunde Mischung. Es geht aber vielmehr um die Auswahl der richtigen Aufbereitung für die unterschiedlichen Stakeholder.
- Wir erleben immer wieder Manager, die gezielt die Methodik hinterfragen. Sie wollen sichergehen, dass alles Hand und Fuß hat.
- Andere sind sehr visuell getrieben und möchten Details in den Screenshots erkennen.
- Bei der Dokumentation der Ergebnissee für die operativen Team-Mitglieder können es gar nicht genug Details sein.
Erfahrungswerte aus dem eigenen Unternehmen helfen Dir, den richtigen Aufbau für die einzelnen Stakeholder zu wählen oder einen optimalen Kompromiss zu finden.
Tipp 5: Betrachte nicht nur einzelne Tests isoliert
Es gibt genau 3 Ursachen, weshalb ein Test keinen Uplift zeigt:
- Die Hypothese war falsch.
- Die Umsetzung der Hypothese war zu schwach / nicht konsequent oder fehlerhaft.
- Es gab technische Umstände oder äußere Einflussfaktoren, welche die Ausspielung / Messung des Tests negativ beeinflusst haben.
Solltest Du den Test einfach verwerfen? Nein! Denn Du kannst daraus lernen und ihn mit anderen Tests vergleichen. Du solltest eine Hypothese nicht gleich nach dem ersten Test ohne Ergebnis verwerfen, denn im Reporting können diese vermeintlich fehlgeschlagenen Tests einen wertvollen Beitrag zum Verständnis leisten.
Ton Wesseling plädiert dafür, den „Weg“ zum Uplift ebenfalls zu reporten, um ein Maximum an Learnings über die Hypothese und die Gründe für den finalen Erfolg zu vermitteln:
Never create a single test report to be spread out to the organization – store single test knowledge for the optimization team, but never spread it to the company! It makes people think A/B-testing is all about the single experiment. Conversion Optimization as a one trick pony. They will be missing out on all the errors that lead to this win – they miss out on the customer journey and that this one winner could be a false positive. They also tend to think that the promoted uplift will actually happen and even will happen on their total sales… So you’re setting wrong expectations. This will kill the conversion program in the long run.
So it’s based on a study up front and at least a couple of experiments. And it’s not about uplift percentages, but about risk, costs and contribution.
Ein Test ohne Uplift bringt eben auch Erkenntnisse, die man zumindest mit den entsprechenden Personen teilen sollte, die aktiv an der Optimierung mitwirken. Sonst besteht die Gefahr, dass bereits gemachte Fehler wieder passieren oder erneut aufgrund eventuell falscher Annahmen getestet wird.
Außerdem lassen sich mehrere Tests gemeinsam reporten, zum Beispiel, weil diese auf dem gleichen Seitentyp aufsetzen oder den selben Hypothesen basieren.
Auch ist es sinnvoll, die Tests eines bestimmten Zeitraums aufzulisten und ein Gesamtfazit zu ziehen. So kannst Du z.B. die Tests eines Quartals auf einer Folie zusammenfassen und somit den Gesamterfolg dieses Zeitraums sowie die nächsten Schritte aufzeigen.
Ein Darstellungsbeispiel:
Tipp 6: Sprich Konsequenzen aktiv an
Wer auf einen besonders hohen Uplift aus ist, probiert auch Dinge, die bei Erfolg zu großen Veränderungen am Produkt oder an der Dienstleistung führen.
Beispiele für solche großen Veränderungen:
- Die Veränderung an der Preispolitik im Software-as-a-Service Bereich
- Die erfolgreiche Einführung eines Chat-Bots im eCommerce (für die Kundenservice-Abteilung vielleicht keine positiven News)
- Entfernen der Möglichkeit, als Gast zu bestellen
Die Frage „Was, wenn Variante B tatsächlich gewinnt?“ im Vorfeld zu stellen, führt eventuell zu weniger gewagten Experimenten. Damit erfolgsversprechende Testideen nicht im Vorfeld wegdiskutiert werden, sollte man mit dieser Frage warten, bis das Ergebnis vorliegt. Auf Basis der Zahlen kann dann entschieden werden, ob die Variante wirklich besser ist.
Chris Out hat sich auf „Growth Hacking“ spezialisiert. Das erkennt man auch an seiner Auffassung zum Thema Reporting und Kommunikation:
- Impact on the One Metric That Matters – How did this test help us move the needle to our most important growth goal?
- What are we going to change? – High growth often equals change management, so the report should highlight what change is needed within the organization to fully benefit from the test results
Stell Dir die Frage, an welcher KPI Du gemessen wirst, dann kann sich der Report daran ausrichten. Chris Out spricht auch gleich den Begriff „Change Management“ an. Das zeigt, wie weitreichend die Änderungen aus einem simplen A/B-Test sein können.
Die nächsten Schritte sind klar zu kommunizieren. Dies geht weiter, als einfach den Roll-Out der Gewinnervariante zu empfehlen.
Beantworte diese Fragen zu den nächsten Schritten:
- Wie lange dauert es, bis die Gewinnervariante fest ausgerollt ist? Können oder müssen wir Prioritäten der IT verändern, um die Variante schneller auszurollen?
- Was sind die nächsten Schritte, um vom Erfolg dieses Tests maximal zu profitieren?
- Kann das Ergebnis oder die Testidee auf weitere Bereiche ausgeweitet werden?
Tipp 7: Zeige, wie erfolgreich das Testing läuft
Ein oft vernachlässigter Aspekt am Reporting ist die Kommunikation über den Erfolg des Testingprogramms an sich. Man könnte sagen: „Wer bereits weiß, wie Optimierung geht, fängt sofort damit an, das Optimierungsprogramm zu optimieren“. Dieses Thema ist auf jeden Fall einen eigenen Artikel wert, deshalb reißen wir es hier nur an.
3 wichtige Metriken zur Messung der Qualität des eigenen Optimierungsprogramms:
1. Wie viele Tests wurden dieses Quartal / Jahr bereits durchgeführt?
Diese Metrik ist ein Indikator für die Leistungsfähigkeit des Optimierungsteams oder die Effizienz der Ressourcen. Entscheidend ist hierbei, ob man systematisch auf die volle Ausnutzung des zur Verfügung stehenden Traffics hinarbeitet. Die maximal mögliche Anzahl ist zwar durch den Traffic begrenzt, zu oft gibt es aber noch „Leerlauf-Phasen“, in denen gar kein Test läuft.
2. Wie liegt die Erfolgsquote (Anzahl signifikant positiver Tests / Gesamtzahl an Tests)?
Diese Metrik ist ein Indikator für die Effektivität der Analyse und des Priorisierungsprozesses.
3. Was ist der durchschnittlich erzielte Uplift für eine Hypothese oder einen Seitentyp?
Diese Metrik ist ein Indikator für gefundene Hebel / Orte, an denen es sich lohnt, weiter zu testen.
Diese Daten zu erheben ist allein schon einiges an Arbeit. Deshalb sollte es möglichst automatisiert erfolgen, wie es z.B. mit Iridion Premium möglich ist.
Für die Argumentation in Richtung Führungsebene sind diese Daten sehr hilfreich. Sie zeigen, dass Du das Ganze als Prozess verstehst und nicht als lose Ansammlung einzelner Highlight-Resultate. Außerdem kannst Du nachweisen, das es Ziele gibt, auf die das ganze Optimierungsteam gemeinsam hinarbeitet. Auch der Einfluss, den bereits eine kleine Verbesserung – z.B. der Erfolgsquote – mit sich bringt, kann unter anderem auf der Tonspur gut übermittelt werden.
Ein Beispiel für die Darstellung der Erfolge:
Fazit
A/B-Test-Reporting an verschiedene Stakeholder erfordert häufig einen kleinen Spagat. Bei der Erstellung der Testreports solltest Du dir vorab ein Konzept überlegen, das die passenden Infos und Argumente für die jeweiligen Stakeholder liefert. Mit der richtigen Strategie und wasserfesten Daten überzeugst Du die Beteiligten vom Erfolgspotential der Gewinnervarianten und davon, ihre persönlichen Interessen und Wünsche über Bord zu werfen. So vermeidest Du zeit- und nervenraubende Diskussionen und erhältst zufriedene Stakeholder.
Die wichtigsten Aspekte für Dein A/B-Test-Reporting im Überblick:
- Kommuniziere zielgruppengerecht. Schätze die Bedeutung der Testergebnisse für die verschiedenen Stakeholder ein und liefere die richtigen Informationen und Argumente, um ihnen zu zeigen, dass das Ergebnis auch für ihren Bereich relevant ist.
- Sei informativ und präzise. Halte Dich kurz, aber kenne Dein Projekt mit allen Details. Werden Zusatzinfos gefordert, habe sie zur Hand. Gerade Zweifler kannst Du mit noch mehr Daten überzeugen, denn sie möchten sicherstellen, dass beim Setup und der Auswertung des Tests nichts übersehen wurde.
- Sensibilisiere Deine Stakeholder für die verschiedenen Konsequenzen der Varianten. Starke Befürworter einer Variante sollten bestenfalls schon vor dem Test ein Statement dazu abgeben, wie sie zu der Möglichkeit stehen, dass eine andere Variante Erfolg hat.
- Priorisiere Deine Inhalte „Data first“, „Insights first“ oder „Methodology first“ unter Berücksichtigung Deiner Stakeholder. Manchmal muss man auch erst ausprobieren, welche Methode besser für das Reporting funktioniert.
Peep Laja kommt in seinem Artikel zum Thema „Kommunikation an Stakeholder“ zu folgendem Schluss: Er sieht das Thema als kompliziertesten Aspekt am Testing, weil es darum geht, mit der Menschlichkeit aller Beteiligten umzugehen. Und das ist eben nicht so simpel, wie die Daten eines A/B-Tests.
Talia Wolf, Gründerin von conversioner.com aus Israel, fasst die Bedingungen für ein erfolgreiches Testing Programm sehr schön zusammen:
To truly succeed with a testing program it is crucial that everyone from your team to clients is on board with the program and is working to make it happen. Getting a test live isn’t an easy thing to do, it requires many resources and people that at times can hold you back or completely stop the testing program which is why the report must be built in a way that reflects the team’s efforts, highlights their success, gets all the team and resources on the same page and aligns them.
Was sind Deine Erfahrungen bei der Kommunikation von Testergebnissen an Kollegen, Vorgesetzte oder Kunden? Wie baust Du Deine Reports auf? Wie wird mit Diskussionen über Testergebnisse umgegangen?
Wir freuen uns über Austausch in den Kommentaren!
An dieser Stelle möchten wir uns auch noch einmal bei unseren Partnern aus der Global Optimization Group sowie den weiteren Experten für die Statements aus internationaler Sicht bedanken!
