In 4 Schritten vom A/B-Test zur Personalisierung

Der Test ist gestoppt, der Uplift im Tool signifikant und alle sind zufrieden. Super. Ziel erreicht, nächster Optimierungssprint. Wirklich? Das wars? Nein. A/B-Tests können mehr! Sie können die Grundlage für erfolgreiche Personalisierungsmaßnahmen bilden. Durch zielgerichtete Segmentierung der Testergebnisse nach Kundeneigenschaften lassen sich unterschiedliche Kundenbedürfnisse aufdecken. Dadurch kommst Du dem Ziel der Personalisierung ein Stück näher und hebst die wahren Uplift-Schätze.

Abb. 1: Unterschiedliche Ansprachen für unterschiedliche

Abb. 1: Unterschiedliche Ansprachen für unterschiedliche Kundentypen

Das Problem der Personalisierung

Wer sich mit Personalisierung beschäftigt, kennt das: Man weiß zwar, dass unter-schiedliche Kundentypen im eigenen Onlineshop unterwegs sind; Während der eine auf der Suche nach einem Schnäppchen ist, sucht der Trendsetter nach den neuesten und hipsten Produkten. Wenn diese beiden Typen nur irgendwie identifiziert werden könnten, würde man sie doch mit unterschiedlichen Inhalten ansprechen, die zu ihren Bedürfnissen passen. Was im Stationärhandel funktioniert, stellt Onlinemarketer vor große Herausforderungen.

Die schlechte Nachricht: Ohne Datenanalysen, die schnell komplex und aufwendig werden können, geht es nicht. Die gute Nachricht: Du kann auch einfach starten und bereits gute Ergebnisse erzielen.

Abb. 2: Agiler Testingprozess für eine personalisierte Ansprache

Abb. 2: Agiler Testingprozess für eine personalisierte Ansprache

Personalisierung durch Segmentierung

In der Regel werden A/B Tests dazu genutzt, um zu entscheiden, ob die Testvariante besser funktioniert als die aktuelle Variante im Shop. Testergebnisse werden dabei jedoch über alle Testteilnehmer reported und es wird vernachlässigt, dass unterschiedliche Besuchergruppen auch unterschiedlich reagieren können. Ein bekanntes Beispiel ist das Testen von Unique value propositions, also der Faktoren, die ein Unternehmen einzigartig machen. Oft reagieren Neukunden hier anders als Stammkunden. Bestandskunden sind diese Vorteile bereits bekannt, doch bei Neukunden helfen sie, die Vorzüge eines Kaufs zu kommunizieren.

Abb. å3: Unterscheidung in profitable und nicht profitable Kunden im Test

Abb. 3: Unterscheidung in profitable und nicht profitable Kunden im Test

Abbildung 3 verdeutlicht dieses Problem. Während es Kundengruppen gibt, bei denen signifikante Uplifts erzielt werden, kann es auch Kunden geben, bei denen das Konzept nicht funktioniert oder sogar signifikante Downlifts gemessen werden.

Natürlich sollen Umsätze im eigenen Onlineshop maximiert und möglichst viel aus einem Optimierungskonzept herausgeholt werden. Folglich würde man dieses Konzept nur für diejenigen Kundengruppen ausrollen, die den höchsten Uplift aufweisen, also am besten auf das Konzept reagieren. Diese Kundengruppen lassen sich durch Segmentierungsanalysen identifizieren. Auf diese Weise werden Kunden personalisiert angesprochen und die zusätzlichen Umsätze können maximiert werden.

Grundlegendes Ziel der Segmentierungsmethode ist es, über zielgruppenspezifische A/B Testings profitable Kundengruppen zu identifizieren und das Konzept für diese Kunden personalisiert auszuspielen.

Die 4 Schritte der Segmentierung

Grafik 4 zeigt die Schritte des Segmentierungsansatzes, welche im Folgenden einzeln beschrieben werden.

Abb. 4: Personalisierungsprozess mit Hilfe von A/B Testings

Abb. 4: Personalisierungsprozess mit Hilfe von A/B Testings

Schritt #1: Zielgruppenspezifisches A/B Testing, was ist das?

Bevor Du mit dem A/B-Testing beginnst, ist die qualitative Beschreibung der Zielgruppe ein wichtiger Schritt, um Erkenntnisse über unterschiedliche Kundentypen zu gewinnen. Diese bestehen im Kern aus deskriptiven Beschreibungen unterschiedlicher Kundenbedürfnisse und dienen als Basis für die Entwicklung personalisierter Inhalte.

Beispiel:

Angenommen, Du bist Besitzer eines Fashion-Onlineshops. In der Kategorie „Sale“ bietest Du preisreduzierte Artikel an, im Bereich „Neuheiten“ die aktuellen Trends. Die qualitative  Zielgruppenbeschreibung zeigt, dass es im Kundenstamm zwei grundlegend verschiedene Kundentypen mit unterschiedlichen Bedürfnissen gibt:

Während die eine Gruppe sehr preisorientiert ist, möchte die andere stets mit den neusten Trends gehen. Je nachdem, welcher Kundentyp mit seinem individuellen Kaufintent nun auf die Seite kommt, sind unterschiedliche Inhalte in unterschiedlicher Form für ihn relevant. Durch eine personalisierte Optimierung auf die Bedürfnisse kannst Du den jeweiligen Kundentypen besser ansprechen und so die Kaufwahrscheinlichkeit erhöhen.

Für die zwei Zielgruppen der „Preisbewussten“ und „Trendsetter“ lassen sich beispielhaft folgende zwei passende Optimierungskonzepte entwickeln: Im ersten A/B-Test zielst Du durch eine optimierte Preiskommunikation auf die Bedürfnisse der Preisbewussten ab. In einem zweiten A/B-Test sortierst Du die Kategorieseiten nach Neuheiten und fängst so die Bedürfnisse der Trendsetter besser ein.

Kurz: Beim zielgruppenspezifischen A/B Testing gehst Du mit Hilfe von maßgeschneiderten Optimierungssprints auf individuelle Kundenbedürfnisse ein und evaluierst den Effekt dieser Maßnahmen.

Schritt #2: Teste zielgruppenspezifisch auf der gesamten Kundenbasis

Wenn Du Dich mit Personalisierung bereits näher befasst, stellst Du Dir jetzt die Frage: Das heißt, ich muss zuerst diese Kundentypen identifizieren und dann Personalisierungsmaßnahmen nur für diese Kundentypen testen?

Abb. 5: Zielgruppenspezifische Testkonzepte für unterschiedliche Kundentypen

Abb. 5: Zielgruppenspezifische Testkonzepte für unterschiedliche Kundentypen

Es funktioniert andersherum: Du führst erst A/B-Tests auf einer breit gestreuten Kundenbasis durch um die Kundengruppen dann mit Hilfe dieser Testergebnisse zu identifizieren. Der Segmentierungsansatz arbeitet mit der Annahme, dass es keine gesicherten Erkenntnisse dazu gibt, welche Kundengruppen am besten auf einzelne Testkonzepte reagieren. Ziel ist es, genau das herauszufinden. Folglich sollte die Kundenbasis, die in den Test kommt, möglichst breit gestreut sein, um besonders viel aus dem Test herauszuholen.

Abb. 6: Breite Kundenbasis für maximale Insights

Abb. 6: Breite Kundenbasis für maximale Insights

Das Problem ist, dass unter personalisiertem Testing oft verstanden wird, dass Testkonzepte auf einer sehr spezifischen Kundenbasis getestet werden. Ein Beispiel: „Bestandskunden, die in zwei bestimmten Kategorien gekauft haben, über Email-Kampagen auf die Seite kommen und dabei ihr Smartphone nutzen“. Alle anderen werden vom Test ausgeschlossen.

Wenn Du so beginnst, verlierst Du die Möglichkeit, herauszufinden, wie die ausgeschlossenen Segmente auf das Konzept reagieren. Liegst Du also mit Deinen Annahmen falsch, so werden Kundengruppen ignoriert, die vielleicht doch gut auf das Konzept reagiert hätten. So riskierst Du potentielle Umsatzverluste. Nur wenn gesicherte Erkenntnisse aus anderen A/B-Tests, Webanalysen o.ä. vorliegen, kann eine Einschränkung der zu testenden Kundenbasis Sinn machen. Ansonsten solltest Du die Kundenbasis für den Test möglichst groß halten.

Beispiel:
Angenommen, Du hast für den trendbewussten Fashion-Kunden ein Optimierungskonzept entwickelt. Es gibt keine datengetriebene Erkenntnisse zu dieser Zielgruppe: Sind es Neukunden? Eher Frauen? Über welchen Kanal kommen sie auf die Seite? Du solltest hier also kein spezifisches Segment vom A/B-Test ausschließen, sondern erstmal alle Besucher in den Test lassen, um genau diese Fragen beantworten zu können.

Bevor der Test startet, ist es wichtig eine gute Dateninfrastruktur zu schaffen. Dazu gehören folgende drei Aspekte:

Aspekt 1: Verbinde das Testing-Tool mit Analytics-Systemen
Hauptkern der Segmentierungsmethode ist eine Analyse der Testergebnisse in Abhängigkeit von Kundendaten. Diese Daten stammen in der Regel aus dem Webanalytics-System oder dem Data Ware House (DWH). Dafür ist eine Verbindung des Testing-Tools mit anderen Datenquellen unerlässlich. Vor dem Test solltest Du sicherstellen, dass die Testvarianten sauber in das Webanalytics Tool / Backend übergeben werden, um sie später für gezielte Analysen nutzen zu können. Wird ein Personalisierungstool verwendet, lassen sich andere Datenquellen in der Regel problemlos anbinden.

Abb. 7: Verbindung von Datenquellen

Abb. 7: Verbindung von Datenquellen

Aspekt 2: Sorge für eine ausreichende Testgröße
Zudem ist es wichtig, dass die Testgröße auch in den Segmenten ausreichend ist. Wir empfehlen Dir, die Testlaufzeit mindestens zu verdoppeln, damit Du auch in kleineren Segmenten valide Ergebnisse erzielst.

Aspekt 3: Definiere die relevanten Kundeneigenschaften
Der Ansatz der Segmentierung ist ein Stück weit explorativ. Du beginnst zunächst, in den Kundendaten nach signifikanten Unterschieden zu „suchen“. Damit Du hier nicht im Nebel stocherst, empfehlen wir Dir, eine Liste von Kundeneigenschaften zu erstellen, bei denen Du unterschiedliche Reaktionen auf das Testkonzept erwartest.

Beispiele relevanter Kundeneigenschaften:

  • Alter
  • Geschlecht
  • Device
  • Geolocation
  • Neu-/Bestandskunde
  • Traffic Source
  • Kaufkategorie
  • Suchanfragen
  • Besuchte Kategorien
  • Verweildauer
  • Retourenquote
  • Warenkorbwert
  • Anzahl gekaufte Sale-Artikel
  • Anzahl der Besuche

Schritt #3: Schicke die Testergebnisse durch eine Segmentierungsanalyse

Mit einfachen Analysen starten
Um es nicht gleich von Anfang an zu komplex zu machen, solltest Du für erste Segmentierungsanalysen die bereits verfügbaren Kundeneigenschaften im Testing Tool nutzen, (z.B. Device, Neu-/Bestandskunde, Traffic-Quelle). Oft ergeben sich hier bereits Erkenntnisse die Du für eine erste Personalisierung nutzen kannst.

Das Analyticstool für ein umfassendes Kundenbild
Verwende für weitere Erkenntnisse Daten aus dem Analytics System bzw. dem DWH. Aus den Daten und der Testzuordnung kannst Du dann den Uplift in Abhängigkeit von Kundeneigenschaften berechnen.

Beispiel:
Eine Datenmatrix zur Analyse der Segmente aus dem Trendsetter-Test kann folgendermaßen aussehen:

Tab. 1: Beispiel Datenmatrix

Tab. 1: Beispiel Datenmatrix

Du kannst zum Beispiel analysieren, ob der Erfolg des Konzepts abhängig vom Alter der Kunden ist. Dafür bildest Du einzelne Altersklassen, berechnest die Conversion Rate in Test- und Kontrollgruppe und stellst diese gegenüber. Mit Hilfe eines Signifikanzrechners kannst Du prüfen, ob es systematische Unterschiede der Conversion Rates gibt.

Tab. 2: Segmentierung nach Altersgruppen

Tab. 2: Segmentierung nach Altersgruppen

Die Segmentierung nach Altersgruppen zeigt, dass das Trendsetter-Konzept besser bei jüngeren als bei älteren Kunden funktioniert. Das Alter ist also ein wichtiger Faktor, wenn es um die Identifikation von trendbewussten Kunden geht.

Dieses Verfahren kannst Du für weitere Kundendaten fortführen, sodass nach und nach ein umfassendes Bild der Testergebnisse in einzelnen Segmenten entsteht:

Abb. 8: Das Testergebnis für unterschiedliche Kundeneigenschaften darstellen

Abb. 8: Das Testergebnis für unterschiedliche Kundeneigenschaften darstellen

Im Beispiel zeigt sich, dass neben dem Alter weitere Eigenschaften relevant sind: Weibliche Kunden, Stammkunden mit mehreren Bestellungen sowie Kunden, die in unterschiedlichen Kategorien gekauft haben, sprechen besonders gut auf das Konzept an. Wird die Kombination dieser Eigenschaften betrachtet, verstärkt sich der Effekt sogar, da die Zielgruppe noch treffgenauer beschrieben wird.

Im Beispiel gewinnst Du durch den A/B-Test datengetriebene Erkenntnisse über die Zielgruppe, welche mit den qualitativen Kundenbeschreibungen kombiniert werden, sodass Du immer mehr Infos über die Kunden des Onlineshops erhältst und nutzen kannst:

Abb. 11: Quantitative und qualitative Zielgruppenbeschreibungen verbinden

Abb. 9: Quantitative und qualitative Zielgruppenbeschreibungen verbinden

Schritt #4: Personalisierte Aussteuerung und Verfeinerung
Nachdem Du identifiziert hast, in welchen Kundensegmenten das Konzept zu den höchsten Uplifts führt, werden die Kunden gezielt über das Testing bzw. Personalisierungstool angesprochen. Besucht ein Kunde den Shop, wird anhand seiner Eigenschaften (Daten aus dem Tracking) geprüft, ob er in das Segment der Kunden fällt, für die das Personalisierungskonzept relevant ist. Ist dies der Fall, erhält er entsprechend die persönliche Ansprache.

Abb. 10: Je mehr A/B-Tests desto mehr Erkenntnisse

Abb. 10: Je mehr A/B-Tests desto mehr Erkenntnisse

Mit agilen Optimierungssprints gewinnst Du laufend neue Erkenntnisse über unterschiedliche Kundenbedürfnisse und entwickelst ein datengetriebenes Vorgehen für eine erfolgreiche Personalisierung.

Für die Daten-Nerds: Das ökonometrische Scoring-Modell
Auf Basis der Kundendaten kannst Du mit Hilfe von Machine Learning-Methoden ökonometrische Prognosemodelle entwickeln.

Abb. 13: Die Super-Formel zur Prognose des Kundentyps

Abb. 11: Die Super-Formel zur Prognose des Kundentyps

Anders als bei der Segmentierungsanalyse werden die profitablen Kundensegmente aus dem ökonometrischen Modell heraus selbst bestimmt. Mit Hilfe von geeigneten Methoden wie Wahrscheinlichkeitsmodellen oder Entscheidungsbäumen werden diejenigen Kundeneigenschaften (und Kombinationen von Eigenschaften) ermittelt, die einen signifikanten Einfluss auf die Höhe des Uplifts aus dem Test haben. So ergibt sich eine Art „Super-Formel“, die prognostiziert, wie hoch der Uplift in bestimmten Kundengruppen in Abhängigkeit der Kundeneigenschaften ist.

Die entwickelten Modelle kannst Du dann verwenden, um für alle Kunden (also auch solche, die nicht im Test waren), einen Score-Wert zu prognostizieren. Für jeden Besucher wird abgeschätzt, ob er positiv auf ein bestimmtes Personalisierungskonzept reagiert oder nicht. So kannst Du entscheiden, welcher Kunde welche personalisierte Ansprache bekommen soll.

Diese Ergebnisse speicherst Du dann Optimalfall im Backend des Onlineshops in einer großen Kundentabelle ab. Jede neue Information, die über einen Kunden gesammelt wird, fließt in dieses dynamische, automatisierte Modell ein und die Informationen werden ständig aktualisiert.

Fazit

  • Durch die Identifikation von profitablen Kundensegmenten im A/B-Test birgst Du nicht nur wahre Uplift-Schätze, sondern gehst auch einen wichtigen Schritt in Richtung Personalisierung.
  • Trotz des „explorativen“ Ansatzes solltest Du strukturiert vorgehen. Beziehe die Ergebnisse nicht wahllos auf einzelne Kundeneigenschaften, um irgendwann in Segment Nr. 27 endlich den Uplift zu finden. Die Segmente müssen interpretierbar bleiben und inhaltlich Sinn machen.
  • Stelle mit einer ausreichend großen Stichprobe in den Segmenten sicher, dass hier valide Ergebnisse erzielt werden können.
  • Agiles Testing liefert ständig neue Erkenntnisse, die für treffgenaue Personalisierung genutzt werden können.
  • Send to Kindle
  • http://kKrft.ly/16D
Julia Engelmann Dr. Julia Engelmann ist Head of Data Analytics bei der Web Arts AG. Nach der Promotion im Bereich Makroökonomie war Julia Engelmann bei der Zalando SE in Berlin im Bereich Data Intelligence und Conversion Optimierung tätig. Bei der Web Arts AG kümmert sie sich um die Themen Webanalytics, Big Data und Personalisierung.

4 Reaktionen auf  “In 4 Schritten vom A/B-Test zur Personalisierung”

Kommentare

  1. Marcel Gabor Marcel Gabor

    Ich lese selten Artikel, wo soviel praxisnahes Wissen in so komprimierter Form zu finden ist. Inhaltlich hab ich für unseren Shop ebenfalls eine Menge mitnehmen können.

    Kleine Methodenkritik: Damit man derartige Analysen fahren kann, muss man auch einen entsprechend hohen Traffic auf seine Seite bringen können. Das ist sicherlich nicht für jede Website möglich.

    Und eine Frage zum Abschluss: Nutzen Sie in der Praxis für die Analysen tatsächlich ein Konfidenzintervall von 95%? Mein Bauchgefühl sagt mir, dass das zwar in der Wissenschaft, aber weniger in der Praxis anzutreffen ist.

    Nochmals danke für den Artikel. Vielleicht trifft man sich ja mal auf einer Veranstaltung.

  2. Julia Freese Julia Freese

    Hallo Herr Gabor,

    vielen Dank für Ihren Kommentar. Ich freue mich, dass der Artikel für Sie hilfreich war.
    Was das Traffic Problem angeht, ja das stimmt. Hier muss man auf jeden Fall aufpassen, dass man nicht zu kleine Segmente bildet. Komplexe Segmentierungen können hier in der Tat schwierig sein. Aber bereits einfache Unterscheidungen, wie Neu-/Bestandskunde, männlich/weiblich, Device,… können wertvolle Insights generieren und sind auch bei mäßigem Traffic möglich. Sind die getesteten Konzepte außerdem kontrastreich genug (das empfiehlt sich bei low traffic websites immer zu tun), findet man auch mit relativ geringen Fallzahlen signifikante Uplifts in Segmenten.

    Was das 95% Level angeht: Wussten Sie eigentlich, dass es gar keine wissenschaftliche Begründung dafür gibt, dass es genau 95% sind und nicht 94% oder 96%? Aber das nur so am Rande 🙂 Es hat sich so etabliert in der wissenschaftlichen Forschung. In der Tag hängt es aber vom konkreten Testkonzept ab, welches Level man ansetzen sollte. Bei Konzepten mit hohem technischen Aufwand sollte man sicher sein, dass es tatsächlich einen Effekt gibt. Dann wird das Level sogar noch höher geschraubt. Wir haben aber auch die Erfahrung gemacht, dass man mit Konfidenzleveln von 92% oder 90% sehr valide und praktikable Ergebnisse erzielt.
    Ich hoffe, das hilft Ihnen weiter.
    Beste Grüße aus Hamburg!

Trackbacks/Pingbacks

  1. […] In 4 Schritten vom A/B-Test zur Personalisierung […]

  2. […] gezielt beeinflussen und lenken (Stichwort: 7-Ebenen-Modell; Neuromarketing; Personalisierung etc.). Eine sehr effektive Methode der Verhaltenssteuerung, die wir Euch heute vorstellen möchten, […]

Hinterlassen Sie einen Kommentar