Conversion Whiteboard 20: Wie „Sample Pollution“ Dir den Uplift versaut

Surfen Deine Nutzer bis zur Conversion auf unterschiedlichen Devices, vermischen sich die Stichproben in Deinen A/B-Tests und das kann Dir den Uplift ziemlich versauen. Wie Du mit dem Effekt der „Sample Pollution“ umgehst, erklären wir Dir kurz und knapp hier.

Diese Episode des Conversion Whiteboard dreht sich um den Effekt der „Sample Pollution“ – einen Effekt, dessen sich viele Conversion Manager gar nicht bewusst sind, der aber Uplifts schrumpfen lassen kann. Schau Dir das 3-minütige Whiteboard hier direkt an:

Wenn sich Stichproben vermischen

Ein Kunde macht Deinen Shop auf, navigiert zum Produkt und klickt auf den Buy Button. Eine schöne Vorstellung, oder? Die Realität beherrscht allerdings häufig ein ganz anderes Bild. Und das hat Auswirkungen auf die Uplifts in Deinen A/B-Tests.

Nicht selten ergibt sich ein Szenario wie dieses:

Ein Kunde surft tagsüber im Büro an seinem Desktop-Rechner auf Deiner Seite. Ihm wird Variante A ausgespielt. Die Variante gefällt ihm gut. Er entscheidet sich, bei Dir zu kaufen. Doch er möchte noch Rücksprache mit seiner Frau halten.

Abends zu Hause auf dem Sofa angekommen setzt er den Kauf mit seinem iPad fort. Beim Öffnen der Seite würfelt das Testing Tool wieder neu und er bekommt Variante B zu sehen. Die Variante gefällt ihm nicht so gut, aber er hatte seine Entscheidung ja bereits getroffen. Nach dem Go seiner Frau wird gekauft.

Was ist passiert?

Obwohl Deine Optimierung wirksam war, wird der Besucher neu gezählt, neu zugeordnet. Die Conversion wird in diesem Fall Variante B zugeordnet.

Wenn das einmal passiert, ist es nicht weiter schlimm. Doch im Laufe der Zeit kann es sich häufen. Dann vermischen sich die zwei Stichproben zunehmend.

Ein Besucher, der sich für Variante A entschieden oder auf Basis von Variante A gekauft hat, wird auf einmal Variante B zugerechnet.

Diese Vermischung der Stichproben (Sample Pollution) sorgt dafür, dass Dein Uplift mit der Zeit immer geringer wird.

3 Tipps zum richtigen Umgang mit Sample Pollution

Lass Dir von einer Vermischung Deiner Stichproben nicht den Uplift versauen, sondern halte Dich beim Testing an diese 3 Tipps:

  • Nutze dieses Wissen, um zu erkennen, weshalb stabile Uplifts im Laufe der Zeit dahinschmelzen können.
  • Quantifiziere das Problem, um den Effekt der Sample Pollution greifbar zu machen: Untersuche dazu in Deinem Analytics Tools, wie oft es passiert, dass Nutzer sich über mehrere Devices hinweg bewegen. Betrachte dabei den Zeitraum und die Anzahl Nutzer, auf die es zutrifft.
  • Spiele Deine A/B-Tests unabhängig voneinander aus. Das heißt: Erstelle einen Test konkret für ein Desktop-Gerät und einen weiteren Test ganz speziell für mobile Geräte. Dadurch verhinderst Du, dass sich die Stichproben vermischen (Sample Pollution). Und so bleibt Dein Uplift hoffentlich schön stabil und du kannst mehr Erfolge feiern.

 

Ich wünsche Dir viel Spaß beim Optimieren und freue mich über Kommentare!

Lust auf weitere Conversion Whiteboards?

Alle Episoden des Conversion Whiteboards findest Du in unserem YouTube Kanal:

 

 

Vielen Dank an Denis Leno für die technische Unterstützung beim Dreh.

 

André Morys

André Morys

André Morys (geb. 1974) ist Gründer und Vorstand von konversionsKRAFT, Deutschlands führender Agentur für Conversion-Optimierung und strategische Beratung in puncto digitales Wachstum. Darüber hinaus ist André Morys Initiator und Gründer der GO Group Digital, die ein weltweites Netz von Experten für digitale Transformation bildet.

Zu seinen Veröffentlichungen zählen “Die digitale Wachstumsstrategie” (2018) und „Conversion Optimierung” (2011) sowie zahlreiche Fachbeiträge in einschlägigen Medien zu Online-Marketing. Er ist zusätzlich als Dozent an der Fachhochschule Würzburg tätig und hält zahlreiche Keynotes und Vorträge auf nationalen und internationalen Kongressen zu den Themen digitales Wachstum, E-Commerce und Optimierungsstrategien.

Frage zum Artikel? Frag den Autor!

2 Reaktionen auf „Conversion Whiteboard 20: Wie „Sample Pollution“ Dir den Uplift versaut

  1. Einfach immer wieder gut. Es erinnert mich daran, dass ich das längt hatte tun wollen. Das war der letzte Antrieb. Danke!

    • Kleiner, aber feiner Tipp. Danke euch!

      Schreibe einen Kommentar

      Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.