Von André Morys | Conversion Whiteboard | 2 Reaktionen

Conversion Whiteboard 20: Wie „Sample Pollution“ Dir den Uplift versaut

Surfen Deine Nutzer bis zur Conversion auf unterschiedlichen Devices, vermischen sich die Stichproben in Deinen A/B-Tests und das kann Dir den Uplift ziemlich versauen. Wie Du mit dem Effekt der „Sample Pollution“ umgehst, erklären wir Dir kurz und knapp hier.

Diese Episode des Conversion Whiteboard dreht sich um den Effekt der „Sample Pollution“ – einen Effekt, dessen sich viele Conversion Manager gar nicht bewusst sind, der aber Uplifts schrumpfen lassen kann. Schau Dir das 3-minütige Whiteboard hier direkt an:

Wenn sich Stichproben vermischen

Ein Kunde macht Deinen Shop auf, navigiert zum Produkt und klickt auf den Buy Button. Eine schöne Vorstellung, oder? Die Realität beherrscht allerdings häufig ein ganz anderes Bild. Und das hat Auswirkungen auf die Uplifts in Deinen A/B-Tests.

Nicht selten ergibt sich ein Szenario wie dieses:

Ein Kunde surft tagsüber im Büro an seinem Desktop-Rechner auf Deiner Seite. Ihm wird Variante A ausgespielt. Die Variante gefällt ihm gut. Er entscheidet sich, bei Dir zu kaufen. Doch er möchte noch Rücksprache mit seiner Frau halten.

Abends zu Hause auf dem Sofa angekommen setzt er den Kauf mit seinem iPad fort. Beim Öffnen der Seite würfelt das Testing Tool wieder neu und er bekommt Variante B zu sehen. Die Variante gefällt ihm nicht so gut, aber er hatte seine Entscheidung ja bereits getroffen. Nach dem Go seiner Frau wird gekauft.

Was ist passiert?

Obwohl Deine Optimierung wirksam war, wird der Besucher neu gezählt, neu zugeordnet. Die Conversion wird in diesem Fall Variante B zugeordnet.

Wenn das einmal passiert, ist es nicht weiter schlimm. Doch im Laufe der Zeit kann es sich häufen. Dann vermischen sich die zwei Stichproben zunehmend.

Ein Besucher, der sich für Variante A entschieden oder auf Basis von Variante A gekauft hat, wird auf einmal Variante B zugerechnet.

Diese Vermischung der Stichproben (Sample Pollution) sorgt dafür, dass Dein Uplift mit der Zeit immer geringer wird.

3 Tipps zum richtigen Umgang mit Sample Pollution

Lass Dir von einer Vermischung Deiner Stichproben nicht den Uplift versauen, sondern halte Dich beim Testing an diese 3 Tipps:

  • Nutze dieses Wissen, um zu erkennen, weshalb stabile Uplifts im Laufe der Zeit dahinschmelzen können.
  • Quantifiziere das Problem, um den Effekt der Sample Pollution greifbar zu machen: Untersuche dazu in Deinem Analytics Tools, wie oft es passiert, dass Nutzer sich über mehrere Devices hinweg bewegen. Betrachte dabei den Zeitraum und die Anzahl Nutzer, auf die es zutrifft.
  • Spiele Deine A/B-Tests unabhängig voneinander aus. Das heißt: Erstelle einen Test konkret für ein Desktop-Gerät und einen weiteren Test ganz speziell für mobile Geräte. Dadurch verhinderst Du, dass sich die Stichproben vermischen (Sample Pollution). Und so bleibt Dein Uplift hoffentlich schön stabil und du kannst mehr Erfolge feiern.

 

Ich wünsche Dir viel Spaß beim Optimieren und freue mich über Kommentare!

Lust auf weitere Conversion Whiteboards?

Alle Episoden des Conversion Whiteboards findest Du in unserem YouTube Kanal:

 

 

Vielen Dank an Denis Leno für die technische Unterstützung beim Dreh.

 

André Morys

André Morys ist Gründer und Vorstand von konversionsKRAFT und beschäftigt sich seit 1996 mit der Conversion Optimierung von Websites und Onlineshops. André Morys ist Dozent für User Experience an der TH Mittelhessen und Autor des Fachbuchs "Conversion Optimierung". Er ist häufiger Sprecher und Moderator auf Konferenzen.
Frage zum Artikel? Frag den Autor

2 Reaktionen auf „Conversion Whiteboard 20: Wie „Sample Pollution“ Dir den Uplift versaut

  1. Einfach immer wieder gut. Es erinnert mich daran, dass ich das längt hatte tun wollen. Das war der letzte Antrieb. Danke!

    • Kleiner, aber feiner Tipp. Danke euch!

      Schreibe einen Kommentar

      Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.