Von André Morys | Conversion Whiteboard | 2 Reaktionen

Conversion Whiteboard 20: Wie „Sample Pollution“ Dir den Uplift versaut

Surfen Deine Nutzer bis zur Conversion auf unterschiedlichen Devices, vermischen sich die Stichproben in Deinen A/B-Tests und das kann Dir den Uplift ziemlich versauen. Wie Du mit dem Effekt der „Sample Pollution“ umgehst, erklären wir Dir kurz und knapp hier.

Diese Episode des Conversion Whiteboard dreht sich um den Effekt der „Sample Pollution“ – einen Effekt, dessen sich viele Conversion Manager gar nicht bewusst sind, der aber Uplifts schrumpfen lassen kann. Schau Dir das 3-minütige Whiteboard hier direkt an:

Wenn sich Stichproben vermischen

Ein Kunde macht Deinen Shop auf, navigiert zum Produkt und klickt auf den Buy Button. Eine schöne Vorstellung, oder? Die Realität beherrscht allerdings häufig ein ganz anderes Bild. Und das hat Auswirkungen auf die Uplifts in Deinen A/B-Tests.

Nicht selten ergibt sich ein Szenario wie dieses:

Ein Kunde surft tagsüber im Büro an seinem Desktop-Rechner auf Deiner Seite. Ihm wird Variante A ausgespielt. Die Variante gefällt ihm gut. Er entscheidet sich, bei Dir zu kaufen. Doch er möchte noch Rücksprache mit seiner Frau halten.

Abends zu Hause auf dem Sofa angekommen setzt er den Kauf mit seinem iPad fort. Beim Öffnen der Seite würfelt das Testing Tool wieder neu und er bekommt Variante B zu sehen. Die Variante gefällt ihm nicht so gut, aber er hatte seine Entscheidung ja bereits getroffen. Nach dem Go seiner Frau wird gekauft.

Was ist passiert?

Obwohl Deine Optimierung wirksam war, wird der Besucher neu gezählt, neu zugeordnet. Die Conversion wird in diesem Fall Variante B zugeordnet.

Wenn das einmal passiert, ist es nicht weiter schlimm. Doch im Laufe der Zeit kann es sich häufen. Dann vermischen sich die zwei Stichproben zunehmend.

Ein Besucher, der sich für Variante A entschieden oder auf Basis von Variante A gekauft hat, wird auf einmal Variante B zugerechnet.

Diese Vermischung der Stichproben (Sample Pollution) sorgt dafür, dass Dein Uplift mit der Zeit immer geringer wird.

3 Tipps zum richtigen Umgang mit Sample Pollution

Lass Dir von einer Vermischung Deiner Stichproben nicht den Uplift versauen, sondern halte Dich beim Testing an diese 3 Tipps:

  • Nutze dieses Wissen, um zu erkennen, weshalb stabile Uplifts im Laufe der Zeit dahinschmelzen können.
  • Quantifiziere das Problem, um den Effekt der Sample Pollution greifbar zu machen: Untersuche dazu in Deinem Analytics Tools, wie oft es passiert, dass Nutzer sich über mehrere Devices hinweg bewegen. Betrachte dabei den Zeitraum und die Anzahl Nutzer, auf die es zutrifft.
  • Spiele Deine A/B-Tests unabhängig voneinander aus. Das heißt: Erstelle einen Test konkret für ein Desktop-Gerät und einen weiteren Test ganz speziell für mobile Geräte. Dadurch verhinderst Du, dass sich die Stichproben vermischen (Sample Pollution). Und so bleibt Dein Uplift hoffentlich schön stabil und du kannst mehr Erfolge feiern.

 

Ich wünsche Dir viel Spaß beim Optimieren und freue mich über Kommentare!

Lust auf weitere Conversion Whiteboards?

Alle Episoden des Conversion Whiteboards findest Du in unserem YouTube Kanal:

 

 

Vielen Dank an Denis Leno für die technische Unterstützung beim Dreh.

 

André Morys

André Morys

André Morys, Jahrgang 1974, ist Autor des Buches „Conversion Optimierung“ und Vorstand von konversionsKRAFT – Deutschlands führender Agentur für Conversion Optimierung.

konversionsKRAFT beschäftigt über 70 Mitarbeiter an vier Standorten und betreut ein Lead-/Retailvolumen von über 7 Milliarden Euro. André Morys ist Initiator und Gründer der Global Optimization Group.

Zu den Kunden zählen namhafte nationale und internationale Onlinehändler, Finanzdienstleister und Markenhersteller, denen konversionsKRAFT geholfen hat, die Konversionsrate teilweise mehr als zu verdoppeln.

Die Artikel von André Morys auf dem konversionKRAFT Blog werden von Fach und Publikumsmedien gleichermaßen aufgegriffen. Artikel, Interviews und Beiträge von André Morys sind bislang bei t3n, AdZine, iBusiness.de, webselling, Website Boosting, InternetWorld und vielen weiteren Magazinen erschienen.

Er ist zusätzlich als Dozent an der Fachhochschule Würzburg tätig und hält zahlreiche Keynotes und Vorträge auf nationalen und internationalen Kongressen zu den Themen E-Commerce, Optimierungsstrategien und Conversion Optimierung.

2009 und 2018 wurde André Morys als einer der besten Arbeitgeber Deutschlands von der Universität St. Gallen im Rahmen der Initiative “Top-Job” ausgezeichnet.

2010 wurde die Web Arts AG (konversionsKRAFT) als einer der innovativsten Unternehmen Deutschlands von Lothar Späth im Rahmen der Initiative „Top 100“ ausgezeichnet.

André Morys ist Organisator und Veranstalter des growthmarketingSUMMIT, der jährlichen Fachkonferenz für Conversion Optimierer und Onlinemarketer.

Frage zum Artikel? Frag den Autor!

2 Reaktionen auf „Conversion Whiteboard 20: Wie „Sample Pollution“ Dir den Uplift versaut

  1. Einfach immer wieder gut. Es erinnert mich daran, dass ich das längt hatte tun wollen. Das war der letzte Antrieb. Danke!

    • Kleiner, aber feiner Tipp. Danke euch!

      Schreibe einen Kommentar

      Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.