Product Testing: 12 Monate Research für die Tonne und wie du es besser machst
Weit über 70 Prozent aller neu entwickelten Produkte scheitern. Geht man nach der Harvard Business School und Clayton Christensen, dann sind es sogar 95 Prozent1. Daher sprach ich mit Stephen Pavlovich von conversion.com über Product Testing und er erzählte mir, wie bei Dominos Pizza komplexe, 12-monatige Researchprojekte (die nicht einmal valide gewesen sind, doch dazu später mehr) in 7-Tage Product Testing, transformiert wurden – Insights, die ich dir nicht vorenthalten wollte.
Product Testing auf dem growth marketing SUMMIT
Am 15. Juni 2022 begrüßen wir alle Optimierer:innen und Conversion Heroes in der „neuen“ Alten Oper in Frankfurt am Main zum growth marketing SUMMIT. Insgesamt warten 12 inspirierende Vorträge über Behavioral Design, A/B-Testing, Analytics uvm. im TED-Style auf dich. Stephen Pavlovich wird dabei über Product Testing sprechen. Er ist CEO von conversion.com, der größten britischen Agentur für Conversion-Optimierung und zählt aufgrund seiner zahlreichen Kundenerfolge und Branchenkenntnisse zu einem der bekanntesten CRO-Influencer.
Was ist Product Testing für dich?
„Product Testing? Das machen wir doch schon!“, wirst du dir vielleicht jetzt denken. Daher zunächst eine Frage:
Was definierst du eigentlich als Produkt innerhalb deines (nicht) vorhandenen Experimentation-Programms?
- Sind es Buttons oder neue Seitenelemente, die du testest?
- Veränderst du dein Design, die Ansprache oder deine Rabatt-Deals?
- Oder testest du auch dein tatsächliches Endprodukt, schließlich heißt es ja Product Testing, nicht wahr?
Und wenn ja: testest du (neu geplanten) Produkte mit Fokusgruppen, Surveys und Blindstudien in monatelangen Projekten, um herauszufinden, ob sie funktionieren?
Greifst du auf Teams, viele Ressourcen und aufwendige Research Labs zurück, oder setzt du auch auf die agilen Wege von Experimentation und Product Testing?
Nein?
Was machst du dann, wenn du herausfinden willst, ob die Lieferkosten optimiert werden können? Lässt du solche Themen lieber sein, weil du damit intern sowieso abschmettern würdest?
Stephen hat mir im Interview verraten, warum echtes Product Testing mehr ist als Buttons und Pixelschubsen. Denn auf der Produktebene wird massiv Zeit und Geld durch agiles Experimentieren entlang des Produkts gespart, was letztlich auch ein strategischer Wettbewerbsvorteil ist.
Lass uns genauer anschauen, wie conversion.com mit Dominos eine neue Pizza getestet hat.
12 Monate Product Research für die Katz
Um den Experimentation-Weg des Pizzaherstellers besser nachzuvollziehen, ist es einfacher zu schauen, wie es bisher gelaufen ist.
Regelmäßig hat Dominos neue Ideen für Pizzen, Beilagenvariationen, Toppings usw. Wollte man früher eine neue Pizza an den Markt bringen, wurden die favorisierten Ideen in Blindstudien, Analysen zur Verkostung, Fokusgruppen und Surveys untersucht.
Aber ein Problem blieb bestehen: letztlich konnte die neue Pizzavariation nicht am Markt getestet werden. 12 Monate Research-Aufwand flossen bereits in ein vergangenes Projekt, bis letztlich herauskam, dass die von Dominos bevorzugte Pizza nicht am Markt bestehen würde.
Daraufhin passierte etwas, was HIPPO-Flüsterer nur zu gut kennen. Das Flüstern war gelaufen, 12 Monate wurde geschuftet, Teams ausgelastet und dann sollte das Produkt nicht live gehen? Die Macht der HIPPOS schlug zu und sie drückten das Produkt durch.
Der Witz an der Sache?! Dominos hatte Glück, denn die Pizza wurde am Markt, aller Research-Ergebnisse zum Trotz, angenommen.
Lass das erneut sacken: du arbeitest 12 Monate, um durch Research ein valides Produkt zu entwickeln, bekommst dann heraus, dass es scheitern wird und rollst es letztlich mit Erfolg aus.
„Auf nichts ist mehr Verlass!“ … könnten viele jetzt meinen.
Aber keine Angst, denn mit all dem Wissen, ist es an der Zeit, mehr aus unseren Analysen herauszuholen und uns zu fragen, was wir besser machen können, um Produkte letztlich am Markt zu testen. Mit Experimenation kannst du Produkte wesentlich schneller auf Erfolg untersuchen – hier liegt das große Potenzial. Genau das hat auch Dominos erkannt und sich für Product und Smoke Testing entschieden.
Product Testing mit User Experience im Blick
Womöglich schwitzt du bereits, wenn du an Product Testing, Smoke Tests oder die Fake Door Methode denkst. Denn was für mögliche negative Effekte auf die User Experience könnten hier entstehen, wenn du Dinge verkaufst, die du gar nicht verkaufst?!
Eigentlich ist es ganz einfach und Stephen hat auch hier spannende Einblicke zu berichten. Im Fall von Dominos wurden die Pizza-Ideen im Online-Menü integriert. Shop-Besucher sahen also alle Pizzen und konnten den Bestellprozess ganz normal beginnen.
Im ersten Schritt war nicht ersichtlich, dass es sich nur um einen Test handelt. Bild: Dominos.de
Doch sobald die Kunden im Warenkorb näher an den Kaufabschluss rückten, wurden sie mit der harten Realität konfrontiert. Und diese war äußerst transparent.
Dominos schilderte, dass die Besteller soeben an einem Experiment teilgenommen hatten (um zukünftig eine neue Pizza an den Markt zu bringen). Eine entsprechende Incentivierung sorgte dafür, die Customer Experience trotz der nicht vorhandenen Pizza positiv zu beeinflussen.
User Experience Fun Fact: das Experiment wurde an 7 Tagen für 20 Prozent aller Dominos Kunden in ganz UK ausgerollt und es kamen nur 2 Beschwerden.
Daraus kannst du schlussfolgern, dass der Wert eines Smoke Tests für neue Produkte Sinn ergibt, denn die Vorteile in Form von Insights und Daten überwiegen hier deutlich.
Die Pizzawahl war auf Kundenseite keineswegs verschenkt, denn alle Kunden nahmen an einem Test inkl. Incentivierung teil, der ihnen zusätzlich in der Zukunft die beste Pizza bringen würde.
Dominos konnte so den Research-Aufwand von 12 Monaten auf 7 Tage inkl. valider Daten reduzieren.
Natürlich benötigen anschließende interne Reviews ihre Zeit, doch der Initial-Benefit bleibt bestehen:
- Dominos besaßen danach wesentlich mehr Daten,
- sie wussten, worauf Kunden im Shop angesprungen sind
- und konnten wesentlich besser eine Entscheidung der nächsten Schritte treffen.
Dominos haben den Smoke Test erfolgreich eingesetzt und sind damit in guter Gesellschaft. Erinnere dich nur an Tesla und die Beispiele, die wir im Beitrag 10 praxisnahe Tipps für mehr Mut und Innovation skizziert haben.
Was sind weitere Gründe, dass diese Form des agilen Product Testings zum Erfolg wurde? Schließlich wurde die Pizza ja nie ausgeliefert!
Als Erstes muss das finale Live-Produkt auch mit der Beschreibung mithalten. Ein Vorteil ist es, dass Dominos ein Produkt besitzt, dass durch identische Zutaten und Lieferanten immer ein gleichbleibendes Geschmackserlebnis erzeugt. Dies trifft tendenziell auch auf viele andere Food Delivery Services zu. Denn ist der Teig im Pizzarestaurant etabliert, bleibt er schließlich so.
Stelle also sicher, dass dein letztlich geliefertes Produkt auch dem entspricht, was du vorher angepriesen hast.
Beim growth marketing summit wird dir Stephen auch zeigen, wie andere Branchen agiles Product Testing ebenfalls erfolgreich eingesetzt haben – sei gespannt, ich bin es bereits!
Let’s talk about Culture: Denkweisen für agiles Product Testing und das Experimentation Flywheel
Natürlich kannst du nicht bei jedem Produkt und in jeder Organisation mit so einem Test direkt ins Haus fallen. Gleichwohl ist es für mich unvorstellbar, mit Ideen den Markt zu überraschen, ohne sie vorher zu testen, ohne zu fragen, oder ohne einen A/B-Test laufen zu lassen.
Viele vertrauen noch immer nicht auf Experimente oder erliegen in der Produktentwicklung bekannten Denkfehlern wie dem Confirmation Bias. Hier ein Klassiker aus meiner Conversion Whiteboard Reihe… vielleicht sollte ich den Clip ja mal wieder updaten 😅
Alte Strukturen und Denkweisen hindern häufig das agile Testing – du kennst das …
Stephen würde Dominos, was das Testing und Experimentieren betrifft, auch eher als konservatives Unternehmen einordnen. Jedoch waren und sind sie immer offen für Innovation gewesen und befinden sich bereits am Punkt der Mixed Culture. Bereits frühzeitig wurde Preisanpassungen untersucht. Auch die Lieferkosten wurden digital getestet. Denn mit dem richtigen Vorgehen sind solche Untersuchungen kein Problem und haben auch keine negativen Folgen.
Mit kleineren Erfolgen wurde intern das Vertrauen und die Sichtweisen auf das Experimentation Programm gesteigert. Solche Erfolge können auch schnell zu einem Experimentation Flywheel führen, wie es Microsoft, Booking.com und Outreach.io bereits beschrieben haben.
Letztlich geht es beim Flywheel darum, einen Kreislauf aus Experimenten und Ergebnissen zu etablieren, mit dem du intern das Vertrauen in dein Programm steigerst. Hast du den ersten Lauf geschafft, ist es einfacher, neue Hypothesen zu entwickeln und dem Rad immer wieder einen Schwung zu geben, bis daraus am Ende fast ein Selbstläufer aus Build-Measure-Learn geworden ist.
Build-Measure-Learn für bessere Produktentwicklung
Alles aus meinem 30 Minuten Interview mit Stephen abzubilden, würde sicherlich den Rahmen sprengen. Außerdem erwartet uns (und hoffentlich auch dich) weitere starke Insights auf dem growth marketing SUMMIT. Ich hoffe jedoch, dass du bereits einen spannenden Einblick ins Product Testing gewonnen hast. Denn es existieren viele Wege dein tatsächliches Endprodukt, ob bestehend oder nicht, am Markt zu untersuchen.
Meine Key-Points bisher:
- Product und Smoke Testing muss nicht kompliziert sein.
- Dominos hat es geschafft, den eigenen Research-Aufwand von Monaten auf wenige Tage zu verkürzen und neue Denkweisen, was Product to Market Research betrifft, einzuführen.
- Etabliere einen Kreislauf aus Experimenten und Ergebnissen, mit dem du intern das Vertrauen in dein Programm steigerst.
91 Prozent schnellere Ergebnisse und mehr valides Kunden-Feedback sprechen eine deutliche Sprache. Persönlich denke ich, dass sich solche Erkenntnisse auch auf viele andere Branchen übertragen lassen – Build-Measure-Learn lohnt sich also.
Auch ein Modeshop könnte bspw. zusammen mit Lieferanten frühzeitig Smoke Tests durchführen. Basierend auf der Nachfrage könnte man einen „Fake Dress Test” durchführen oder gänzlich neue Sortimente untersuchen – die Möglichkeiten scheinen mir vielfältig.
Ich bin gespannt, was uns Stephen noch zeigen wird.
Du hast noch kein Ticket? Hier entlang.
Vielleicht sehen wir uns ja auf dem Summit.
André
