Wenn es um Innovationen und Produktentwicklung geht, sind Fehlentscheidungen in vielen Fällen mit hohen Kosten verbunden und haben auch schon das ein oder andere Unternehmen in die Insolvenz getrieben. In einigen (leider nicht allen) Fällen bieten daher Smoke Tests eine adäquate und kostengünstige Lösung, um die Marktakzeptanz noch vor der Realisierung zu testen und / oder ein bestehendes Produkt zu optimieren. Im folgenden Artikel beantworten wir Dir die grundlegenden Fragen zum Thema und zeigen Dir, wie Du Smoke Tests zur strategischen Optimierung einsetzt.

Was sind Smoke Tests?

Im klassischen Sinne handelt es sich bei einem Smoke Test um einen ersten Probelauf im Rahmen der Produktentwicklung. Grundlegende Probleme sollen offengelegt werden, sodass sie vor dem Release behoben werden können.

Auf den Bereich der Conversion Optimierung übertragen bieten Smoke Tests jedoch noch mehr. Sie bieten Dir die Möglichkeit, neue Ideen zu verifizieren, oder bestehende Ideen zu optimieren. Dazu werden innerhalb des Testszenarios Elemente (z.B. neue Produktpakete, Formulare etc.) verwendet, die es zu diesem Zeitpunkt noch nicht gibt. Das ist der Unterschied zu einem einfachen A/B-Test. Daraus ergeben sich zwei grundlegende Fragen:

• Wie sieht so ein Smoke Test in der Praxis aus?
• Wie kann man etwas verkaufen, dass noch gar nicht existiert?

Auf beide Fragen, so wie die damit verbundenen Fallstricke möchte ich im Folgenden näher eingehen.

Smoke Tests in der Praxis

In der Praxis beginnt der Smoke Test mit einer simplen Kosten-Nutzen Rechnung. In der Regel überwiegt der Nutzen eines Tests dabei der Gefahr einer teuren Fehlentscheidung in Form einer Neuentwicklung.

Somit kommen wir nun zu der Frage nach dem Aufbau und der Messbarkeit des Erfolges. Hier gibt es 2 unterschiedliche Szenarien, die Du betrachten musst.

1. Es handelt sich um ein komplett neues Produkt

In diesem Fall bewegen wir uns nicht mehr in einem klassischen A/B-Test-Szenario, da es keine Kontrollvariante gibt, an der wir unseren Erfolg messen können. Somit ist es unerlässlich, dass Du verschiedene, neue KPIs definierst.

Der Test dient dem Zweck, die Akzeptanz des Produktes anhand einer Stichprobe zu messen. Diese Stichprobe ermöglicht dann wieder eine Hochrechnung, die dem Break-Even-Point (oder einer festgelegten Erfolgs-KPI) gegenübergestellt werden kann. Bei Ergebnissen, die knapp unter dieser Schwelle liegen, bietet sich eine Optimierung an.

2. Es handelt sich um die Erweiterung eines bestehenden Produktes

Nicht immer muss es bei einem Smoke Test um ein Produktneuentwicklung gehen. Du kannst damit auch bestehende Produkte erweitern. Dies kann zum Beispiel nützlich sein, um die Lead-Qualität zu steigern, oder ein bestimmtes Produkt durch ein eher unattraktives Add-On in den Fokus zu rücken. Man spricht hier von einem Decoy Produkt. Mehr zum Decoy Effekt findest du hier. Der Erfolg lässt sich innerhalb eines A/B Tests messen.

Im Folgenden haben wir für Dich 5 mögliche Szenarien für einen Smoke Test zusammengestellt. Neben diesen gibt es natürlich noch viele weitere Einsatzmöglichkeiten.

Anwendungsbeispiele für Smoke Tests

Steigerung der Lead-Qualität

Hypothese: Durch das Hinzufügen neuer Formularfelder steigt die Lead-Qualität deutlich, während die Zahl der Abschlüsse nur minimal zurück geht.

Diese Art von Testszenario kannst Du hervorragend einsetzen, um den optimalen Umfang eines Formulars zu testen. Dabei werden verschiedene Felder und Optionen hinzugefügt, oder entfernt. Der Clou: Die Felder werden innerhalb des Testszenarios nicht übergeben, so dass der technische Aufwand auf ein Minimum reduziert werden kann. Im Gegensatz zu unserem nächsten Beispiel bekommt der Nutzer hiervon auch nicht viel mit.

Aber Vorsicht: Je nach Änderungsgrad können datenschutzrechtliche Themen eine Rolle spielen, sofern der Nutzer davon ausgehen kann, dass seine Daten gespeichert und / oder ausgewertet werden.

Das Decoy Produkt

Hypothese: Durch das Hinzufügen eines Premiumproduktes erscheint das ursprüngliche Produkt deutlich attraktiver.

In diesem Beispiel arbeiten wir nun mit einem Feature/ Produkt, was in dieser Form nicht existiert. Im Vorfeld solltest Du daher klären, was der Nutzer bekommt, sofern er sich für das unattraktive Premiumprodukt (Decoy-Produkt) entscheidet. Für den Nutzer muss das Ganze nämlich aufgelöst werden. Dieser Punkt sollte jedoch keine Sackgasse sein und dem Nutzer eine mögliche Alternative bieten. Diese könnte zum Beispiel sein: „Hinterlasse Deine E-Mail Adresse und wir benachrichtigen Dich, sobald das Produkt verfügbar ist“.

Insgesamt bietet dieses Testszenario Produktmanagern eine Vielzahl an Möglichkeiten, um neue Produkte zu positionieren, in einen Vergleich mit anderen Produkten zu setzen, oder aber bestehende Produkte in den Fokus zu rücken.

Weitere Tipps für die erfolgreiche Anwendung der konsumpsychologischen Behavior Pattern erhältst du im Ambassador Programm. Dort tauschen sich Fach- und Führungskräfte, die den Wert von Kundenzentrierung verstanden haben und das Wachstum in ihrem Unternehmen durch Experimentieren vorantreiben, in regelmäßigen Meetups über ihre Erfahrungen aus. Bewirb dich jetzt, um dein Wissen über bestimmte Verhaltensmuster zu optimieren!

Erweiterung der Features

Hypothese: Durch das Hinzufügen einer neuen Zahlungsart mit einer hohen Akzeptanz beim Nutzer steigt die Conversion.

Gerade wenn es um das Hinzufügen von neuen Features wie die Abfrage von Nutzerdaten geht, spielen vor allem rechtliche Aspekte eine Rolle, die Du zuvor klären und abwiegen solltest. So findet sich in unserem abgebildeten Beispiel ein neuer Zahlungsanbieter inklusive Logo, welches rechtlich geschützt ist.

Diese Art von Test bietet sich an, um die Akzeptanz von Neuerungen abzuklären, bevor eine kostspielige Umsetzung oder Folgekosten wie im Falle der Einbindung einer neuen Zahlungsanbieters aufkommen.

Die Gastbestellung

Hypothese: Die Möglichkeit zur Gastbestellung schadet der Retourenquote nicht und hat einen positiven Effekt auf die Conversion Rate.

Gastbesteller sind die schlechteren Kunden, oder vielleicht doch nicht? Häufig steht den Vorteilen einer Gastbestellung die Angst vor einer erhöhten Retourenquote gegenüber. Klarheit kann in diesem Fall auch ein Smoke Test verschaffen. Hierbei wird die Gastbestellung wie eine Neukundenregistrierung (ohne Passworteingabe) gehandhabt. Wichtig dabei: Auf die obligatorische „Willkommen lieber Nutzer“-Mail, so wie weitere Werbemails sollte verzichtet werden.

Auf diesem Weg lassen sich anhand von Daten nun die beiden relevanten Fragen beantworten:
– Bestellen mehr Nutzer, wenn es eine Gastbestellung gibt (über das Testingtool)?
– Wie verändert sich die Retourenquote bei einer Gastbestellung?

Das Redesign

Hypothese: Das Ausrollen eines neuen Designs schadet der Conversion Rate nicht und hat ggfls. sogar positive Auswirkungen darauf.

Auch wenn es sich hierbei nicht um einen klassischen Smoke Test handelt, so ist das Thema mehr als relevant. Ein Redesign ist nämlich häufig mit großen Risiken verbunden, da Entscheidungen aus dem Bauch getroffen werden und viel Zeit und Geld in die Entwicklung investiert wird. Näheres findest Du auch in diesem Artikel von unserem Kollegen Dr. Dirk Franssens.

Dabei lässt sich neben einzelnen Elementen aber auch ein komplettes Redesign innerhalb eines Testszenarios abbilden, sodass Risiken von vorn herein minimiert werden können. Hierbei wird das bestehende Design auf Basis der vorhanden technischen Rahmenbedingungen an das gewünschte Redesign angepasst, sodass es als Indikator für die Akzeptanz beim Nutzer dienen kann. Aus Erfahrung ist hier eine etwas längere Testlaufzeit sinnvoll, damit sich die Nutzer zunächst einmal an die Änderung gewöhnen können. Hier findest Du Näheres zum Thema Testlaufzeit .

Wie kann man etwas verkaufen, was noch gar nicht existiert?

Bei einem Smoke Test handelt es sich um ein Szenario, bei dem der potentielle Erfolg einer Idee ermittelt werden soll. Früher oder später wirst Du an einen Punkt kommen, wo der Nutzer aufgeklärt werden muss. Immerhin hat er Zeit & „Arbeit“ in etwas investiert, um nun enttäuscht zu werden. Das ist ein sehr wichtiger Punkt, der bei der Planung unbedingt beachtet werden sollte. Denn schließlich willst Du ja nicht Deine Nutzer vergraulen.

Warum das so wichtig ist, unterstreicht auch folgendes psychologisches Prinzip:

Peak End Rule

Erfahrungen bzw. Erlebnisse werden nach dem höchsten positiven oder negativen Gefühl während des Erlebnisses bewertet. Statt der Gesamtsumme oder eines Durchschnitts der Gefühle wird oft nur die aufgetretene Spitze als Wertung herangezogen.

Wenn der Nutzer sich nun durch eine ganze Prozessstrecke gequält hat, um hinterher festzustellen, dass er nun gar nichts bekommt, so ist die Wahrscheinlichkeit hoch, dass er die Seite enttäuscht verlässt und als negatives Erlebnis (schlechtes Marken-Image) im Kopf ablegt.

Daher spielt die Komplexität des Szenarios, so wie die Wertigkeit des Versprechens eine große Rolle. Gerade bei komplexeren Tests kann eine Belohnung für den Nutzer sinnvoll sein.  Aus der Erfahrung heraus haben sich z.B. Einkaufsgutscheine als adäquate Möglichkeit erwiesen. Auch solltest Du den Nutzer transparent aufklären. Teile ihm mit, woran er hier gerade ist und dass es nichts mit seinem Verhalten zu tun hat. Denn Nutzer neigen häufig dazu, Fehler bei Webseiten auf einen Bedienungsfehler ihrerseits zurückzuführen.

Es kann auch hilfreich sein, wenn Du dem Nutzer weitere Schritte anbietest. Der Nutzer kann durchaus bereit sein, seine E-Mail Adresse anzugeben, damit er dann benachrichtigt wird, sobald das Produkt etc. zu haben ist. Allerdings macht das nur Sinn, wenn es sich dabei um einen angemessenen Zeitraum handelt.

Die Auswertung von Smoke Tests

Smoke Tests dienen im Wesentlichen dazu, Entscheidungen abzusichern und zu untermauern. Daher stellt sich die Frage, ab wann ein Test als erfolgreich einzustufen ist. Im Vorfeld sollten hierbei die Kosten für den Test (einmalig, fix) und die Umsetzung (einmalig, fix) ermittelt werden. Gegebenenfalls spielen hier auch Folgekosten (z.B. Gebühren bei der Integration eines neuen Zahlungsanbieters etc.) eine Rolle.

Aus diesen Basisfaktoren lässt sich nun errechnen, wie lange es dauert, bis die einmaligen Kosten wieder eingespielt werden und wieviel % Uplift nötig sind, um die möglichen Folgekosten zu decken. Über diese Basisfaktoren hinaus gibt es auch noch viele strategische & betriebswirtschaftliche Einflussfaktoren, welche je nach Ziel jedoch sehr individuell sind und somit eine höhere Komplexität in die Berechnung bringen.

Fazit

Smoke Tests sind je nach Szenario ein heikles Thema bei dem viel Konfliktpotential mit dem Nutzer, sowie rechtliche Fallstricke lauern können. Eine gute Planung vorausgesetzt, steht diesen kalkulierbaren Risiken jedoch ein großes Potential für hohe Uplifts gegenüber.

Smoke Tests bieten Dir die ideale Grundlage für die Realisierung von neuen Ideen und die Absicherung von unterschiedlichsten Business Cases. So kann der Test im Falle einer Fehlentscheidung kurzfristig beendet und/ oder angepasst werden. Auch liegen die Kosten für einen Test in der Regel weit unter denen einer Umsetzung und werden im Erfolgsfall schnell wieder eingespielt.

An alle Produktmanager: Habt Ihr bereits Smoke Tests durchgeführt und wenn ja, wie waren Eure Erfahrungen?