Vielleicht kennst du dieses Gefühl, von Sprint zu Sprint zu hetzen und den Release Train mit Story Points zu füttern.

Das ist der tägliche Wahnsinn in vielen agilen Teams.

Roadmaps werden straff geplant. Echte Verantwortung für Business-Resultate (“Outcomes”) gibt es nicht.

Da du permanent von Feature zu Feature springst, bleibt keine Zeit, dich auf inkrementelle Verbesserungen zu konzentrieren.

Keine Zeit für eine intensive Analyse der Kundenrealität und der Customer Experience. Keine Zeit für tiefgehende Product Discovery und echte datengetriebene Validierung.

“Ich sollte besser 5 Leute fragen, ob ihnen das neue Feature gefällt” ist dein Hauptgedanke, um etwas Zeit zu sparen.

Dabei wäre ein systematisches und tiefes Eintauchen in die Realität deiner Kunden eine intelligente Zeitinvestition. Die Gedanken, Motivationen, Ängste und Einwände deiner Nutzer zu kennen, ist entscheidend für den Erfolg deines Produktes. Dein Bauchgefühl sagt dir vielleicht bereits, dass du mehr Zeit für diese Dinge brauchst.

Die zahlreichen Methoden im User Research und die verschiedenen Präferenzen von Kollegen machen die Dinge im Alltag noch komplizierter. Solltet ihr Mouse Tracking, moderierte User Tests oder doch Umfragen nutzen? Insgeheim weißt du: die Komplexität, endlose Überzeugungsarbeit oder interner Widerstand sind zum schleichenden Feind einer richtigen Operationalisierung von Erfolgsfaktoren mutiert.

Da ich ähnliche Beobachtungen gemacht habe, möchte ich dich ermutigen, einen systematischen Ansatz bei der Erforschung der Realität deiner Kunden anzuwenden. Um ein besseres gemeinsames Verständnis der verschiedenen Methoden zu erreichen, möchte ich dir meine persönliche Zusammenfassung vorstellen, die auf 20 Jahren Erfahrung im User Research und im Customer Experience Management basiert.

Vorwort: Es geht um Impact oder Effekt, nicht immer um Effizienz.

“Agil” bedeutet für viele Teams, vordefinierten Rituale und Gewohnheiten zu folgen.

Besonders in größeren Organisationen sorgen diese oft neuen Rituale und die bestehende Kultur dafür, dass der Schwerpunkt agiler Team letztlich auf Effizienz liegt (“die Dinge richtig machen”), während der Fokus auf Effektivität (“die richtigen Dinge machen”) fehlt, auch wenn das nicht die ursprüngliche Absicht agiler Methoden ist. In unserer Beitragsreihe zu agilen Tretmühle, bin ich bereits darauf eingegangen, warum fehlende Effektivität in agilen Produktteams das Unternehmenswachstum bremst.

Auch Produktmanager diskutieren dieses Thema schon seit einigen Jahren und sprechen über die “Feature Factory” (John Cutler) oder die “Build Trap” (Melissa Perri).

Lange Rede kurzer Sinn, man könnte die Herausforderung so visualisieren:

Falls du dir nicht sicher bist, ob dieses Problem Teil deiner Arbeitskultur ist, prüfe einfach, ob du eines der folgenden Symptome beobachten kannst:

• Die wirklichen Businessentscheidungen werden anderswo getroffen – dein Team führt Roadmaps aus.
• Die realen wirtschaftlichen Ergebnisse deiner Sprints werden selten direkt gemessen, du kannst die Unternehmenswerte nicht wirklich kontrollieren, stattdessen hoffst du, dass sie sich durch deine Arbeit langfristig verbessern.
• Deine Backlogs sind voll mit kleineren Features und Änderungen.
• Häufige Meetings lassen keinen Spielraum für ausgedehnten Research und Product Discovery.
• Nach einem neuen Feature Release wird direkt zum nächsten übergegangen, es ist kein Raum für Verbesserungen bestehender Features vorhanden.
• Du machst ein paar A/B-Tests, wenn du genug Zeit hast und unterschiedliche Meinungen oder Lösungen existieren – aber das kommt optional erst am Ende der Entscheidungskette.

Warum erzähle ich dir das?

Weil dein Wunsch, effektiver (“wirksamer”) zu arbeiten und mehr Zeit für eine richtige Product Discovery zu haben, Ergebnisse (“Outcomes”) statt Output zu produzieren, seine Ursache im System hat. Nur wenn du es schaffst, ein geteiltes Verständnis für die vielen Methoden im Team zu etablieren, wirst du den Zustand ändern können.

Es gibt einen Ausgangspunkt, um all dies zu ändern.

Ein richtiges Verständnis der Forschungsmethoden und die Implementierung eines systematischen Prozesses der zur Erforschung der Kundenrealität dient, sind die Grundlage, um die Wirkung deiner Arbeit in diesem System zu verändern.

Du wirst bessere Ergebnisse aus der Erforschung deines Produkts herausholen, du wirst lernen, wo du dein Produkt optimieren kannst, du wirst neue Hebel aufdecken. Sieh es als einen grundlegenden Schritt, um mehr Ergebnisse zu erzielen und effektiver zu werden.

Die schlechte Nachricht zuerst: es gibt viele Methoden

Noch schlimmer: sie sind alle unterschiedlich. Es gibt nicht die eine Methode, die die beste ist. Diese Komplexität, gemeinsam mit einem ständigen Zeitmangel, zu überwinden, ist die größte Herausforderung.

Zuerst einmal: Wie soll man die verschiedenen Methoden segmentieren?

Im Jahr 2014 veröffentlichte die Norman Nielsen Group (NN/g) einen Artikel mit “User Research-Methoden im Überblick.”, indem sie darauf hinwiesen, dass es wichtig ist zu unterscheiden, dass sich einige Methoden auf die Beobachtung von Verhalten (‘Behavioral”) konzentrieren, während andere versuchen, die zugrunde liegende Einstellung zu erforschen (“Attitudinal”).

Als weitere hilfreiche und differenzierende Dimension nutzten sie “Qualitativ” versus “Quantitativ”.

Der Überblick sah wie folgt aus:

Aber das ist noch nicht genug: Die Grafik zeigt dir auch, dass einige Methoden normalerweise während der natürlichen Nutzung des Produkts stattfinden, während andere in einer weniger natürlichen Testsituation oder sogar völlig aus dem Zusammenhang gerissen nach definierten Testaufbauten oder Skripten ablaufen.

Spannende Einblicke, oder?

Aber: so umfangreich diese Sammlung auch ist, sie liefert noch immer nicht genug Hilfestellung, wenn es um einen Ratschlag geht, wann welche Methode anzuwenden ist.

Was also tun?

Meine persönliche Erfahrung ist, dass sich die Dinge automatisch klären, sobald man die zugrunde liegende Herausforderung versteht.

Deine Hauptaufgabe bei der Product Discovery ist es, die Realität deiner Kunden, ihre Wünsche und Motivationen zu verstehen. Du vergleichst das vorhandene Wissen mit der aktuellen Customer Experience, um Hebel zur Verbesserung deines Produktes zu finden.

Ziel ist es Hebel zu finden, die Wirkung erzeugen – Business Impact.

Deine Herausforderung besteht also darin, das Kundenverhalten zu verstehen um Verhalten ändern zu können.

Es fällt leicht, das zu sagen, aber die Auswirkung dieser Logik ist etwas komplexer. Deshalb möchte ich eine weitere Dimension hinzufügen, um die verschiedenen Methoden zu bewerten. Schließlich wollen wir ja echte “Outcomes” erzeugen. Aber was bedeutet das eigentlich?

In den meisten Fällen sprechen wir über Business-Kennzahlen, z.B. Umsatz pro Besucher, Profitabilität, Customer Lifetime Value (CLV).

Das ist eine große Herausforderung, also muss ich meinen Hintergrund ein wenig erklären. Meine Wurzeln liegen im UX-Design und User Research. Vor etwa 15 Jahren gaben mir die neuen Möglichkeiten zur Validierung der wirtschaftlichen Auswirkungen von Änderungen auf einer Website durch quantitative A/B-Tests der Variationen eine völlig neue Perspektive:

Indem ich ein Experiment durchführte, konnte ich die Lücke zwischen Design und Business Value schließen.

In den folgenden Jahren habe ich viel über verschiedene Customer Insights-Methoden gelernt – insbesondere über ihre Fähigkeit, meine Testhypothesen zu qualifizieren.

Einmal sagten Teilnehmer eines User-Interviews, dass sie sich über ein Video auf der Seite ärgern würden. Nach der Validierung dieser Veränderung mit einem A/B-Test fanden wir heraus, dass die Website ohne das Video weniger Conversions als vorher generierte. Also konnte die Methode die Hypothese nicht vorqualifizieren, vielleicht antworteten die Teilnehmer ja auch auf der Grundlage des Social Conformity Bias (“Soziale Erwünschtheit”).

In einem anderen Fall wurde eine Kundenumfrage durchgeführt. Die Teilnehmer verlangten niedrigere Preise und die Firma folgte diesem Wunsch. Zwei Jahre später meldeten sie Konkurs an. Vielleicht ein Zufall oder vielleicht ein Ergebnis einer fehlgeschlagenen Kundenbefragung.

Der Punkt ist: Wir alle wollen die User glücklich machen, ihr Leben verbessern, ihre Motivationen, Ängste und Einwände kennenlernen. Aber die Realität ist, dass dies nicht unbedingt zu 100 Prozent mit dem Business Value korreliert.

Deshalb müssen wir Veränderungen quantitativ mit Online-Experimenten validieren und A/B-Tests sind ein einfacher Weg, ein Experiment durchzuführen. Es ist eine wissenschaftliche Methode, um zu beweisen, dass du richtig oder falsch liegst. Deshalb haben wir schon früh erkannt, dass im Grunde genommen zwei verschiedene Verfahren nötig sind, um bessere Ergebnisse im Business-Alltag zu erzielen:

A) Analysieren: Lerne die Customer Journey, die Kundenrealität, die Motivationen, Ängste und Einwände kennen und vergleiche diese Realität kontinuierlich mit der Customer Experience, die du lieferst (wenn du möchtest, könnte man es “systematische Product Discovery” nennen).

B) Validieren: Validiere die Änderungen kontinuierlich, indem du die gelieferten Ergebnisse (Business Resultate) durch einfach anzuwendende Methoden wie A/B-Tests misst. Dadurch stellst du sicher, das gewünschte Maß an statistischer Validität zu liefern.

Vor ein paar Jahren haben wir begonnen, diesen Ansatz als “Agile Growth Process” zu bezeichnen, und er ist auf unterschiedlichsten Ebenen deiner Geschäftsentscheidungen anwendbar.

So sieht er aus:

Zusätzlich musst du irgendwo in der Schnittstelle zwischen diesen beiden Teilen des Prozesses die Ergebnisse von Teil A priorisieren, um sicherzustellen, dass du dich auf das größte Wachstumspotenzial konzentrierst, um effektiv zu bleiben.

Warum solltest du das wissen?

Weil du in Wirklichkeit das Verhalten deiner Kunden änderst und nicht “nur” Produkte baust. Dieser Kontext ist wichtig, wenn wir später über die Validität der Methoden sprechen – denn nur, wenn du die richtigen Dinge änderst, verändert sich auch das Verhalten der Kunden und du erzielst die gewünschten “Business Resultate”.

Der Begriff “Validität” mag hier aus wissenschaftlicher Sicht falsch sein, aber ich möchte dir meine Perspektive geben, wie “wie gültig / wie wahr” das Ergebnis der Methode ist.

Es gibt eine einfache Gleichung: Wenn du mit deinem Produktteam Ergebnisse schaffen willst, musst du im Grunde genommen Dinge in deinem Produkt ändern, um das Kundenverhalten zu ändern.

Die Frage ist: Sind die Methoden, die du für die Kundenforschung verwendest, in der Lage, dir zu sagen, was wirklich wichtig ist und was nicht? Welche Methoden helfen dir dabei, aus den Erkenntnissen, Produktverbesserungen abzuleiten? Welche Methoden sagen dir mehr über “Warum benutzen die Leute mein Produkt?” und welche nicht?

Ich würde gerne die Perspektive der NN/g-Sammlung ein wenig verschieben, indem ich die Dimensionen leicht verändere:

1. Ist die Methode qualitativ oder quantitativ? Sagt sie dir “Warum?” oder sind es die Ergebnisdaten, die richtig interpretiert werden müssen?
2. Ist die Methode in der Lage, dir Erkenntnisse über die zugrunde liegenden unbewussten Entscheidungsprozesse deiner Kunden zu liefern oder konzentriert sie sich auf die rationalisierten, kognitiven Ebenen der Entscheidungsfindung?
3. Wie groß ist die Aussagekraft der gewonnenen Erkenntnisse im Hinblick auf den Business Value? Beispielsweise zeigen “Voice of customer” Methoden nur einen kleinen Teil der Realität deiner Nutzer.
4. Wie groß ist der Aufwand? Im Alltag fehlt es an Zeit und einige Methoden sind schnell und billig, während andere komplexer sind, und Fähigkeiten und Training benötigen.

Die Herausforderung: Die richtigen Methoden richtig anwenden

Wie oben erwähnt, traf ich Menschen, die ihre Kunden fragten: “Wie wichtig sind dir billige Preise” und natürlich waren die Ergebnisse offensichtlich. Die daraus abgeleiteten Aktionen waren vielleicht das Teuerste, welche die Firma je gemacht hat.

Ich sehe auch viele Produktmanager, die ihre Ideen validieren, indem sie fünf Leute fragen, ob ihnen ein neues Feature gefällt. Sie beziehen sich sogar auf Jakob Nielsen und seine Forschung, warum fünf Teilnehmer einer 1:1-User-Tests 80 Prozent der bestehenden Usability-Probleme finden.

Dies ist nur ein weiteres Beispiel dafür, dass Kundenforschung schiefgeht, weil die Forschungsfrage und / oder -methode nicht zum gewünschten Ergebnis passt. Wie wir alle wissen sollten, basiert Produkterfolg nicht nur auf Usability.

Und dennoch beziehen sich Design Sprints auf diese Methode, und Tausende von Innovationen werden jedes Jahr auf diese Weise genehmigt.

Also: Bitte unterscheide zwischen Customer Insights, die zu Ideen führen (linker Teil des Prozesses) und der Validierung von Ideen (rechter Teil des Prozesses), die hauptsächlich am Business Value gemessen werden.

Beim User Research liefern unterschiedliche Methoden viele verschiedene Perspektiven, um dein Bild von der Kundenrealität zu verbessern. Um anschließend wirtschaftliche Ergebnisse mit hoher statistischer Validität festzustellen ist es notwendig, ein Experiment unter natürlichen Bedingungen durchzuführen

Die Beispiele, die ich genannt habe, sollen dir anekdotisch die möglichen Missverständnisse aufzeigen und erklären, warum ein Mangel an Fähigkeiten bei der Wahl der richtigen Methode sehr teuer sein kann.

Hier ist mein Überblick über die Methoden, die am häufigsten verwendet werden, wenn es darum geht, in der Kundenforschung richtige Ideen zu entwickeln, die eine gewisse Validität haben (“qualifizierte Hypothesen“, wie Eric Ries die Erkenntnisse in seiner Lean Startup-Methodik nennt).

Einen Liste mit vorqualifizierten (“gültigen”) Ideen (“Hypothesen”) zu haben, bedeutet Risikominderung bei gleichzeitiger Steigerung des Geschäftswerts.

Lass uns die Methoden durchgehen:

Die 10 gängigsten User Research-Methoden und ihre Schwächen

Bitte denke daran, dass diese Liste aus meiner Erfahrung als Optimierer in den letzten zwei Jahrzehnten entstanden ist. Basierend auf meinen persönlichen Zielen, das Kundenerlebnis zu verbessern und gleichzeitig das wirtschaftliche Wachstum voranzutreiben, könnten meine Schlussfolgerungen anders ausfallen als deine Erfahrungen.

Falls du noch mehr Informationen zu User Research-Methoden benötigst, bewirb dich für das Growth Ambassador Programm. Dort veranstalten wir regelmäßige Meetups mit Expert:innen aus dem Customer Insights Bereich. Diese helfen dir, dein Wissen über die verschiedenen Methoden zu erweitern.

Bitte hinterlasse einen Kommentar hier im Blog, wenn du deine Perspektive hinzufügen möchtest, die ist immer sehr willkommen!

1:1 User Testing

Einordnung: Qualitativ

Fokus: Meistens liegt der Fokus auf der bewussten Entscheidungsfindung. Da diese Methode selten in der Lage ist tiefer zu graben, geben Teilnehmer gewöhnlich ihre rationalisierte Meinung über die Dinge ab.

Validität: Mittel – wenn du alle Ebenen der Entscheidungsfindung einbeziehst, konzentrieren sich moderierte Benutzertests meist darauf, Usability-Probleme zu finden, aber es gibt viele weitere Probleme, die deine Kunden am Kauf hindern.

Aufwand: Mittel bis hoch – besonders, wenn du wirklich tiefer graben und die richtigen Teilnehmer finden willst.

Größte Schwäche: Die meisten Studien liefern keine (vollständig) validen Ergebnisse, weil die Teilnehmer bereits wissen, welches Produkt / welche Website getestet wird – daher sind die Teilnehmer sehr voreingenommen. Zusätzlich fehlt der Kontext, Entscheidungsprozesse werden durch das Skript des Forschers und das Testdesign verzerrt.

Tipp: Mache immer Blindstudien, die verschiedene Websites vergleichen und stelle sicher, dass die Teilnehmer nicht wissen, welche Websites getestet wird. Greife nicht in das Verhalten ein und konzentriere dich auf das Beobachten. Stelle später Fragen (rückblickend laut-denken).

Remote User Testing

Einordnung: Qualitativ

Fokus: Da es sich hier um das jüngere und agilere Geschwisterchen des 1:1-Benutzertests handelt, konzentriert sich diese Version auch auf den bewussten Entscheidungsprozess der Kunden, hauptsächlich geht es auch darum, das Verhalten als Ergebnis zu beobachten.

Validität: Während einer Sitzung im echten Leben kann der Moderator viele zusätzliche Informationen aus der realen Lebenssituation sammeln, was in einem abgelegenen Labor viel schwieriger ist. Das Fernlabor konzentriert sich noch mehr auf das Auffinden von Funktionsfehlern und Usability-Problemen, sodass die Validität, basierend auf der Stichprobengröße und den Fragen, die du stellst, nur mittelmäßig ist. Für das Finden von Usability-Fehlern mag die Methode hoch sein, für das Verständnis der gesamten Kundenrealität und der zugrunde liegenden Entscheidungsprozesse zeigt sie nur einen kleinen und rationalisierten Teil der Welt deines Kunden.

Aufwand: gering, deshalb ist es so beliebt

Größte Schwäche: Geringe Validität – wenn du die Realität der Kunden und die tieferen Entscheidungsmechanismen wirklich verstehen willst, ist dies definitiv nicht die beste Methode. Aber weil sie günstig ist, wird sie auch keinen großen Schaden anrichten.

Tipp: Genau wie bei der 1:1 moderated User Testing – verwende ich immer Blindstudien. Versuche, etwas mehr Zeit und Mühe zu investieren und synchrone Tests durchzuführen, damit ihr in der Gesamtheit wenigstens ein bisschen tiefer in die Realität der Kunden eindringen könnt.

Online-Umfragen

Typ: Qualitativ + quantitativ, basierend auf deinem Studiendesign und der Art der Fragen.

Fokus: Was die Nutzer typischerweise in einer Online-Umfrage angeben, sind rationalisierte Gedanken, sodass diese Methode sich klar auf bewusste Ebenen und Einstellungen konzentriert. Selbst wenn du versuchst, tiefer in emotionale Bereiche zu graben, besteht ein hohes Risiko, dass die Antworten auf sozialer Konformität basieren.

Validität: Obwohl die Online-Umfrage als Methode angesehen wird, um in erster Linie Erkenntnisse über die Einstellungen der Nutzer zu gewinnen, führen die sozial voreingenommenen Antworten manchmal zu einer mittleren oder sogar geringen Gültigkeit – je nachdem, welche und wie die Fragen gestellt werden. Zum Beispiel wird dir kaum ein User sagen, dass er sein neues Auto gekauft hat, um einen bestimmten Nachbarn zu beeindrucken oder eine Unzufriedenheit auszugleichen.

Aufwand: Gering bis mittel, vor allem der Aufwand für die Gestaltung der Umfrage und deren Umsetzung, wird oft unterschätzt.

Größte Schwäche: Geringe Validität und voreingenommene Antworten je nach Art der Fragen und Phase der Customer Journey, an dem die Umfrage durchgeführt wird. Auf die Frage “Wie gefällt dir unser Service” bekommst du völlig unterschiedliche Antworten, je nachdem, ob du diese Frage oben im Funnel stellst oder nachdem die Nutzer es durch den Checkout-Prozess geschafft haben.

Tipp: Konzentriere dich auf Elemente der Customer Journey, bei denen rationale Faktoren wichtig sind und versuche nicht, Erkenntnisse über tiefere emotionale Motivatoren oder Ängste zu sammeln. Eine schnelle Umfrage unter neuen Kunden über ihre erfahrenen Hürden in der Vergangenheit ist immer hilfreich, um die Benutzerfreundlichkeit zu erhöhen. Die hilfreichste Frage war bisher immer “Wenn du nicht bei uns gekauft hättest, was wäre deine Alternativlösung gewesen? Warum?”. Das ist etwas, was dir die Kunden leicht und unvoreingenommen sagen können.

Webanalyse

Typ: quantitativ

Fokus: Die Daten von Web Analytics spiegeln immer das tatsächliche Verhalten der Benutzer wider.

Validität: 100 %, solange du sie nicht mit deiner eigenen Realität und Interpretation vermischst.

Aufwand: Hoch – Um aus den Analysedaten echte Erkenntnisse zu gewinnen, ist der Aufwand viel höher als von den meisten Menschen erwartet. Sobald du eine Hypothese hast, kannst du über folgende Frage nachdenken “Kann ich die Hypothese mit Analysedaten vorqualifizieren?”. Aber sobald du verstehen willst, warum Dinge passieren, und dir eine Hypothese dazu ausdenken musst, ist es fast unmöglich Erkenntnisse zu generieren. Daher ist der Aufwand in unserem Kontext ziemlich hoch.

Größte Schwäche: Eine Überinterpretation der Analysedaten kann zu falschen Annahmen führen, die auf der Realität des Experten basieren, der die Daten bewertet (und nicht des Kunden). Viele Experten sind zu zuversichtlich mit ihrer Interpretation der Daten – schlimmer noch, meistens sind sie sich ihrer Interpretation nicht bewusst. Zum Beispiel wird eine hohe Exit-Rate oft als “auf der Seite stimmt etwas nicht” interpretiert, was nicht korrekt ist. Vielleicht stimmt auf der Seite mit einer hohen Exit-Rate etwas nicht, aber vielleicht liegt der Hauptgrund ein paar Seiten früher in der Customer Journey. Außerdem sagen dir die Daten nicht, was auf der Seite falsch ist – quantitative Daten sagen dir nie “Warum?”. Sofern die Webanalysedaten ohne jegliche Frameworks interpretiert oder durch zusätzliche qualitative Daten unterstützt werden, ist die Validität oft sehr gering.

Tipp: Nutze die Analysedaten lieber zur Vorqualifizierung bestehender Hypothesen, anstatt die Daten zu bewerten, um Hypothesen aufzustellen.

Eye Tracking

Typ: Quantitativ

Fokus: Unbewusst – Benutzer können ihre Augenbewegungen auf einer bewussten Ebene nicht vollständig kontrollieren.

Validität: Gleiche Situation wie bei den Analysedaten. Die Gültigkeit ist hoch, solange deine Stichprobe für die Forschung repräsentativ ist und die Ergebnisse nicht durch eine verzerrte Linse des eigenen Verständnisses der Experten interpretiert und mit falschen Annahmen vermengt werden. Leider kennzeichnen sich die meisten Studien durch zu kleine Stichprobengröße, verzerrtem Studienaufbau und falscher Interpretation, was zu einer geringen Validität der gewonnenen Erkenntnisse führt.

Aufwand: Hoch – ein Studiendesign zu erstellen, bei dem die Teilnehmer durch die gestellten Fragen nicht voreingenommen sind (man braucht einen erfahrenen Forscher) und zusätzlicher Aufwand für eine unvoreingenommene Analyse der Daten braucht viel Zeit. Die “5-Personen”-Regel von Usability-Tests gilt nicht für Eye-Tracking, die gesammelten Daten weisen in der Regel eine hohe Varianz auf, was zu einer hohen Teilnehmerzahl für die Studie führt.

Größte Schwäche: Geringe Validität der Ergebnisse durch Überinterpretation der Daten, falsche Stichprobe und verzerrte Forschung.

Tipp: Da Eye-Tracking-Daten dir nie sagen “Warum?” und viel Aufwand verursachen, solltest du wahrscheinlich über Mouse Tracking als Alternative nachdenken, solange du nicht die Möglichkeit hast, valide Eye-Tracking-Tests selbst durchzuführen. Mouse Tracking hat ähnliche Mängel, die Daten sind aber billiger zu sammeln und basieren automatisch auf einer viel größeren Stichprobengröße.

Mouse Tracking

Typ: Quantitativ

Fokus: Meistens unbewusst – die Bewegung der Maus ist meist das Ergebnis unbewusster Entscheidungsprozesse. Stell dir nur vor, wie umständlich es wäre, eine permanente und bewusste Stimme im Kopf zu haben, die dir sagt, wohin du klicken sollst. Deshalb wird es als “meist” unbewusst eingestuft.

Validität: Nochmals – hoch, solange die Daten nicht falsch interpretiert werden und die Stichprobe groß genug ist.

Aufwand: Niedrig – Mouse Tracking-Tools sind billig und die Interpretation von großen Stichproben ist durch Click Map-Visualisierungen übersichtlich.

Größte Schwäche: Die Mausbewegung ist eine Folge des Nutzerverhaltens, sodass die Schlussfolgerung zurück auf den Stimulus oder Trigger, der für das Verhalten verantwortlich ist, schwer zu ziehen ist. Als quantitative Methode sagt dir das Mouse Tracking nicht “Warum?”, sodass der Schwachpunkt der Methode eine falsche Interpretation ist. Dieser Effekt könnte die Gültigkeit der Erkenntnisse herabsetzen, da sie mit der Realität der Experten vermischt sind.

Tipp: Kombiniere Mouse Tracking immer mit qualitativen Methoden, um die Realität des Benutzers zu verstehen. Was nehmen sie wahr? Was ist die Interpretation des Benutzers? Das ist die Quelle, die zu der Mausbewegung führt.

Expertenevaluation

Typ: Qualitativ

Fokus: Abhängig von den Fähigkeiten, dem Wissen und dem Einfühlungsvermögen des Experten ist die Expertenevaluation in der Lage, bewusste und unbewusste Teile der Entscheidung des Benutzers zu bewerten.

Validität: Hängt stark von den Fähigkeiten des Experten ab, der die Bewertung durchführt.

Aufwand: moderater Aufwand – abhängig von der Anzahl der Bewerter und dem Umfang der Bewertung.

Größte Schwäche: Geringe Validität der Erkenntnisse von voreingenommenen Experten und mangelndes methodisches Wissen. Die meisten Evaluationen ähneln kognitiven Walkthroughs, die in einer Gruppe von Experten durchgeführt werden, die aufgrund ihres eigenen Wissens über das Produkt voreingenommen sind. Selten ist es möglich, das vorhandene Wissen über das Produkt, die Strategie, die technischen Beschränkungen usw. zu eliminieren, was zu sehr oberflächlichen Ergebnissen mit geringer Validität führt. Die Validität kann erhöht werden, indem man bestimmte Regeln befolgt, z.B. die Überprüfung unabhängig mit mehreren Experten durchführt oder eine Reihe von vordefinierten Kriterien anwendet (siehe heuristische Evaluation).

Tipp: Benutze nur neutrale Experten, die in der Lage sind, die Perspektive des Nutzers einzunehmen. Mache Bewertungen unabhängig – nicht in einer Gruppe. Wende Rahmen oder Kriteriensätze an, um die Validität zu erhöhen (siehe heuristische Evaluation).

Heuristische Evaluation

Typ: Qualitativ

Fokus: Je nach angewandtem Framework oder Heuristik kann die Auswertung sowohl bewusste als auch unbewusste Teile des Nutzerverhaltens abdecken.

Validität: Mäßig bis hoch – abhängig von den angewandten Heuristiken. Die meisten heuristischen Evaluationen basieren auf Usability-Heuristiken, da dieser Teil des Nutzerverhaltens in den letzten 25 Jahren bereits sehr viel Forschung durchlaufen hat und allgemein bekannt geworden ist. Die Herausforderung besteht darin, dass Usability nur ein Teil der gesamten User Experience ist, vergleichbar mit einer wichtigen Grundlage. Ohne Usability wird es keinen geschäftlichen Wert geben. Aber selbst ein Interface mit großer Benutzerfreundlichkeit könnte aufgrund zusätzlicher Faktoren, die die Entscheidungsfindung und das Verhalten der Nutzer beeinflussen, unter geringen wirtschaftlichen Ergebnissen leiden. Aus diesem Grund habe ich begonnen, ein eigenes Framework zu entwickeln, das alle potenziellen Ebenen umfasst, die die Wahrscheinlichkeit einer Conversion auf einer Website aus der Perspektive des Nutzers beeinflussen. Es nennt sich “Die 7 Stufen der Conversion” und du kannst es hier kostenlos als PDF herunterladen.

Aufwand: Mäßiger Aufwand – je nach Umfang der Bewertung und ob du Websites von Mitbewerbern einbeziehst oder nicht.

Größte Schwäche: Die Anwendung des falschen Rahmens führt zu verzerrten Ergebnissen. Auch die Erfahrung und das Einfühlungsvermögen des Bewerters können die Gültigkeit der Ergebnisse beeinflussen, selbst wenn ein Rahmenwerk verwendet wird.

Tipp: Führe immer unabhängige Auswertungen durch und verbinde die Ergebnisse später, um Gruppeneffekte bei der Auswertung zu vermeiden. Wenn du eine metrische Bewertungsskala verwendest, kannst du die Interraterreliabilität berechnen, um zu sehen, ob du korrekte Ergebnisse erhältst und die Bewerter nicht verzerrt sind. Es wird empfohlen, Konkurrenten zur Bewertung hinzuzufügen und zuerst die Bewertung ihrer Websites zu starten, um Verzerrungen auszuschließen.

Personae

Typ: Qualitativ + quantitativ (wenn richtig gemacht)

Fokus: Bewusste + unbewusste Ebene

Validität: niedrig bis hoch – basierend auf der verwendeten Methode. Aufgrund eines falschen Ansatzes leiden die meisten Personae unter einer niedrigen Validität. Häufig sind sie nur oberflächliche Reflexionen des mangelnden Einfühlungsvermögens der Organisation, wenn es darum geht, aufschlussreiche Segmente oder Typen ihrer Kunden zu entwickeln. Sobald Einsichten tiefer in die motivierenden und meist unbewussten Präferenzen der Kunden eindringen (qualitativer Ansatz) und zusätzlich durch quantitative Methoden validiert werden (Vergleich qualitativer Hypothesen mit Datenclustern des realen Kundenverhaltens), wird die Validität hoch.

Aufwand: Hoch, wenn die richtige Kombination von Methoden verwendet wird, um Personae zu schaffen.

Größte Schwäche: Falsche Herangehensweise führt zu oberflächlichem Kundenverständnis und mindert den Wert der gewonnenen Erkenntnisse.

Tipp: Verbinde Erkenntnisse aus qualitativer Forschung immer mit Daten, um Personae zu validieren.

Feldforschung / Kundeninterviews

Typ: Qualitativ + quantitativ

Fokus: Bewusst – was die Nutzer sagen, wird immer rational verarbeitet, was es schwierig macht, unbewusste Faktoren aufzudecken.

Validität: Mäßig – hoch, abhängig von der Stichprobe, dem Design des Interviews und den Fähigkeiten des Interviewers kann die Validität hoch sein, aber leider werden die meisten Studien mit manipulativen Fragen, fehlendem Kontext und kleiner Stichprobengröße durchgeführt, was sogar zu einer geringen Validität der Ergebnisse führt.

Aufwand: Mäßig – hoch – abhängig von der Stichprobengröße und dem Arbeitsaufwand, der in die Erstellung standardisierter Interviewleitfäden und in die Ausbildung der Interviewer investiert wird.

Größte Schwäche: Der häufigste Fehler ist, die gute alte Usability-Regel, bei der 5 Teilnehmer eines moderierten Nutzertests 80 % der funktionalen Mängel eines Interfaces aufdecken, mit den Anforderungen an Stichproben eines Interviews zu verwechseln. Sobald es in einem Interview um Meinungen, Motivationen und Einstellungen von Usern geht, sind viel größere Stichproben erforderlich, als es normalerweise der Fall ist. Daher könnte der Aufwand, der nötig ist, um valide Einsichten für ein korrektes Studiendesign zu schaffen, der größte Fehler sein.

Tipp: Wende Frameworks wie die Jobs To Be Done-Methode an, um den Aufwand zu verringern und die Validität zu erhöhen. Sie ist besonders hilfreich, wenn du die Motivationsauslöser der Nutzer entlang der verschiedenen Customer Journeys erforscht und herausfinden willst, warum dein Produkt tatsächlich gekauft wird.

Fazit und Empfehlung

Wie du siehst, gibt es keine Patentlösung. Ich bin ein großer Fan davon, verschiedene Methoden zu kombinieren, um viele verschiedene Perspektiven auf allen Ebenen der Realität des Kunden zu erhalten.

Nur wenn du die Customer Journey als Ganzes verstehst, die Schlüsselaufgaben des Kunden während der einzelnen Etappen dieser Reise, die persönlichen Ziele und Ängste des Kunden usw., wirst du aus deinen Erkenntnissen gültige und effektive Lösungen ableiten können.

Effektive Produktentwicklung basiert auf einem systematischen Ansatz, nicht auf der persönlichen Meinung verschiedener Personen in verschiedenen Teams.
Ich weiß, das passt normalerweise nicht in das Tagesgeschäft eines agilen Release Trains, aber du musst dieser Falle irgendwann entkommen und einen faktenbasierten Prozess bereit haben, um auch den HiPPO zu konvertieren.

Zusätzlich, wenn du in der Lage bist, mehr Zeit und Mühe zu investieren:

Bonusmethode 1) Face Reading – benutze fortgeschrittene Methoden der Mimik-Erfassung, um ein Fenster in das Unterbewusstsein deiner Kunden zu öffnen. Du kannst mit einer erschreckend hohen Validität messen, wie sich Menschen wirklich fühlen. Sobald du damit anfängst, wirst du erfahren, wie gering die Validität der Nutzerforschung ohne diesen “Gimmick” wirklich ist…

Bonusmethode 2) Data-driven Personae – wie bereits erwähnt, bin ich kein großer Fan von künstlich geschaffenen Personae aus kreativen Design Thinking Workshops. Eine ungefähre Vorstellung über deine Zielkunden zu haben ist besser, als keine zu haben – aber du solltest immer echte und unvoreingenommene Daten verwenden, um deine Personae zu validieren. Das wird auch die Akzeptanz dieses Tools in deiner Organisation sehr erhöhen.

Bonusmethode 3) Kontinuierliche Online-Umfragen. Erstens, qualitativ – du kannst kontinuierlich viel von neuen Kunden lernen, indem du sie fragst: “Warum hast du dich für uns entschieden? Was hat dich fast daran gehindert, bei uns zu kaufen? Wo würdest du kaufen, wenn nicht hier?”. Zweitens solltest du anfangen, die Kundenerfahrung quantitativ zu messen, mit Frameworks wie CSAT / CES / NPS / etc. und deinen A/B-Tests eine neue Dimension hinzufügen.

Ich hoffe, dass das Teilen meiner Erfahrung mit den verschiedenen Methoden im Business-Kontext dir dabei hilft dir, deine Product Discovery voranzutreiben.

Bitte zögere nicht, mir Fragen, Kommentaren oder jeder Art von Feedback!

Ich bin wirklich offen für Feedback, auch kontroverse Diskussionen sind sehr willkommen!