In meinem Beitrag 5 Tipps für eine perfekte Vorbereitung beim Usability Testing habe ich, wie der Name bereits verrät, die wichtigsten Aspekte bei der Vorbereitung eines Usability Tests beleuchtet. Im heutigen Beitrag möchte ich diese Blogpost Serie vervollständigen. Hierzu sollen sowohl die Testdurchführung, als auch die Testauswertung näher betrachtet werden.

Auch wenn die Vorbereitung eine essentielle Rolle bei einem Testing spielt, muss die gleiche Präzision und Gewissenhaftigkeit bei der Durchführung und Auswertung beibehalten werden. Denn Fehler oder Ungenauigkeiten können hier die Mühen der Vorbereitung zunichtemachen.

Die Testdurchführung

Wie bereits erwähnt, spielt die Wahl des richtigen Moderators eine wichtige Rolle. Dies kommt vor allem bei der Durchführung einer Testsession zum Tragen. Hierbei ist es die Aufgabe des Moderators, stets neutral zu sein und dies auch zu bleiben. Er sollte keine eigenen Wertungen in die Session einfließen lassen oder gar versuchen, die Testprobanden zu beeinflussen.

Neben seiner Objektivität sollte sich der Moderator weiterhin darum bemühen, eine entspannte Atmosphäre zu schaffen, um die Testteilnehmer nicht unnötig zu verunsichern. Dieser Wohlfühlfaktor wird durch Empathie gestärkt, die jeder Moderator mit sich bringen sollte. Emphatische Fähigkeiten sind essentiell, um individuell auf jeden Probanden eingehen zu können.
Die Probanden sollten stets gebeten werden, die Methode des “Lauten Denkens” anzuwenden, da hierdurch ihre Gedanken besser nachvollzogen und sowohl Barrieren, als auch Best Practices der zu untersuchenden Website aufgedeckt werden können.

Es gilt auch, dem Probanden genügend Zeit einzuräumen und ihm erst dann eine neue Aufgabe zu stellen, wenn er die zuvor gestellte vollendet hat. Nur in Ausnahmefällen sollte der Moderator eingreifen. Solche Situationen können zum einen durch Fehler im System, zum anderen aber auch durch die Probanden selbst entstehen, wenn diese kurz vor dem Aufgeben stehen.

Bei jeder Testdurchführung gibt es unzählige Details, die vor und während jeder Session beachtet werden müssen. Daher ist es zu empfehlen, sich Checklisten zu erstellen, die diesen Prozess erleichtern und davor schützen, wichtige Punkte zu vergessen.

Die Testauswertung

Ist der Test durchgeführt und eine große Menge an Daten gesammelt, müssen diese korrekt ausgewertet und daraus Handlungsempfehlungen abgeleitet werden. Dieser Prozess teilt sich in die folgenden zwei Schritte.

Schritt 1: Die Voranalyse

In der Voranalyse sind zunächst sämtliche Daten zusammen zu tragen. Dies hilft dabei sicherzustellen, dass nur die richtigen Daten gesammelt und die Problemstellungen aus dem Testplan korrekt erfasst wurden. Falls sich die Testdurchführungen über mehrere Tage erstrecken, sollten die Daten täglich zusammengefasst werden, um den Überblick und die Konsistenz zu wahren. Dazu zählt auch die Digitalisierung von analogen Aufnahmen, schriftlichen Notizen und Fragebögen sowie das Zusammenfassen der quantitativen Daten.

Im Anschluss werden diese in einer Zusammenfassung nach Aufgabenstellung aggregiert. Sie dient dazu, Leistungsunterschiede und Unterschiede bei verschiedenen Gruppen und Produktversionen aufzuzeigen. Dabei wird nach Leistungs- und Präferenzdaten unterschieden.
Leistungsdaten beziehen sich dabei auf zuvor begangene Fehler, Aufgabengenauigkeit sowie der Zeiteinhaltung, wie beispielsweise der durchschnittlichen Bearbeitungszeit. Präferenzdaten hingegen beziehen sich auf die durchgeführten Umfragen, ausgefüllten Fragebögen und angefertigten Notizen.

Dabei ist folgende zentrale Frage zu beantworten: Kann der Anwender die vorgegebenen Aufgaben lösen? Falls dies nicht der Fall ist, muss die Ursache dafür gefunden werden.

Schritt 2: Die umfassende Analyse

Zu Beginn dieser Analyse müssen die Aufgaben festgestellt werden, bei denen die Probanden die meisten Probleme hatten. Anschließend diejenigen, die kein definiertes Erfolgskriterium erfüllt haben. Damit die erkannten Fehler behoben werden können, ist eine Fehlerquellenanalyse zu empfehlen. Sie stellt den arbeitsintensivsten Teil der Aufbereitung der Testergebnisse dar. Ihr Ziel ist es, die Gründe für die Probleme der Anwender herauszufinden, da andernfalls keine präzisen Handlungsempfehlungen abgeleitet werden können. Dabei wird es offensichtliche Fehler geben, die einfach zu beheben sind, aber auch Fehler, die eine größere Herausforderung darstellen.

Nachdem Fehler gefunden wurden, müssen diese priorisiert werden. Hierzu können viele Kriterien genutzt werden. Beispielsweise kann der sogenannte kritische Zustand eines Fehlers herangezogen werden. Er ist definiert durch die Schwere eines Problems und dessen Auftrittswahrscheinlichkeit. Der Grund für eine solche Priorisierung ist, dass sie die Struktur und die Reihenfolge bei der Beseitigung der Fehler festlegt. So können die schwerwiegendsten Fehler schnellstmöglich beseitigt werden.

Dabei ist zu unterscheiden zwischen Ergebnisse, die als Dokumentation der gesammelten und analysierten Daten anzusehen sind, und Befunden, bei denen Rückschlüsse aus den Beobachtungen der Analyse gezogen werden. Ein Befund beinhaltet also eine präzise Definition der Fehlerursache und der Fehlerbehebung.

Sind die Gründe für die aufgetretenen Fehler klar, ist zu überlegen, wie dieses “Ah-ha“-Erlebnis anderen vermittelt werden kann, um das Verständnis für die begangenen Fehler zu vertiefen. Sie werden dabei meist im Schlagzeilen-Stil, oder als prägnante Aussagen formuliert, die die Essenz des Usability-Problems herausstellen und somit das Herzstück des Abschlussberichts bilden. Bei der Erstellung des Abschlussberichts ist grundlegend auf Folgendes zu achten:

• Das Formulieren der Befunde.
• Das Anreichern des Berichts mit Ergänzungen, Zitaten, Videoausschnitten und Abbildungen.
• Das Anfertigen einer Zusammenfassung der Befunde.
• Das Anordnen der Befunde in einer sinnvollen Reihenfolge.

Der Zweck des Abschlussberichts ist es zum einen, die Befunde, Empfehlungen und Vereinbarungen festzuhalten sowie die Ziele, die mit dem Test verfolgt wurden, und die verwendeten Methoden und Protokolle zu dokumentieren. Weiterhin gibt dieser Bericht den Entwicklern und Designern die Richtung vor, in der die ermittelten Probleme gelöst werden und stellt eine Zusammenfassung der wichtigsten Erkenntnisse für das Management in Bezug auf die geschäftlichen Belange dar. Aus diesen Gründen muss der Bericht verständlich und in sich schlüssig gestaltet werden. Er beinhaltet eine Summary, die angewandten Methoden, die erhaltenen Ergebnisse sowie die Befunde und Handlungsempfehlungen.

Nachdem nun die einzelnen Befunde vorliegen, werden daraus Handlungsempfehlungen abgeleitet, was keine leichte Aufgabe darstellt, da es dafür keinen konkreten Ablaufplan zur Vorgehensweise gibt.

Beim Ableiten von Empfehlungen ist auf Folgendes zu achten:

• Das Fokussieren auf Lösungen, die den größten Einfluss haben.Das bedeutet, dass sich globale Änderungen auf alles Weitere auswirken und deshalb als erstes durchzuführen sind. So stellt beispielsweise die Empfehlung, ein Element auf einer einzelnen Seite zu ändern, einen nur geringen Aufwand dar, die Empfehlung, das komplette Navigationsschema umzustrukturieren, hingegen einen weitaus größeren.
• Das Ausblenden von unternehmenspolitischen Überlegungen beim Erstentwurf.Die Überlegung, ob eine Umsetzung möglich, oder ob sie für das Management akzeptabel ist, wird erst später angestellt. Denn dadurch wird Objektivität gewahrt und der Nutzer bleibt zunächst im Mittelpunkt der Betrachtung.
• Das Erstellen von kurz- und langfristigen Empfehlungen.Dies ist wichtig, da oftmals empfohlene Änderungen nicht mehr rechtzeitig bis zum Release umgesetzt werden können und Übergangslösungen für tiefgreifende Probleme nicht ausreichend sind. Für solche Probleme sollten weitgreifende Lösungen entwickelt werden. Deshalb sind kurzfristige Empfehlungen für solche Änderungen gedacht, die nicht den festgelegten Zeitplan gefährden, und langfristige Empfehlungen für Änderungen, die den langfristigen Erfolg des Produktes oder Services sicherstellen.
• Das Identifizieren weiterer, noch analysebedürftiger, Bereiche.Da Usability Testing keine einmalige Untersuchung darstellt, die alle Probleme auf einmal löst, ist es ratsam, Usability-Untersuchungen periodisch durchzuführen. Dies basiert darauf, dass durch Verbesserungsmaßnahmen neue Funktionen hinzu kommen, die wiederum getestet werden müssen. Nur durch wiederholtes Testen ist eine kontinuierliche Verbesserung möglich. Aus diesem Grund ist es wichtig, im Abschlussbericht einen Abschnitt mit zukünftigen Maßnahmen einzubinden.

Abschließend ist zu erwähnen, dass auch der finale Bericht selbst der Usability unterliegt. Deshalb sollte auch an dieser Stelle ein Feedback von den entsprechenden Adressaten eingeholt werden:

• Sind alle notwendigen Informationen enthalten?
• Sind alle Informationen vollständig vorhanden?
• Sind Aufbau und Gestaltung des Berichts einfach und verständlich?

Fazit

Egal ob Vorbereitung, Durchführung oder Auswertung, es existieren sehr viele Hürden beim Testen, die es zu nehmen gilt. Dafür gibt es jedoch einige Hilfestellungen und Vorgehensweisen, die den Erfolg eines Tests sicherstellen. Dieser Blog-Zweiteiler sollte Ihnen einige dieser Hilfen näher gebracht haben und Ihnen einen Leitfaden bieten, wie ein Usability Test geplant, durchgeführt und ausgewertet werden kann.

Es würde mich freuen, wenn ich durch diese Beiträge Ihr Interesse an dem Thema Usability Testing wecken konnte. Ausführlichere Informationen finden Sie in meinem Buch „Durch die Augen meines Kunden“, in dem auf das Thema Usability Testing detaillierter eingegangen wird.

Ich freue mich auf Ihr Feedback und wünsche viel Erfolg beim Testen.