Aktionen

Usability-Test durchführen

Aus PQWiki


Schnelligkeit
★★☆
Einfachheit
★★☆
Agilität
★★☆

Ziele

* Externe Qualitätssicherung durchführen

Motivation/Problemstellung

Ohne Endanwender ist es nicht möglich, die Gesamtheit von Erfahrungen bei der Nutzung eines interaktiven Produkts zu ermitteln. Allerdings sind viele professionelle Usability-Testing-Methoden (z. B. Eye Tracking) aufwändig und teuer. Bereits mit vertretbarem Aufwand können Testsitzungen mit potentiellen Nutzern durchgeführt werden, um deren Eindrücke und Feedback zur Bedienbarkeit eines Produktes einzuholen.

Kurzbeschreibung

Usability-Tests.jpg
Beim Usability-Test bearbeitet eine Gruppe Testpersonen in einem bestimmten Zeitraum eine Auswahl typischer Testaufgaben. Hierdurch sollen softwareergonomische Probleme, aber auch positive Aspekte des Produkts aufgedeckt werden. Der Usability-Test ist geeignet für fertige Software, aber auch für Zwischenstände, Prototypen und Designkonzepte.

Input

Repräsentation der Benutzerschnittstelle

Output

Dokumentation der gefundenen Usabilitymängel Report (optional)

Rahmenbedingungen

Rolle (Ausführender)

Testleiter

Werkzeuge, Hilfsmittel

Testleitfaden, Fragebögen (optional), Gerät für Bildschirm-, Audio-oder Videoaufzeichnungen (optional), Usability-Testing-Tool, z. B. Eye-Tracker (optional)

Vorkenntnisse und Erfahrungen

Kenntnis des Systems bzw. der Benutzerschnittstelle

Ort und Umgebung

Arbeitsplatz des Probanden, Besprechungsraum oder Labor

Weitere Teilnehmer

Testpersonen, Protokollant (optional)

Voraussichtliche Dauer

Ca. 60 Minuten pro Testsitzung; zusätzliche Zeitaufwände für die Vorbereitung und Analyse der Tests

Vorgehensweise

Vorbereitung

Legen Sie zunächst das Ziel fest, das mit dem Test erreicht werden soll, z. B. ob die gesamte Benutzeroberfläche getestet werden soll oder nur ein Teil davon. Anschließend erstellen Sie einen Testleitfaden mit typischen Aufgaben. Sehen Sie ungefähr zehn Kernaufgaben vor, die ein typischer Nutzer mit den wichtigsten Komponenten des Produkts bearbeitet. Kalkulieren Sie pro Aufgabe ca. 3-10 Minuten Bearbeitungszeit und unterteilen Sie komplexere Aufgaben in kleinere Blöcke. Meist ist es hilfreich, wenn die Aufgaben in ein fiktives Szenario eingebettet sind. Beim Erstellen dieser Aufgaben helfen Ihnen Personas und Storyboards bzw. Use Cases. Legen Sie zudem fest, welche quantitativen und qualitativen Metriken erhoben werden sollen, z. B. aufgedeckte kritische und unkritische Fehler, die Anzahl gelöster bzw. nicht gelöster Aufgaben, die Bearbeitungszeit pro Aufgabe, die Zufriedenheit des Nutzers oder die subjektiv empfundene Belastung.

Als Probanden rekrutieren Sie Personen, die möglichst repräsentativ für die Zielgruppe des Produkts sind. Ca. 5–6 Probanden reichen, um 80–90 % der Mängel festzustellen. Aber auch ein Test mit 3 Probanden ist besser, als überhaupt keine Nutzertests durchzuführen. Achten Sie darauf, dass die Probanden ein gewisses Spektrum an Nutzereigenschaften abdecken, z. B. hinsichtlich Vorerfahrung, Altersstruktur, Geschlecht, Einstellung gegenüber dem Produkt. Interne Mitarbeiter sollten Sie nur dann als Probanden heranziehen, wenn diese nicht in die Produktentwicklung involviert waren. Wählen Sie einen Ort, der einen möglichst geeigneten Kontext für die Bearbeitung der Aufgaben darstellt. Dies kann z. B. der Arbeitsplatz des Nutzers sein, aber auch ein ruhiger Besprechungsraum oder eine Laborumgebung. Sehen Sie pro Proband eine Sitzung von ca. 60, maximal 90 Minuten Länge vor und planen Sie ausreichend Zeit zwischen diesen Sitzungen ein. Bereiten Sie die benötigte Ausrüstung vor (z. B. Arbeitsplatz-PC, Laptop oder Aufnahmegeräte) und erstellen Sie sämtliche Materialien in ausreichender Menge (z. B. Aufgabenblätter, Ablaufprotokolle, Fragebögen und Einverständniserklärungen zur Verwendung der Daten). Prüfen Sie außerdem, ob Sie Hilfspersonal benötigen, z. B. zum Protokollieren oder für die Bedienung von Aufnahmegeräten.

Führen Sie ein bis zwei Tage vor dem eigentlichen Test einen Pilottest durch (z. B. mit einem oder mehreren Kollegen) und verwenden Sie hierbei die vorgesehene Ausrüstung und die Evaluationsmaterialien. Auf diese Weise stellen Sie sicher, dass das Equipment funktioniert und dass alle Materialien vorliegen. Außerdem erhalten Sie ein besseres Gefühl für den Ablauf des Tests, und Sie können die Zeiten besser planen.

Durchführung


Im Anschluss an die Begrüßung und Vorstellung erläutern Sie dem Probanden das Ziel des Tests (z. B. Verbesserung eines bestimmten Produkts) und den weiteren Ablauf. Sofern erforderlich, weisen Sie den Teilnehmer auf die Notwendigkeit und Funktion von Aufnahmegeräten und weiteren Personen (z. B. Protokollant) hin. Begegnen Sie dem Probanden respektvoll und neutral und schaffen Sie eine möglichst angenehme Atmosphäre. Weisen Sie den Probanden insbesondere darauf hin, dass nicht er als Person, sondern das Produkt getestet wird. Mit einem kleinen Fragebogen können Sie optional demografische Angaben (Alter, Geschlecht usw.) für die spätere Auswertung erheben. Für die Verwendung der Daten, Filmaufnahmen usw. sollten Sie eine schriftliche Einverständniserklärung des Teilnehmers einholen.

Stellen Sie dem Probanden das Produkt kurz vor. Anschließend bearbeitet der Proband ohne weitere Instruktionen die Aufgaben. Erfassen Sie alle Probleme und kritischen Stellen; eine Standardnotation (z. B. ein Template) unterstützt Sie bei der strukturierten Erfassung. Geben Sie dem Probanden Hilfe, wenn er bei der Bearbeitung einer Aufgabe nicht weiterkommt, aber leiten Sie ihn nicht an. Während der Proband die Aufgaben löst, können Sie objektive Daten (Leistungsdaten) erfassen, z. B. die gelösten bzw. abgebrochenen Aufgaben, die Anzahl der gemachten Fehler und die Bearbeitungszeiten pro Aufgabe. Protokollieren Sie zudem möglichst objektiv die Äußerungen des Probanden, z. B. welchen Teilschritt er gerade auf welche Weise bearbeitet und warum er dies tut. Bei den meisten Usability-Tests ist es sinnvoll, den Probanden explizit zum lauten Denken aufzufordern, also zum Äußern spontaner Kommentare, Bewertungen und Gedanken. So erfahren Sie, wie Nutzer vorgehen, um Ziele zu erreichen und Probleme zu lösen. Zur Erfassung subjektiver Daten (z. B. Zufriedenheit des Anwenders oder empfundene Belastung) können Sie Fragebögen bzw. Skalen vorbereiten. Es ist nicht untypisch, dass das tatsächliche Verhalten und die subjektiven Aussagen der Probanden gegensätzliche Ergebnisse liefern.

Im Anschluss an die Aufgaben können Sie mit dem Teilnehmer ein kurzes Interview führen, in dem Sie ihn zu seinen Erfahrungen und Eindrücken befragen (z. B. drei positive und drei negative Aspekte bei der Benutzung des Produkts). Klären Sie alle offenen Fragen, um möglichst viel über die Sichtweisen der Testperson erfahren. Vor der Verabschiedung bedanken Sie sich beim Teilnehmer und geben ihm gegebenenfalls eine kleine Aufwandsentschädigung.

Nachbereitung

Nachdem alle Testsitzungen beendet sind, führen Sie die einzelnen Testprotokolle zu einem Gesamtbild zusammen. Abhängig von den Metriken, die Sie für den Test ausgewählt haben, erhalten Sie quantitative Daten (z. B. Bearbeitungszeiten, Erfolgs- und Fehlerraten) und qualitative Daten (z. B. Problembeschreibungen, Beobachtungen zu Klickpfaden, Kommentare und Antworten der Probanden). Richten Sie Ihren Fokus vor allem auf die qualitativen Testergebnisse, insbesondere wenn Sie nur eine geringe Anzahl von Tests durchgeführt haben. Eine sorgfältige Protokollierung erleichtert Ihnen die Auswertung dieser Daten. Priorisieren Sie die gefundenen Probleme, z. B. nach Schweregrad (kritisch/unkritisch), Dringlichkeit Problemkategorie, Häufigkeit, Auswirkungen der Probleme (global/lokal) oder Umsetzungsaufwand. Bereiten Sie die Ergebnisse in einer Form auf, die eine leichte Weiterverarbeitung durch das Entwicklungsteam ermöglicht (z. B. Mängelliste), und planen Sie für die Abarbeitung der Mängel ausreichende Kapazitäten ein. Dokumentieren Sie die Usabilitymängel in einem Report, so sollten Sie in diesem Report immer auch positive Aspekte nennen.

Gütekriterien/Empfehlungen

Führen Sie den Usability-Test im Feld durch, so haben Sie die Möglichkeit, den realen Nutzungskontext (z. B. Hardwareumgebung, Arbeitsmittel, physische und soziale Umgebung) zu berücksichtigen. Sie können dadurch auch solche Bedienschwierigkeiten ermitteln, die sich erst durch die Anwendung in diesem Nutzungskontext ergeben, z. B. durch mobile Nutzung oder durch Nutzung am Arbeitsplatz. Für die Vergleichbarkeit der Testergebnisse ist es wichtig, dass alle Tests unter den gleichen Bedingungen stattfinden. Je früher Usability-Tests durchgeführt werden (z. B. mit Prototypen oder Wireframes), desto einfacher und günstiger ist es, die identifizierten Usability-Mängel zu beheben. Testen Sie fertige Software, so muss sichergestellt sein, dass das System stabil läuft und dass die Testdaten funktionieren; nur so können sich die Benutzer voll auf die Ausführung ihrer Arbeiten konzentrieren.

Risiken

Bereits eine geringe Anzahl von Probanden deckt grobe Mängel auf; ein repräsentatives Ergebnis ergibt sich allerdings erst mit einer großen Anzahl von Probanden. Berücksichtigen Sie, dass die Probanden nicht zwangsläufig das sagen, was sie wirklich denken (viele Testteilnehmer möchten nett sein oder setzen voraus, dass die Tester positives Feedback von ihnen erwarten). Bei Tests im Labor besteht zudem die Gefahr, dass sich Probanden aufgrund der Laborsituation anders verhalten als in ihrer „natürlichen“ Umgebung. Die Verwendung technischen Equipments, z. B. zum Filmen der Tests, erscheint praktisch für die spätere Auswertung; allerdings wird die Nachbereitung hierdurch auch ungleich aufwändiger.

Einordnung in das PQ4Agile-Qualitätsmodell

Schlagworte

Nutzertest, empirische Evaluation, Gebrauchstauglichkeit

Weiterführende Informationen

Informationen im Internet