Beobachtung des Nutzers im Usability Test

KONZEPT UND VORAUSSETZUNGEN

Die Nutzerbeobachtung kann grundsätzlich in zwei Typen, die unstrukturierte und die strukturierte Beobachtung unterteilt werden vgl. Tab. 3. Bei ersterer kann der Beobachter relativ frei über die Sequenzen entscheiden. Bei letzterer definiert der Beobachter die Beobachtungseinheit und gibt den Ablauf vor.

Tab. 1        Klassifikation der Beobachtungsverfahren anhand der Dimensionen Strukturiertheit und Teilnahme

Zur Vorbereitung muss sich der Experte mit dem Testobjekt vertraut machen und alle Voraussetzungen für eine gute Beobachtung schaffen. Im Rahmen von Usability Tests wird in der Regel die strukturierte Beobachtung genutzt. Dazu wird ein Testleitfaden erstellt. Dieser besteht aus Aufgaben, welche die Benutzer typischerweise an dem Produkt  durchführen. Im Testleitfaden werden die Aufgaben genau formuliert und der Testablauf festgelegt. Ein weiterer wichtiger Bestandteil der Vorbereitung ist die Rekrutierung von Testpersonen. Diese müssen möglichst der Zielgruppe des Produktes entsprechen, um die Testergebnisse nicht zu verfälschen. Hierzu werden Kriterien festgelegt, nach denen die Testpersonen ausgewählt werden. Die nötige Anzahl Testpersonen ist ein Thema, das in Fachkreisen intensiv diskutiert wird. Die Zahlen schwanken dabei zwischen 5-10 Testpersonen, um 80 - 90 % der Usability-Mängel festzustellen. Nachdem die Vorbereitungen abgeschlossen sind, wird zudem häufig ein Pretest durchgeführt, um Fehler im Testaufbau auszumachen und den zeitlichen Rahmen zu testen.

Verortung im Living Lab: Beobachtungen können zu verschiedenen Zeitpunkten in der Produktentwicklung nützlich sein. Die Methode ist besonders für die Phase der Nutzerbeobachtung und des Feldfests geeignet, in der die Nutzung von Prototypen, Zwischenversionen und fertigen Produkten beobachtet werden.

Forschungsumgebung: Die Tests finden in speziell dafür eingerichteten Räumlichkeiten (Usability-Laboren) statt. Aber auch solche in anderer Umgebung, wie der realen Umgebung der Nutzer oder online (Remote-Tests) sind möglich.

Nutzer-/Stakeholderintegration: Die Bobachtung sollte von einem geschulten Experten geleitet und ausgewertet werden. Die Nutzer müssen sorgfältig ausgewählt werden, damit sie repräsentativ für die spätere Nutzergruppe sind. Sie sind passiv in den Prozess eingebunden, d.h. es werden lediglich Informationen über den Nutzer gesammelt.

Aufwand: In einem Usability-Test werden Kameras und spezielle Aufzeichnungssoftware eingesetzt, um den Nutzer, dessen Stimme und das Geschehen aufzuzeichnen. Der Aufwand kann auf Grund der hohen Vorbereitungsarbeit als hoch eingestuft werden. Die Dauer einer Beobachtung kann stark variieren. Auch dies kann ein Faktor für einen hohen (zeitlichen) Aufwand sein.

UMSETZUNG IN DER PRAXIS

Strukturierte Beobachtung: Bei Beobachtungen im Rahmen von Usability-Tests befinden sich mindestens ein Testleiter und die Testperson im Usability-Labor. Die Testperson bearbeitet die gestellten Aufgaben anhand eines Prototypens. Sie wird angehalten "laut zu denken" (vgl. Think-aloud Methode), ihre Gedanken und Überlegungen laut zu äußern, da der Testleiter meist nur so den Ursprung der Probleme und die Gedanken der Testperson erfassen kann. Oft werden bei Usability-Tests zusätzlich Interviewfragen eingestreut, um möglichst viele Informationen über das mentale Modell der Testperson zu bekommen. Der Testleiter und ein zweiter Experte protokollieren die Sitzung und überwachen den Ablauf des Tests. Dabei wird darauf geachtet, ob die Beobachtungen des tatsächlichen Verhaltens mit den Intentionen des Probanden übereinstimmen oder divergieren. Ein zu klärender Punkt ist, wie sehr der Testleiter während eines Tests mit dem Teilnehmer interagiert und wie er sich in unerwarteten Situationen, z.B. bei technischen Problemen, zu verhalten hat.

Strukturierte Beobachtung: Bei Beobachtungen im Rahmen von Usability-Tests befinden sich mindestens ein Testleiter und die Testperson im Usability-Labor. Die Testperson bearbeitet die gestellten Aufgaben anhand eines Prototypens. Sie wird angehalten "laut zu denken" (vgl. Think-aloud Methode), ihre Gedanken und Überlegungen laut zu äußern, da der Testleiter meist nur so den Ursprung der Probleme und die Gedanken der Testperson erfassen kann. Oft werden bei Usability-Tests zusätzlich Interviewfragen eingestreut, um möglichst viele Informationen über das mentale Modell der Testperson zu bekommen. Der Testleiter und ein zweiter Experte protokollieren die Sitzung und überwachen den Ablauf des Tests. Dabei wird darauf geachtet, ob die Beobachtungen des tatsächlichen Verhaltens mit den Intentionen des Probanden übereinstimmen oder divergieren. Ein zu klärender Punkt ist, wie sehr der Testleiter während eines Tests mit dem Teilnehmer interagiert und wie er sich in unerwarteten Situationen, z.B. bei technischen Problemen, zu verhalten hat.

GRENZEN UND HERAUSFORDERUNGEN

Bei der strukturierten Beobachtung gilt es einige Anforderungen an das Beobachtungsschema zu beachten, um einen ausreichenden Grad an Präzision zu erreichen:

• Die Messung in einem Schema sollte möglichst nur auf einer Dimension erfolgen und nicht auf mehreren gleichzeitig.
• Jedes beobachtete Ereignis sollte nur einer einzigen Beobachtungskategorie zugeordnet werden können.
• Ein Kategorienschema muss so erschöpfend sein, dass alle möglichen Beobachtungsereignisse erfasst werden.

• Konkretion der Kategorien: Die Kategorien müssen beobachtbaren Sachverhalten entsprechen.
• Begrenzung der Anzahl der Kategorien: Aufgrund der begrenzten Beobachtungs- und Registrierungsfähigkeit sollte ein Beobachtungsschema nicht mehr als 10 Kategorien umfassen.
• Kategorien sollten auf Grundlage einer theoretischen Konzeption entwickelt werden.

VORTEILE DER NUTZUNG IM LIVING LAB

Vorteile können insbesondere darin gesehen werden, dass im Rahmen von Living Labs Showrooms oder semi-reale Umgebungen für Beobachtungen genutzt werden. Zudem erlaubt die oft lange Dauer von Beobachtungen in Living Labs, den Nutzer hinsichtlich seiner Kenntnisse und Eignung für die Methode besonders gut einschätzen zu können. Diese Methode ist ethnografisch, praxisnah und führt zu klaren Daten und wichtigem Nutzungsfeedback.