Ethische Aspekte und Prinzpien bei Usability-Tests

Im Rahmen des Psychologiestudiums müssen Studierende eine bestimmte Menge von sogenannten Versuchspersonenstunden für die  Zulassung zur Abschlussarbeit durchführen. Das sind insgesamt etwa 30 Stunden und dies hat die Funktion, Forschung auch aus der Perspektive der Teilnehmenden kennenzulernen, bevor man selbst psychologische Untersuchungen plant und durchführt. Das ist zwar aufwändig, aber wirklich wertvoll, da man einige Fallstricke in der Kommunikation und im Design der Untersuchung besser kennenlernt. Zudem lernt man, wie man sich als “Versuchsperson” fühlt.

Das Wissen um die Gefühle und Sorgen der Versuchspersonen ist nicht unerheblich, denn Untersuchungen wie Usability-Tests gehen auch mit einem gewissen psychologischen Druck auf die Teilnehmenden einher, der sich wiederum auch negativ auf das Testergebnis übertragen kann.

Mögliche Ängste von Proband*innen

• „Stage fright“ bzw. Performance-Angst. Dieser Leistungsdruck kann sich sich wiederum auf Selbstsicherheit sowie Selbstwirksamkeit auswirken und in eine Art selbsterfüllende Prophezeiung münden.
• Proband*innen könnten sich „dumm“ fühlen, wenn sie Tasks nicht lösen können oder Dinge im System nicht finden. Sie schieben sie Schuld auf sich und nicht auf das System, es fühlt sich für sie an wie ein IQ Test.
• Sie vergleichen sich innerlich mit anderen Nutzer*innen nach dem Motto: „Andere stellen sich sicher nicht so doof an…“

Als Moderator*innen eines Tests sollten wir daher immer versuchen, uns in die Situation der Teilnehmenden hinein zu versetzen: Diese sitzen als Proband*innen im “Rampenlicht”, sind also Mittelpunkt der Beobachtung und werden aufgefordert, Aufgaben mit einem für sie unbekannten und möglicherweise nicht optimal nutzbaren Produkt vor fremden Menschen durchzuführen. Es ist ganz natürlich, dass man in der Situation ggf. etwas nervös ist. Bei den Teilnehmenden kommen dann Gedanken auf wie z.B.  „Mache ich das richtig?“  oder: “Halten mich diese Leute für dumm, weil ich es nicht verstanden habe?“

Dieser Druck ist real. Jared Spool, ein amerikanischer Usability-Berater, erzählte eine Geschichte darüber, wie er eine Testperson während eines Usability Tests weinen sah. Diese Situation kam durch eine Anhäufung von unbedachtem Verhalten seitens der Moderator*innen und Testleiter*innen zustande: Der ursprüngliche Teilnehmer tauchte am Testtag nicht auf und dann wurde einfach eine Angestellte, die gerade ihren ersten Arbeitstag absolvierte auf die Schnelle als Ersatz herangezogen. Das Team dachte, dass es eine gute Idee ist, sie zu nehmen, da sie anders als andere Angestellte wenig über das Produkt wusste. Im Beobachtungsraum saßen zudem eine Reihe von Beobachter*innen,  die nicht darüber informiert waren, wie sie sich während eines Tests verhalten sollten, darunter auch der Chef  der Probandin. Und last but not least wurde kein Pilottest durchgeführt, so dass das Team nicht wusste, dass die erste Aufgabe, die die Teilnehmenden erledigen sollten, in Wirklichkeit völlig veraltet, falsch formuliert und somit unmöglich durchzuführen war. Während die Frau verzweifelt versuchte, diese erste Aufgabe durchzuführen, wurde allen außer ihr schnell klar, dass die Aufgabe veraltet und nicht durchführbar war, und sie fingen an, über ihre eigene Dummheit zu lachen. Leider dachte die Benutzerin, dass man über sie lachte, und sie fing dann an zu weinen.

Das ist genau eine Situation, die wir vermeiden möchten.

Wie man auf diese Ängste reagieren kann

Man kann solchen Ängsten entgegentreten indem wir z.B. immer wieder betonen, dass wir nicht die Proband*in testen, sondern das System. Dieses „ich bin zu blöd, den Computer zu bedienen“ basiert leider auf internalisiertem Denken. Self-blaming ist hier ein Problem. Viele Nutzer*innen von Computersystemen denken immer noch, dass es ihr Fehler sei, wenn etwas nicht klappt, dass sie nicht “richtig” mit der Software  umgehen können und beschuldigen sich eher selbst als das System.

Hier ist ein Satz den wir gerne bei Tests in dieser oder abgewandelter Form gebetsmühlenartig wiederholen:
„Wir testen nicht Sie, wir testen das System.” und:  “Jegliche Probleme, die Sie ggf haben werden, sind die Schuld des Systems. Und genau um diese Probleme aufzuspüren, benötigen wir Ihre Hilfe, um das System besser und gut bedienbar zu machen. Sie helfen, das System zu bewerten/zu evaluieren, da wir dafür zu betriebsblind sind.“

Auch das Wording/Framing – also wie man  die Untersuchung an sich bezeichnet spielt hierbei eine Rolle. Wenn wir zum Beispiel  von “User testing” sprechen, impliziert dies, dass wir den User testen möchten. Dem ist aber nicht so. Wir testen die Nutzbarkeit des Systems, daher  sollte man tatsächlich eher von „Usability Testing / Überprüfung” sprechen – vor allem vor den Nutzer*innen.

Zudem spielt ein wertschätzender und respektvoller Umgang eine große Rolle. Klingt eigentlich selbstverständlich, dennoch ist es wichtig, sich immer wieder daran zu erinnern, gerade wenn es hektisch zugeht.

Daher im Folgenden einige grundlegende und einfache Möglichkeiten um psychologischen Stress bei Proband*innen zu reduzieren und einen Usability Test nach ethischen Richtlinien durchzuführen.

11 ethische Prinzipien für einen Usability-Test

1. Sprache. Wir plädieren für die Vermeidung des Begriffs “User test”.  Wir testen nicht den User, wir testen ein System mit Hilfe der Nutzer*innen.
2. Schaffen einer freundlichen Atmosphäre. Die Atmosphäre sollte entspannt sein und frei von Ablenkungen, Störungen wie z.B. Zwischenfragen von anderen gehalten werden. Bei In-Person Tests werden auch Getränke sowie kleine Snacks immer gerne gesehen.
3. Proband*in ankommen lassen. Begrüßung und etwas Smalltalk sind wichtig zum “Ankommen” und Entspannen der Teilnehmenden. Daher sollte man dies zeitlich mit einplanen.
4. Informierte Einwilligung. Die informierte Einwilligung ist einige Tage vor dem Test an die Probanden auszuhändigen und spätestens am Tag des Tests unterschrieben an das Testteam zu geben. In dieser Einwilligung sollte über den Zweck der Untersuchung und den groben Ablauf des Tests informiert werden. Außerdem sollte verständlich und genau beschrieben sein, wie die Ergebnisse verwendet werden und wie sichergestellt wird, dass die Daten des Teilnehmers vertraulich behandelt werden. Die Teilnehmenden sollten über die Nutzung der Daten umfassend und verständlich aufgeklärt werden. Dies heisst, es sollten sich Infos darüber finden wer auf die Daten zugreifen kann, wo und wie lange die Daten gespeichert werden (DGSVO) und wie lange die Teilnehmenden die Löschung ihrer Daten oder deren Nichtverwendung beantragen können – denn sobald Daten anonymisiert wurden ist das meist schwierig. Auch sollten die Freiwilligkeit der Teilnahme und der zu jedem Zeitpunkt mögliche Abbruch des Tests seitens der Proband*innen erwähnt werden. Weiterhin sollten für eventuelle Fragen Kontaktmöglichkeiten angeboten werden.
5. Wiederholung der Aufklärung direkt vor dem Test. Bevor der Test beginnt, geht man am besten nochmals alle Punkte, die auch in der informierten Einwilligung zu finden sind, kurz mit den Proband*innen durch und stellt nochmals sicher, dass alles verstanden wurde und es diesbezüglich keine offenen Fragen mehr gibt. Empfehlenswert ist es, nochmals auf die Anonymisierung der Daten einzugehen und den Proband*innen zu erklären, dass z.B. Zitate, welche in Reports oder Präsentationen auftauchen, nicht auf die jeweiligen Personen zurückverfolgbar sind. Auch sollte man nochmals darauf hinweisen, dass die Proband*innen den Test absolut freiwillig durchführen und das Recht haben, den Test jederzeit abzubrechen. Somit sind die Proband*innen in der Kontrolle, wenn sie sich aus welchem Grund auch immer z.B. anfangen unwohl zu fühlen.
6. Warm-up Fragen/Pre-Test Interview. Vor dem eigentlichen Test, bei dem wir mit der Bearbeitung der Aufgaben loslegen, ist es gut, wenn wir zuerst mit thematisch passenden allgemeinen Warm-up Fragen starten. Diese Fragen sind meistens sowieso von Interesse und eher offener Natur, wie z.B. Fragen über bisherige Nutzung des betreffenden Produktes /Services, Fragen zur Häufigkeit der Nutzung, Fragen zu konkreten Erlebnissen von der letzten Nutzung etc. Diese Konversation (Pre-Test Interview) hilft den Proband*innen weiter etwas “herunterzufahren”, etwas zu entspannen und sich mit der Umgebung und den Moderator*innen vertraut zu machen.
7. Non-verbale Cues und Mimik kontrollieren. Während  wir mit den Proband*innen zusammen sitzen, sollten wir uns niemals ungeduldig verhalten und auch implizite, unbewusste Verhaltensmuster auf dem Schirm haben – wie z.B unsere Mimik. Das ist leichter gesagt als getan, denn vieles passiert einfach unbewusst. Daher ist es eine gute Idee, dies mit in das Moderationsskript aufzunehmen bzw. das Thema auf dem Schirm zu haben. Eine im falschen Moment hochgezogene Augenbraue, ein zu lautes Atmen oder nervöses Fingertippeln kann völlig missinterpretiert werden und seitens der Proband*in auf sich selbst bzw. die Leistung bezogen werden – mit Auswirkungen auf den Test.
8. Zeit der Teilnehmenden respektieren. Es ist ein Zeichen von Höflichkeit, wenn wir die Zeit  unserer Teilnehme*innen respektieren: Das bedeutet für uns, gut vorbereitet zu sein und zeitlich nicht zu überziehen. Hier kommt auch die besondere Rolle des sogenannten Pilottests ins Spiel: Der Pilottest dient dazu, unseren Test zu testen :)– der Test des Tests sozusagen. Der Pilot ist sehr hilfreich, um herauszufinden, ob unsere Aufgaben für Verwirrung bzw. Unklarheiten sorgen oder Fehler beinhalten und ob die Testbedingungen insgesamt “smooth” laufen. Der Pilottest  läuft genau wie ein richtiger Test ab, inklusive Proband*in, Einwilligung, Skript etc…und  findet einige Tage vor dem ersten richtigen Test statt. Somit haben wir noch genug Zeit eventuelle Korrekturen einzupflegen oder Aufgaben verständlicher zu formulieren.
9. Nach dem Test: Datenverwendung nochmals bestätigen lassen. Am Ende der Test Session sollten die Moderator*innen nochmals sicherstellen/abfragen, ob der/die Proband*in mit der Verwendung der Daten einverstanden ist. Es kann sein, dass die Proband*innen sich das während der Teilnahme anders überlegen. Ein späterer Rücktritt davon ist, wie bereits erwähnt, meist wegen der Anonymisierung der Datensätze schwierig bis nicht möglich. Dies sollte deutlich kommuniziert werden.
10. Bei Remote Tests: Technik-Setups am Vortag anbieten. Bei moderierten Remote Test Sessions ist es sinnvoll, Technik Setups z.B einen Tag vorher anzubieten. Hier besteht die Möglichkeit sich mit der Technik wie z.B Screensharing mithilfe einer Testseite (nicht dem Testprodukt an sich!) vertraut zu machen. Positiver Nebeneffekt:  Die Proband*innen lernen das Testteam schon mal kennen, das hemmt die Aufregung am Teststag sowie eventuelle Berührungsängste.
11. Transparente Kommunikation über weitere Beobachter*innen. Manchmal wollen und sollten (!) auch Manager*innen oder Entwickler*innen bei den Tests zusehen können. So erleben Mitglieder des Teams die Probleme hautnah mit, welche die Nutzer*innen bei der Bedienung des betreffenden Systems erleben und dies kann wichtig sein, um ein Verständnis für UX in Unternehmen zu etablieren und darüber den UX Reifegrad eines Unternehmens zu steigern. Auf der anderen Seite kann es problematisch werden, wenn zu viele Personen gleichzeitig den Test beobachten, denn dies bringt eine weitere künstliche Dimension mit in den Test indem Nutzer*innen sich noch mehr „beobachtet“ und “getestet” fühlen. Somit können Leistungsdruck und die “Performance Angst“ steigen, was wiederum die Testergebnisse verfälschen könnte. Also lieber weniger Beobachter und lieber das Team pro Test oder Testreihe rotieren, statt das komplette Team in den Beobachtungsraum zu stellen.

Falls zusätzlich zu den Moderator*innen noch weitere Personen den Test beobachten…

• … sollte auf jeden Fall transparent darauf hingewiesen werden und es ist sinnvoll, dass diese Personen kurz bei der Begrüßung dabei sind. Es sollte immer offen und ehrlich kommuniziert werden, wer warum zuschaut.
• ….müssen wir sie unbedingt gut briefen, wie sie sich vor, während und nach dem Test zu verhalten haben. Es geht darum, dass keine Unterbrechung durch Zwischenfragen oder Bemerkungen erfolgt oder wie oben bereits erwähnt unbewusste Gestik, Mimik oder Geräusche vernehmbar sind (Schnauben, Gähnen, Lachen, Fingertippeln). Wir erzählen gerne  die oben genannte Geschichte von Jared Spool, da sie eindrücklich demonstriert wie schnell es unabsichtlich falsch laufen kann.
• …ist es hilfreich, den Beobachter*innen z.B. einige Sticky Notes auszuhändigen um Unterbrechungen in Form von Fragen der Beobachter*innen zu vermeiden. So kann man das Gefühl der “drängenden” Frage, die jetzt sofort gestellt werden muss, entkräftigen. Hier haben Beobachter*innen die Möglichkeit, ohne Unterbrechung des Tests ihre Fragen oder Gedanken direkt aufzuschreiben. Diese können sie sie uns  Moderator*innen dann am Ende des Tests überreichen. Wir sichten diese kurz und geben diese Fragen ggf dann an den/die Proband*in weiter. Auch dies sollte zeitlich eingeplant werden. Durch dieses Vorgehen bleiben die Moderator*innen Hauptansprechpartner für die Testperson und es gibt keine Unruhe und  Durcheinander.

Fazit: Macht „Versuchspersonenstunden“!

Es gibt sicher noch sehr viel mehr zu sagen, dennoch sollten diese grundlegenden Punkte erst einmal ausreichen. Wir können nur allen Designer*innen, Produktmanager*innen und Entwickler*innen empfehlen, ähnlich wie Psychologiestudierende auch „Versuchspersonenstunden“ zu absolvieren und öfter selbst in die Rolle der Probanden zu schlüpfen und einen Usability Test aus dieser Perspektive mitzumachen. So bekommt man ein Gespür, wie sich das alles anfühlt und kann diese Erfahrung in die Gestaltung eines eigenen Tests mit einbringen.

Illustration: Question illustrations by Storyset