Mit UX-Testing  Probleme noch vor der Umsetzung aufdecken.

Die taz entwickelt ihre nativen Smartphone-Apps kontinuierlich weiter. Im Rahmen einer Weiterentwicklung wurden wir mit ins Boot geholt um möglichst frühzeitig eine Expertenbewertung für anschließende Nutzer*innentests innerhalb des laufenden Designprozesses durchzuführen, mithilfe deren Ergebnisse die  die weitere Produktentwicklung gesteuert werden sollte

Das Ziel: Eine klare Benutzerführung und Verständlichkeit der Funktionen

Ein möglichst positives digitales Leseerlebnis zu bereiten und dafür zu sorgen, dass alle Inhalte leicht auffindbar sind und Funktionen möglichst gut und umfassend verstanden werden – welche Zeitung träumt nicht davon?   

Die taz steht vor dem Hintergrund, die gedruckte Zeitung unter der Woche durch eine rein digitale zu ersetzen, genau vor der Herausforderung, eine möglichst hohe Benutzerfreundlichkeit in ihrer App zu gewährleisten. 

Der Fokus lag nun darauf, in kurzer Zeit anhand der Entwürfe zu konkreten Ergebnissen kommen, um die Frage zu beantworten, welche Funktionen gut, und welche nicht so gut verstanden werden und wie Nutzer*innen mit der Navigation innerhalb der App zurechtkommen, um das Design noch frühzeitig – bevor es in die konkrete Entwicklung geht – anpassen zu können.

Um dies zu erreichen, führten wir in einem ersten Schritt eine Experten Review mittels heuristischer Evaluation anhand der Entwürfe durch. Basierend auf den Erkenntnissen aus dieser Review sollte anschließend ein Usability Test mit einem aus den Entwürfen generierten Clickdummy durchgeführt werden. 

Projektziele im Überblick

1. Probleme identifizieren, bevor sie in Code gegossen wurden
2. Interne Stakeholder*innen für die Bedürfnisse der eigenen Nutzer*innen zu sensibilisieren.
3. User Research Methoden innerhalb des Unternehmens etablieren, um sie in zukünftige Design Prozesse selbständig anwenden zu können.

So haben wir die taz unterstützt:

#1 Durchführung einer Experten Review zur Identifikation grober Probleme anhand festgelegter Kriterien (Heuristische Evaluation)

Eine Heuristische Evaluation ist eine Methode, bei der ein oder mehrere Experten ein System –  in unserem Fall die Entwürfe einer App – anhand einer vorab festgelegten Checkliste von Kriterien überprüfen. In unserem Fall zogen wir für die Bewertung die DIN EN ISO 9241-10, Prinzipien der Dialoggestaltung bzw Nielsen’s 10 Usability Heuristiken heran. Dies sind etablierte und sich ähnelnde Werkzeuge zur Beurteilung hinsichtlich der Nutzerfreundlichkeit von interaktiven Systemen. Sie beinhalten die grundlegenden Richtlinien der Nutzerfreundlichkeit (Usability) wie z.B: 

• Aufgabenangemessenheit (geeignete Funktionalität, Minimierung unnötiger Interaktionen)
• Erwartungskonformität (Konsistenz, Anpassung an mentale Benutzermodelle soweit bekannt)
• Fehlertoleranz (System reagiert tolerant auf Fehler oder ermöglicht eine leichte Fehlerkorrektur durch die/den Benutzer*in)
• etc…

Diese Durchführung der heuristischen Evaluation noch vor den Usability Tests ist sehr hilfreich, um erste grobe und kritische Probleme bereits vor dem Test mit den Nutzer*innen zu identifizieren und diese bis dahin ggf entsprechend auszubessern. In unserem Fall konnten wir zudem  einige der Probleme, über die intern Uneinigkeiten bestanden, auch als Hypothesen mit in diesen ersten Usability Test mitnehmen.

#2 Durchführung von Pop-up Usability Tests auf der taz Genossenschafts Versammlung

Für einen allerersten Usability Test des taz App Prototypen ging es der taz darum, mit Bestands Lesern den iOS Prototypen zu testen – und zwar auf der Genossenschaftsversammlung 2019, um in diesem Zusammenhang  auch den Prototypen der App vorzustellen, denn dies war auch ein teil der thematischen Ausrichtung der Versammlung.   

Daher  rekrutieren wir insgesamt fünf Teilnehmer*innen, die spontan auf der Geno Versammlung 2019 angesprochen und gefragt wurden, ob Sie Lust haben, den iOS Prototypen zu testen. Dies sollten sowohl Bestands Digital Leser*innen oder Bestands Print Leser*nnen sein. Damit wollten wir  herausfinden, ob die Bestandleser*innen in der Lage sind, erfolgreich von der Startseite aus durch die App zu navigieren – also die wichtigsten Informationen und Features zu finden.

Jede Teilnehmer*in wurde gebeten, eine Reihe von Aufgaben auf dem Prototypen auszuführen, während ihre Interaktionen von uns  beobachtet  wurden. Während der Tests haben wir die Teilnehmer*Innen gebeten, die Methodik des “lauten Denkens” zu nutzen, um Einblicke in ihre Denkprozesse zu gewinnen.

Nach den Aufgaben  wurde den Teilnehmern eine Reihe von Fragen gestellt (Post test Interview) , um ihre Wahrnehmungen und Meinungen zu erfassen. Dazu haben wir uns auch hypothetischen Fragen bedient, wie z.B  “Wenn Sie magische Kräfte hätten, was würden Sie sich von einer digitalen Zeitung wünschen?”

Ergebnisse, Empfehlungen und weiteres Vorgehen

Die Heuristische Evaluation ergab eine Reihe von Problemen mit der Benutzerfreundlichkeit des Prototyps,  insbesondere in Bezug auf die Benutzerführung / Navigation und das angedachte Feedback durch das System nach Aktionen, für welche wir direkt Verbesserungsvorschläge machten und teilweise auch als Hypothesen mit in die Usability Tests nahmen. Die anschließend durchgeführten Usability Tests bestätigten diese Probleme und zeigten zudem, dass einige Teilnehmer*innen Schwierigkeiten hatten, bestimmte Aufgaben auf dem Prototypen auszuführen.

Unsere darauf folgenden Empfehlungen wie z.B die Klarstellung der Navigationsproblematik, die Verbesserung des System-Feedbacks und die Vereinfachung der Benutzerführung, die wir in einem Top Line Report festhielten und in einem Workshop präsentierten, konnten anschließend helfen, diese kritischen Probleme zum Großteil frühzeitig zu beheben.

Kontinuierliches Testen und Betriebsblindheit eliminieren mit fachfremden UX Tester*innen

Für weitere Schritte gaben wir die Empfehlung mit, dass kontinuierliche Usability Tests durchgeführt werden sollten. Des weiteren schlugen wir vor, dass bei diesen Tests  auch “externe” – also potentielle Leser*innen/Nutzer*innen, die die taz ggf nicht so gut kennen,  für die Tests gewonnen werden. Dies hat den Vorteil, dass wir wichtige Erkenntnisse gewinnen, für die Bestandleser*innen eventuell schon zu sehr “Expertenstatus” besitzen – also die taz und die Begrifflichkeiten und deren Konzepte  eventuell schon zu gut kennen, um z.B potentielle Unklarheiten oder Schwierigkeiten aufzudecken.   

Im Sommer 2020 führten wir dann  etliche  Remote usability tests mit potentiellen Nutzer* innen durch, welche die Erkenntnispalette nochmals wie bereits angenommen erweiterte: Besonders deutlich wurden hier Schwierigkeiten mit  einigen Begrifflichkeiten, die für langjährige, treue taz leser*innen und interne taz Mitarbeiter*innen selbstverständlich war un die daher in den ersten Tests gar nicht aufgefallen waren. Dies zeigt deutlich auf, wie wichtig es ist, (zumindest im B2C) auch Menschen in Tests mit einzubeziehen, die einerseits in die anvisierte Nutzergruppe fallen, aber andererseits eben mit dem eigenen Produkt oder Service nicht so gut vertraut sind. 

Digitales Lesen unter “real life Bedingung”

Immer wieder haben wir uns auch die Frage gestellt: Wo genau lesen die Menschen die taz App? Unsere Vermutungen waren, dass die App oft auch in klassischen “Wartesituationen” (Bus und Bahn oder z.B wartend an der Haltestelle) aus der Hosentasche gezogen wird – also fernab  günstiger Lesebedingungen, welche  z.B Ruhe,  passendes Licht, und einen ggf auch stabilen Untergrund bieten.  Daher haben wir zusätzlich eine Empfehlung für “Usability-Stresstests” ausgesprochen , de z.B so aussehen könnten, dass wir unter  ungünstigen Lichtbedingungen testen (zB bleiben Funktionen auch in grellem Licht erkennbar, ist der Text weiterhin gut lesbar?) Oder unter “Wackelbedingungen” wie in der U-Bahn: Halten Touchtargets solchen Bedingungen stand oder sind sie zu fragil gestaltet?  Alleine das darüber sprechen bietet teilweise genug Reflektionsmöglichkeiten, um Raum für Verbesserungen diesbezüglich anzudenken. 

Inklusivität bei User Research andenken

Wir wussten aus demografischen Befragungen vorab, dass taz Bestandsleser*innen und Genoss*innen nicht selten in mittleren bis höheren Lebensabschnitten zu verorten sind. Da der Verlag wie angemerkt plant, die gedruckte Zeitung unter der Woche durch eine rein digitale zu ersetzen, betonten wir schon früh, dass es daher umso wichtiger ist, ältere Nutzer*innen, die die Zeitung oft nur gedruckt lesen, in die Tests mit einzubeziehen und so bewusst auch Leser*innen mit Sehschwächen oder z.B auch einem Tremor die App testen zu lassen.

Mit einer Usability Test-Schulung die Befähigung zur Durchführung von inhouse Tests fördern

Anschließend haben wir in der taz eine Schulung über die Durchführung von Inhouse Usability Tests gegeben.

Das Ziel dieser Schulung war es, die gefühlten Barrieren zu senken, die oft mit User Research verbunden sind (“das ist so aufwändig!”) und die Mitarbeiter*innen zu sensibilisieren und zu befähigen, einfache Tests mit (potenziellen) Nutzer*innen regelmäßig selbst durchzuführen.

Das sagt…

Lena Kaiser, Produktentwicklung taz App

„Jenny und Steffi von den Geekettez haben für die taz in einer ganz wichtigen Phase Großartiges geleistet: Mit ihrer Hilfe konnten wir bei der Entwicklung der digitalen täglichen Ausgabe in der taz App die Bedürfnisse der Leser:innen dort platzieren, wo sie hingehören – im Mittelpunkt. Mit der Kombination aus Experten-Review und den anschließenden Usability-Tests mit einem Klickdummy konnten wir kritische Stellen in den Prototypen identifizieren, bevor wir in die technische Umsetzung gingen. Das hat nicht nur Zeit und Kosten gespart, sondern vor allem zu einer größeren Produkt-Zufriedenheit beigetragen. In weiteren Tests im Livesystem konnten wir das Feedback der Nutzer*innen einholen. Das machte eine kontinuierliche Optimierung der Nutzer:innen-Freundlichkeit möglich. Raus kam dabei eine in der Kategorie „Zeitungs-Redesign“ mit dem bronzenen ADC-Nagel ausgezeichnete neue taz App.”

Was war herausfordernd?

Was machte am meisten Spaß?

Intro Bild: Lena Kaiser, taz, die tageszeitung