UX Mythen entlarvt: UX messen – auf das *wie* kommt’s an!

In unserer schnelllebigen digitalen Welt, in der die Zufriedenheit  von Kund*innen und Nutzer*innen über Erfolg oder Misserfolg eines Produkts oder eines Services entscheiden kann, ist das Verständnis für den Wert der User Experience (UX) von größter Bedeutung. 

Aus unserer Erfahrung heraus verlassen sich Unternehmen und Organisationen, wenn es um UX geht oft auf das Bauchgefühl oder subjektive Einschätzungen. Dass die Wirksamkeit  von UX oder der Status quo erfasst – also gemessen – wird, kommt eher selten vor. Die Folge: Der Wert von UX ist  nicht so recht „greifbar“, Prozesse werden aus dem Bauchgefühl optimiert, und Budgets für dieses daraus resultierende ‘schwammige’ Konstrukt namens „User Experience“ werden deshalb verständlicherweise immer weniger freigegeben.

Warum ist das Messen der user’s experience wichtig?

Ohne eine Bestandsaufnahme zu ermitteln weiss man nicht, was optimiert werden sollte –  und ohne den Erfolg von durchgeführten UX Maßnahmen zu messen, bleibt unklar, ob diese tatsächlich effektiv sind. Denn niemand weiß genau bzw kann konkretisieren, was die Anpassungen gebracht haben, die nach der letzten Nutzerumfrage oder des letzten Usability Tests vorgenommen wurden.

Dies scheint oft daran zu liegen, dass Unternehmen und Organisationen nicht so recht wissen, wo sie denn anfangen oder ansetzen sollen, um die Nutzererfahrung zu messen oder „wie man das richtig macht“.  

Oft werden dann der Einfachheit halber harte Zahlen aus den Analyse Tools herangezogen, die uns als Indikatoren dienen sollen, ob die user’s experience jetzt “gut” oder “schlecht” ist. Da diese aber (alleine) oft keine umfassenden Einblicke liefern, sind Unternehmen von dem Prozess schnell enttäuscht und stellen die UX Messung wieder hinten an. 

Es gibt aber verschiedene Wege, gute Einblicke in die UX zu bekommen, sie zu messen und zu bewerten.

UX ist messbar – auf das wie kommt es an

Um UX zu messen, bieten sich qualitative und quantitative Usability-Tests und viele standardisierte Fragebögen für die Benutzererfahrung an. Einer dieser Fragebögen ist der UEQ (Laugwitz et al., 2008). Der UEQ erlaubt eine schnelle Bewertung verschiedener Aspekte der Softwarequalität, basierend auf sechs Faktoren. Der AttrakDiff (Hassenzahl et al., 2003) erfasst verschiedene Qualitäten wie z.B. die Nützlichkeit und Nutzbarkeit (Ist es einfach oder kompliziert?) aber auch die sogenannte “hedonische” Qualität (Fühlt es sich wertvoll oder minderwertig an? Ist es originell oder eher konventionell?). 

Weiterhin spielen Usability-Tests bei der Erfassung der Nutzererfahrung eine zentrale Rolle. Durch Beobachtung und direkte Rückmeldung der Nutzer sowie der Möglichkeit, gezielte Nachfragen zu stellen, gewinnen wir wertvolle Einblicke in die tatsächliche Nutzung und mögliche Verbesserungsbereiche. Diese Tests helfen uns, reale Probleme zu identifizieren und nicht nur die reine Nutzbarkeit (Usability), sondern auch die User Experience kontinuierlich zu optimieren.

Kann man die UX mit KPIs messen?

Häufig werden die Conversion Rate oder die Abbruchrate als Indikatoren für eine “gute” oder “schlechte” UX herangezogen. Allerdings kann man unserer Meinung nach über solche Business-Kennzahlen – den sogenannten Key Performance Indicators (KPIs) – die UX nicht messen, sondern über sie auf die Benutzererfahrung schließen. Dies ist allerdings mit Vorsicht zu genießen und somit mit dem Risiko der Fehlinterpretation verbunden. Denn damit misst man nicht die tatsächliche Nutzererfahrung, sondern erfasst einen Schnappschuss und Trends von geschäftlichen Kennzahlen. Man misst damit in also erster Linie den Geschäftserfolg – und hier können verschiedene Faktoren Einfluß darauf nehmen, wieso dieser steigt oder sinkt.

Man kann zwar – gerade bei den beiden genannten Kennzahlen (Conversion Rate und Abbruchrate) – eventuell einen Trend erkennen, ob die durchgeführten UX Maßnahmen die gewünschten geschäftlichen Erfolge mit sich bringen. Allerdings spielen hier so viele andere Variablen (confounding variables) mit hinein – die es schwer machen, eine verbesserte User Experience dafür (mit)verantwortlich zu machen.   

Ähnliches gilt für viele quantitative Variantentests wie z.B. A/B-Tests. Wir werden nur erfahren, dass die Variante A besser performt als Variante B – wissen aber nicht unbedingt, weshalb – und ob das an einer positiven Nutzererfahrung liegt. 

Was die Messung von UX so herausfordernd macht: User Experience ist ein latentes Konstrukt

Um UX messen zu können, muss man sich erst einmal kurz klar machen, mit was wir es „messtechnisch“ überhaupt zu tun haben: Dafür ist wichtig zu verstehen, dass das Nutzererlebnis keine Eigenschaft eines Produkts oder eines Interfaces ist. Eine Webseite oder App “hat” keine UX. Vielmehr „passiert“ das Erlebnis im Kopf des einzelnen Nutzers als Reaktion auf seine Interaktion mit einem digitalen Produkt oder Service. 
Somit ist die User Experience wissenschaftlich ausgedrückt ein sogenanntes latentes Konstrukt – das heißt, sie kann nicht direkt beobachtet werden, sondern nur aus anderen – wiederum beobachtbaren – Faktoren abgeleitet bzw erschlossen werden. Diese anderen Faktoren (die alle zusammen die User Experience abbilden) müssen aber mit speziellen und komplexen statistischen Methoden (Faktorenanalysen) zuerst definiert werden. Nur so kann man sicherstellen, dass das, was man dann misst, tatsächlich die User Experience widerspiegelt und nicht einfach irgendetwas anderes gemessen wird. Genau hier setzen die weiter oben aufgeführten standardisierten Fragebögen an, denn in diesen werden durch Faktorenanlysen die Faktoren bestimmt und schließlich abgefragt, die die User Experience abbilden.

Empfehlung: UX mit einem Methodenmix kontinuierlich messen 

Durch eine gut gemischte Kombination diverser Methoden können wir in der Regel gute Einblicke in das Benutzerverhalten gewinnen und dann steht einer kontinuierlichen Optimierung der Nutzererfahrung nichts im Wege. 

Usability-Tests liefern z.B. in der Regel tiefe Einblicke in die tatsächlichen Interaktionen der Nutzer mit dem Produkt. Durch die Analyse von Aufgabenbewältigung, Nutzerverhalten sowie der laufenden Kommentare der Nutzer*innen während dieser Tests können spezifische Probleme und Verbesserungspotenziale identifiziert werden. Zudem liefern die Tests gute Einblicke in das Denken der Nutzer*innen.  

Usability-Tests und standardisierte UX Fragebögen sollten also die durch reine Kennzahlen gewonnene Erkenntnisse – z.B. aus KPIs – immer ergänzen, denn sie helfen, ein umfassendes Bild der User Experience zu gewinnen.  

Wir empfehlen zudem immer, die UX kontinuierlich zu messen, um zu beurteilen, ob eine durchgeführte UX Optimierung erfolgreich war oder nicht. Mit den genannten Methoden lässt sich auch prima eine erste Bestandsaufnahme machen, um herauszufinden, wo man steht und was überhaupt optimierungsbedürftig ist. So lassen sich strategisch gute Entscheidungen treffen – bzw. falsche Entscheidungen vermeiden.

Key Takeaways: Die UX zu messen bedeutet Risikominimierung

Es ist wichtig, dass Unternehmen durchgeführte UX Maßnahmen bewerten können, um ihre Wirksamkeit zu beurteilen, indem sie diese messen bzw eine Bestandsaufnahme machen, damit sie informierte Entscheidungen darüber treffen können, wo und mit welcher Priorisierung Anpassungen nötig sind. So kann sichergestellt werden, dass diese Services und Produkte bei Nutzer*innen und Kund*innen gut ankommen. Weiterhin dient es der Risikominimierung des Unternehmens – denn so werden teure Fehlinvestitionen in der Entwicklung, die auf Bauchgefühl und Vermutungen basieren, vermieden. 

Der Einsatz eines Methodenmixes – also die Kombination qualitativer und quantitativer Methoden – erlaubt es Unternehmen, wertvolle Einblicke in die Benutzerfreundlichkeit, emotionale Wirkung und die allgemeine Effektivität des Produkts bzw. Services zu bekommen. Somit können erkenntnisbasierte und informierte Entscheidungen getroffen werden, welche die Nutzererfahrung verbessern und so den Erfolg des Business erheblich steigern können.

Quellen

Hassenzahl, M., Burmester, M., & Koller, F. (2003). AttrakDiff: Ein Fragebogen zur Messung wahrgenommener hedonischer und pragmatischer Qualität. In G. Szwillus & J. Ziegler (Eds.), Mensch & Computer 2003 (Vol. 57, pp. 187–196). Vieweg+Teubner Verlag. https://doi.org/10.1007/978-3-322-80058-9_19

Laugwitz, B., Held, T., & Schrepp, M. (2008). Construction and Evaluation of a User Experience Questionnaire. In A. Holzinger (Ed.), HCI and Usability for Education and Work (pp. 63–76). Springer. https://doi.org/10.1007/978-3-540-89350-9_6

Über diese Artikelserie  

In unserer Serie „UX Mythen entlarvt“ räumen wir mit gängigen Missverständnissen im User Experience Design auf und teilen unsere Ansichten dazu. Den Link zum ersten Teil findet ihr unter dem Artikel.

Wenn dir dieser Artikel gefallen hat, kannst du hier Teil 1 lesen: UX Mythen entlarvt: UX Design ist nur für Webseiten und Apps relevant.

Möchtest du die User Experience deines Services oder Produktes verbessern?

Schreib uns oder ruf uns an! Wir unterstützen dich bei Fragen zur Messung von UX, Usability Tests,  Interviews sowie der Entwicklung von Ideen, Konzepten und beraten bei kniffligen UX-Herausforderungen oder frustrierten Nutzer*innen. 

Wir bieten gerne ein unverbindliches Erstgespräch zum Kennenlernen und freuen uns auf dich und dein Anliegen!