Deze week gaf Susan Weinschenk, a.k.a. “the Brainlady” en auteur van Neuro Web Design, een webinar over de 10 grootste fouten die volgens haar worden gemaakt bij usability testen. Welke fouten zijn dit en hoe voorkom je dat je ze zelf maakt? Klaar voor “bad habit” nummer 10? Daar gaan we…
Waarom doen muzikanten een soundcheck? Niet omdat ze het zo leuk vinden, maar om zeker te weten dat tijdens het optreden er geen onverwachte dingen gebeuren.
Waarom vergeten dan zo veel bedrijven om hun usability test te “soundchecken”?
Je bedenkt een paar taken voor je testpersonen en gelijk ga je aan de slag om het onderzoek uit te voeren. Slecht idee. Want zijn de vragen wel duidelijk genoeg of zijn ze voor meerdere interpretaties vatbaar? En zijn de taken wel binnen de tijd uit te voeren?
De oplossing voor dit probleem is simpel: test je usability test eerst op 1 persoon om fouten en onduidelijkheden uit het onderzoek te halen (de “pilot”). Als je dat kunt combineren met het testen van de locatie waar je het echte onderzoek gaat houden, dan is dat nog een bonus. Alle feedback van deze eerste test helpt je om het uiteindelijke onderzoek te verbeteren. En hoef je niks te verbeteren, dan heb je je eerste testpersoon al binnen.
Het kan heel gevaarlijk zijn om snel conclusies te trekken. Vaak hebben we persoonlijk al een idee of hypothese over zaken die te verbeteren zijn aan een website. Bijvoorbeeld dat de menustructuur onduidelijk is. En wat zie je vaak gebeuren, testpersoon 1 en 2 ervaren dit probleem ook! Voor jou een bevestiging dat dit echt een probleem is dat snel opgelost moet worden. Maar ben je nog wel objectief genoeg omdat je van tevoren al had verwacht dat dit een probleem zou zijn?
Dit fenomeen heet ook wel “confirmation bias“. Confirmation bias kun je zien als een natuurlijke neiging om onze verwachtingen zo te toetsen dat ze onze meningen bevestigen. Hebben we al een veronderstelling over iets, dan zijn we vooral geneigd om te kijken naar de feiten die onze mening bevestigd. Dit kan er dus voor zorgen dat we te snel conclusies trekken uit een usability test of ons niet richten op andere resultaten uit het onderzoek, waar we vooraf geen veronderstelling over hebben.
Ga zo blanco mogelijk van start met je usability test. Verwacht het onverwachte en zet je eigen ideeën even opzij.
Stel dat je 5 uren moet leren om op een toets een 5 te halen. Zou je dan 10 uur moeten leren om een 10 te halen? Waarschijnlijk gaat je dat niet lukken. De effectiviteit neemt af omdat het moeilijker wordt om nog beter te presteren in verhouding tot de tijd die je er extra instopt.
Bij usability testen is er ook sprake van dit effect. Je leert steeds wat minder bij iedere testpersoon die je extra test. Een bekende grafiek van Jakob Nielsen laat zien dat je met 5 personen al 85% van de knelpunten zult vinden. Een 6e of 7e persoon testen levert niet veel extra inzichten op:
Maar hoe “waar” is deze grafiek nou eigenlijk? Daarvoor is het belangrijk iets meer over de achtergrond van dit onderzoek te weten. Hoeveel mensen je moet testen hangt af van de kans dat personen geconfronteerd worden met een usabilityprobleem. Hoe hoger dit percentage, hoe minder mensen je nodig hebt. Jeff Sauro heeft hier een handig overzicht van gemaakt:
Het onderzoek van Jakob Nielsen gaat uit van een kans van 31% dat een testpersoon een usability probleem zal ervaren. In dat geval zit je dus op die 85% gevonden knelpunten met 5 testpersonen. Die kans van 31% is gebaseerd op vele usability testen, maar is dus een gemiddelde. In jouw situatie kan die kans dus hoger of lager zijn.
Stel dat je nog nooit een usability test hebt uitgevoerd. De kans dat je testpersonen een usability probleem vinden is dan waarschijnlijk hoog, het is immers je eerste test. Dan volstaat het om iets minder personen (bijvoorbeeld 5-7) te testen. In een 2e testronde, als je de grootste problemen al hebt gevonden en opgelost, heb je dus meer mensen nodig om nog extra usabilityproblemen te vinden (bijvoorbeeld 15 testpersonen).
Graag wil je een goede uitspraak doen over de uitkomsten van een usability test. Daarvoor heb je testpersonen uitgenodigd die bepaalde eigenschappen hebben. Maar als je te veel verschillende mensen het onderzoek laat uitvoeren, heb je ook meer mensen nodig. Onderstaande figuur laat dit zien:
Als je dus zowel mannen als vrouwen in de test opneemt, die ook nog eens in verschillende leeftijdsgroepen vallen, dan moet je zeer terughoudend zijn met uitspraken over verschillen tussen deze groepen. Het vergelijken van resultaten op basis van geslacht (man/vrouw) is al een stuk betrouwbaarder, omdat je dan ineens 8 testpersonen per groep hebt.
Het is heel verleidelijk om verschillende groepen testpersonen mee te nemen in een usability test onder het mom “dit is een afspiegeling van onze doelgroep”. Maar hierdoor wordt vergelijking tussen deze groepen óf onbetrouwbaar óf je moet heel veel mensen testen. En dat laatste is vaak niet efficiënt of haalbaar. Beperk je dus tot het testen van 1 of 2 verschillende groepen, zodat je ook uitspraken kunt blijven doen over verschillen tussen deze groepen.
Als je in een usability test 6 testsessies van 1 uur hebt, heb je in totaal 6 uur video. Je kan dan tegen je webbouwer zeggen: hier heb je een link naar de video’s, los alle problemen op die in de video’s naar voren zijn gekomen. Drie keer raden hoe een webbouwer zich gaat voelen.
Dump nooit alleen de video’s maar geef context aan de personen die betrokken zijn. Maak een samenvatting van de belangrijkste problemen en prioriteer ze. Hiervoor kun je meerdere methodes gebruiken.
Na een usability test van 60 minuten krijgt een testpersoon nog een aantal enquêtevragen. Soms over zaken die 50 minuten geleden zijn gebeurd. Dat is een groter probleem dan de meeste mensen denken, volgens Susan Weinschenk.
Mooi voorbeeld: een testpersoon die van pure frustratie in huilen uitbarst tijdens een test, maar in de enquête na afloop bijzonder positief is over de gebruiksvriendelijkheid van de website. Kortom, wat iemand zegt en wat er echt is gebeurd is vaak een wereld van verschil.
Dit zorgt er ook voor dat Susan Weinschenk meer fan is van de Think-aloud methode dan methodes waarbij testpersonen pas na afloop van een taak hun gedachtes delen. Mensen zijn namelijk slecht in het (eerlijk) reproduceren van hun eigen gedrag.
Als je gebruik maakt van afsluitende enquêtes, kijk dan ook eens of dit klopt met het gedrag in de video. Vaak komt dit niet met elkaar overeen. Dus neem die enquêteresultaten met een flinke korrel zout.
Je zit midden in een bouwproces, heel veel functies moeten nog gebouwd worden. Dat zorgt vaak voor terughoudendheid om al een usability test uit te voeren. Vaak hoor je: “Als we nu al gaan testen krijgen we feedback op zaken die nog op de planning staan”. Ja, dat gaat zeker gebeuren. Maar je krijgt ook veel feedback op zaken die nog niet op de planning staan, misschien wel meer dan je denkt. Daarbij is het vaak een stuk goedkoper om in een vroeg stadium usabilityproblemen op te lossen dan 1 week voor de lancering.
Je zult er geen spijt van krijgen.
Heeft eigenlijk veel raakvlakken met bad habit nummer 9. Er zullen verrassende dingen gebeuren tijdens de usability test die je misschien helemaal niet had verwacht. Hoe ga je hier dan mee om? Het is verleidelijk om ze te negeren. Oh, dat gebeurt nu bij deze persoon toevallig, maar dat is verder niks ernstigs.
Achter iedere verrassing kan een serieus usabilityprobleem schuilen. Wees op je hoede hiervoor en neem iedere uitkomst serieus, ook als deze verrassend is.
Graag willen we zelf de puzzel oplossen en ons voelen als Sherlock Holmes. Vaak zegt de data van je usability test iets heel anders. Zeker als je in het begin van het onderzoek al conclusies voor jezelf trekt, is het heel moeilijk om deze achteraf bij te stellen.
Susan Weinschenk heeft een opvallend nuchtere oplossing. Als de data zegt dat iets gebeurd, dan is het ook gebeurd. Zo simpel is het. Iedereen die de neiging heeft zelf de usabilitypuzzel op te lossen, kijk eerst naar de data en vorm dan pas je conclusie.
De meest krachtige munitie die je hebt na een usability test zijn de video’s. Je kan deze video’s zo over de schutting gooien (zie nummer 6), je weet al dat dit niet zo slim is. Eigenlijk zou je een highlights video moeten maken. Dit is een samenvatting van de meest opvallende punten uit de test in een video van maximaal een paar minuten. Dit doe je omdat je mensen moet overtuigen van de gevonden problemen, want niet iedereen staat te trappelen om de usability problemen op te lossen. De webbouwer voelt zich aangevallen, je baas wil bewijs zien en de baas van de baas moet het er ook mee eens zijn. En bazen hebben meestal weinig tijd of aandacht.
Bekijk maar eens dit artikel over de attentiewaarde van online video’s, afgezet tegen de lengte van de video’s. Nog geen 10% kijkt een online video met een lengte van 5 minuten helemaal af. Dit is natuurlijk een extreem voorbeeld maar het geeft wel een indicatie dat in de dagelijkse praktijk de aandacht van mensen niet zo lang vastgehouden kan worden.
Zorg er dus voor dat je highlights video vanaf de eerste seconde knalt en niet te lang duurt. Waarom werken highlights video’s zo goed volgens Susan Weinschenk?
1) Er is geen ontkennen meer aan. Wat is er nou krachtiger om 5 personen achter elkaar hetzelfde probleem te zien ervaren?
2) Mensen hebben weinig tijd en een korte aandachtsspanne.
3) Korte video’s worden beter bekeken en zijn makkelijker te verspreiden
4) Je kunt ze later combineren met een 2e usability test. Als je ook een samenvatting van de 2e reeks testen maakt, kun je snel aantonen dat de problemen van test 1 zijn opgelost .
Kortom, investeer net iets meer tijd om deze video te (laten) maken en het vergroot je kans aanzienlijk om je bevindingen niet te zien verdwijnen in een stoffige lade.