Asiantuntijat pystyvät tehokkaasti löytämään suuren osan käytettävyysvirheistä. Kaikkia virheitä on kuitenkin mahdotonta löytää. Ihmisten ajatusmallit, hahmotuskyvyt ja loogisen päättelymallit eroavat suuresti toisistaan. Tämän takia on tärkeää testata palvelua sen oikeilla käyttäjillä.

Käyttäjätestien tekeminen on aikaa vievää ja suunnittelu on tehtävä huolella. Lisäksi potentiaalisten käyttäjien rekrytoiminen syö resursseja. Käyttäjätestaus saattaa tulla hyvinkin kalliiksi. Tämän vuoksi käyttäjätestien tekemistä ei suositella pienemmille palveluille. Testaaminen oikeilla käyttäjillä voi kuitenkin paljastaa ratkaisevia käytettävyysvirheitä ja on hyvä tapa seurata käyttäytymistä järjestelmässä. Mikäli järjestelmässä on kiinni suuria summia rahaa ja siitä halutaan maksimaalinen hyöty, on todella hyödyllistä testata järjestelmän käytettävyys käyttäjätesteillä.

Käyttäjätestien kalleudesta ja työläisyydestä johtuen niitä käytetään kovin vähän, vaikka niiden tuottamat hyödyt ovat usein kuluja huomattavasti suurempia.

Oikea määrä testaajia

Kuten heuristisessa analyysissäkin, oikea määrä testattavia on noin 5 kappaletta. On suotavampaa tehdä useita testejä kehityksen eri vaiheissa, kuin yhtä massiivista testausta. Alla oleva kuva kertoo kustannusten hyödyn testaajien määrän funktiona.

Käyttäjätestauksen tehokkuus suhteessa testattavien määrään

Käyttäjätestauksen tehokkuus suhteessa testattavien määrään

(Lähde: Nielsen, Guerrilla HCI: Using Discount Usability Engineering to Penetrate the Intimidation Barrier)

Käyttäjätestien toteutus

Käyttäjätesteissä laaditaan skenaarioita, joita käyttäjillä halutaan testattavan. Testattaville annetaan tehtäviä, jotka on suoritettava tietyssä ajassa. Käyttäjätestit voidaan suorittaa, joko laboratoriossa tai etänä käyttäjän ollessa oman koneen ääressä. Palautetta käyttäjiltä voidaan saada joko ääneen ajattelusta tai jälkeen päin kysyttynä. Testiapuna kannattaa käyttää käytettävyystestaukseen tarkoitettuja ohjelmia, kuten esimerkiksi Morae (Lisätietoa: www.softwarecasa.com). Käytettävyysohjelmat tallentavat käyttäjien toiminnot ja kuvaavat käyttäjää suorittamassa annettuja tehtäviä. Ohjelmat mahdollistavat testien tehokkaan analysoimisen jälkeenpäin.