Yksikkö 8 / 11

Käytettävyystestauksen analyysi ja tulosten synteesi

Voitot:

  • Kyky muuntaa käytettävyystestien tietueita ja havaintomuistiinpanoja löydöksiksi, painoiksi ja suosituksiksi tekoälyn avulla
  • Kyky luokitella löydökset vakavuuden mukaan ja laatia priorisointitaulukko
  • Kyky korjata löydöksiä, jotka tekoäly jättää huomiotta tai liioittelee todellisilla havainnoilla

Käytettävyystestaus on tapa tarkkailla, missä suunnittelu toimii ja mihin se juuttuu antamalla tiettyjä tehtäviä todellisille käyttäjille ja seuraamalla heitä. Itse testi on helppo; Todellinen haaste on jälkimainingeissa: tuntien tallennus, havainnointimuistiinpanojen sivut ja hajallaan olevat kuvakaappaukset muutetaan selkeiksi, priorisoiduiksi löydöksiksi. Tämä synteesi kestää päiviä käsin, ja tiimit jättävät sen usein kesken. Tekoäly avaa tämän pullonkaulan: muuntaa tietueet ja muistiinpanot löydöksiksi, painoiksi ja suosituksiksi. Mutta ihmisen harkinta on päättää, onko havainto todella ongelma ja kuinka tärkeä se on.

Ero havainnoinnin, löytämisen ja ehdotuksen välillä

On tärkeää erottaa kolme kerrosta synteesissä:

  • Havainto: Mitä tapahtui, ei kommentteja. "Osallistuja 3 etsi "jatka" -painiketta 40 sekunnin ajan."
  • Löytö: Havainnoista syntynyt kuvio. "Käyttäjillä on vaikeuksia löytää ensisijaista toimintoa."
  • Suositus: Mitä tehdä. "Tekee ensisijaisesta painikkeesta visuaalisesti erottuvan."

Tekoäly tuottaa nopeasti nämä kolme kerrosta, mutta usein sekoittaa havainnon löytöihin tai päättelee kokonaisen löydön yhdestä havainnosta. Sinun tehtäväsi on varmistaa, että jokaisen löydön takana on riittävästi havaintoja (kuinka monta osallistujaa, kuinka monta kertaa).

Vinkki: Pyydä tekoälyä sanomaan "lisää jokaisen löydön alle havainnot, jotka tukevat sitä ja kuinka monessa osallistujassa se on nähty." Näin voit välittömästi erottaa paisuneet havainnot yhdestä havainnosta.

Vakavuus: mitä korjata ensin?

Kaikki havainnot eivät ole samanarvoisia. Vakavuus osoittaa, kuinka nopeasti ongelma on korjattava, ja sen määrää kolme tekijää:

  1. Vaikutus: Estääkö ongelma käyttäjää suorittamasta tehtävää vai vain häiritseekö ongelma häntä?
  2. Toistuvuus: Kuinka monta käyttäjää ja kuinka usein?
  3. Vaikutus liiketoimintaan: Kuinka paljon tämä ongelma vaikuttaa tulokseen, tuloihin tai luottamukseen?

Tyypillinen asteikko: kriittinen (estää täysin tehtävän), korkea (vakava vaikeusaste), keskitaso (hidastaa), matala (kosmeettinen). Tekoäly voi ehdottaa alustavaa sijoitusta, mutta lopullinen painotuspäätös – erityisesti vaikutus liiketoimintaan – edellyttää ryhmän tuntemusta kontekstista.

löytäminen

Vaikutus

taajuudella

tärkeys

Ehdotus

Ensisijaista painiketta ei löydy

Se häiritsee tehtävää

4/6 osallistujaa

kriittinen

Korosta-painike

Virheilmoitus on epäselvä

hidastumassa

3/6

korkea

Selvennä viestiä

Ikonin merkitys epäselvä

pientä epäröintiä

2/6

keskikokoinen

Lisää tunniste

Värisävy ei pitänyt

kosmetiikka

1/6

alhainen

jätä se myöhempään

kolme minilaukkua

Tapaus 1 — 5 tuntia tallennusta, löydökset puolessa päivässä. Yksi tiimi syötti 6:n käyttäjätestin muistiinpanot (yhteensä 5 tuntia) tekoälylle. Malli ehdotti 14 havaintoa; Ryhmä vertasi jokaisen havaintojen määrään, rajasi sen 9:ään ja asetti ne tärkeysjärjestykseen. Synteesi, joka olisi kestänyt manuaalisesti 2 päivää, lyhennettiin puoleen päivään.

Tapaus 2 – Paisunut löytö kiinni. "Käyttäjät eivät ymmärrä navigointia", tekoäly kirjoitti kriittiseen havaintoon. Kun ryhmä tarkasteli tukihavaintoja, he havaitsivat, että se perustui yksittäisen osallistujan yksittäiseen hetkeen. Löydös alennettiin "keskiarvoiseksi" ja pyydettiin lisää tietoja. Oppitunti: yksittäinen havainto ei tee kriittistä havaintoa.

Tapaus 3 – Kriittisen ongelman puuttuminen. Malli laski toistuvan mutta näennäisen vähäisen ongelman (lomake ei vierii automaattisesti) "vähäiseksi". Kun suunnittelija katsoi havaintoja, hän tajusi, että tämä aiheutti tehtävän luopumisen 5 osallistujalla ja asetti sen "korkealle". Oppitunti: Tekoälyn tärkeysarvio on korjattu havaintojen perusteella.

Lukea kvantitatiivisia ja laadullisia tietoja yhdessä

Käytettävyystestaus on enimmäkseen kvalitatiivista (havainnointiin perustuvaa), mutta on myös kvantitatiivisia (numeerisia) signaaleja: tehtävän valmistumisaste, tehtävän kesto, virheiden määrä, tyytyväisyyspisteet. Tehokkain synteesi yhdistää nämä kaksi: "Vain 33% osallistujista suoritti kassatehtävän (kvantatiivisesti), ja kaikki, jotka epäonnistuivat, jäivät jumiin toimitusvaiheeseen (laadullisesti)." Tekoäly auttaa yhdistämään nämä kaksi dataa, kun annat ne erikseen; mutta vahvistat numeroiden tarkkuuden ja otoskoon. Prosentteista puhuminen voi olla harhaanjohtavaa pienissä otoksissa (esim. 5 käyttäjää); Sanominen "3/5 käyttäjää" on rehellisempi kuin "60%". Pyydä mallia puhumaan absoluuttisina lukuina.

Vinkki: Pyydä tekoälyä sanomaan "kirjoita "kuinka monta käyttäjää" prosentin sijaan. Pienissä näytteissä prosenttiosuus antaa vaikutelman suuremmasta tarkkuudesta kuin se todellisuudessa on.

Kopioitavissa olevat kehotteet

Tehtäväsi: käytettävyysanalyytikko. Piirrä havainnot seuraavista anonymisoiduista testimuistiinpanoista. Jokaiselle löydökselle: 1) selkeä lausunto, 2) havaintoa tukevat havainnot ja kuinka moni osallistuja sen näki, 3) vaikutus (estävä/hidastava/kosmeettinen). Merkitse yhteen havaintoon perustuvat havainnot "HEIKKO NÄYTTÖÖN". Huomautuksia: <<teksti>>

Lajittele tämä löydösluettelo tärkeyden mukaan. Kriteerit: vaikutus (tehtävän este?), tiheys (kuinka monta osallistujaa?), vaikutus liiketoimintaan. Määritä jokaiselle löydökselle kriittinen/korkea/keskitaso/matala ja kirjoita perustelut. Jos olet epävarma vaikutuksesta liiketoimintaan, sano "tiimin on arvioitava". Löydökset: <<lista>>

Kirjoita jokaiselle löydökselle konkreettinen, toimiva suunnittelusuositus. Suositus: mikä muuttuu + miksi tämä ratkaisee ongelman + mihin näyttöön se vaikuttaa. Vältä epämääräisiä ("tee paremmin") suosituksia. Löydökset: <<lista>>

Tee yhteenveto tästä löydösraportista sidosryhmien esittelyä varten: kirjoita lyhyt yhteenveto, joka sisältää kolme kriittisintä havaintoa, todisteita (kuinka monta käyttäjää) ja suositellut toimet. Liioittelu; ottaa numeroita muistiinpanoista.Raportti: <<teksti>>

Heikko kehote / Vahva kehote

Heikko: "Tee johtopäätökset näistä testituloksista."

Tulos: Sekalainen luettelo, jossa ei ole todisteita, ei tärkeysjärjestystä ja yksittäinen havainto erehtyy havaintoon.

Vahva: "Piirrä muistiinpanoista havainto; lisää kunkin löydön alle tukevia havaintoja ja kuinka monessa osallistujassa se on nähty; merkitse yhteen havaintoon perustuva "heikko todiste" ja aseta se sitten tärkeysjärjestykseen vaikutus-taajuus-työvaikutuksen mukaan."

Tulos: Todisteisiin perustuvat, priorisoidut, puolustettavat havainnot.

Ero: vahva kehote pyytää todisteiden lukumäärää + heikko kehote + tärkeyskriteeri.

Yleisiä virheitä

  • Havainto ja löytö sekaisin. Yksittäisen "mitä tapahtui" kääntäminen yleiseksi johtopäätökseksi.
  • Kriittisten havaintojen tekeminen yhdestä havainnosta. Painoa ei anneta ennen kuin tiheys on varmistettu.
  • Päätös liiketoimintavaikutuksista tekoälyyn. Tulo-/tulosvaikutus edellyttää kontekstia; Hän on joukkueessaan.
  • Älä priorisoi. Hajanainen löydösluettelo halvaannuttaa ryhmän; Kaikkea ei voi korjata kerralla.
  • Ehdotusten jättäminen epäselväksi. "Tee paremmin" ei sovellu; Mitä, miksi ja missä pitäisi olla selvää.

Yhteenvetona

Käytettävyystestauksen arvo tulee siinä, että tallenteet ja muistiinpanot muunnetaan selkeiksi, priorisoiduiksi löydöksiksi. Tekoäly nopeuttaa suuresti tätä synteesiä: kokoaa havainnot löydöksiksi, laatii suosituksia, ehdottaa tärkeysjärjestystä. Ihmisen tehtävänä on kuitenkin tarkistaa jokaisen löydön takana olevien havaintojen määrä, karsia yksittäisten havaintojen perusteella liioiteltuja havaintoja ja painottaa liiketoimintavaikutuksia kontekstin kanssa. Näyttöön perustuva, tietyn tiheyden ja tärkeysjärjestyksen mukainen löydösraportti on sekä nopea että sidosryhmille puolustettava.

Sovellustehtävä

  1. Anonymisoi käytettävyystestin muistiinpanot (oikeat tai kuvitteelliset).
  2. Poista havainnot ensimmäisestä kehotuksesta; Tarkista havaintojen määrä kunkin alla.
  3. Eristä löydökset, jotka on merkitty "heikkoon näyttöön", ja päätä, tarvitaanko lisätietoja.
  4. Aseta havainnot tärkeysjärjestykseen toisella kehotuksella. Arvioi yrityksen vaikutusta tiiminä.
  5. Kirjoita kolmannen kehotteen avulla konkreettisia ehdotuksia jokaiselle löydökselle ja luo priorisointitaulukko.

tarkistuslista

  • [ ] Pidin havainnot, löydöt ja ehdotukset erillisinä kerroksina.
  • [ ] Tarkastin, kuinka monta osallistujaa osoitti kunkin löydön.
  • [ ] Merkitsin yhteen havaintoon perustuvat havainnot heikoksi todisteeksi.
  • [ ] Määritin vakavuuden tason vaikutus-taajuus-työvaikutuksen perusteella.
  • [ ] Arvioi liiketoimintavaikutuksista tehtyä päätöstä tiimin kanssa.
  • [ ] Kirjoitin ehdotukset konkreettisesti (mitä/miksi/minne).