Analiza testiranja uporabnosti in sinteza ugotovitev

Dobički:

• Sposobnost pretvorbe zapisov testov uporabnosti in opazovanj v ugotovitve, uteži in priporočila z umetno inteligenco
• Sposobnost razvrščanja ugotovitev glede na resnost in izdelave prednostne tabele
• Sposobnost popraviti ugotovitve, ki jih umetna inteligenca izpusti ali pretirava z resničnimi dokazi opazovanj

Testiranje uporabnosti je metoda opazovanja, kje zasnova deluje in kje se zatakne, tako da dejanskim uporabnikom dodelite posebne naloge in jih spremljate. Sam test je enostaven; Pravi izziv je v nadaljevanju: spreminjanje ur snemanja, strani zapiskov o opazovanjih in razpršenih posnetkov zaslona v jasne, prioritetne ugotovitve. Ta sinteza traja več dni in ekipe jo pogosto pustijo nedokončano. Umetna inteligenca odpira to ozko grlo: zapise in zapiske spreminja v ugotovitve, težo in priporočila. Vendar je človeška presoja, da se odloči, ali je opažanje res problem in kako pomembno je.

Razlika med opazovanjem, ugotovitvijo in sugestijo

Ključnega pomena je ločiti tri plasti v sintezi:

• Opažanje: Kaj se je zgodilo, brez komentarja. "Udeleženec 3 je iskal gumb 'nadaljuj' 40 sekund."
• Ugotovitev: vzorec, ki izhaja iz opazovanj. "Uporabniki imajo težave pri iskanju primarnega dejanja."
• Priporočilo: Kaj storiti. "Primarni gumb vizualno izstopa."

Umetna inteligenca hitro proizvede te tri plasti, vendar opazovanje pogosto zamenja z ugotovitvijo ali sklepa na celotno ugotovitev iz enega samega opazovanja. Vaša naloga je preveriti, ali je za vsako ugotovitvijo dovolj opazovanj (koliko udeležencev, kolikokrat).

Namig: Umetna inteligenca naj reče "pod vsako ugotovitvijo dodajte opažanja, ki to podpirajo, in pri koliko udeležencih je bila opažena." Na ta način lahko takoj ločite napihnjene ugotovitve od posameznega opazovanja.

Resnost: kaj najprej popraviti?

Vse ugotovitve niso enake. Resnost označuje, kako nujno je treba težavo odpraviti, določajo pa jo trije dejavniki:

1. Vpliv: Ali težava uporabniku preprečuje dokončanje naloge ali ga samo moti?
2. Pogostost: Koliko uporabnikov in kako pogosto?
3. Vpliv na poslovanje: koliko ta težava vpliva na konverzijo, prihodek ali zaupanje?

Tipična lestvica: kritično (popolnoma ovira misijo), visoko (hude težave), srednje (upočasni), nizko (kozmetično). Umetna inteligenca lahko predlaga začetno razvrstitev, toda končna odločitev o uteževanju – zlasti vpliv na poslovanje – zahteva poznavanje konteksta ekipe.

ugotovitev

Vpliv

pogostost

pomembnost

Predlog

Primarnega gumba ni mogoče najti

Moti nalogo

4/6 udeležencev

kritičen

Označi gumb

Sporočilo o napaki ni jasno

upočasnjevanje

3/6

visoka

Pojasnite sporočilo

Pomen ikone nejasen

rahlo obotavljanje

2/6

srednje

Dodaj oznako

Barvni ton ni bil všeč

kozmetika

1/6

nizka

pustite za pozneje

trije mini kovčki

Primer 1 — 5 ur snemanja, ugotovitve v pol dneva. Ena ekipa je AI posredovala zapiske 6 uporabniških testov (skupaj 5 ur). Model je predlagal 14 ugotovitev; Ekipa je vsakega preverila glede na število opazovanj, jih zožila na 9 in jih razvrstila po pomembnosti. Sinteza, ki bi ročno trajala 2 dni, se je zmanjšala na pol dneva.

Primer 2 – Ulovljena napihnjena ugotovitev. "Uporabniki ne razumejo navigacije," je AI zapisal v kritični ugotovitvi. Ko je ekipa pogledala podporna opažanja, je ugotovila, da temelji na enem samem trenutku enega udeleženca. Ugotovitev so znižali na "zmerno" in zahtevali so več podatkov. Nauk: ena sama opazka ne pomeni kritične ugotovitve.

3. primer – zgrešena kritična težava. Model je ponavljajočo se, a navidezno manjšo težavo (obrazec se ne pomika samodejno) štel kot »nizko«. Ko je oblikovalec pogledal opažanja, je ugotovil, da je to povzročilo opustitev naloge pri 5 udeležencih, in jo nastavil na "visoko". Lekcija: Ocena pomembnosti AI je popravljena z dokazi opazovanj.

Skupno branje kvantitativnih in kvalitativnih podatkov

Testiranje uporabnosti je večinoma kvalitativno (temelji na opazovanju), obstajajo pa tudi kvantitativni (številčni) signali: stopnja dokončanja naloge, trajanje naloge, število napak, ocena zadovoljstva. Najmočnejša sinteza združuje oboje: »Samo 33 % udeležencev je opravilo nalogo na blagajni (kvantitativno) in vsi, ki niso uspeli opraviti, so obtičali pri koraku pošiljanja (kvalitativno).« Umetna inteligenca pomaga združiti ta dva podatka, ko ju daste ločeno; vendar potrjujete točnost številk in velikost vzorca. Govorjenje o odstotkih je lahko zavajajoče v majhnih vzorcih (npr. 5 uporabnikov); Reči "3 od 5 uporabnikov" je bolj pošteno kot reči "60%". Prosite modela, naj govori v absolutnih številkah.

Namig: AI naj reče "napiši kot 'koliko uporabnikov' namesto odstotka." V majhnih vzorcih daje odstotek vtis večje natančnosti, kot je v resnici.

Pozivi, ki jih je mogoče kopirati

Vaša vloga: analitik uporabnosti. Poiščite ugotovitve iz naslednjih anonimiziranih testnih zapiskov. Za vsako ugotovitev: 1) jasna izjava, 2) podporna opažanja in koliko udeležencev je to videlo, 3) učinek (blokada/upočasnitev/kozmetični). Ugotovitve, ki temeljijo na enem samem opazovanju, označite kot "ŠIBKE DOKAZE". Opombe: <<besedilo>>

Razvrstite ta seznam ugotovitev po pomembnosti. Kriteriji: vpliv (ovira pri nalogi?), pogostost (koliko udeležencev?), poslovni vpliv. Vsaki ugotovitvi dodelite kritično/visoko/srednje/nizko in napišite utemeljitev. Če niste prepričani o vplivu na poslovanje, recite "ekipa mora oceniti." Ugotovitve: <<seznam>>

Za vsako ugotovitev napišite konkretno, izvedljivo priporočilo za oblikovanje. Priporočilo: kaj se bo spremenilo + zakaj to reši težavo + na kateri zaslon vpliva. Izogibajte se nejasnim ("naredite bolje") priporočilom. Ugotovitve: <<seznam>>

Povzemite to poročilo o ugotovitvah za predstavitev deležnikov: napišite kratek povzetek, ki vključuje 3 najbolj kritične ugotovitve, dokaze (koliko uporabnikov) in priporočene ukrepe. pretiravanje; vzeti številke iz zapiskov.Poročilo: <<besedilo>>

Šibek poziv/močan poziv

Slab: "Potegnite zaključke iz teh rezultatov testov."

Rezultat: mešan seznam brez dokazov, brez vrstnega reda po pomembnosti in zmotno napačno opazovanje kot ugotovitev.

Močno: "Narišite ugotovitev iz opomb; pod vsako ugotovitev dodajte podporna opažanja in pri številu udeležencev je bila opažena; označite tisto, ki temelji na enem samem opazovanju, kot 'šibek dokaz'; nato jo razvrstite po pomembnosti glede na učinek-pogostost-delovni učinek."

Rezultat: Ugotovitve, ki temeljijo na dokazih, prednostno razvrščene in zagovorljive.

Razlika: močan poziv pozove število dokazov + šibek poziv + merilo pomembnosti.

Pogoste napake

• Zamešano opazovanje z ugotovitvijo. Spreminjanje posameznega »kaj se je zgodilo« v splošen zaključek.
• Ustvarjanje kritičnih ugotovitev iz enega samega opazovanja. Teža ne bo navedena, dokler ni preverjena pogostost.
• Odločanje o vplivu umetne inteligence na poslovanje. Vpliv na prihodek/pretvorbo zahteva kontekst; Je v njegovi ekipi.
• Ne postavljajte prioritet. Neurejen seznam ugotovitev paralizira ekipo; Vsega se ne da popraviti naenkrat.
• Puščanje predlogov nejasnih. "Naredi bolje" ni uporabno; Kaj, zakaj in kje naj bo jasno.

Če povzamem

Vrednost testiranja uporabnosti je v pretvarjanju posnetkov in zapiskov v jasne, prednostne ugotovitve. Umetna inteligenca močno pospeši to sintezo: združi opažanja v ugotovitve, oblikuje priporočila, predlaga vrstni red po pomembnosti. Vendar je človeško delo preveriti število opazovanj, ki stojijo za vsako ugotovitvijo, izločiti napihnjene ugotovitve na podlagi posameznih opazovanj in tehtati vpliv na poslovanje glede na kontekst. Poročilo o ugotovitvah, ki temelji na dokazih, ima določeno pogostost in je urejeno po pomembnosti, bo hitro in upravičljivo za zainteresirane strani.

Aplikacijska naloga

1. Anonimizirajte zapiske iz preizkusa uporabnosti (resničnega ali izmišljenega).
2. Odstranite ugotovitve ob prvem pozivu; Preverite število opazovanj pod vsakim.
3. Izolirajte ugotovitve z oznako "šibki dokazi" in se odločite, ali so potrebni dodatni podatki.
4. Z drugim pozivom razvrstite ugotovitve po pomembnosti; Ocenite poslovni učinek kot ekipa.
5. S tretjim pozivom napišite konkretne predloge za vsako ugotovitev in ustvarite prednostno tabelo.

kontrolni seznam

• [ ] Opažanja, ugotovitve in predloge sem hranil kot ločene plasti.
• [ ] Preveril sem, koliko udeležencev je pokazalo vsako ugotovitev.
• [ ] Ugotovitve, ki temeljijo na enem samem opazovanju, sem označil kot šibek dokaz.
• [ ] Stopnjo resnosti sem določil glede na vpliv udarca, pogostosti in delovnega mesta.
• [ ] Skupaj z ekipo ocenil odločitev o vplivu na poslovanje.
• [ ] Predloge sem napisal konkretno (kaj/zakaj/kje).