Ieguvumi:
- Spēja ar mākslīgo intelektu pārvērst lietojamības testu ierakstus un novērojumu piezīmes atradumos, svaros un ieteikumos
- Spēja sarindot konstatējumus pēc smaguma pakāpes un izveidot prioritāšu tabulu
- Spēja labot konstatējumus, ko mākslīgais intelekts izlaiž vai pārspīlē, izmantojot reālus novērojumu pierādījumus
Lietojamības pārbaude ir metode, kā novērot, kur dizains darbojas un kur tas iestrēgst, dodot konkrētus uzdevumus reāliem lietotājiem un uzraugot tos. Pārbaude pati par sevi ir vienkārša; Patiesais izaicinājums ir pēc tam: ierakstīšanas stundas, novērojumu piezīmju lappuses un izkliedēti ekrānuzņēmumi pārvēršas par skaidriem, prioritāriem atklājumiem. Šī sintēze ilgst vairākas dienas, un komandas bieži to atstāj nepabeigtu. Mākslīgais intelekts atver šo vājo kaklu: ierakstus un piezīmes pārvērš atklājumos, svarā un ieteikumos. Taču cilvēka prāts ir izlemt, vai novērojums patiešām ir problēma un cik tas ir svarīgi.
Atšķirība starp novērošanu, atrašanu un ieteikumu
Svarīgi sintēzē atdalīt trīs slāņus:
- Novērojums: Kas noticis, bez komentāriem. "3. dalībnieks meklēja pogu "turpināt" 40 sekundes."
- Atklājums: modelis, kas izriet no novērojumiem. "Lietotājiem ir problēmas atrast primāro darbību."
- Ieteikums: ko darīt. "Padara primāro pogu vizuāli izceļas."
AI ātri izveido šos trīs slāņus, taču bieži vien jauc novērojumu ar atrašanu vai secina veselu atradumu no viena novērojuma. Jūsu uzdevums ir pārbaudīt, vai aiz katra atraduma ir pietiekami daudz novērojumu (cik dalībnieku, cik reižu).
Padoms. Lūdziet mākslīgajam intelektam pateikt: "zem katra atraduma pievienojiet novērojumus, kas to apstiprina, un to, cik dalībnieku tas tika redzēts". Tādā veidā jūs varat uzreiz atšķirt uzpūstos atradumus no viena novērojuma.
Smagums: ko vispirms novērst?
Ne visi atklājumi ir vienādi. Smagums norāda, cik steidzami problēma ir jānovērš, un to nosaka trīs faktori:
- Ietekme: vai problēma neļauj lietotājam pabeigt uzdevumu vai vienkārši kaitina viņu?
- Biežums: cik lietotāju un cik bieži?
- Ietekme uz uzņēmējdarbību: cik lielā mērā šī problēma ietekmē reklāmguvumu, ieņēmumus vai uzticēšanos?
Tipisks mērogs: Kritisks (pilnībā kavē misiju), Augsts (smagas grūtības), Vidējs (palēnina), Zems (kosmētisks). AI var ieteikt sākotnējo ranžēšanu, taču galīgajam lēmumam par svērumu — īpaši ietekmi uz uzņēmējdarbību — ir nepieciešamas komandas zināšanas par kontekstu.
atrašana
Ietekme
frekvence
nozīmi
Ieteikums
Primāro pogu nevar atrast
Tas traucē veikt uzdevumu
4/6 dalībnieki
kritisks
Izcelšanas poga
Kļūdas ziņojums nav skaidrs
palēninot
3/6
augsts
Precizējiet ziņojumu
Ikonas nozīme neskaidra
neliela vilcināšanās
2/6
vidējs
Pievienot tagu
Krāsu tonis nepatika
kosmētika
1/6
zems
atstājiet to vēlākam laikam
trīs mini futrāļi
1. gadījums — 5 stundu ieraksts, atradumi pusdienas laikā. Viena komanda AI ievadīja 6 lietotāju testu piezīmes (kopā 5 stundas). Modelis ierosināja 14 atklājumus; Komanda pārbaudīja katru no novērojumu skaitu, samazināja to līdz 9 un sarindoja tos svarīguma secībā. Sintēze, kas būtu prasījusi 2 dienas manuāli, tika samazināta līdz pusei dienas.
2. gadījums — pieķerts uzpūsts atradums. "Lietotāji nesaprot navigāciju," kritiskā konstatējumā rakstīja AI. Kad komanda aplūkoja apstiprinošos novērojumus, viņi atklāja, ka tas bija balstīts uz vienu brīdi no viena dalībnieka. Atklājums tika pazemināts uz "vidēju", un tika pieprasīti vairāk datu. Nodarbība: viens novērojums nedod kritisku secinājumu.
3. gadījums — neatbildēta kritiskā problēma. Modelis uzskaitīja atkārtotu, bet šķietami nelielu problēmu (veidlapa nav automātiska ritināšana) kā “zemu”. Kad dizainers aplūkoja novērojumus, viņš saprata, ka tas izraisīja uzdevuma atteikšanos 5 dalībniekiem un iestatīja to uz "augstu". Nodarbība: AI svarīguma novērtējums tiek koriģēts ar novērojumu pierādījumiem.
Kvantitatīvo un kvalitatīvo datu lasīšana kopā
Lietojamības pārbaude pārsvarā ir kvalitatīva (balstīta uz novērojumiem), taču ir arī kvantitatīvi (skaitliski) signāli: uzdevuma izpildes rādītājs, uzdevuma ilgums, kļūdu skaits, apmierinātības rādītājs. Visspēcīgākā sintēze apvieno abus: "Tikai 33% dalībnieku pabeidza izrakstīšanās uzdevumu (kvantitatīvi), un visi, kas to nepaveica, iestrēga piegādes posmā (kvalitatīvi)." Mākslīgais intelekts palīdz apvienot šos divus datus, sniedzot tos atsevišķi; bet jūs apstiprināt skaitļu precizitāti un izlases lielumu. Runāšana par procentiem var būt maldinoša mazos izlasēs (piemēram, 5 lietotāji); Teikt "3 no 5 lietotājiem" ir godīgāk nekā teikt "60%. Lūdziet modeli runāt absolūtos skaitļos.
Padoms. Lūdziet AI teikt “rakstiet kā “cik lietotāju”, nevis procentus. Nelielos paraugos procentuālais daudzums rada lielāku precizitātes iespaidu, nekā tas ir patiesībā.
Kopējamas uzvednes
Jūsu loma: lietojamības analītiķis. Izdariet secinājumus no tālāk norādītajām anonimizētajām testa piezīmēm. Katram atradumam: 1) skaidrs paziņojums, 2) atbalstoši novērojumi un cik dalībnieku to redzēja, 3) efekts (bloķējošs/ palēninošs/kosmētisks). Atzīmējiet konstatējumus, kas balstīti uz vienu novērojumu, kā "VĀJI PIERĀDĪJUMI". Piezīmes: <<teksts>>
Kārtojiet šo atradumu sarakstu pēc svarīguma. Kritēriji: ietekme (uzdevuma šķērslis?), biežums (cik dalībnieku?), ietekme uz uzņēmējdarbību. Piešķiriet katram konstatējumam kritisku/augstu/vidēju/zemu un uzrakstiet pamatojumu. Ja neesat pārliecināts par ietekmi uz uzņēmējdarbību, sakiet “komandai ir jānovērtē”. Secinājumi: <<saraksts>>
Uzrakstiet konkrētu, praktiski izmantojamu dizaina ieteikumu katram atradumam. Ieteikums: kas mainīsies + kāpēc tas atrisina problēmu + kādu ekrānu tas ietekmē. Izvairieties no neskaidriem ("darīt labāk") ieteikumiem. Secinājumi: <<saraksts>>
Apkopojiet šo konstatējumu ziņojumu, lai iepazīstinātu ar ieinteresētajām personām: uzrakstiet īsu kopsavilkumu, kurā ir iekļauti 3 vissvarīgākie konstatējumi, pierādījumi (cik lietotāju) un ieteicamā darbība. Pārspīlējums; ņemt skaitļus no piezīmēm.Ziņojums: <<teksts>>
Vāja uzvedne / spēcīga uzvedne
Vāji: "Izdariet secinājumus no šiem pārbaudes rezultātiem."
Rezultāts: jaukts saraksts bez pierādījumiem, bez svarīguma secības, un viens novērojums tiek sajaukts ar konstatējumu.
Spēcīgs: "Uzzīmējiet konstatējumu no piezīmēm; zem katra atraduma pievienojiet apstiprinošus novērojumus un to, cik dalībnieku tas tika redzēts; atzīmējiet to, kas balstīts uz vienu novērojumu, kā "vāju pierādījumu"; pēc tam sarindojiet to svarīguma secībā atbilstoši efekta biežuma un darba ietekmei."
Rezultāts: uz pierādījumiem balstīti, prioritāri, attaisnojami konstatējumi.
Atšķirība: spēcīga uzvedne liek pierādījumu skaitu + vāja uzvedne + svarīguma kritērijs.
Biežas kļūdas
- Jauc novērojumu ar atrašanu. Pārvēršot vienu “kas notika” vispārējā secinājumā.
- Būtisku secinājumu izdarīšana no viena novērojuma. Kamēr biežums nav pārbaudīts, svars netiks piešķirts.
- Lēmuma pieņemšana par uzņēmējdarbības ietekmi uz mākslīgo intelektu. Ieņēmumu/reklāmguvumu ietekmei nepieciešams konteksts; Viņš ir savā komandā.
- Nenoteikt prioritāti. Nesakārtotais atradumu saraksts paralizē komandu; Ne visu var salabot uzreiz.
- Atstājot ieteikumus neskaidrus. “Dari labāk” nav piemērojams; Kas, kāpēc un kur ir jābūt skaidram.
Rezumējot
Lietojamības pārbaudes vērtība ir, pārvēršot ierakstus un piezīmes par skaidriem, prioritāriem konstatējumiem. Mākslīgais intelekts ievērojami paātrina šo sintēzi: apkopo novērojumus atklājumos, izstrādā ieteikumus, ierosina svarīguma secību. Bet tas ir cilvēka darbs, lai pārbaudītu novērojumu skaitu, kas ir aiz katra atraduma, lai atsijātu uzpūstos konstatējumus, pamatojoties uz atsevišķiem novērojumiem, un novērtētu uzņēmējdarbības ietekmi ar kontekstu. Ziņojums par konstatējumiem, kas balstīts uz pierādījumiem, ar noteiktu biežumu un sakārtots svarīguma secībā, būs gan ātrs, gan ieinteresētajām personām attaisnojams.
Lietojumprogrammas uzdevums
- Anonimizēt piezīmes no lietojamības testa (reālas vai izdomātas).
- Pēc pirmās uzvednes noņemiet atradumus; Pārbaudiet novērojumu skaitu zem katra.
- Izolējiet konstatējumus, kas apzīmēti ar "vājiem pierādījumiem", un izlemiet, vai ir nepieciešami papildu dati.
- Ar otro uzvedni sarindojiet konstatējumus svarīguma secībā; Novērtējiet biznesa ietekmi kā komandai.
- Ar trešo uzvedni uzrakstiet konkrētus ieteikumus katram atradumam un izveidojiet prioritāšu tabulu.
kontrolsaraksts
- [ ] Novērojumu, secinājumus un ieteikumus paturēju kā atsevišķus slāņus.
- [ ] Es pārbaudīju, cik dalībnieku parādīja katru atradumu.
- [ ] Atzinumus, kas balstīti uz vienu novērojumu, es atzīmēju kā vājus pierādījumus.
- [ ] Es noteicu smaguma pakāpi pēc ietekmes-biežuma-darba ietekmes.
- [ ] Kopā ar komandu izvērtēja lēmumu par ietekmi uz uzņēmējdarbību.
- [ ] Ieteikumus uzrakstīju konkrēti (kas/kāpēc/kur).