Pelnas:
- Galimybė dirbtinio intelekto naudojimo testų įrašus ir stebėjimo pastabas konvertuoti į išvadas, svorius ir rekomendacijas
- Gebėjimas klasifikuoti išvadas pagal sunkumą ir sudaryti prioritetų lentelę
- Gebėjimas ištaisyti išvadas, kurias dirbtinis intelektas praleidžia arba perdeda realiais stebėjimo įrodymais
Naudojimo testavimas – tai būdas stebėti, kur dizainas veikia, o kur užstringa, suteikiant konkrečias užduotis tikriems vartotojams ir juos stebint. Pats testas yra lengvas; Tikrasis iššūkis yra po to: įrašymo valandas, stebėjimo užrašų puslapius ir išsklaidytas ekrano kopijas paversti aiškiais, prioritetiniais duomenimis. Ši sintezė trunka kelias dienas, o komandos dažnai palieka ją nebaigtą. Dirbtinis intelektas atveria šią kliūtį: įrašus ir užrašus paverčia išvadomis, svoriu ir rekomendacijomis. Tačiau tai, ar stebėjimas iš tikrųjų yra problema ir koks jis svarbus, priklauso nuo žmogaus.
Skirtumas tarp stebėjimo, radimo ir pasiūlymo
Labai svarbu sintezėje atskirti tris sluoksnius:
- Pastebėjimas: kas atsitiko, be komentarų. „3 dalyvis mygtuko „tęsti“ ieškojo 40 sekundžių.
- Išvada: modelis, atsirandantis iš stebėjimų. "Naudotojams sunku rasti pagrindinį veiksmą."
- Rekomendacija: ką daryti. „Pagrindinis mygtukas vizualiai išsiskiria“.
Dirbtinis intelektas greitai sukuria šiuos tris sluoksnius, bet dažnai painioja stebėjimą su radiniu arba iš vieno stebėjimo daro išvadą, kad visas radinys. Jūsų darbas yra patikrinti, ar už kiekvieno radinio yra pakankamai stebėjimų (kiek dalyvių, kiek kartų).
Patarimas: leiskite dirbtiniam intelektui pasakyti „po kiekvienu radiniu, pridėkite jį patvirtinančių stebėjimų ir kiek dalyvių jis buvo pastebėtas“. Tokiu būdu galite akimirksniu atskirti išpūstas išvadas nuo vieno stebėjimo.
Sunkumas: ką pirmiausia ištaisyti?
Ne visos išvados yra vienodos. Sunkumo laipsnis rodo, kaip skubiai reikia išspręsti problemą, ir jį lemia trys veiksniai:
- Poveikis: ar problema neleidžia vartotojui atlikti užduoties ar tiesiog erzina?
- Dažnumas: kiek vartotojų ir kaip dažnai?
- Poveikis verslui: kiek ši problema turi įtakos konversijai, pajamoms ar pasitikėjimui?
Tipinė skalė: kritinė (visiškai trukdo vykdyti misiją), aukšta (sunkus sunkumas), vidutinė (lėtėja), žema (kosmetinė). AI gali pasiūlyti pradinį reitingą, tačiau galutiniam sprendimui dėl svorio, ypač poveikio verslui, reikia komandos žinių apie kontekstą.
radimas
Poveikis
dažnis
svarbą
Pasiūlymas
Pagrindinis mygtukas nerastas
Tai trukdo atlikti užduotį
4/6 dalyvių
kritiškas
Paryškinimo mygtukas
Klaidos pranešimas neaiškus
lėtėja
3/6
aukštas
Patikslinkite pranešimą
Piktogramos reikšmė neaiški
nežymi dvejonė
2/6
vidutinis
Pridėti žymą
Spalvos tonas nepatiko
kosmetika
1/6
žemas
palikite vėlesniam laikui
trys mini dėklai
1 atvejis — 5 valandos įrašymo, radiniai per pusdienį. Viena komanda AI pateikė 6 vartotojo testų pastabas (iš viso 5 valandas). Modelis pasiūlė 14 išvadų; Komanda įvertino kiekvieną stebėjimų skaičių, sumažino iki 9 ir suskirstė juos pagal svarbą. Sintezė, kuri rankiniu būdu būtų užtrukusi 2 dienas, buvo sumažinta iki pusės dienos.
2 atvejis – užfiksuotas išpūstas radinys. „Vartotojai nesupranta navigacijos“, – AI rašė kritinėje išvadoje. Kai komanda pažvelgė į patvirtinamuosius stebėjimus, jie nustatė, kad tai buvo pagrįsta vieninteliu vieno dalyvio momentu. Išvados įvertinimas buvo sumažintas iki „vidutinis“ ir buvo paprašyta daugiau duomenų. Pamoka: vienas pastebėjimas nepadaro kritinės išvados.
3 atvejis – praleista svarbi problema. Modelis pasikartojančią, bet iš pažiūros nežymią problemą (forma nesikeičianti automatiškai) įvertino kaip „mažą“. Kai dizaineris pažvelgė į pastebėjimus, jis suprato, kad tai lėmė 5 dalyvių užduoties atsisakymą ir nustatė ją į „aukštą“. Pamoka: AI svarbos įvertinimas pataisytas stebėjimo įrodymais.
Kiekybinių ir kokybinių duomenų skaitymas kartu
Naudojamumo testavimas dažniausiai yra kokybinis (pagrįstas stebėjimu), tačiau yra ir kiekybinių (skaitinių) signalų: užduoties atlikimo rodiklis, užduoties trukmė, klaidų skaičius, pasitenkinimo balas. Galingiausia sintezė sujungia šias dvi dalis: „Tik 33% dalyvių atliko patikros užduotį (kiekybinę), o visi, kuriems nepavyko atlikti, įstrigo siuntimo etape (kokybiškai). Dirbtinis intelektas padeda sujungti šiuos du duomenis, kai pateikiate juos atskirai; bet jūs patvirtinate skaičių tikslumą ir imties dydį. Mažose imtyse (pvz., 5 vartotojai) kalbėjimas apie procentus gali būti klaidinantis; Pasakyti „3 iš 5 vartotojų“ yra sąžiningiau nei pasakyti „60 proc.“. Paprašykite modelio kalbėti absoliučiais skaičiais.
Patarimas: leiskite dirbtiniam intelektui pasakyti „rašykite kaip „kiek vartotojų“, o ne procentą. Mažuose pavyzdžiuose procentas sukuria didesnį tikslumo įspūdį, nei yra iš tikrųjų.
Kopijuojami raginimai
Jūsų vaidmuo: naudojimo analitikas. Padarykite išvadas iš toliau pateiktų anoniminių bandymų užrašų. Kiekvienam radiniui: 1) aiškus teiginys, 2) patvirtinantys pastebėjimai ir kiek dalyvių tai matė, 3) poveikis (blokuojantis/lėtinamas/kosmetinis). Pažymėkite išvadas, pagrįstas vienu stebėjimu, kaip „SILPNI ĮRODYMAI“. Pastabos: <<tekstas>>
Rūšiuokite šį radinių sąrašą pagal svarbą. Kriterijai: poveikis (užduoties kliūtis?), dažnumas (kiek dalyvių?), poveikis verslui. Kiekvienai išvadai priskirkite kritinę / aukštą / vidutinę / žemą ir parašykite pagrindimą. Jei nesate tikri dėl poveikio verslui, pasakykite „komanda turi įvertinti“. Išvados: <<sąrašas>>
Kiekvienam radiniui parašykite konkrečią, įgyvendinamą dizaino rekomendaciją. Rekomendacija: kas pasikeis + kodėl tai išsprendžia problemą + kokį ekraną tai paveikia. Venkite miglotų („dar geriau“) rekomendacijų. Išvados: <<sąrašas>>
Suinteresuotųjų šalių pristatymui apibendrinkite šią išvadų ataskaitą: parašykite trumpą santrauką, apimančią 3 svarbiausias išvadas, įrodymus (kiek vartotojų) ir rekomenduojamus veiksmus. Perdėjimas; paimti skaičius iš užrašų.Pranešti: <<tekstas>>
Silpnas raginimas / Stiprus raginimas
Silpnas: „Padarykite išvadas iš šių testų rezultatų“.
Rezultatas: mišrus sąrašas, kuriame nėra įrodymų, nėra svarbos tvarkos ir vienas pastebėjimas klaidingai vertinamas kaip išvada.
Stiprus: „Nupieškite išvadą iš užrašų; po kiekvienu radiniu pridėkite patvirtinamuosius stebėjimus ir tai, kiek dalyvių ji buvo pastebėta; pažymėkite tą, kuri pagrįsta vienu stebėjimu, kaip „silpną įrodymą“, tada suskirstykite ją svarbos tvarka pagal efekto dažnį ir poveikį.
Rezultatas: įrodymais pagrįstos, prioritetinės, pagrįstos išvados.
Skirtumas: stiprus raginimas sufleruoja įrodymų skaičių + silpnas raginimas + svarbos kriterijus.
Dažnos klaidos
- Painiojantis stebėjimą su radimu. Vieno „kas atsitiko“ pavertimas bendra išvada.
- Padaryti svarbias išvadas iš vieno stebėjimo. Svoris nebus skiriamas, kol nebus patikrintas dažnis.
- Verslo poveikio dirbtiniam intelektui sprendimas. Pajamų/konversijos poveikiui reikia konteksto; Jis yra savo komandoje.
- Nesuteikti pirmenybės. Netvarkingas radinių sąrašas paralyžiuoja komandą; Ne viską galima iš karto sutvarkyti.
- Pasiūlymai paliekami neaiškūs. „Daryk geriau“ netaikomas; Kas, kodėl ir kur turėtų būti aišku.
Apibendrinant
Naudojamumo testavimo vertė yra paverčiant įrašus ir pastabas aiškiais, prioritetiniais duomenimis. Dirbtinis intelektas labai pagreitina šią sintezę: sujungia pastebėjimus į išvadas, rengia rekomendacijas, pasiūlo svarbos tvarką. Tačiau žmogaus darbas yra patikrinti, kiek stebėjimų yra už kiekvieną radinį, pašalinti išpūstas išvadas, pagrįstas atskirais stebėjimais, ir įvertinti verslo poveikį atsižvelgiant į kontekstą. Išvadų ataskaita, pagrįsta įrodymais, pateikiama tam tikru dažnumu ir išdėstyta pagal svarbą, bus greita ir pagrįsta suinteresuotosioms šalims.
Taikymo užduotis
- Padarykite anoniminius užrašus iš tinkamumo naudoti testo (tikrų ar išgalvotų).
- Pašalinkite radinius po pirmo raginimo; Patikrinkite stebėjimų skaičių po kiekvienu.
- Išskirkite išvadas, pažymėtas „silpnais įrodymais“, ir nuspręskite, ar reikia papildomų duomenų.
- Antruoju raginimu surikiuokite išvadas pagal svarbą; Įvertinkite verslo poveikį kaip komanda.
- Trečiuoju raginimu parašykite konkrečius kiekvieno radinio pasiūlymus ir sukurkite prioritetų lentelę.
kontrolinis sąrašas
- [ ] Stebėjimą, išvadas ir siūlymą laikiau atskirais sluoksniais.
- [ ] Patikrinau, kiek dalyvių parodė kiekvieną radinį.
- [ ] Vienu stebėjimu pagrįstas išvadas pažymėjau kaip silpnus įrodymus.
- [ ] Sunkumo laipsnį nustatiau pagal smūgio dažnį ir poveikį darbui.
- [ ] Kartu su komanda įvertino sprendimą dėl poveikio verslui.
- [ ] Pasiūlymus parašiau konkrečiai (kas/kodėl/kur).