Dobici:
- Sposobnost pretvaranja zapisa testa upotrebljivosti i bilješki promatranja u nalaze, težine i preporuke s umjetnom inteligencijom
- Sposobnost rangiranja nalaza prema ozbiljnosti i izrade tablice prioriteta
- Sposobnost ispravljanja nalaza koje umjetna inteligencija izostavi ili preuveliča stvarnim dokazima promatranja
Testiranje upotrebljivosti metoda je promatranja gdje dizajn radi, a gdje zapinje davanjem specifičnih zadataka stvarnim korisnicima i njihovim nadgledanjem. Sam test je jednostavan; Pravi izazov je ono što slijedi: pretvoriti sate snimanja, stranice bilješki zapažanja i razbacane snimke zaslona u jasne, prioritetne nalaze. Ova sinteza traje danima i timovi je često ostavljaju nedovršenu. Umjetna inteligencija otvara ovo usko grlo: pretvara zapise i bilješke u nalaze, težinu i preporuku. Ali ljudska je prosudba da odluči je li opažanje doista problem i koliko je važno.
Razlika između promatranja, pronalaženja i sugestije
Ključno je odvojiti tri sloja u sintezi:
- Opažanje: Što se dogodilo, bez komentara. "Sudionik 3 tražio je gumb 'nastavi' 40 sekundi."
- Nalaz: obrazac koji proizlazi iz opažanja. "Korisnici imaju problema s pronalaženjem primarne radnje."
- Preporuka: Što učiniti. "Vizualno ističe primarni gumb."
AI brzo proizvodi ova tri sloja, ali često brka opažanje s nalazom ili zaključuje cijeli nalaz iz jednog opažanja. Vaš je posao provjeriti postoji li dovoljno promatranja (koliko sudionika, koliko puta) iza svakog nalaza.
Savjet: Neka umjetna inteligencija kaže "ispod svakog nalaza dodajte zapažanja koja ga podupiru i koliko je sudionika viđeno." Na taj način možete odmah razlikovati napuhane nalaze od jednog opažanja.
Ozbiljnost: što prvo popraviti?
Nisu svi nalazi jednaki. Ozbiljnost pokazuje koliko hitno problem treba popraviti i određuju je tri čimbenika:
- Utjecaj: Sprječava li problem korisnika da dovrši zadatak ili ga samo nervira?
- Učestalost: Koliko korisnika i koliko često?
- Utjecaj na poslovanje: koliko ovaj problem utječe na pretvorbu, prihod ili povjerenje?
Tipična ljestvica: kritična (potpuno ometa misiju), visoka (ozbiljna poteškoća), srednja (usporava), niska (kozmetička). Umjetna inteligencija može predložiti početno rangiranje, ali konačna odluka o ponderiranju - posebno utjecaj na poslovanje - zahtijeva timsko poznavanje konteksta.
nalaz
Utjecaj
učestalost
važnosti
sugestija
Nije moguće pronaći primarni gumb
To ometa zadatak
4/6 sudionika
kritičan
Gumb za označavanje
Poruka o pogrešci je nejasna
usporavanje
3/6
visoka
Pojasnite poruku
Nejasno značenje ikone
lagano oklijevanje
2/6
srednji
Dodaj oznaku
Ton boje se nije svidio
kozmetika
1/6
nizak
ostavi za kasnije
tri mini kućišta
Slučaj 1 — 5 sati snimanja, nalazi za pola dana. Jedan tim je AI-ju dostavio bilješke 6 korisničkih testova (ukupno 5 sati). Model je predložio 14 nalaza; Tim je provjerio svaki od njih prema broju opažanja, suzio ih na 9 i rangirao ih po važnosti. Sinteza, koja bi ručno trajala 2 dana, smanjena je na pola dana.
Slučaj 2 — Uhvaćen napuhani nalaz. "Korisnici ne razumiju navigaciju", napisao je AI u kritičnom nalazu. Kad je tim pogledao podupiruća zapažanja, otkrili su da se temelji na jednom trenutku jednog sudionika. Nalaz je smanjen na "umjeren" i zatraženo je više podataka. Pouka: jedno promatranje ne donosi kritičan zaključak.
Slučaj 3 — Propušteni kritični problem. Model je brojao ponavljajući, ali naizgled manji problem (obrazac se ne pomiče automatski) kao "nizak". Kada je dizajner pogledao zapažanja, shvatio je da je to uzrokovalo odustajanje od zadatka kod 5 sudionika i postavio ga na "visoko". Lekcija: Procjena važnosti umjetne inteligencije korigirana je dokazima promatranja.
Zajedničko čitanje kvantitativnih i kvalitativnih podataka
Testiranje upotrebljivosti uglavnom je kvalitativno (temeljeno na promatranju), ali postoje i kvantitativni (numerički) signali: stopa dovršenosti zadatka, trajanje zadatka, broj pogrešaka, rezultat zadovoljstva. Najsnažnija sinteza kombinira to dvoje: "Samo 33% sudionika dovršilo je zadatak naplate (kvantitativno), a svi koji nisu uspjeli dovršiti zapeli su na koraku otpreme (kvalitativno)." Umjetna inteligencija pomaže kombinirati ta dva podatka kada ih dajete odvojeno; ali potvrđujete točnost brojeva i veličinu uzorka. Govor o postocima može dovesti u zabludu u malim uzorcima (npr. 5 korisnika); Reći "3 od 5 korisnika" iskrenije je nego reći "60%". Zamolite model da govori u apsolutnim brojevima.
Savjet: neka AI kaže "napiši kao 'koliko korisnika' umjesto postotka." U malim uzorcima postotak ostavlja dojam veće preciznosti nego što zapravo jest.
Upiti koji se mogu kopirati
Vaša uloga: analitičar upotrebljivosti. Izvucite nalaze iz sljedećih anonimiziranih bilješki o ispitivanju. Za svaki nalaz: 1) jasna izjava, 2) podupiruća zapažanja i koliko ih je sudionika vidjelo, 3) učinak (blokiranje/usporavanje/kozmetički). Označite nalaze temeljene na jednom opažanju kao "SLAB DOKAZ". Bilješke: <<tekst>>
Razvrstaj ovaj popis nalaza po važnosti. Kriteriji: utjecaj (prepreka zadatka?), učestalost (koliko sudionika?), poslovni utjecaj. Svakom nalazu dodijelite Kritično/Visoko/Srednje/Nisko i napišite obrazloženje. Ako niste sigurni o utjecaju na poslovanje, recite "tim mora procijeniti". Nalazi: <<popis>>
Napišite konkretnu, djelotvornu preporuku dizajna za svaki nalaz. Preporuka: što će se promijeniti + zašto ovo rješava problem + na koji zaslon utječe. Izbjegavajte nejasne ("učinite bolje") preporuke. Nalazi: <<popis>>
Sažmite ovo izvješće o nalazima za prezentaciju dionicima: napišite kratak izvršni sažetak koji uključuje 3 najkritičnija nalaza, dokaze (koliko korisnika) i preporučenu radnju. Pretjerivanje; uzeti brojeve iz bilješki.Izvješće: <<tekst>>
Slab upit / Jak upit
Slab: "Izvucite zaključke iz ovih rezultata testa."
Rezultat: Mješoviti popis bez dokaza, bez redoslijeda važnosti, a jedno opažanje se pogrešno smatra nalazom.
Jaka: "Izvucite nalaz iz bilješki; ispod svakog nalaza dodajte popratna zapažanja i koliko je sudionika primijećen; označite onaj koji se temelji na jednom zapažanju kao 'slab dokaz'; zatim ga rangirajte po važnosti prema učinku-učestalosti-učinku."
Rezultat: Nalazi utemeljeni na dokazima, s prioritetima, koji se mogu obraniti.
Razlika: jaki brzi upiti broj dokaza + slabi brzi + kriterij važnosti.
Uobičajene greške
- Brkanje promatranja s pronalaskom. Pretvaranje jednog "što se dogodilo" u opći zaključak.
- Donošenje kritičnih nalaza iz jednog promatranja. Neće se dati težina dok se učestalost ne potvrdi.
- Odlučivanje o utjecaju umjetne inteligencije na poslovanje. Učinak prihoda/pretvorbe zahtijeva kontekst; On je u njegovom timu.
- Nemojte postavljati prioritete. Nesređen popis nalaza paralizira tim; Ne može se sve odjednom popraviti.
- Ostavljanje prijedloga nejasnim. “Uradi bolje” je neprimjenjivo; Što, zašto i gdje treba biti jasno.
Ukratko
Vrijednost testiranja upotrebljivosti dolazi u pretvaranju snimaka i bilješki u jasne, prioritetne nalaze. Umjetna inteligencija uvelike ubrzava ovu sintezu: spaja zapažanja u nalaze, sastavlja preporuke, predlaže redoslijed važnosti. Ali ljudski je posao provjeriti broj zapažanja iza svakog nalaza, ukloniti prenapuhane nalaze na temelju pojedinačnih zapažanja i odmjeriti utjecaj na poslovanje s kontekstom. Izvješće o nalazima koje se temelji na dokazima, ima određenu učestalost i raspoređeno je po važnosti bit će brzo i prihvatljivo za dionike.
Zadatak aplikacije
- Anonimizirajte bilješke iz testa upotrebljivosti (stvarnog ili izmišljenog).
- Uklonite nalaze na prvi upit; Provjerite broj zapažanja ispod svakog.
- Izolirajte nalaze označene kao "slab dokaz" i odlučite jesu li potrebni dodatni podaci.
- Uz drugi upit, poredajte nalaze po važnosti; Procijenite poslovni učinak kao tim.
- S trećim upitom napišite konkretne prijedloge za svaki nalaz i izradite tablicu prioriteta.
popis za provjeru
- [ ] Zapažanja, nalaze i sugestije držao sam kao zasebne slojeve.
- [ ] Provjerio sam koliko je sudionika pokazalo svaki nalaz.
- [ ] Označio sam nalaze temeljene na jednom opažanju kao slab dokaz.
- [ ] Odredio sam razinu ozbiljnosti prema utjecaju utjecaja na rad, učestalost i utjecaj.
- [ ] Procijenio odluku o utjecaju na poslovanje s timom.
- [ ] Prijedloge sam napisao konkretno (što/zašto/gdje).