Dobici:
- Sposobnost pretvaranja zapisa testiranja upotrebljivosti i bilješki zapažanja u nalaze, težine i preporuke s umjetnom inteligencijom
- Sposobnost rangiranja nalaza prema ozbiljnosti i izrade tabele prioriteta
- Sposobnost ispravljanja nalaza koje umjetna inteligencija izostavlja ili preuveličava sa stvarnim dokazima zapažanja
Testiranje upotrebljivosti je metoda promatranja gdje dizajn radi, a gdje zaglavi davanjem konkretnih zadataka stvarnim korisnicima i njihovim praćenjem. Sam test je lak; Pravi izazov je u nastavku: pretvoriti sate snimanja, stranice sa zapažanjima i razbacane snimke ekrana u jasne, prioritetne nalaze. Ova sinteza traje danima ručno i timovi je često ostavljaju nedovršenom. Umjetna inteligencija otvara ovo usko grlo: pretvaranje zapisa i bilješki u nalaze, težinu i preporuku. Ali ljudska je prosudba odlučiti da li je zapažanje zaista problem i koliko je važno.
Razlika između opažanja, nalaza i sugestije
U sintezi je ključno izdvojiti tri sloja:
- Zapažanje: Šta se dogodilo, bez komentara. "Učesnik 3 je tražio dugme 'nastavi' 40 sekundi."
- Nalaz: Obrazac koji proizlazi iz zapažanja. "Korisnici imaju problema da pronađu primarnu radnju."
- Preporuka: Šta učiniti. "Čini da se primarno dugme vizuelno ističe."
AI brzo proizvodi ova tri sloja, ali često brka opažanje sa pronalaskom ili zaključuje cijeli nalaz iz jednog opažanja. Vaš posao je da potvrdite da postoji dovoljno zapažanja (koliko učesnika, koliko puta) iza svakog nalaza.
Savjet: Neka umjetna inteligencija kaže "ispod svakog nalaza, dodajte zapažanja koja ga podržavaju i kod koliko je učesnika viđen." Na ovaj način možete odmah razlikovati naduvane nalaze od jednog opažanja.
Ozbiljnost: šta prvo popraviti?
Nisu svi nalazi jednaki. Ozbiljnost pokazuje koliko hitno treba riješiti problem i određuju je tri faktora:
- Uticaj: Da li problem sprječava korisnika da dovrši zadatak ili ga samo nervira?
- Učestalost: Koliko korisnika i koliko često?
- Uticaj na poslovanje: Koliko ovo pitanje utiče na konverziju, prihod ili povjerenje?
Tipična skala: kritična (potpuno ometa misiju), visoka (teška poteškoća), srednja (usporava), niska (kozmetički). AI može predložiti početno rangiranje, ali konačna odluka o ponderiranju - posebno utjecaj na posao - zahtijeva znanje tima o kontekstu.
nalaz
Uticaj
frekvencija
važnosti
Sugestija
Nije moguće pronaći primarno dugme
To ometa zadatak
4/6 učesnika
kritičan
Dugme za isticanje
Poruka o grešci je nejasna
usporavanje
3/6
visoko
Pojasnite poruku
Značenje ikone nejasno
lagano oklijevanje
2/6
srednje
Dodaj oznaku
Ton boje se nije svidio
kozmetika
1/6
nisko
ostavi za kasnije
tri mini kofera
Slučaj 1 — 5 sati snimanja, nalazi za pola dana. Jedan tim je dao bilješke o 6 korisničkih testova (ukupno 5 sati) AI. Model je predložio 14 nalaza; Tim je svaki od njih provjerio u odnosu na broj zapažanja, suzio ga na 9 i rangirao ih po važnosti. Sinteza, koja bi ručno trajala 2 dana, smanjena je na pola dana.
Slučaj 2 — Uhvaćen naduvan nalaz. "Korisnici ne razumiju navigaciju", napisao je AI u kritičnom nalazu. Kada je tim pogledao prateća zapažanja, otkrili su da se zasniva na jednom trenutku od jednog učesnika. Nalaz je smanjen na "umjeren" i zatraženo je više podataka. Pouka: jedno zapažanje ne donosi kritičan nalaz.
Slučaj 3 — Propušteno kritično pitanje. Model je ponavljajući, ali naizgled manji problem (obrazac koji se ne pomiče automatski) računao kao „nizak“. Kada je dizajner pogledao zapažanja, shvatio je da je to uzrokovalo napuštanje zadatka kod 5 učesnika i postavio ga na "visoko". Lekcija: Procjena važnosti AI je korigirana opservacijskim dokazima.
Čitanje kvantitativnih i kvalitativnih podataka zajedno
Testiranje upotrebljivosti je uglavnom kvalitativno (zasnovano na posmatranju), ali postoje i kvantitativni (numerički) signali: stopa izvršenja zadatka, trajanje zadatka, broj grešaka, rezultat zadovoljstva. Najmoćnija sinteza kombinuje to dvoje: „Samo 33% učesnika je završilo zadatak naplate (kvantitativno), a svi koji nisu uspeli da završe zaglavili su u koraku isporuke (kvalitativno).“ Umjetna inteligencija pomaže u kombinaciji ova dva podatka kada ih date odvojeno; ali potvrđujete tačnost brojeva i veličinu uzorka. Razgovor o procentima može biti pogrešan u malim uzorcima (npr. 5 korisnika); Reći "3 od 5 korisnika" je iskrenije nego reći "60%". Zamolite modela da govori apsolutnim brojevima.
Savjet: Neka AI kaže "napišite kao 'koliko korisnika' umjesto u postotku." U malim uzorcima procenat daje utisak veće preciznosti nego što zapravo jeste.
Kopiranje upita
Vaša uloga: analitičar upotrebljivosti. Izvucite nalaze iz sljedećih anonimnih testova. Za svaki nalaz: 1) jasna izjava, 2) prateća zapažanja i koliko je učesnika to videlo, 3) efekat (blokiranje/usporavanje/kozmetički). Označite nalaze zasnovane na jednom zapažanju kao "SLAB DOKAZ". Napomene: <<tekst>>
Poredajte ovu listu nalaza po važnosti. Kriterijumi: uticaj (prepreka zadatku?), učestalost (koliko učesnika?), poslovni uticaj. Dodijelite svakom nalazu kritično/visoko/srednje/nisko i napišite obrazloženje. Ako niste sigurni u utjecaj na poslovanje, recite "tim mora procijeniti". Nalazi: <<list>>
Napišite konkretnu, djelotvornu preporuku dizajna za svaki nalaz. Preporuka: šta će se promijeniti + zašto ovo rješava problem + na koji ekran utiče. Izbjegavajte nejasne („uradite bolje“) preporuke. Nalazi: <<list>>
Sažmite ovaj izvještaj o nalazima za prezentaciju zainteresovanih strana: napišite kratak sažetak koji uključuje 3 najkritičnija nalaza, dokaze (koliko korisnika) i preporučenu akciju. Preterivanje; uzimajte brojeve iz bilješki. Izvještaj: <<tekst>>
Slaba prompt / Jaka prompt
Slabo: "Izvucite zaključke iz ovih rezultata testa."
Rezultat: Mešovita lista bez dokaza, bez redosleda važnosti i pogrešnog zapažanja kao nalaza.
Snažan: "Nacrtajte nalaz iz bilješki; ispod svakog nalaza dodajte prateća zapažanja i koliko je učesnika viđeno; označite ono zasnovano na jednom zapažanju kao 'slab dokaz'; zatim ga rangirajte po važnosti prema efektu-učestalosti-učinku rada."
Rezultat: Zasnovani na dokazima, prioritetni, odbranjivi nalazi.
Razlika: jaka brza prompta broj dokaza + slaba hitnost + kriterijum važnosti.
Uobičajene greške
- Brkanje posmatranja sa pronalaženjem. Pretvaranje jednog "šta se dogodilo" u sveobuhvatan zaključak.
- Donošenje kritičnih nalaza iz jedne opservacije. Neće se dati težina dok se učestalost ne potvrdi.
- Odlučivanje o utjecaju poslovanja na umjetnu inteligenciju. Uticaj prihoda/konverzije zahtijeva kontekst; On je u svom timu.
- Ne postavljajte prioritete. Neorganizovana lista nalaza parališe tim; Ne može se sve popraviti odjednom.
- Ostavljanje nejasnih prijedloga. “Uradi bolje” je neprimjenjivo; Šta, zašto i gde treba da bude jasno.
Ukratko
Vrijednost testiranja upotrebljivosti dolazi u pretvaranju snimaka i bilješki u jasne, prioritetne nalaze. Umjetna inteligencija uvelike ubrzava ovu sintezu: objedinjuje zapažanja u nalaze, sastavlja preporuke, predlaže redoslijed važnosti. Ali ljudski je posao da se potvrdi broj zapažanja iza svakog nalaza, da se uklone prenapuhani nalazi zasnovani na pojedinačnim zapažanjima i da se uticaj na poslovanje odmeri kontekstom. Izvještaj o nalazima koji se zasniva na dokazima, ima određenu učestalost i poredan po važnosti bit će brz i odbranjiv za zainteresirane strane.
Zadatak aplikacije
- Anonimizirajte bilješke iz testa upotrebljivosti (stvarnog ili izmišljenog).
- Uklonite nalaze na prvi upit; Provjerite broj zapažanja pod svakim.
- Izolirajte nalaze označene kao "slab dokaz" i odlučite da li su potrebni dodatni podaci.
- Drugim upitom rangirajte nalaze po važnosti; Procijenite poslovni uticaj kao tim.
- Uz treći upit, napišite konkretne prijedloge za svaki nalaz i kreirajte tabelu prioriteta.
kontrolna lista
- [ ] Zapažanja, nalaze i sugestije sam čuvao kao zasebne slojeve.
- [ ] Provjerio sam koliko je učesnika pokazalo svaki nalaz.
- [ ] Označio sam nalaze zasnovane na jednom zapažanju kao slab dokaz.
- [ ] Odredio sam nivo ozbiljnosti uticajem frekvencije uticaja na posao.
- [ ] Procijenio odluku o utjecaju na poslovanje s timom.
- [ ] Napisao sam prijedloge konkretno (šta/zašto/gdje).