zisky:
- Schopnosť previesť záznamy testov použiteľnosti a poznámky z pozorovaní na zistenia, váhy a odporúčania pomocou umelej inteligencie
- Schopnosť zoradiť zistenia podľa závažnosti a vytvoriť tabuľku priorít
- Schopnosť opraviť zistenia, ktoré umelá inteligencia vynecháva alebo zveličuje reálnymi pozorovacími dôkazmi
Testovanie použiteľnosti je metóda pozorovania, kde dizajn funguje a kde sa zaseká, a to zadaním konkrétnych úloh skutočným používateľom a ich monitorovaním. Samotný test je jednoduchý; Skutočná výzva je v dôsledkoch: premeniť hodiny nahrávania, strany poznámok k pozorovaniu a roztrúsené snímky obrazovky na jasné zistenia s prioritou. Táto syntéza trvá celé dni a tímy ju často nechávajú nedokončenú. Umelá inteligencia otvára túto prekážku: premieňa záznamy a poznámky na zistenia, váhu a odporúčania. Je však na ľudskom úsudku, aby rozhodol, či je pozorovanie skutočne problémom a nakoľko je dôležité.
Rozdiel medzi pozorovaním, nájdením a návrhom
Pri syntéze je dôležité oddeliť tri vrstvy:
- Postreh: Čo sa stalo, bez komentára. "Účastník 3 hľadal tlačidlo "pokračovať" 40 sekúnd."
- Zistenie: Vzor vyplývajúci z pozorovaní. "Používatelia majú problém nájsť primárnu akciu."
- Odporúčanie: Čo robiť. "Zvýrazňuje primárne tlačidlo."
AI rýchlo vytvorí tieto tri vrstvy, ale často si zamieňa pozorovanie s nájdením alebo odvodzuje celý nález z jedného pozorovania. Vašou úlohou je overiť, či je za každým nálezom dostatok pozorovaní (koľko účastníkov, koľkokrát).
Tip: Nechajte umelú inteligenciu povedať „pod každým nálezom pridajte pozorovania, ktoré ho podporujú, a u koľkých účastníkov ho videli“. Takto môžete okamžite rozlíšiť nafúknuté nálezy z jedného pozorovania.
Závažnosť: čo opraviť ako prvé?
Nie všetky zistenia sú rovnaké. Závažnosť udáva, ako naliehavo je potrebné problém vyriešiť, a je určená tromi faktormi:
- Dopad: Bráni problém používateľovi dokončiť úlohu alebo ho len obťažuje?
- Frekvencia: Koľko používateľov a ako často?
- Vplyv na podnikanie: Ako veľmi tento problém ovplyvňuje konverziu, výnosy alebo dôveru?
Typická škála: Kritická (úplne bráni misii), Vysoká (veľká obtiažnosť), Stredná (spomaľuje), Nízka (kozmetická). Umelá inteligencia môže navrhnúť počiatočné hodnotenie, ale konečné rozhodnutie o vážení – konkrétne vplyv na podnikanie – si vyžaduje znalosť kontextu tímu.
nález
Vplyv
frekvencia
dôležitosti
Návrh
Primárne tlačidlo sa nepodarilo nájsť
Zasahuje do úlohy
4/6 účastníkov
kritický
Tlačidlo zvýraznenia
Chybové hlásenie je nejasné
spomalenie
3/6
vysoká
Vysvetlite správu
Význam ikony je nejasný
mierne zaváhanie
2/6
stredná
Pridať značku
Farebný tón sa nepáčil
kozmetika
1/6
nízka
nechaj to na neskôr
tri mini prípady
Prípad 1 — 5 hodín záznamu, nálezy za pol dňa. Jeden tím odovzdal AI poznámky zo 6 používateľských testov (spolu 5 hodín). Model navrhol 14 nálezov; Tím skontroloval každé z nich podľa počtu pozorovaní, zúžil ich na 9 a zoradil ich podľa dôležitosti. Syntéza, ktorá by manuálne trvala 2 dni, sa skrátila na pol dňa.
Prípad 2 – Prichytený nafúknutý nález. „Používatelia nerozumejú navigácii,“ napísala AI v kritickom zistení. Keď sa tím pozrel na podporné pozorovania, zistil, že to bolo založené na jedinom momente od jedného účastníka. Zistenie bolo znížené na „mierne“ a vyžiadalo sa viac údajov. Poučenie: jediné pozorovanie neprináša kritické zistenie.
Prípad 3 – Zmeškaný kritický problém. Model považoval opakujúci sa, ale zdanlivo malý problém (formulár bez automatického posúvania) ako „nízky“. Keď sa dizajnér pozrel na pozorovania, uvedomil si, že to spôsobilo opustenie úlohy u 5 účastníkov a nastavil ju na „vysokú“. Ponaučenie: Odhad dôležitosti AI je korigovaný pozorovaním.
Spoločné čítanie kvantitatívnych a kvalitatívnych údajov
Testovanie použiteľnosti je väčšinou kvalitatívne (založené na pozorovaní), existujú však aj kvantitatívne (číselné) signály: miera dokončenia úlohy, trvanie úlohy, počet chýb, skóre spokojnosti. Najvýkonnejšia syntéza spája tieto dve veci: „Iba 33 % účastníkov dokončilo úlohu pri pokladni (kvantitatívne) a všetci, ktorí ju nedokázali dokončiť, uviazli v kroku odoslania (kvalitatívne).“ Umelá inteligencia pomáha skombinovať tieto dva údaje, keď ich dáte oddelene; ale potvrdzujete správnosť čísel a veľkosť vzorky. Hovoriť o percentách môže byť pri malých vzorkách (napr. 5 používateľov) zavádzajúce; Povedať „3 z 5 používateľov“ je úprimnejšie ako povedať „60 %. Požiadajte modelku, aby hovorila v absolútnych číslach.
Tip: Nechajte AI povedať „napíšte ako „koľko používateľov“ namiesto percent. V malých vzorkách percentá vyvolávajú dojem väčšej presnosti, než v skutočnosti je.
Kopírovateľné výzvy
Vaša úloha: analytik použiteľnosti. Výsledky získajte z nasledujúcich anonymizovaných testov. Pre každé zistenie: 1) jasné vyhlásenie, 2) podporné pozorovania a koľko účastníkov to videlo, 3) účinok (blokujúci/spomalujúci/kozmetický). Označte zistenia založené na jedinom pozorovaní ako „SLABÉ DÔKAZY“. Poznámky: <<text>>
Zoraďte tento zoznam zistení podľa dôležitosti. Kritériá: dopad (prekážka úlohy?), frekvencia (koľko účastníkov?), obchodný vplyv. Každému nálezu priraďte kritické/vysoké/stredné/nízke a napíšte zdôvodnenie. Ak si nie ste istí dopadom na podnikanie, povedzte „tím musí vyhodnotiť“. Zistenia: <<zoznam>>
Pre každý nález napíšte konkrétne a použiteľné odporúčanie na dizajn. Odporúčanie: čo sa zmení + prečo to rieši problém + akú obrazovku to ovplyvní. Vyhnite sa vágnym odporúčaniam („robte lepšie“). Zistenia: <<zoznam>>
Zhrňte túto správu o zisteniach na prezentáciu zainteresovaným stranám: napíšte krátke zhrnutie, ktoré obsahuje 3 najkritickejšie zistenia, dôkazy (koľko používateľov) a odporúčané opatrenia. Preháňanie; berte čísla z poznámok.Správa: <<text>>
Slabá výzva / Silná výzva
Slabé: "Urobte závery z týchto výsledkov testov."
Výsledok: Zmiešaný zoznam bez dôkazov, bez poradia dôležitosti a nesprávneho zistenia jediného pozorovania.
Silný: "Nakreslite zistenie z poznámok; pod každé zistenie pridajte podporné pozorovania a počet účastníkov, u ktorých bol videný; označte to, ktoré je založené na jedinom pozorovaní, ako ‚slabý dôkaz‘; potom ho zoraďte podľa dôležitosti podľa účinku-frekvencie-pracovného účinku."
Výsledok: Dôkazom založené, prioritné, obhájiteľné zistenia.
Rozdiel: silná výzva počet dôkazov + slabá výzva + kritérium dôležitosti.
Časté chyby
- Mätúce pozorovanie s nachádzaním. Premena jedného „čo sa stalo“ na celkový záver.
- Robiť kritické zistenia z jedného pozorovania. Váha nebude pridelená, kým nebude overená frekvencia.
- Rozhodovanie o vplyve umelej inteligencie na podnikanie. Vplyv na výnosy/konverziu si vyžaduje kontext; Je vo svojom tíme.
- Neuprednostňujte. Neusporiadaný zoznam nálezov paralyzuje tím; Nie všetko sa dá opraviť naraz.
- Návrhy zanechávajú nejasné. „Urobiť lepšie“ je nepoužiteľné; Čo, prečo a kde by malo byť jasné.
V súhrne
Hodnota testovania použiteľnosti spočíva v premene nahrávok a poznámok na jasné zistenia s prioritou. Umelá inteligencia výrazne urýchľuje túto syntézu: zhromažďuje pozorovania do zistení, navrhuje odporúčania, navrhuje poradie dôležitosti. Je však ľudskou prácou overiť počet pozorovaní za každým zistením, odstrániť prehnané zistenia na základe jednotlivých pozorovaní a zvážiť vplyv na podnikanie s kontextom. Správa o zisteniach, ktorá je založená na dôkazoch, má určitú frekvenciu a je usporiadaná podľa dôležitosti, bude pre zainteresované strany rýchla a obhájiteľná.
Aplikačná úloha
- Anonymizovať poznámky z testu použiteľnosti (skutočné alebo fiktívne).
- Odstráňte nálezy pri prvej výzve; Skontrolujte počet pozorovaní pod každým.
- Izolujte zistenia označené ako „slabé dôkazy“ a rozhodnite, či sú potrebné ďalšie údaje.
- S druhou výzvou zoraďte zistenia podľa dôležitosti; Posúďte vplyv na podnikanie ako tím.
- S treťou výzvou napíšte konkrétne návrhy pre každé zistenie a vytvorte tabuľku priorít.
kontrolný zoznam
- [ ] Pozorovania, zistenia a návrhy som si ponechal ako samostatné vrstvy.
- [ ] Overil som si, koľko účastníkov ukázalo každý nález.
- [ ] Zistenia založené na jedinom pozorovaní som označil za slabé dôkazy.
- [ ] Stupeň závažnosti som určil podľa dopadu-frekvencie-pracovného dopadu.
- [ ] Spolu s tímom vyhodnotil rozhodnutie o vplyve na podnikanie.
- [ ] Návrhy som napísal konkrétne (čo/prečo/kde).