zisky:
- Schopnost převádět záznamy testů použitelnosti a poznámky k pozorování na zjištění, váhy a doporučení pomocí umělé inteligence
- Schopnost seřadit nálezy podle závažnosti a vytvořit tabulku priorit
- Schopnost korigovat zjištění, která umělá inteligence opomíjí nebo zveličuje, pomocí skutečných pozorovacích důkazů
Testování použitelnosti je metoda sledování, kde návrh funguje a kde uvízne tím, že zadává konkrétní úkoly skutečným uživatelům a sleduje je. Samotný test je snadný; Skutečná výzva je v důsledcích: proměnit hodiny nahrávání, stránky poznámek k pozorování a rozptýlené snímky obrazovky do jasných a prioritních zjištění. Tato syntéza trvá celé dny a týmy ji často nechávají nedokončenou. Umělá inteligence otevírá toto úzké hrdlo: přeměna záznamů a poznámek na zjištění, váhu a doporučení. Je však na lidském úsudku, aby rozhodl, zda je pozorování skutečně problémem a jak je důležité.
Rozdíl mezi pozorováním, nalezením a návrhem
Při syntéze je důležité oddělit tři vrstvy:
- Postřeh: Co se stalo, bez komentáře. "Účastník 3 hledal tlačítko 'pokračovat' 40 sekund."
- Nález: Vzor vycházející z pozorování. "Uživatelé mají problém najít primární akci."
- Doporučení: Co dělat. "Dává primární tlačítko vizuálně vyniknout."
Umělá inteligence rychle vytvoří tyto tři vrstvy, ale často zaměňuje pozorování s nalezením nebo vyvozuje celý nález z jediného pozorování. Vaším úkolem je ověřit, že za každým nálezem je dostatek pozorování (kolik účastníků, kolikrát).
Tip: Nechte umělou inteligenci říci „pod každým nálezem přidejte pozorování, která jej podporují, a u kolika účastníků byl viděn“. Tímto způsobem můžete okamžitě rozlišit nafouknuté nálezy z jediného pozorování.
Závažnost: co opravit jako první?
Ne všechny nálezy jsou stejné. Závažnost udává, jak naléhavě je třeba problém vyřešit, a je určena třemi faktory:
- Dopad: Brání problém uživateli v dokončení úkolu nebo ho jen obtěžuje?
- Frekvence: Kolik uživatelů a jak často?
- Obchodní dopad: Jak moc tento problém ovlivňuje konverzi, tržby nebo důvěru?
Typická stupnice: Kritická (zcela překáží misi), Vysoká (těžká obtížnost), Střední (zpomaluje), Nízká (kosmetická). Umělá inteligence může navrhnout počáteční hodnocení, ale konečné rozhodnutí o vážení – konkrétně obchodní dopad – vyžaduje znalost kontextu týmu.
zjištění
Dopad
frekvence
důležitosti
Návrh
Primární tlačítko nelze nalézt
Narušuje to úkol
4/6 účastníků
kritický
Tlačítko zvýraznění
Chybová zpráva je nejasná
zpomalení
3/6
vysoká
Vysvětlete zprávu
Význam ikony není jasný
mírné zaváhání
2/6
střední
Přidat značku
Barevný tón se nelíbil
kosmetika
1/6
nízká
nechte to na později
tři mini pouzdra
Případ 1 — 5 hodin záznamu, nálezy za půl dne. Jeden tým předal AI poznámky ze 6 uživatelských testů (celkem 5 hodin). Model navrhl 14 nálezů; Tým zkontroloval každé z nich podle počtu pozorování, zúžil ho na 9 a seřadil je podle důležitosti. Syntéza, která by manuálně trvala 2 dny, byla zkrácena na půl dne.
Případ 2 — Nafouknutý nález chycen. „Uživatelé nerozumí navigaci,“ napsala AI v kritickém zjištění. Když se tým podíval na podpůrná pozorování, zjistil, že to bylo založeno na jediném okamžiku od jediného účastníka. Nález byl snížen na „střední“ a bylo požadováno více údajů. Poučení: jediné pozorování neznamená kritické zjištění.
Případ 3 – Zmeškaný kritický problém. Model považoval opakující se, ale zdánlivě malý problém (formulář bez automatického posouvání) jako „nízký“. Když se designér podíval na pozorování, uvědomil si, že to způsobilo opuštění úkolu u 5 účastníků a nastavil jej na „vysoké“. Ponaučení: Odhad důležitosti AI je korigován pozorováním.
Společné čtení kvantitativních a kvalitativních dat
Testování použitelnosti je většinou kvalitativní (založené na pozorování), ale existují i kvantitativní (numerické) signály: míra dokončení úkolu, doba trvání úkolu, počet chyb, skóre spokojenosti. Nejúčinnější syntéza spojuje obojí: „Pouze 33 % účastníků dokončilo úkol pokladny (kvantitativní) a všichni, kteří se nepodařilo dokončit, uvízli u kroku odeslání (kvalitativní). Umělá inteligence pomáhá kombinovat tato dvě data, když je dáte samostatně; ale potvrzujete správnost čísel a velikost vzorku. Mluvit o procentech může být u malých vzorků (např. 5 uživatelů) zavádějící; Říct „3 z 5 uživatelů“ je upřímnější než říci „60 %“. Požádejte model, aby mluvil v absolutních číslech.
Tip: Nechte AI říci „napište jako „kolik uživatelů“ místo procent. U malých vzorků vyvolává procento dojem větší přesnosti, než ve skutečnosti je.
Kopírovatelné výzvy
Vaše role: analytik použitelnosti. Zjistěte výsledky z následujících anonymizovaných testů. Pro každé zjištění: 1) jasné prohlášení, 2) podpůrná pozorování a kolik účastníků to vidělo, 3) účinek (blokující/zpomalující/kosmetický). Označte nálezy založené na jediném pozorování jako „SLABÉ DŮKAZY“. Poznámky: <<text>>
Seřaďte tento seznam nálezů podle důležitosti. Kritéria: dopad (překážka úkolu?), frekvence (kolik účastníků?), obchodní dopad. Každému nálezu přiřaďte kritický/vysoký/střední/nízký a napište zdůvodnění. Pokud si nejste jisti dopadem na podnikání, řekněte „tým musí vyhodnotit“. Nálezy: <<seznam>>
Ke každému nálezu napište konkrétní a použitelné doporučení návrhu. Doporučení: co se změní + proč to řeší problém + jakou obrazovku to ovlivní. Vyhněte se vágním doporučením („dělat lépe“). Nálezy: <<seznam>>
Shrňte tuto zprávu o zjištěních pro prezentaci zúčastněným stranám: napište stručné shrnutí, které obsahuje 3 nejkritičtější zjištění, důkazy (kolik uživatelů) a doporučená opatření. Přehánění; vezměte čísla z poznámek. Zpráva: <<text>>
Slabá výzva / Silná výzva
Slabý: "Udělejte závěry z těchto výsledků testů."
Výsledek: Smíšený seznam bez důkazů, bez pořadí důležitosti a zaměňování jediného pozorování za zjištění.
Silný: "Nakreslete zjištění z poznámek; pod každý nález přidejte podpůrná pozorování a u kolika účastníků bylo pozorováno; označte to, které je založeno na jediném pozorování, jako ‚slabý důkaz‘; pak ho seřaďte podle důležitosti podle účinku-frekvence-pracovního účinku."
Výsledek: Důkazy podložené, prioritní a obhajitelné nálezy.
Rozdíl: silná výzva počet důkazů + slabá výzva + kritérium důležitosti.
Časté chyby
- Matoucí pozorování s hledáním. Převedení jediného „co se stalo“ do celkového závěru.
- Udělat kritická zjištění z jediného pozorování. Dokud nebude ověřena frekvence, nebude přidělena žádná váha.
- Rozhodování o obchodním dopadu na umělou inteligenci. Dopad na tržby/konverzi vyžaduje kontext; Je ve svém týmu.
- Neupřednostňujte. Neuspořádaný seznam nálezů paralyzuje tým; Ne všechno se dá opravit najednou.
- Návrhy zůstávají nejasné. „Dělat lépe“ nelze použít; Co, proč a kde by mělo být jasné.
V souhrnu
Hodnota testování použitelnosti spočívá v přeměně nahrávek a poznámek na jasná a prioritní zjištění. Umělá inteligence tuto syntézu značně urychluje: agreguje pozorování do zjištění, navrhuje doporučení, navrhuje pořadí důležitosti. Je však lidskou prací ověřit počet pozorování za každým zjištěním, odstranit přehnaná zjištění založená na jednotlivých pozorováních a zvážit dopad na podnikání s kontextem. Zpráva o zjištěních, která je založena na důkazech, má určitou frekvenci a je uspořádána podle důležitosti, bude pro zúčastněné strany rychlá a obhajitelná.
Aplikační úkol
- Anonymizovat poznámky z testu použitelnosti (skutečné nebo fiktivní).
- Odstraňte nálezy na první výzvu; Zkontrolujte počet pozorování pod každým.
- Izolujte nálezy označené jako „slabé důkazy“ a rozhodněte, zda jsou potřeba další údaje.
- S druhou výzvou seřaďte zjištění podle důležitosti; Zhodnoťte dopad na podnikání jako tým.
- S třetí výzvou napište konkrétní návrhy pro každý nález a vytvořte tabulku priorit.
kontrolní seznam
- [ ] Pozorování, nálezy a návrhy jsem si ponechal jako samostatné vrstvy.
- [ ] Ověřil jsem, kolik účastníků ukázalo každý nález.
- [ ] Poznatky založené na jediném pozorování jsem označil za slabé důkazy.
- [ ] Úroveň závažnosti jsem určil podle dopadu-frekvence-pracovního dopadu.
- [ ] Společně s týmem vyhodnotili rozhodnutí o dopadu na podnikání.
- [ ] Návrhy jsem psal konkrétně (co/proč/kde).