Nyereség:
- Képes a használhatósági tesztrekordokat és megfigyelési feljegyzéseket eredményekké, súlyozásokká és ajánlásokká konvertálni mesterséges intelligenciával
- Képes a leleteket súlyosság szerint rangsorolni és prioritási táblázatot készíteni
- Képes a mesterséges intelligencia által figyelmen kívül hagyott vagy eltúlzott eredmények valódi megfigyelési bizonyítékokkal korrigálni
A használhatósági tesztelés egy módszer annak megfigyelésére, hogy a tervezés hol működik és hol akad el, konkrét feladatokat adva valódi felhasználóknak, és figyelemmel kísérve őket. Maga a teszt egyszerű; Az igazi kihívás a későbbiekben van: több órányi felvétel, megfigyelési jegyzetek oldalai és szétszórt képernyőképek egyértelmű, prioritást élvező eredményekké alakítása. Ez a szintézis napokig tart, és a csapatok gyakran befejezetlenül hagyják. A mesterséges intelligencia megnyitja ezt a szűk keresztmetszetet: a feljegyzéseket és feljegyzéseket megállapításokká, súlyozásokká és ajánlásokká alakítja. De az emberi megítélés dönti el, hogy egy megfigyelés valóban probléma-e, és mennyire fontos.
Különbség a megfigyelés, a megállapítás és a javaslat között
Nagyon fontos, hogy a szintézis során három réteget különítsenek el:
- Észrevétel: Mi történt, nincs megjegyzés. "A 3. résztvevő 40 másodpercig kereste a "folytatás" gombot."
- Megállapítás: A megfigyelésekből kirajzolódó minta. "A felhasználók nehezen találják meg az elsődleges műveletet."
- Javaslat: Mi a teendő. "Az elsődleges gombot vizuálisan kiemeli."
A mesterséges intelligencia gyorsan létrehozza ezt a három réteget, de gyakran összekeveri a megfigyelést a találással, vagy egyetlen megfigyelésből következtet egy teljes megállapításra. Az Ön feladata annak ellenőrzése, hogy elegendő megfigyelés (hány résztvevő, hányszor) áll-e az egyes megállapítások mögött.
Tipp: Kérje meg a mesterséges intelligenciát, hogy „minden egyes lelet alá írja be azokat a megfigyeléseket, amelyek alátámasztják azt, és hány résztvevőnél látták”. Így azonnal megkülönböztetheti a túlzott leleteket egyetlen megfigyeléstől.
Súlyosság: mit kell először javítani?
Nem minden megállapítás egyforma. A súlyosság azt jelzi, hogy milyen sürgősen kell megoldani egy problémát, és három tényező határozza meg:
- Hatás: Megakadályozza a probléma a felhasználót a feladat végrehajtásában, vagy csak bosszantja?
- Gyakoriság: Hány felhasználó és milyen gyakran?
- Üzleti hatás: Mennyire befolyásolja ez a probléma a konverziót, a bevételt vagy a bizalmat?
Egy tipikus skála: Kritikus (teljesen akadályozza a küldetést), Magas (súlyos nehézségi fok), Közepes (lassít), Alacsony (kozmetikai). A mesterséges intelligencia javasolhat egy kezdeti rangsort, de a végső súlyozási döntéshez – különösen az üzleti hatáshoz – szükséges a csapat kontextusának ismerete.
megállapítás
Hatás
frekvencia
fontosságát
Javaslat
Az elsődleges gomb nem található
Megzavarja a feladatot
4/6 résztvevő
kritikus
Kiemelés gomb
A hibaüzenet nem egyértelmű
lelassul
3/6
magas
Tisztázza az üzenetet
Az ikon jelentése nem világos
enyhe habozás
2/6
közepes
Címke hozzáadása
A színtónus nem tetszett
kozmetikumok
1/6
alacsony
hagyd későbbre
három mini tok
1. eset — 5 óra felvétel, leletek fél nap alatt. Az egyik csapat 6 felhasználói teszt jegyzeteit (összesen 5 óra) betáplálta az AI-ba. A modell 14 megállapítást javasolt; A csapat mindegyiket összehasonlította a megfigyelések számával, leszűkítette 9-re, és fontossági sorrendbe sorolta őket. A szintézis, amely manuálisan 2 napig tartott volna, fél napra csökkent.
2. eset – Felfújt leletet kaptak. „A felhasználók nem értik a navigációt” – írta kritikus megállapításában az AI. Amikor a csapat megvizsgálta az alátámasztó megfigyeléseket, azt találta, hogy az egyetlen résztvevő egyetlen pillanatán alapult. A megállapítást "mérsékeltre" minősítették, és további adatokat kértek. Tanulság: egyetlen megfigyelés nem tesz kritikus megállapítást.
3. eset – Elmulasztott kritikus probléma. A modell egy visszatérő, de látszólag kisebb problémát (az űrlap nem automatikusan gördülő) „alacsonynak” számított. Amikor a tervező megnézte a megfigyeléseket, rájött, hogy ez 5 résztvevőnél feladatelhagyást okozott, és "magasra" állította. Tanulság: Az AI fontossági becslését megfigyelési bizonyítékok korrigálják.
Kvantitatív és minőségi adatok együttes olvasása
A használhatóság tesztelése többnyire kvalitatív (megfigyelésen alapuló), de vannak kvantitatív (numerikus) jelzések is: a feladat teljesítési aránya, a feladat időtartama, a hibák száma, az elégedettségi pontszám. A legerősebb szintézis ötvözi a kettőt: „Csak a résztvevők 33%-a teljesítette a fizetési feladatot (mennyiségileg), és mindazok, akik nem teljesítették, elakadtak a szállítási lépésnél (minőségi). A mesterséges intelligencia segít egyesíteni ezt a két adatot, ha külön adja meg őket; de megerősíted a számok és a mintanagyság pontosságát. Kis mintákban (pl. 5 felhasználó) félrevezető lehet a százalékokról beszélni; Azt mondani, hogy „5 felhasználóból 3” őszintébb, mint azt mondani, hogy „60%. Kérje meg a modellt, hogy abszolút számokban beszéljen.
Tipp: A mesterséges intelligencia azt mondja, hogy százalék helyett „hány felhasználót” írjon. Kis mintákban a százalék nagyobb pontosság benyomását kelti, mint amilyen valójában.
Másolható felszólítások
Az Ön szerepe: használhatósági elemző. Rajzolja le a megállapításokat a következő anonimizált tesztjegyzetekből. Minden megállapításhoz: 1) egyértelmű állítás, 2) alátámasztó megfigyelések, és hány résztvevő látta, 3) hatás (blokkoló/lassító/kozmetikai). Az egyetlen megfigyelésen alapuló megállapításokat „GYENGE BIZONYÍTÉK”-ként jelölje meg. Megjegyzések: <<szöveg>>
Rendezd a találatok listáját fontosság szerint. Kritériumok: hatás (a feladat akadályozása?), gyakoriság (hány résztvevő?), üzleti hatás. Rendeljen minden megállapítást kritikus/magas/közepes/alacsony értékhez, és írjon indoklást. Ha nem biztos az üzleti hatást illetően, mondja azt, hogy „a csapatnak értékelnie kell”. Megállapítások: <<lista>>
Minden egyes lelethez írjon konkrét, megvalósítható tervezési javaslatot. Javaslat: mi fog változni + miért oldja meg a problémát + milyen képernyőt érint. Kerülje a homályos („jobbat csináljon”) ajánlásokat. Megállapítások: <<lista>>
Foglalja össze ezt a megállapítási jelentést az érdekelt felek bemutatásához: írjon egy rövid vezetői összefoglalót, amely tartalmazza a 3 legkritikusabb megállapítást, bizonyítékot (hány felhasználó) és az ajánlott intézkedéseket. Túlzás; jegyzetekből számokat venni.Jelentés: <<szöveg>>
Gyenge felszólítás / Erős felszólítás
Gyenge: "vonjon le következtetéseket ezekből a teszteredményekből."
Eredmény: Vegyes lista bizonyíték nélkül, fontossági sorrend nélkül, és egyetlen megfigyelést leletnek téveszt.
Erős: "Húzzon le egy megállapítást a jegyzetekből; minden lelet alá írja be az alátámasztó megfigyeléseket és azt, hogy hány résztvevőnél látták; jelölje meg az egyetlen megfigyelésen alapulót "gyenge bizonyítékként", majd rangsorolja fontossági sorrendbe a hatás-gyakoriság-munka hatás szerint."
Eredmény: Bizonyítékokon alapuló, rangsorolt, védhető megállapítások.
Különbség: az erős felszólítás a bizonyítékok számát jelzi + gyenge felszólítás + fontossági kritérium.
Gyakori hibák
- Összetéveszti a megfigyelést a találással. Egyetlen „ami történt” átfogó következtetéssé alakítása.
- Kritikus megállapítások készítése egyetlen megfigyelésből. Nem adunk súlyt a gyakoriság ellenőrzéséig.
- A mesterséges intelligenciára gyakorolt üzleti hatás eldöntése. A bevétel/konverzió hatása kontextust igényel; A csapatában van.
- Ne adjon prioritást. A leletek rendezetlen listája megbénítja a csapatot; Nem lehet mindent egyszerre megjavítani.
- A javaslatok homályos meghagyása. A „Tedd jobban” nem alkalmazható; Hogy mit, miért és hol, az világos legyen.
Összefoglalva
A használhatósági tesztelés értéke abban rejlik, hogy a felvételeket és a jegyzeteket egyértelmű, prioritásos megállapításokká alakítja. A mesterséges intelligencia nagymértékben felgyorsítja ezt a szintézist: a megfigyeléseket megállapításokká összesíti, ajánlásokat fogalmaz meg, fontossági sorrendet javasol. De emberi munka az egyes megállapítások mögött meghúzódó megfigyelések számának ellenőrzése, az egyes megfigyeléseken alapuló túlzott megállapítások kiszűrése, valamint az üzleti hatás kontextussal való súlyozása. A bizonyítékokon alapuló, bizonyos gyakorisággal és fontossági sorrendbe rendezett megállapítási jelentés gyors és védhető lesz az érintettek számára.
Pályázati feladat
- A használhatósági teszt jegyzeteinek anonimizálása (valós vagy kitalált).
- Az első felszólításra távolítsa el a leleteket; Ellenőrizze az egyes megfigyelések számát.
- Különítse el a „gyenge bizonyíték”-nak jelölt megállapításokat, és döntse el, hogy szükség van-e további adatokra.
- A második felszólítással rangsorolja a megállapításokat fontossági sorrendbe; Mérje fel az üzleti hatást csapatként.
- A harmadik prompttal írjon konkrét javaslatokat minden egyes megállapításhoz, és hozzon létre egy prioritási táblázatot.
ellenőrző lista
- [ ] A megfigyelést, a megállapításokat és a javaslatot külön rétegként tartottam meg.
- [ ] Ellenőriztem, hogy hány résztvevő mutatott egy-egy leletet.
- [ ] Az egyetlen megfigyelésen alapuló megállapításokat gyenge bizonyítékként jelöltem meg.
- [ ] A súlyossági szintet becsapódás-gyakoriság-munkahatás alapján határoztam meg.
- [ ] A csapattal együtt értékelték az üzleti hatásra vonatkozó döntést.
- [ ] A javaslatokat konkrétan (mit/miért/hol) írtam.