Hagnaður:
- Geta til að umbreyta nothæfisprófum og athugunarskýrslum í niðurstöður, þyngd og ráðleggingar með gervigreind
- Hæfni til að raða niðurstöðum eftir alvarleika og búa til forgangsröðunartöflu
- Hæfni til að leiðrétta niðurstöður sem gervigreind sleppir eða ýkir með raunverulegum athugunarsönnunum
Nothæfisprófun er aðferð til að fylgjast með hvar hönnunin virkar og hvar hún festist með því að gefa raunverulegum notendum ákveðin verkefni og fylgjast með þeim. Prófið sjálft er auðvelt; Raunverulega áskorunin er í kjölfarið: að breyta klukkustundum af upptöku, síðum af athugunarskýrslum og dreifðum skjámyndum í skýrar, forgangsraðaðar niðurstöður. Þessi myndun tekur daga í höndunum og lið skilja hana oft eftir ókláruð. Gervigreind opnar þennan flöskuháls: að breyta skrám og athugasemdum í niðurstöður, þyngd og meðmæli. En það er mannlegt mat að ákveða hvort athugun sé raunverulega vandamál og hversu mikilvæg hún er.
Munur á athugun, uppgötvun og tillögu
Það er mikilvægt að aðskilja þrjú lög í mynduninni:
- Athugun: Hvað gerðist, engin athugasemd. „Þátttakandi 3 leitaði að „halda áfram“ hnappinum í 40 sekúndur.“
- Niðurstaða: Mynstrið sem kemur fram úr athugunum. "Notendur eiga í vandræðum með að finna aðalaðgerðina."
- Tilmæli: Hvað á að gera. "Lætur aðalhnappinn standa sjónrænt út."
Gervigreind framleiðir fljótt þessi þrjú lög, en ruglar oft saman athugun og uppgötvun eða ályktar heila niðurstöðu út frá einni athugun. Starf þitt er að sannreyna að það séu nægar athuganir (hversu margir þátttakendur, hversu oft) á bak við hverja niðurstöðu.
Ábending: Láttu gervigreindina segja "fyrir neðan hverja uppgötvun skaltu bæta við athugunum sem styðja hana og hversu mörgum þátttakendum hún sást í." Þannig geturðu samstundis greint uppblásnar niðurstöður frá einni athugun.
Alvarleiki: hvað á að laga fyrst?
Ekki eru allar niðurstöður jafnar. Alvarleiki gefur til kynna hversu brýnt þarf að laga vandamál og ræðst af þremur þáttum:
- Áhrif: Kemur málið í veg fyrir að notandinn geti klárað verkefnið eða bara pirrar hann?
- Tíðni: Hversu margir notendur og hversu oft?
- Viðskiptaáhrif: Hversu mikil áhrif hefur þetta mál á viðskipti, tekjur eða traust?
Dæmigerður mælikvarði: Critical (tállar verkefninu algjörlega), High (alvarlegir erfiðleikar), Medium (hægir á sér), Low (snyrtivörur). Gervigreind gæti stungið upp á upphafsröðun, en endanleg vigtunarákvörðun - sérstaklega viðskiptaáhrif - krefst þekkingar liðsins á samhenginu.
finna
Áhrif
tíðni
mikilvægi
Tillaga
Aðalhnappur finnst ekki
Það truflar verkefnið
4/6 þátttakendur
gagnrýninn
Hápunktur hnappur
Villuboð eru óljós
hægja á sér
3/6
hátt
Skýrðu skilaboðin
Merking táknmyndar óljós
örlítið hik
2/6
miðlungs
Bæta við merki
Litatónn var ekki hrifinn
snyrtivörur
1/6
lágt
læt það eftir seinna
þrjú smámál
Tilfelli 1 — 5 tíma upptaka, niðurstöður á hálfum degi. Eitt teymi gaf skýrslunum um 6 notendapróf (alls 5 klukkustundir) til gervigreindar. Líkanið lagði til 14 niðurstöður; Hópurinn athugaði hverja og eina við fjölda athugana, minnkaði hann niður í 9 og raðaði þeim í mikilvægisröð. Myndun, sem hefði tekið 2 daga handvirkt, minnkaði í hálfan dag.
Tilfelli 2 — Uppblásinn fundur veiddur. „Notendur skilja ekki siglingar,“ skrifaði gervigreindin í mikilvægri niðurstöðu. Þegar teymið skoðaði stuðningsathuganirnar komust þeir að því að það var byggt á einu augnabliki frá einum þátttakanda. Niðurstaðan var færð niður í „í meðallagi“ og óskað var eftir frekari gögnum. Lexía: ein athugun gerir ekki mikilvæga niðurstöðu.
Mál 3 - Misst af mikilvægu máli. Líkanið taldi endurtekið en að því er virðist minniháttar vandamál (formið ekki sjálfvirkt skrun) sem „lágt“. Þegar hönnuðurinn skoðaði athuganirnar áttaði hann sig á því að þetta olli því að 5 þátttakendur hættu við verkefni og setti það á „hátt“. Lexía: Mikilvægismat gervigreindar er leiðrétt með athugunargögnum.
Að lesa megindleg og eigindleg gögn saman
Nothæfispróf eru að mestu leyti eigindleg (athugunarmiðuð), en það eru líka megindleg (töluleg) merki: Ljúkunarhlutfall verks, lengd verkefnis, fjöldi villna, ánægjustig. Öflugasta samsetningin sameinar þetta tvennt: „Aðeins 33% þátttakenda luku afgreiðsluverkefninu (magnbundið) og allir sem náðu ekki að klára festust við sendingarþrepið (eigindlegt).“ Gervigreind hjálpar til við að sameina þessi tvö gögn þegar þú gefur þau sérstaklega; en þú staðfestir nákvæmni talna og úrtaksstærð. Að tala um prósentur getur verið villandi í litlum úrtökum (t.d. 5 notendur); Að segja „3 af hverjum 5 notendum“ er heiðarlegra en að segja „60%“. Biðjið fyrirsætuna að tala í algildum tölum.
Ábending: Láttu gervigreindina segja „skrifaðu sem „hversu margir notendur“ í staðinn fyrir prósentu. Í litlum sýnum gefur hlutfall meiri nákvæmni en raun ber vitni.
Afritanleg skilaboð
Þitt hlutverk: nothæfisfræðingur. Dragðu niðurstöður úr eftirfarandi nafnlausu prófskýringum. Fyrir hverja niðurstöðu: 1) skýr staðhæfingu, 2) stuðningsathuganir og hversu margir þátttakendur sáu hana, 3) áhrif (blokkandi/hæga/snyrtivörur). Merktu niðurstöður byggðar á einni athugun sem „VEIK Sönnun“. Athugasemdir: <<texti>>
Raðaðu þessum lista yfir niðurstöður eftir mikilvægi. Viðmið: áhrif (hindrun verkefnisins?), tíðni (hvað margir þátttakendur?), viðskiptaáhrif. Gefðu hverri niðurstöðu Critical/High/Medium/Low og skrifaðu rökstuðning. Ef þú ert ekki viss um áhrif fyrirtækja skaltu segja "teymi verður að meta." Niðurstöður: <<listi>>
Skrifaðu áþreifanlega, raunhæfa hönnunartillögu fyrir hverja niðurstöðu. Tilmæli: hvað mun breytast + hvers vegna þetta leysir vandamálið + hvaða skjár það hefur áhrif. Forðastu óljósar ("gera betur") ráðleggingar. Niðurstöður: <<listi>>
Dragðu saman þessa niðurstöðuskýrslu til kynningar á hagsmunaaðilum: skrifaðu stutta samantekt sem inniheldur 3 mikilvægustu niðurstöðurnar, sönnunargögn (hversu margir notendur) og ráðlagðar aðgerðir. ýkjur; taka tölur úr glósum.Skýrsla: <<text>>
Veik kvaðning / Sterk kvaðning
Veik: "Dregðu ályktanir af þessum prófum."
Niðurstaða: Blandaður listi án sönnunargagna, engin mikilvægisröð og túlkað einni athugun sem niðurstöðu.
Strong: "Taktu niðurstöðu úr glósunum; undir hverja niðurstöðu skaltu bæta við stuðningsathugunum og hversu mörgum þátttakendum hún sást í; merktu þá sem byggir á einni athugun sem 'veik sönnunargögn'; raðaðu henni síðan í mikilvægisröð eftir áhrifum-tíðni-vinnuáhrifum."
Niðurstaða: Gagnrýndar, forgangsraðaðar, forsvaranlegar niðurstöður.
Mismunur: sterk hvetja hvetur til fjölda sönnunargagna + veik hvetja + mikilvægisviðmið.
Algeng mistök
- Ruglandi athugun og uppgötvun. Að breyta einu „hvað gerðist“ í heildarniðurstöðu.
- Að gera mikilvægar niðurstöður úr einni athugun. Ekkert vægi verður gefið fyrr en tíðni hefur verið staðfest.
- Ákvörðun viðskiptaáhrifa á gervigreind. Tekjur/viðskiptaáhrif krefjast samhengis; Hann er í sínu liði.
- Ekki forgangsraða. Óskipulagður listi yfir niðurstöður lamar liðið; Ekki er hægt að laga allt í einu.
- Skilja tillögur óljósar. „Gerðu betur“ á ekki við; Hvað, hvers vegna og hvar ætti að vera skýrt.
Í stuttu máli
Gildi nothæfisprófa felst í því að breyta upptökum og athugasemdum í skýrar niðurstöður sem forgangsraða. Gervigreind flýtir mjög fyrir þessari myndun: safnar athugunum saman í niðurstöður, semur tillögur, gefur til kynna mikilvægi. En það er mannanna verk að sannreyna fjölda athugana á bak við hverja niðurstöðu, eyða uppblásnum niðurstöðum byggðar á stakum athugunum og vega viðskiptaáhrif með samhengi. Niðurstöðuskýrsla sem byggir á sönnunargögnum, hefur ákveðna tíðni og er raðað eftir mikilvægi verður bæði hröð og verjanleg fyrir hagsmunaaðila.
Umsóknarverkefni
- Nafnlausu glósur úr nothæfisprófi (raunverulegt eða uppspuni).
- Fjarlægðu niðurstöðurnar við fyrstu beðið; Athugaðu fjölda athugana undir hverri.
- Einangraðu niðurstöður sem merktar eru "veikar sönnunargögn" og ákveða hvort frekari gagna sé þörf.
- Með seinni hvetjunni skaltu raða niðurstöðunum í röð eftir mikilvægi; Metið áhrif fyrirtækja sem teymi.
- Með þriðju hvetjunni skaltu skrifa áþreifanlegar tillögur fyrir hverja niðurstöðu og búa til forgangsröðunartöflu.
gátlisti
- [ ] Ég hélt athugunum, niðurstöðum og tillögum sem aðskildum lögum.
- [ ] Ég sannreyndi hversu margir þátttakendur sýndu hverja niðurstöðu.
- [ ] Ég merkti niðurstöður byggðar á einni athugun sem veikar sannanir.
- [ ] Ég ákvað alvarleikastigið með áhrifum-tíðni-starfsáhrifum.
- [ ] Metið ákvörðun um viðskiptaáhrif með teyminu.
- [ ] Ég skrifaði tillögurnar nákvæmlega (hvað/hvers vegna/hvar).