Usability Testing Analysis at Synthesis of Findings

Mga nadagdag:

• Kakayahang i-convert ang mga rekord ng pagsubok sa kakayahang magamit at mga tala sa pagmamasid sa mga natuklasan, timbang at rekomendasyon gamit ang artificial intelligence
• Kakayahang mag-rank ng mga natuklasan ayon sa kalubhaan at gumawa ng talahanayan ng prioritization
• Kakayahang iwasto ang mga natuklasan na inalis o pinalalaki ng artificial intelligence gamit ang totoong ebidensya sa pagmamasid

Ang pagsubok sa usability ay isang paraan ng pagmamasid kung saan gumagana ang disenyo at kung saan ito natigil sa pamamagitan ng pagbibigay ng mga partikular na gawain sa mga tunay na user at pagsubaybay sa kanila. Ang pagsubok mismo ay madali; Ang tunay na hamon ay kasunod nito: ang paggawa ng mga oras ng pagre-record, mga pahina ng mga tala sa pagmamasid, at mga nakakalat na screenshot sa malinaw, priyoridad na mga natuklasan. Ang synthesis na ito ay tumatagal ng mga araw sa pamamagitan ng kamay at madalas na hindi ito natapos ng mga team. Binubuksan ng artificial intelligence ang bottleneck na ito: ginagawang mga natuklasan, timbang at rekomendasyon ang mga tala at tala. Ngunit hatol ng tao ang magpasya kung talagang problema ang isang obserbasyon at kung gaano ito kahalaga.

Pagkakaiba sa pagitan ng pagmamasid, paghahanap at mungkahi

Mahalagang paghiwalayin ang tatlong layer sa synthesis:

• Observation: Anong nangyari, no comment. "Hinanap ng kalahok 3 ang pindutang 'magpatuloy' sa loob ng 40 segundo."
• Paghahanap: Ang pattern na umuusbong mula sa mga obserbasyon. "Nagkakaroon ng problema ang mga user sa paghahanap ng pangunahing aksyon."
• Rekomendasyon: Ano ang gagawin. "Ginagawa ang pangunahing button na nakikitang nakikita."

Mabilis na ginagawa ng AI ang tatlong layer na ito, ngunit kadalasang nalilito ang obserbasyon sa paghahanap o naghihinuha ng isang buong paghahanap mula sa iisang obserbasyon. Ang iyong trabaho ay i-verify na may sapat na mga obserbasyon (ilang kalahok, ilang beses) sa likod ng bawat paghahanap.

Tip: Ipasabi sa artificial intelligence ang "sa ibaba ng bawat paghahanap, magdagdag ng mga obserbasyon na sumusuporta dito at kung ilang kalahok ito nakita." Sa ganitong paraan maaari mong agad na makilala ang napalaki na mga natuklasan mula sa isang obserbasyon.

Kalubhaan: ano ang unang ayusin?

Hindi lahat ng natuklasan ay pantay. Isinasaad ng kalubhaan kung gaano kabilis kailangang ayusin ang isang isyu at tinutukoy ng tatlong salik:

1. Epekto: Pinipigilan ba ng isyu ang user na makumpleto ang gawain o iniinis lang sila?
2. Dalas: Ilang user at gaano kadalas?
3. Epekto sa negosyo: Magkano ang epekto ng isyung ito sa conversion, kita, o tiwala?

Isang tipikal na sukat: Kritikal (ganap na humahadlang sa misyon), Mataas (matinding kahirapan), Katamtaman (mabagal), Mababa (cosmetic). Maaaring magmungkahi ang AI ng paunang pagraranggo, ngunit ang panghuling desisyon sa pagtimbang — partikular ang epekto sa negosyo — ay nangangailangan ng kaalaman ng koponan sa konteksto.

paghahanap

Epekto

dalas

kahalagahan

Mungkahi

Hindi mahanap ang pangunahing button

Nakakasagabal ito sa gawain

4/6 kalahok

kritikal

Pindutan ng highlight

Hindi malinaw ang mensahe ng error

bumabagal

3/6

mataas

Linawin ang mensahe

Ang ibig sabihin ng icon ay hindi malinaw

bahagyang pag-aatubili

2/6

daluyan

Magdagdag ng tag

Hindi nagustuhan ang tono ng kulay

mga pampaganda

1/6

mababa

iwanan mo mamaya

tatlong mini case

Kaso 1 — 5 oras ng pag-record, mga natuklasan sa kalahating araw. Isang team ang nagbigay ng tala ng 6 na pagsubok ng user (5 oras sa kabuuan) sa AI. Ang modelo ay nagmungkahi ng 14 na natuklasan; Sinuri ng koponan ang bawat isa laban sa bilang ng mga obserbasyon, pinaliit ito hanggang 9, at niraranggo ang mga ito ayon sa kahalagahan. Ang synthesis, na kukuha sana ng 2 araw nang manu-mano, ay binawasan sa kalahating araw.

Kaso 2 — Nahuli ang napalaki na paghahanap. "Hindi naiintindihan ng mga gumagamit ang nabigasyon," isinulat ng AI sa isang kritikal na paghahanap. Nang tingnan ng koponan ang mga sumusuportang obserbasyon, nalaman nila na ito ay batay sa isang sandali mula sa isang kalahok. Ang paghahanap ay ibinaba sa "moderate" at higit pang data ang hiniling. Aralin: ang isang obserbasyon ay hindi gumagawa ng isang kritikal na paghahanap.

Kaso 3 — Hindi nakuha ang kritikal na isyu. Ibinilang ng modelo ang isang umuulit ngunit tila maliit na isyu (ang form ay hindi awtomatikong pag-scroll) bilang "mababa." Nang tingnan ng taga-disenyo ang mga obserbasyon, napagtanto niya na nagdulot ito ng pag-abandona sa gawain sa 5 kalahok at itinakda ito sa "mataas". Aralin: Ang pagtatantya ng kahalagahan ng AI ay naitama sa pamamagitan ng obserbasyonal na ebidensya.

Pagbasa ng quantitative at qualitative data nang magkasama

Ang pagsusuri sa usability ay kadalasang husay (batay sa pagmamasid), ngunit mayroon ding mga quantitative (numerical) na signal: rate ng pagkumpleto ng gawain, tagal ng gawain, bilang ng mga error, marka ng kasiyahan. Pinagsasama ng pinakamakapangyarihang synthesis ang dalawa: "33% lang ng mga kalahok ang nakakumpleto ng gawain sa pag-checkout (quantitative), at lahat ng hindi nakumpleto ay natigil sa hakbang sa pagpapadala (qualitative)." Nakakatulong ang artificial intelligence na pagsamahin ang dalawang data na ito kapag hiwalay mong ibinigay ang mga ito; ngunit kinukumpirma mo ang katumpakan ng mga numero at ang laki ng sample. Ang pag-uusap tungkol sa mga porsyento ay maaaring mapanlinlang sa maliliit na sample (hal. 5 user); Ang pagsasabi ng "3 sa 5 user" ay mas tapat kaysa sa pagsasabi ng "60%". Hilingin sa modelo na magsalita sa ganap na mga numero.

Tip: Ipasabi sa AI ang "isulat bilang 'ilang user' sa halip na isang porsyento." Sa maliliit na sample, ang porsyento ay nagbibigay ng impresyon ng higit na katumpakan kaysa sa aktwal na ito.

Nakokopyang mga prompt

Ang iyong tungkulin: analyst ng usability. Gumuhit ng mga natuklasan mula sa sumusunod na hindi nakikilalang mga tala sa pagsusulit. Para sa bawat paghahanap: 1) malinaw na pahayag, 2) pagsuporta sa mga obserbasyon at kung gaano karaming mga kalahok ang nakakita nito, 3) epekto (pagharang/pagbagal/pagpapaganda). Markahan ang mga natuklasan batay sa iisang obserbasyon bilang "MAHINA NA EBIDENSYA". Mga Tala: <<teksto>>

Pagbukud-bukurin ang listahang ito ng mga natuklasan ayon sa kahalagahan. Pamantayan: epekto (hadlang sa gawain?), dalas (ilang kalahok?), epekto sa negosyo. Italaga ang bawat paghahanap na Kritikal/Mataas/Katamtaman/Mababa at sumulat ng katwiran. Kung hindi ka sigurado tungkol sa epekto sa negosyo, sabihin ang "dapat suriin ng koponan." Mga natuklasan: <<listahan>>

Sumulat ng kongkreto, naaaksyunan na rekomendasyon sa disenyo para sa bawat paghahanap. Rekomendasyon: ano ang magbabago + kung bakit nilulutas nito ang problema + kung anong screen ang naaapektuhan nito. Iwasan ang hindi malinaw ("gumawa ng mas mahusay") na mga rekomendasyon. Mga natuklasan: <<listahan>>

Ibuod ang ulat ng mga natuklasan na ito para sa presentasyon ng stakeholder: sumulat ng maikling executive summary na kinabibilangan ng 3 pinaka kritikal na natuklasan, ebidensya (ilang user), at inirerekomendang aksyon. Pagmamalabis; kumuha ng mga numero mula sa mga tala.Ulat: <<teksto>>

Mahinang prompt / Malakas na prompt

Mahina: "Gumawa ng mga konklusyon mula sa mga marka ng pagsusulit na ito."

Resulta: Isang halo-halong listahan na walang katibayan, walang pagkakasunud-sunod ng kahalagahan, at nagkakamali sa isang obserbasyon bilang isang paghahanap.

Strong: "Gumuhit ng natuklasan mula sa mga tala; sa ilalim ng bawat paghahanap, magdagdag ng mga sumusuportang obserbasyon at kung gaano karaming kalahok ito nakita; markahan ang isa batay sa isang obserbasyon bilang 'mahina na ebidensya'; pagkatapos ay i-rank ito sa pagkakasunud-sunod ng kahalagahan ayon sa epekto-dalas-trabaho na epekto."

Resulta: Batay sa ebidensya, priyoridad, mapagtatanggol na mga natuklasan.

Pagkakaiba: malakas na prompt prompt bilang ng ebidensya + mahina prompt + kahalagahan criterion.

Mga karaniwang pagkakamali

• Nakalilito ang pagmamasid sa paghahanap. Ginagawa ang isang solong "kung ano ang nangyari" sa isang pangkalahatang konklusyon.
• Paggawa ng mga kritikal na natuklasan mula sa iisang obserbasyon. Walang bigat na ibibigay hanggang sa ma-verify ang dalas.
• Pagpapasya sa epekto ng negosyo sa artificial intelligence. Ang epekto sa kita/conversion ay nangangailangan ng konteksto; Siya ay nasa kanyang koponan.
• Huwag unahin. Ang hindi organisadong listahan ng mga natuklasan ay nagpaparalisa sa koponan; Hindi lahat ng bagay ay maaayos ng sabay-sabay.
• Nag-iiwan ng mga suhestyon na malabo. "Gawin ang mas mahusay" ay hindi naaangkop; Ano, bakit at saan dapat maging malinaw.

Sa buod

Ang halaga ng pagsubok sa usability ay nagmumula sa paggawa ng mga pag-record at tala sa malinaw, priyoridad na mga natuklasan. Lubos na pinabilis ng artificial intelligence ang synthesis na ito: pinagsasama-sama ang mga obserbasyon sa mga natuklasan, nag-draft ng mga rekomendasyon, nagmumungkahi ng pagkakasunud-sunod ng kahalagahan. Ngunit gawain ng tao na i-verify ang bilang ng mga obserbasyon sa likod ng bawat paghahanap, alisin ang mga napalaki na natuklasan batay sa iisang obserbasyon, at timbangin ang epekto sa negosyo sa konteksto. Ang ulat ng mga natuklasan na batay sa ebidensya, may tiyak na dalas, at nakaayos ayon sa kahalagahan ay parehong mabilis at maipagtatanggol sa mga stakeholder.

Gawain ng aplikasyon

1. I-anonymize ang mga tala mula sa isang usability test (totoo o kathang-isip).
2. Alisin ang mga natuklasan sa unang prompt; Suriin ang bilang ng mga obserbasyon sa ilalim ng bawat isa.
3. Ihiwalay ang mga natuklasan na may markang "mahina na ebidensya" at magpasya kung kailangan ng karagdagang data.
4. Sa pangalawang prompt, i-rank ang mga natuklasan sa pagkakasunud-sunod ng kahalagahan; Suriin ang epekto sa negosyo bilang isang koponan.
5. Gamit ang pangatlong prompt, magsulat ng mga konkretong mungkahi para sa bawat paghahanap at gumawa ng talahanayan ng priyoridad.

checklist

• [ ] Pinananatili ko ang obserbasyon, natuklasan at mungkahi bilang magkahiwalay na mga layer.
• [ ] Na-verify ko kung ilang kalahok ang nagpakita ng bawat paghahanap.
• [ ] Minarkahan ko ang mga natuklasan batay sa isang obserbasyon bilang mahinang ebidensya.
• [ ] Tinukoy ko ang antas ng kalubhaan sa pamamagitan ng epekto-dalas-trabaho na epekto.
• [ ] Sinuri ang desisyon sa epekto ng negosyo kasama ang koponan.
• [ ] Isinulat ko ang mga mungkahi nang konkreto (ano/bakit/saan).