Keuntungan:
- Keupayaan untuk menukar rekod ujian kebolehgunaan dan nota pemerhatian kepada penemuan, pemberat dan cadangan dengan kecerdasan buatan
- Keupayaan untuk menyusun dapatan mengikut keterukan dan menghasilkan jadual keutamaan
- Keupayaan untuk membetulkan penemuan yang ditinggalkan atau dibesar-besarkan oleh kecerdasan buatan dengan bukti pemerhatian sebenar
Ujian kebolehgunaan ialah kaedah memerhati di mana reka bentuk berfungsi dan di mana ia tersekat dengan memberikan tugas khusus kepada pengguna sebenar dan memantaunya. Ujian itu sendiri adalah mudah; Cabaran sebenar adalah selepas itu: menukar jam rakaman, halaman nota pemerhatian dan tangkapan skrin bertaburan menjadi penemuan yang jelas dan diutamakan. Sintesis ini mengambil masa beberapa hari dengan tangan dan pasukan sering membiarkannya tidak selesai. Kecerdasan buatan membuka kesesakan ini: menukar rekod dan nota kepada penemuan, berat dan cadangan. Tetapi adalah pertimbangan manusia untuk memutuskan sama ada pemerhatian itu benar-benar masalah dan betapa pentingnya ia.
Perbezaan antara pemerhatian, penemuan dan cadangan
Adalah penting untuk memisahkan tiga lapisan dalam sintesis:
- Pemerhatian: Apa yang berlaku, tiada komen. "Peserta 3 mencari butang 'teruskan' selama 40 saat."
- Penemuan: Corak yang muncul daripada pemerhatian. "Pengguna menghadapi masalah mencari tindakan utama."
- Cadangan: Apa yang perlu dilakukan. "Menjadikan butang utama menonjol secara visual."
AI dengan cepat menghasilkan tiga lapisan ini, tetapi sering mengelirukan pemerhatian dengan mencari atau membuat kesimpulan keseluruhan dapatan daripada satu pemerhatian. Tugas anda adalah untuk mengesahkan bahawa terdapat pemerhatian yang mencukupi (berapa peserta, berapa kali) di sebalik setiap penemuan.
Petua: Minta kecerdasan buatan mengatakan "di bawah setiap penemuan, tambahkan pemerhatian yang menyokongnya dan bilangan peserta yang dilihat." Dengan cara ini anda boleh membezakan penemuan yang melambung dengan serta-merta daripada satu pemerhatian.
Keterukan: apa yang perlu diperbaiki dahulu?
Tidak semua penemuan adalah sama. Keterukan menunjukkan betapa mendesak sesuatu isu itu perlu diselesaikan dan ditentukan oleh tiga faktor:
- Kesan: Adakah isu itu menghalang pengguna daripada menyelesaikan tugasan atau hanya mengganggu mereka?
- Kekerapan: Berapa ramai pengguna dan berapa kerap?
- Impak perniagaan: Sejauh manakah isu ini memberi kesan kepada penukaran, hasil atau kepercayaan?
Skala biasa: Kritikal (menghalang sepenuhnya misi), Tinggi (kesukaran teruk), Sederhana (melambatkan), Rendah (kosmetik). AI mungkin mencadangkan kedudukan awal, tetapi keputusan pemberat terakhir — khususnya kesan perniagaan — memerlukan pengetahuan pasukan tentang konteks.
mencari
Kesan
kekerapan
kepentingan
Cadangan
Butang utama tidak ditemui
Ia mengganggu tugas
4/6 peserta
kritikal
Butang serlahkan
Mesej ralat tidak jelas
memperlahankan
3/6
tinggi
Jelaskan mesej
Ikon yang bermaksud tidak jelas
sedikit teragak-agak
2/6
sederhana
Tambah tag
Tona warna tidak disukai
kosmetik
1/6
rendah
biarkan ia untuk kemudian
tiga kes mini
Kes 1 — 5 jam rakaman, penemuan dalam setengah hari. Satu pasukan memberi nota 6 ujian pengguna (jumlah 5 jam) kepada AI. Model tersebut mencadangkan 14 penemuan; Pasukan itu menyemak setiap satu daripada bilangan pemerhatian, mengecilkannya kepada 9, dan menyusunnya mengikut kepentingan. Sintesis, yang akan mengambil masa 2 hari secara manual, dikurangkan kepada setengah hari.
Kes 2 — Penemuan melambung ditangkap. "Pengguna tidak memahami navigasi," tulis AI dalam penemuan kritikal. Apabila pasukan melihat pemerhatian sokongan, mereka mendapati bahawa ia berdasarkan satu momen daripada seorang peserta. Penemuan itu diturunkan taraf kepada "sederhana" dan lebih banyak data diminta. Pengajaran: satu pemerhatian tidak membuat penemuan kritikal.
Kes 3 — Terlepas isu kritikal. Model itu mengira isu yang berulang tetapi nampaknya kecil (bentuk bukan tatal automatik) sebagai "rendah". Apabila pereka bentuk melihat pemerhatian, dia menyedari bahawa ini menyebabkan pengabaian tugas dalam 5 peserta dan menetapkannya kepada "tinggi". Pengajaran: Anggaran kepentingan AI diperbetulkan oleh bukti pemerhatian.
Membaca data kuantitatif dan kualitatif bersama-sama
Ujian kebolehgunaan kebanyakannya bersifat kualitatif (berasaskan pemerhatian), tetapi terdapat juga isyarat kuantitatif (numerik): kadar penyelesaian tugas, tempoh tugas, bilangan ralat, skor kepuasan. Sintesis yang paling berkuasa menggabungkan dua: "Hanya 33% peserta menyelesaikan tugasan pembayaran (kuantitatif), dan semua yang gagal menyelesaikan terperangkap pada langkah penghantaran (kualitatif)." Kecerdasan buatan membantu menggabungkan kedua-dua data ini apabila anda memberikannya secara berasingan; tetapi anda mengesahkan ketepatan nombor dan saiz sampel. Bercakap tentang peratusan boleh mengelirukan dalam sampel kecil (cth. 5 pengguna); Menyebut "3 daripada 5 pengguna" adalah lebih jujur daripada mengatakan "60%". Minta model bercakap dalam nombor mutlak.
Petua: Minta AI mengatakan "tulis sebagai 'berapa ramai pengguna' dan bukannya peratusan." Dalam sampel kecil, peratusan memberikan gambaran ketepatan yang lebih besar daripada yang sebenarnya.
Gesaan boleh disalin
Peranan anda: penganalisis kebolehgunaan. Lukiskan dapatan daripada nota ujian tanpa nama berikut. Bagi setiap penemuan: 1) pernyataan yang jelas, 2) pemerhatian sokongan dan berapa ramai peserta yang melihatnya, 3) kesan (menyekat/melambatkan/kosmetik). Tandakan penemuan berdasarkan satu pemerhatian sebagai "BUKTI LEMAH". Nota: <<teks>>
Isih senarai penemuan ini mengikut kepentingan. Kriteria: impak (halangan tugas?), kekerapan (berapa peserta?), impak perniagaan. Berikan setiap penemuan Kritikal/Tinggi/Sederhana/Rendah dan tulis rasional. Jika anda tidak pasti tentang kesan perniagaan, katakan "pasukan mesti menilai." Penemuan: <<senarai>>
Tulis cadangan reka bentuk yang konkrit dan boleh diambil tindakan untuk setiap penemuan. Pengesyoran: perkara yang akan berubah + mengapa ini menyelesaikan masalah + skrin yang ia kesan. Elakkan syor yang tidak jelas ("buat lebih baik"). Penemuan: <<senarai>>
Ringkaskan laporan penemuan ini untuk pembentangan pihak berkepentingan: tulis ringkasan eksekutif ringkas yang merangkumi 3 penemuan paling kritikal, bukti (berapa ramai pengguna) dan tindakan yang disyorkan. Keterlaluan; ambil nombor daripada nota.Laporan: <<teks>>
Gesaan lemah / Gesaan kuat
Lemah: "Buat kesimpulan daripada markah ujian ini."
Keputusan: Senarai bercampur tanpa bukti, tiada urutan kepentingan, dan mengelirukan satu pemerhatian sebagai penemuan.
Strong: "Lukiskan dapatan daripada nota; di bawah setiap penemuan, tambahkan pemerhatian sokongan dan bilangan peserta yang dilihat; tandakan satu dapatan berdasarkan satu pemerhatian sebagai 'bukti lemah'; kemudian susunkannya mengikut urutan kepentingan mengikut kesan-frekuensi-kerja kesan."
Keputusan: Berdasarkan bukti, diutamakan, penemuan boleh dipertahankan.
Perbezaan: gesaan kuat menggesa bilangan bukti + gesaan lemah + kriteria kepentingan.
Kesilapan biasa
- Pemerhatian yang mengelirukan dengan mencari. Mengubah satu "apa yang berlaku" menjadi kesimpulan keseluruhan.
- Membuat penemuan kritikal daripada satu pemerhatian. Tiada berat akan diberikan sehingga kekerapan disahkan.
- Memutuskan kesan perniagaan terhadap kecerdasan buatan. Impak hasil/penukaran memerlukan konteks; Dia berada dalam pasukannya.
- Jangan utamakan. Senarai penemuan yang tidak teratur melumpuhkan pasukan; Tidak semuanya boleh dibaiki sekaligus.
- Meninggalkan cadangan samar-samar. "Lakukan lebih baik" tidak boleh digunakan; Apa, mengapa dan di mana harus jelas.
Secara ringkasnya
Nilai ujian kebolehgunaan datang dalam mengubah rakaman dan nota menjadi penemuan yang jelas dan diutamakan. Kecerdasan buatan sangat mempercepatkan sintesis ini: mengagregatkan pemerhatian ke dalam penemuan, merangka cadangan, mencadangkan susunan kepentingan. Tetapi ia adalah kerja manusia untuk mengesahkan bilangan pemerhatian di sebalik setiap penemuan, untuk menyingkirkan penemuan yang melambung berdasarkan pemerhatian tunggal dan untuk menilai kesan perniagaan dengan konteks. Laporan penemuan yang berdasarkan bukti, mempunyai kekerapan tertentu, dan disusun mengikut urutan kepentingan akan menjadi cepat dan boleh dipertahankan kepada pihak berkepentingan.
Tugasan permohonan
- Anonimkan nota daripada ujian kebolehgunaan (sebenar atau fiksyen).
- Alih keluar penemuan pada gesaan pertama; Semak bilangan pemerhatian di bawah setiap satu.
- Asingkan penemuan menandakan "bukti lemah" dan tentukan sama ada data tambahan diperlukan.
- Dengan gesaan kedua, susun penemuan mengikut kepentingan; Menilai kesan perniagaan sebagai satu pasukan.
- Dengan gesaan ketiga, tulis cadangan konkrit untuk setiap penemuan dan buat jadual keutamaan.
senarai semak
- [ ] Saya menyimpan pemerhatian, penemuan dan cadangan sebagai lapisan yang berasingan.
- [ ] Saya mengesahkan bilangan peserta yang menunjukkan setiap penemuan.
- [ ] Saya menanda penemuan berdasarkan satu pemerhatian sebagai bukti yang lemah.
- [ ] Saya menentukan tahap keterukan mengikut kesan-kekerapan-kerja.
- [ ] Menilai keputusan kesan perniagaan dengan pasukan.
- [ ] Saya menulis cadangan secara konkrit (apa/mengapa/di mana).