Keuntungan:
- Kemampuan untuk mengubah catatan uji kegunaan dan catatan observasi menjadi temuan, bobot, dan rekomendasi dengan kecerdasan buatan
- Kemampuan untuk mengurutkan temuan berdasarkan tingkat keparahan dan menghasilkan tabel prioritas
- Kemampuan untuk mengoreksi temuan yang dihilangkan atau dilebih-lebihkan oleh kecerdasan buatan dengan bukti observasi nyata
Pengujian kegunaan adalah metode mengamati di mana desain bekerja dan di mana desain tersebut terhenti dengan memberikan tugas tertentu kepada pengguna sebenarnya dan memantaunya. Tesnya sendiri mudah; Tantangan sebenarnya adalah setelahnya: mengubah rekaman yang berjam-jam, halaman-halaman catatan observasi, dan tangkapan layar yang tersebar menjadi temuan-temuan yang jelas dan diprioritaskan. Sintesis ini membutuhkan waktu berhari-hari dan tim sering kali membiarkannya belum selesai. Kecerdasan buatan membuka hambatan ini: mengubah catatan dan catatan menjadi temuan, bobot, dan rekomendasi. Namun penilaian manusialah yang menentukan apakah suatu observasi benar-benar merupakan suatu masalah dan seberapa penting observasi tersebut.
Perbedaan observasi, temuan, dan sugesti
Penting untuk memisahkan tiga lapisan dalam sintesis:
- Pengamatan: Apa yang terjadi, tidak ada komentar. "Peserta 3 mencari tombol 'lanjutkan' selama 40 detik."
- Temuan: Pola yang muncul dari observasi. "Pengguna kesulitan menemukan tindakan utama."
- Rekomendasi: Apa yang harus dilakukan. "Membuat tombol utama menonjol secara visual."
AI dengan cepat menghasilkan ketiga lapisan ini, namun sering kali mengacaukan observasi dengan temuan atau menyimpulkan keseluruhan temuan dari satu observasi. Tugas Anda adalah memverifikasi bahwa terdapat cukup observasi (berapa banyak partisipan, berapa kali) di balik setiap temuan.
Tip: Mintalah kecerdasan buatan mengatakan "di bawah setiap temuan, tambahkan pengamatan yang mendukungnya dan berapa banyak peserta yang melihatnya." Dengan cara ini Anda dapat langsung membedakan temuan yang berlebihan dari satu observasi.
Tingkat Keparahan: apa yang harus diperbaiki terlebih dahulu?
Tidak semua temuan sama. Tingkat keparahan menunjukkan seberapa mendesak suatu masalah perlu diperbaiki dan ditentukan oleh tiga faktor:
- Dampak: Apakah masalah menghalangi pengguna menyelesaikan tugas atau hanya mengganggu mereka?
- Frekuensi: Berapa banyak pengguna dan seberapa sering?
- Dampak bisnis: Seberapa besar dampak masalah ini terhadap konversi, pendapatan, atau kepercayaan?
Skala tipikal: Kritis (menghalangi misi sepenuhnya), Tinggi (kesulitan parah), Sedang (melambat), Rendah (kosmetik). AI mungkin menyarankan peringkat awal, namun keputusan pembobotan akhir — khususnya dampak bisnis — memerlukan pengetahuan tim tentang konteksnya.
temuan
Dampak
frekuensi
penting
Saran
Tombol utama tidak dapat ditemukan
Itu mengganggu tugas
4/6 peserta
kritis
Tombol sorot
Pesan kesalahan tidak jelas
melambat
3/6
tinggi
Perjelas pesannya
Arti ikon tidak jelas
sedikit keraguan
2/6
sedang
Tambahkan tanda
Nada warna tidak disukai
kosmetik
1/6
rendah
tinggalkan untuk nanti
tiga kasus mini
Kasus 1 - perekaman 5 jam, temuan dalam setengah hari. Satu tim memasukkan catatan dari 6 pengujian pengguna (total 5 jam) ke AI. Model tersebut menyarankan 14 temuan; Tim membandingkan masing-masing observasi dengan jumlah observasi, mempersempitnya menjadi 9, dan mengurutkannya berdasarkan kepentingannya. Sintesis, yang seharusnya memakan waktu 2 hari secara manual, dikurangi menjadi setengah hari.
Kasus 2 — Temuan yang berlebihan tertangkap. “Pengguna tidak memahami navigasi,” tulis AI dalam temuan kritisnya. Ketika tim melihat observasi pendukung, mereka menemukan bahwa observasi tersebut didasarkan pada satu momen dari satu partisipan. Temuan ini diturunkan peringkatnya menjadi "moderat" dan diperlukan lebih banyak data. Pelajaran: observasi tunggal tidak menghasilkan temuan kritis.
Kasus 3 — Masalah kritis tidak terjawab. Model tersebut menghitung masalah yang berulang namun tampaknya kecil (formulir yang tidak digulir otomatis) sebagai “rendah”. Ketika desainer melihat observasi, dia menyadari bahwa hal ini menyebabkan 5 peserta mengabaikan tugas dan menetapkannya ke "tinggi". Pelajaran: Perkiraan pentingnya AI dikoreksi dengan bukti observasi.
Membaca data kuantitatif dan kualitatif secara bersamaan
Pengujian kegunaan sebagian besar bersifat kualitatif (berbasis observasi), tetapi ada juga sinyal kuantitatif (numerik): tingkat penyelesaian tugas, durasi tugas, jumlah kesalahan, skor kepuasan. Sintesis yang paling kuat menggabungkan keduanya: “Hanya 33% peserta yang menyelesaikan tugas pembayaran (kuantitatif), dan semua yang gagal menyelesaikannya akan terjebak pada langkah pengiriman (kualitatif).” Kecerdasan buatan membantu menggabungkan kedua data ini saat Anda memberikannya secara terpisah; tetapi Anda memastikan keakuratan angka dan ukuran sampel. Membicarakan persentase dapat menyesatkan jika sampelnya kecil (misalnya 5 pengguna); Mengatakan "3 dari 5 pengguna" lebih jujur daripada mengatakan "60%". Mintalah model untuk berbicara dalam angka absolut.
Tip: Minta AI mengatakan "tulis sebagai 'berapa banyak pengguna', bukan persentase". Dalam sampel kecil, persentase memberikan kesan presisi yang lebih besar daripada yang sebenarnya.
Perintah yang dapat disalin
Peran Anda: analis kegunaan. Gambarkan temuan dari catatan tes anonim berikut. Untuk setiap temuan: 1) pernyataan yang jelas, 2) pengamatan yang mendukung dan berapa banyak peserta yang melihatnya, 3) efek (menghalangi/memperlambat/kosmetik). Tandai temuan berdasarkan pengamatan tunggal sebagai "BUKTI LEMAH". Catatan: <<teks>>
Urutkan daftar temuan ini berdasarkan kepentingannya. Kriteria: dampak (hambatan tugas?), frekuensi (berapa peserta?), dampak bisnis. Tetapkan setiap temuan Kritis/Tinggi/Sedang/Rendah dan tuliskan alasannya. Jika Anda tidak yakin mengenai dampak bisnis, katakan "tim harus mengevaluasi". Temuan: <<daftar>>
Tulis rekomendasi desain yang konkrit dan dapat ditindaklanjuti untuk setiap temuan. Rekomendasi: apa yang akan berubah + mengapa ini menyelesaikan masalah + layar apa yang terpengaruh. Hindari rekomendasi yang tidak jelas (“lakukan lebih baik”). Temuan: <<daftar>>
Rangkum laporan temuan ini untuk presentasi pemangku kepentingan: tulis ringkasan eksekutif singkat yang mencakup 3 temuan paling penting, bukti (berapa banyak pengguna), dan tindakan yang direkomendasikan. Berlebihan; ambil nomor dari catatan.Laporan: <<teks>>
Perintah lemah / Perintah kuat
Lemah: "Buatlah kesimpulan dari nilai ujian ini."
Hasilnya: Daftar yang tercampur tanpa bukti, tanpa urutan kepentingan, dan salah mengartikan satu observasi sebagai temuan.
Kuat: "Buatlah temuan dari catatan; di bawah setiap temuan, tambahkan pengamatan pendukung dan berapa banyak partisipan yang menyaksikannya; tandai temuan berdasarkan satu pengamatan sebagai 'bukti lemah'; lalu susun berdasarkan tingkat kepentingannya menurut efek-frekuensi-efek kerja."
Hasil: Temuan yang berdasarkan bukti, diprioritaskan, dan dapat dipertahankan.
Perbedaan: petunjuk kuat jumlah bukti + petunjuk lemah + kriteria kepentingan.
Kesalahan umum
- Membingungkan observasi dengan temuan. Mengubah satu “apa yang terjadi” menjadi kesimpulan keseluruhan.
- Membuat temuan penting dari satu observasi. Tidak ada bobot yang akan diberikan sampai frekuensi diverifikasi.
- Memutuskan dampak bisnis pada kecerdasan buatan. Dampak pendapatan/konversi memerlukan konteks; Dia ada di timnya.
- Jangan memprioritaskan. Daftar temuan yang tidak terorganisir melumpuhkan tim; Tidak semuanya bisa diperbaiki sekaligus.
- Membiarkan saran tidak jelas. “Lakukan lebih baik” tidak bisa diterapkan; Apa, mengapa dan dimana harus jelas.
Singkatnya
Manfaat pengujian kegunaan adalah mengubah rekaman dan catatan menjadi temuan yang jelas dan diprioritaskan. Kecerdasan buatan sangat mempercepat sintesis ini: mengumpulkan pengamatan menjadi temuan, menyusun rekomendasi, dan menyarankan urutan kepentingan. Namun tugas manusia adalah memverifikasi jumlah observasi di balik setiap temuan, menyingkirkan temuan-temuan yang berlebihan berdasarkan observasi tunggal, dan mempertimbangkan dampak bisnis dengan konteksnya. Laporan temuan yang didasarkan pada bukti, memiliki frekuensi tertentu, dan disusun berdasarkan tingkat kepentingannya akan cepat dan dapat dipertahankan oleh para pemangku kepentingan.
Tugas aplikasi
- Anonimkan catatan dari uji kegunaan (nyata atau fiksi).
- Hapus temuan pada prompt pertama; Periksa jumlah observasi di bawah masing-masing observasi.
- Pisahkan temuan yang ditandai dengan “bukti lemah” dan putuskan apakah data tambahan diperlukan.
- Dengan perintah kedua, urutkan temuan berdasarkan kepentingannya; Menilai dampak bisnis sebagai sebuah tim.
- Dengan perintah ketiga, tulislah saran konkrit untuk setiap temuan dan buatlah tabel prioritas.
daftar periksa
- [ ] Saya menyimpan observasi, temuan, dan saran sebagai lapisan terpisah.
- [ ] Saya memverifikasi berapa banyak peserta yang menunjukkan setiap temuan.
- [ ] Saya menandai temuan berdasarkan pengamatan tunggal sebagai bukti lemah.
- [ ] Saya menentukan tingkat keparahan berdasarkan dampak-frekuensi-dampak pekerjaan.
- [ ] Mengevaluasi keputusan dampak bisnis bersama tim.
- [ ] Saya menulis saran secara konkrit (apa/mengapa/di mana).