Keuntungan:
- Kemampuan untuk memahami sifat pengujian eksplorasi berbasis keingintahuan manusia dan menggunakan kecerdasan buatan sebagai mitra untuk menghasilkan piagam pengujian dan petunjuk intuitif
- Kemampuan untuk mendiversifikasi sumbu penemuan seperti input, waktu, format, otorisasi, dan interupsi serta mencatat kembali setiap anomali dengan langkah produksi
- Kemampuan menerapkan batasan penggunaan AI hanya pada persiapan dan penyelesaian sedangkan sesi penemuannya sendiri dilakukan oleh manusia
Setiap kasus uji yang ditulis memeriksa sesuatu yang sudah dipikirkan. Namun kesalahan paling berbahaya sering kali tersembunyi di tempat yang belum pernah terpikirkan oleh siapa pun sebelumnya. Pengujian eksplorasi — pendekatan pengujian di mana penguji secara bersamaan mempelajari, merancang, dan menjalankan produk dengan menjelajahinya, tanpa bergantung pada skrip yang telah ditulis sebelumnya — menargetkan kesenjangan ini dengan tepat. Dalam pengujian eksplorasi, pakar bermain-main dengan produk secara bebas, bertanya “bagaimana jika saya melakukan ini”, dan menangkap perilaku sistem yang tidak terduga. Ini adalah jenis pengujian yang paling bergantung pada intuisi dan keingintahuan manusia — dan itulah mengapa peran kecerdasan buatan (AI) di sini bukan untuk "menggantikan" namun untuk memperkuat rasa ingin tahu, membangkitkan titik buta, dan menghasilkan ide.
Dalam unit ini Anda akan mempelajari cara menggunakan AI sebagai mitra pengujian eksplorasi: mulai dari mencetak piagam pengujian, membangkitkan heuristik, hingga merangkum catatan pasca-sesi.
Mengapa pengujian eksplorasi masih merupakan pekerjaan manusia?
Pengujian tertulis — pengujian dengan langkah-langkah yang ditulis sebelumnya dan diulangi kata demi kata — mengonfirmasi apa yang diketahui; Pengujian eksplorasi mencari hal yang tidak diketahui. Nilai dalam pengujian eksplorasi berasal dari saat penguji melihat produk dan merasakan "ada sesuatu yang aneh di sini". AI tidak dapat melihat produk seperti yang Anda lihat, tidak dapat merasakan apa yang mengganggu pengguna sebenarnya, tidak dapat diganggu dengan mengatakan "tombol ini berada di tempat yang salah". Namun AI merupakan bantuan yang sangat ampuh dalam tiga cara: (1) menghasilkan daftar ide pengujian yang sistematis, (2) mengingatkan Anda tentang sumbu pengujian yang telah Anda lupakan, (3) mengubah catatan penemuan yang tersebar menjadi laporan yang terorganisir.
Tip: Mintalah AI untuk “pemanasan ide uji” sebelum memulai sesi penemuan; Jangan serahkan layar kepada AI selama sesi berlangsung. AI berguna sebelum dan sesudah sesi; Sesi itu sendiri didorong oleh rasa ingin tahu Anda.
Heuristik dan AI
Penguji eksplorasi menggunakan heuristik, yaitu pengingat singkat yang memberikan arahan dalam perburuan bug. AI dapat mengingatkan Anda akan hal ini dengan menyesuaikannya dengan konteks Anda. Beberapa klasik:
- CRUD: Coba alur Buat, Baca, Perbarui, Hapus untuk setiap data; menyela seseorang.
- Goldilocks (sedikit/penuh/lot): Masukkan data yang sangat sedikit, penuh, dan banyak dalam suatu bidang (0 karakter, 1 karakter, 10.000 karakter).
- CRUD + penjadwalan: Edit record yang sama di dua tab sekaligus, lalu simpan keduanya.
- Interupsi: Segarkan halaman di tengah tindakan, putuskan sambungan jaringan, tekan spasi mundur.
- Urutan terbalik: Lakukan langkah-langkah dalam urutan terbalik (bayar dulu, lalu tambahkan ke troli).
Saat Anda memberi tahu AI untuk “menyarankan uji coba nyata dengan menerapkan isyarat intuitif ini untuk layar itu,” Anda mendapatkan daftar periksa yang siap digunakan di lapangan.
Menulis kondisi ujian (piagam)
Pengujian eksplorasi bukan tentang mengembara; Hal ini difokuskan pada piagam pengujian (petunjuk singkat yang menjelaskan sesi eksplorasi apa yang akan dieksplorasi dan untuk tujuan apa). Piagam yang baik mengikuti pola ini: “Jelajahi [domain target], gunakan [alat/data], untuk mengungkap [informasi/risiko apa].” AI dengan cepat menyusun persyaratan ini.
Menyeimbangkan pengujian tertulis dengan pengujian eksplorasi
Strategi pengujian yang baik menggunakan kombinasi pengujian tertulis (otomatis, berulang) dan pengujian eksplorasi. Tes bernaskah dengan murah memverifikasi bahwa perilaku yang diketahui tidak rusak, versi demi versi; Sebaliknya, pengujian eksplorasi mencari risiko baru yang belum pernah dipertimbangkan oleh skrip ini. Keduanya bukanlah pesaing, melainkan saling melengkapi. Kesalahan umum adalah berpikir “mari kita otomatisasi semuanya sehingga tidak perlu ada penemuan”; sedangkan otomatisasi hanya memeriksa apa yang sudah Anda ketahui, ia tidak akan pernah bisa menemukan apa yang tidak Anda ketahui. Kesalahan lainnya adalah sebaliknya: mengandalkan penemuan manual pada setiap rilis tanpa menyiapkan otomatisasi apa pun — hal ini menyebabkan bug dasar yang sama muncul berulang kali.
AI membantu membangun keseimbangan ini: Anda dapat mengubah anomali yang Anda temukan di sesi penemuan menjadi pengujian regresi bernaskah permanen dengan memberikannya kepada AI. Dengan demikian, kesalahan yang pernah ditemukan dalam penemuan tidak akan pernah bisa kembali tanpa terdeteksi lagi. Penemuan menangani “temukan risiko baru”, otomatisasi menangani “jangan lepaskan apa yang ditemukan”; AI mempercepat jembatan antara keduanya.
Tip: Pisahkan keluaran setiap sesi penemuan menjadi dua kelompok: “bug yang harus segera diperbaiki” dan “skenario untuk diubah menjadi otomatisasi permanen”. Keranjang kedua membawa nilai penemuan jangka panjang ke dalam paket regresi Anda.
Perintah lemah / Perintah kuat
Lemah: "Apa yang harus saya uji pada layar ini?"
Kuat: "Untuk fitur 'unggah foto profil', bagilah sesi pengujian eksplorasi selama 90 menit menjadi 3 kondisi pengujian. Untuk setiap kondisi: berikan target, petunjuk intuitif untuk digunakan (ukuran/format/goldilocks/pemotongan), 5 tindakan nyata untuk dicoba, dan sinyal risiko yang harus diwaspadai (perlambatan, gambar rusak, keamanan). Terutama atasi risiko unggahan file berbahaya (file terlalu besar, ekstensi salah) secara defensif."
Perintah yang kuat; memberikan durasi, struktur, petunjuk dan fokus risiko. Hasilnya adalah peta jalan yang akan selalu berguna sepanjang sesi.
Tabel sumbu eksplorasi
sumbu
pertanyaan untuk ditanyakan
contoh esai
Batas masukan
Apa yang dilakukan medan pada nilai ekstrim?
10.000 nama karakter
waktu
Apa yang terjadi pada pemrosesan bersamaan/terputus?
Simpan catatan yang sama dalam dua tab
Format
Bagaimana cara menangani format yang tidak terduga?
Emoji, teks kanan ke kiri, HTML
otoritas
Bisakah pengguna yang tidak sah mengakses?
Ubah URL secara manual
Status
Apakah transisi keadaan yang tidak valid mungkin terjadi?
Cobalah untuk membayar pesanan yang dibatalkan
pengurangan
Apakah data konsisten ketika jaringan/sesi terganggu?
Potong jaringan saat merekam
Empat templat yang dapat disalin
1) Generator kondisi pengujian:
Peran Anda: penguji eksplorasi senior. Bagi sesi eksplorasi [durasi] menit menjadi 3-4 kondisi pengujian untuk fitur:[fitur]. Setiap kondisi: tujuan, petunjuk intuitif untuk digunakan, 5 tindakan nyata untuk dicoba, sinyal risiko yang harus diperhatikan. Pola ketentuan: "Jelajahi [domain] dengan [alat/data] untuk [risiko/informasi]."
2) Adaptor isyarat intuitif:
Terjemahkan petunjuk intuitif ini ke dalam eksperimen nyata untuk layar berikut: CRUD, goldilocks (kurang/penuh/lebih), interupsi, urutan terbalik, otorisasi bypass. Layar: [deskripsi layar/aliran]. Tulis 2 eksperimen khusus layar untuk setiap petunjuk.
3) Pengingat titik buta:
Saya sedang menguji fitur berikut: [fitur]. Sebutkan 10 kasus di mana penguji berpengalaman PALING melewatkan fitur jenis ini. Sertakan sumbu aksesibilitas, lokalisasi (bahasa/tanggal/mata uang), konkurensi, keamanan, dan kinerja.
4) Rangkuman catatan sesi:
Di bawah ini adalah catatan mentah dari sesi penemuan saya. Susunlah dalam struktur berikut: - Keanehan yang ditemukan (dengan perkiraan tingkat keparahan) - Keanehan yang langkah reproduksinya diketahui - Keanehan yang memerlukan penyelidikan lebih lanjut - Saran untuk sesi berikutnya Catatan mentah: [tempel catatan]
tiga kasus mini
Kasus 1 — Pengingat titik buta sedang beraksi. Seorang ahli sedang menguji fitur pencarian dalam aplikasi multibahasa. Setelah AI mengingatkan untuk "jangan lupa sumbu lokalisasi", dia mencoba konversi huruf "i/I" khusus Turki. Pencarian untuk "Istanbul" tidak membuahkan hasil apa pun; Kesalahan konversi huruf kecil terdeteksi. Sumbu AI mengingatkan, ahli mencoba dan menemukannya.
Kasus 2 — Fokus piagam. Seorang penguji baru menghabiskan 2 jam "menjelajahi" layar pembayaran tetapi hanya membuat 2 catatan kecil karena tidak terstruktur. Setelah merencanakan sesi dengan AI yang dibagi menjadi 3 kondisi pengujian, tercatat 11 anomali dalam periode yang sama; dua di antaranya serius. Waktu yang sama 5 kali lebih efisien berkat strukturnya.
Kasus 3 — Pengujian pengunggahan file defensif. Sebuah tim mencoba "ekstensi yang salah/file terlalu besar" yang disarankan oleh YZ dalam mengunggah foto profil, di dalam produk mereka sendiri. Menemukan bahwa file 50 MB membuat server mogok selama 40 detik dan menambahkan batas ukuran dan batas waktu. Pengujian dilakukan hanya pada produknya sendiri, untuk tujuan defensif.
Kesalahan umum
- Mengganti AI dengan sesi. Nilai penemuan terletak pada observasi dan intuisi Anda; AI membantu persiapan dan pemulihan.
- Jelajahi tanpa reservasi. Menghabiskan waktu berjam-jam tanpa fokus dan hanya menemukan sedikit. Kondisi pengujian memberikan fokus.
- Tidak mengumpulkan catatan. Jika Anda tidak menyimpan kembali anomali yang ditemukan dalam penemuan dengan langkah produksi, temuan tersebut akan hilang.
- Terjebak pada satu poros. Selalu menguji batas masukan; Melewati otoritas, penjadwalan, sumbu lokalisasi.
- Melakukan tes keamanan yang tidak sah. Hanya coba manipulasi file/URL pada produk Anda sendiri dan dengan izin.
Singkatnya
Pengujian eksplorasi adalah jenis pengujian yang paling mengandalkan keingintahuan manusia, mencari hal-hal yang tidak tertulis. AI tidak akan menggantikan Anda di sini; Ini menguraikan kondisi pengujian, menyesuaikan petunjuk intuitif dengan konteks Anda, mengingatkan Anda tentang titik-titik buta, dan mengubah catatan sesi Anda yang berantakan menjadi laporan yang terorganisir. Nilai berasal dari observasi dan intuisi Anda; AI memfokuskan dan melipatgandakan nilai ini. Tulis kondisi, variasikan sumbu, catat kembali temuan dengan langkah produksi, lakukan uji keamanan hanya dalam otorisasi.
Tugas aplikasi
Pilih fitur dari produk Anda sendiri. Bagilah sesi 60 menit menjadi 3 kondisi menggunakan template “generator kondisi pengujian” dengan AI. Lakukan sesinya (tanpa AI, jelajahi dengan tangan), buat catatan mentah. Setelah selesai, atur catatan dengan templat “peringkasan catatan sesi”. Hasil: setidaknya 5 anomali, langkah regenerasi untuk masing-masing anomali, dan perkiraan tingkat keparahan. Catat kondisi pengujian dan petunjuk intuitif mana yang menghasilkan anomali paling berharga yang Anda temukan.
daftar periksa
- [ ] Sebelum sesi, saya membuat kondisi pengujian dengan AI dan menentukan fokus.
- [] Saya mencoba setidaknya 4 sumbu penemuan yang berbeda (input, waktu, format, otorisasi, interupsi).
- [ ] Saya melakukan sesi secara manual, dengan rasa ingin tahu saya sendiri; Saya tidak menggantikan AI.
- [ ] Saya mencatat setiap anomali beserta langkah reproduksi dan perkiraan tingkat keparahannya.
- [ ] Saya mengubah catatan saya menjadi laporan reguler dengan AI.
- [ ] Saya hanya mencoba keamanan/manipulasi pada produk saya sendiri dan dengan izin.