Keuntungan:
- Keupayaan untuk memahami sifat ujian penerokaan berasaskan rasa ingin tahu manusia dan menggunakan kecerdasan buatan sebagai rakan kongsi untuk menjana piagam ujian dan petunjuk intuitif
- Keupayaan untuk mempelbagaikan paksi penemuan seperti input, pemasaan, format, kebenaran dan gangguan dan merekodkan setiap anomali dengan langkah pengeluaran semula
- Keupayaan untuk menggunakan had penggunaan AI hanya dalam penyediaan dan penutup sementara sesi penemuan itu sendiri dikendalikan oleh manusia
Setiap kes ujian yang ditulis menyemak sesuatu yang telah difikirkan. Tetapi kesilapan yang paling berbahaya sering bersembunyi di tempat yang tidak pernah difikirkan oleh sesiapa sebelum ini. Ujian penerokaan — pendekatan ujian di mana penguji belajar, mereka bentuk dan menjalankan produk secara serentak dengan menerokainya, tanpa bergantung pada skrip pratulis — menyasarkan jurang ini dengan tepat. Dalam ujian penerokaan, pakar bermain bebas dengan produk, bertanya "bagaimana jika saya melakukan ini," dan menangkap tingkah laku sistem yang tidak dijangka. Ini adalah jenis ujian yang paling bergantung pada intuisi dan rasa ingin tahu manusia — dan itulah sebabnya peranan kecerdasan buatan (AI) di sini bukan untuk "menggantikan" tetapi untuk menguatkan rasa ingin tahu, membangkitkan titik buta dan menjana idea.
Dalam unit ini, anda akan belajar cara menggunakan AI sebagai rakan kongsi ujian penerokaan: daripada mencetak piagam ujian, membangkitkan heuristik, hingga meringkaskan nota pasca sesi.
Mengapakah ujian penerokaan masih menjadi kerja manusia?
Ujian berskrip — ujian dengan langkah yang ditulis lebih awal dan kata kerja berulang — mengesahkan apa yang diketahui; Ujian penerokaan mencari yang tidak diketahui. Nilai dalam ujian penerokaan datang dari saat penguji melihat produk dan merasakan "ada sesuatu yang pelik di sini." AI tidak dapat melihat produk seperti yang anda lihat, ia tidak dapat merasakan apa yang akan mengganggu pengguna sebenar, ia tidak boleh diganggu dengan mengatakan "butang ini berada di tempat yang salah". Tetapi AI ialah bantuan yang sangat berkuasa dalam tiga cara: (1) menghasilkan senarai idea ujian yang sistematik, (2) mengingatkan anda tentang paksi ujian yang telah anda lupakan, (3) menukar nota penemuan anda yang bertaburan menjadi laporan yang teratur.
Petua: Minta AI untuk "memanaskan idea ujian" sebelum memulakan sesi penemuan; Jangan tinggalkan skrin kepada AI semasa sesi. AI membantu sebelum dan selepas sesi; Sesi itu sendiri didorong oleh rasa ingin tahu anda.
Heuristik dan AI
Penguji penerokaan menggunakan heuristik, iaitu peringatan pendek yang memberikan arah dalam pemburuan pepijat. AI boleh mengingatkan anda tentang perkara ini dengan menyesuaikannya dengan konteks anda. Beberapa klasik:
- CRUD: Cuba aliran Cipta, Baca, Kemas Kini, Padam untuk setiap data; mengganggu seseorang.
- Goldilocks (sedikit/penuh/banyak): Masukkan sangat sedikit, penuh dan banyak data dalam medan (0 aksara, 1 aksara, 10,000 aksara).
- CRUD + penjadualan: Edit rekod yang sama dalam dua tab sekaligus, kemudian simpan kedua-duanya.
- Gangguan: Muat semula halaman pertengahan tindakan, putuskan sambungan rangkaian, tekan ruang belakang.
- Susunan terbalik: Lakukan langkah dalam susunan terbalik (bayar dahulu, kemudian tambah ke troli).
Apabila anda memberitahu AI untuk "mencadangkan percubaan konkrit dengan menggunakan isyarat intuitif ini untuk skrin itu," anda mendapat senarai semak sedia medan.
Menulis syarat ujian (piagam)
Ujian penerokaan bukan tentang mengembara; Ia tertumpu pada piagam ujian (arahan ringkas yang mentakrifkan apa yang akan diterokai oleh sesi penerokaan dan untuk tujuan apa). Piagam yang baik mengikut corak ini: "Teroka [domain sasaran], menggunakan [alat/data], untuk mendedahkan [maklumat/risiko apa]." AI dengan cepat mendraf syarat ini.
Mengimbangi ujian skrip dengan ujian penerokaan
Strategi ujian yang baik menggunakan gabungan ujian skrip (automatik, boleh berulang) dan ujian penerokaan. Ujian berskrip murah mengesahkan bahawa tingkah laku yang diketahui tidak rosak, versi demi versi; Ujian penerokaan, sebaliknya, mencari risiko baharu yang tidak pernah dipertimbangkan oleh skrip ini. Kedua-duanya bukanlah pesaing, tetapi pelengkap. Kesilapan biasa ialah berfikir "mari kita mengautomasikan segala-galanya supaya tidak ada keperluan untuk penemuan"; sedangkan automasi hanya menyemak perkara yang anda sudah tahu, ia tidak akan menemui perkara yang anda tidak tahu. Satu lagi kesilapan adalah sebaliknya: bergantung pada penemuan manual dengan setiap keluaran tanpa menyediakan sebarang automasi — ini membawa kepada pepijat asas yang sama merayap masuk berulang kali.
AI membantu mewujudkan keseimbangan ini: anda boleh menukar anomali yang anda temui dalam sesi penemuan anda menjadi ujian regresi skrip kekal dengan memberikannya kepada AI. Oleh itu, ralat yang pernah ditemui dalam penemuan tidak boleh kembali tanpa dikesan lagi. Discovery menjaga "cari risiko baharu", automasi menjaga "jangan lepaskan yang ditemui"; AI mempercepatkan jambatan antara keduanya.
Petua: Pisahkan output setiap sesi penemuan kepada dua baldi: "pepijat untuk diperbaiki dengan segera" dan "senario untuk bertukar menjadi automasi kekal." Baldi kedua membawa nilai jangka panjang penemuan ke dalam pakej regresi anda.
Gesaan lemah / Gesaan kuat
Lemah: "Apakah yang perlu saya uji pada skrin ini?"
Kuat: "Untuk ciri 'muat naik foto profil', bahagikan sesi ujian penerokaan selama 90 minit kepada 3 keadaan ujian. Untuk setiap syarat: berikan sasaran, petunjuk intuitif untuk digunakan (saiz fail/format/kunci emas/pemotongan), 5 tindakan konkrit untuk dicuba dan isyarat risiko untuk diperhatikan (perlahan, imej berniat jahat, keselamatan fail besar). sambungan yang salah) secara defensif."
Gesaan yang kuat; memberikan tempoh, struktur, petunjuk dan tumpuan risiko. Hasilnya ialah peta jalan yang akan anda gunakan sepanjang sesi.
Jadual paksi penerokaan
paksi
soalan untuk ditanya
contoh karangan
Had input
Apakah yang dilakukan oleh medan pada nilai ekstrem?
10,000 nama aksara
masa
Apakah yang berlaku dalam pemprosesan serentak/terganggu?
Simpan rekod yang sama dalam dua tab
Format
Bagaimana untuk mengendalikan format yang tidak dijangka?
Emoji, teks kanan ke kiri, HTML
pihak berkuasa
Bolehkah pengguna tidak dibenarkan mengakses?
Tukar URL secara manual
Status
Adakah peralihan keadaan tidak sah mungkin?
Cuba bayar untuk pesanan yang dibatalkan
potongan
Adakah data konsisten apabila rangkaian/sesi terganggu?
Potong rangkaian semasa merakam
Empat templat yang boleh disalin
1) Penjana keadaan ujian:
Peranan anda: penguji penerokaan kanan. Pisahkan [tempoh] sesi penerokaan minit kepada 3-4 keadaan ujian untuk ciri:[ciri]. Setiap syarat: matlamat, petunjuk intuitif untuk digunakan, 5 tindakan konkrit untuk dicuba, isyarat berisiko untuk ditonton. Corak keadaan: "Teroka [domain] dengan [alat/data] untuk [risiko/maklumat]."
2) Penyesuai kiu intuitif:
Terjemahkan petunjuk intuitif ini ke dalam eksperimen konkrit untuk skrin berikut: CRUD, goldilocks (kurang/penuh/lebih), gangguan, tertib terbalik, kebenaran memintas. Skrin: [penerangan skrin/aliran]. Tulis 2 percubaan khusus skrin untuk setiap petunjuk.
3) Peringatan titik buta:
Saya sedang menguji ciri berikut: [feature].Senaraikan 10 kes di mana penguji berpengalaman PALING merindui jenis ciri ini. Sertakan kebolehcapaian, penyetempatan (bahasa/tarikh/mata wang), konkurensi, keselamatan dan paksi prestasi.
4) Rumusan nota sesi:
Di bawah adalah nota mentah dari sesi penemuan saya. Susun mereka dalam struktur ini: - Anomali ditemui (dengan anggaran keterukan) - Mereka yang mempunyai langkah pembiakan yang diketahui - Mereka yang memerlukan siasatan lanjut - Cadangan untuk sesi seterusnya Nota mentah: [tampal nota]
tiga kes mini
Kes 1 — Peringatan titik buta sedang beraksi. Seorang pakar sedang menguji ciri carian dalam aplikasi berbilang bahasa. Atas peringatan AI untuk "jangan lupa paksi penyetempatan", dia mencuba penukaran huruf "i/I" khusus Turki. Mencari "Istanbul" tidak membuahkan hasil; Ralat penukaran huruf kecil telah dikesan. AI axis mengingatkan, pakar mencuba dan menemuinya.
Kes 2 — Fokus piagam. Seorang penguji baru menghabiskan 2 jam "melayari" melalui skrin pembayaran tetapi hanya membuat 2 nota kecil kerana ia tidak berstruktur. Selepas merancang sesi dengan AI dibahagikan kepada 3 keadaan ujian, ia merekodkan 11 anomali dalam tempoh yang sama; dua daripada mereka serius. Masa yang sama adalah 5 kali lebih cekap terima kasih kepada struktur.
Kes 3 — Ujian muat naik fail pertahanan. Satu pasukan mencuba "sambungan yang salah/fail terlalu besar" yang dicadangkan oleh YZ dalam memuat naik foto profil, dalam produk mereka sendiri. Mendapati bahawa fail 50 MB ranap pelayan selama 40 saat dan menambah had saiz dan tamat masa. Ujian dilakukan hanya pada produknya sendiri, untuk tujuan pertahanan.
Kesilapan biasa
- Menggantikan AI dengan sesi. Nilai penemuan adalah dalam pemerhatian dan gerak hati anda; AI membantu dengan penyediaan dan pemulihan.
- Semak imbas tanpa tempahan. Menghabiskan berjam-jam tanpa fokus dan mencari sedikit. Keadaan ujian memberi tumpuan.
- Tidak mengumpul nota. Jika anda tidak menyimpan anomali yang ditemui dalam penemuan dengan langkah pengeluaran sekali lagi, penemuan itu akan hilang.
- Tersangkut pada satu paksi. Sentiasa menguji had input; Melangkaui kuasa, penjadualan, paksi penyetempatan.
- Menjalankan ujian keselamatan yang tidak dibenarkan. Hanya cuba manipulasi fail/URL pada produk anda sendiri dan dengan kebenaran.
Secara ringkasnya
Ujian penerokaan ialah jenis ujian yang paling bergantung pada rasa ingin tahu manusia, mencari yang tidak bertulis. AI tidak akan menggantikan anda di sini; Ia menggariskan keadaan ujian, menyesuaikan petunjuk intuitif kepada konteks anda, mengingatkan anda tentang titik buta dan menukar nota sesi yang tidak kemas anda kepada laporan yang teratur. Nilai datang daripada pemerhatian dan gerak hati anda; AI memfokuskan dan menggandakan nilai ini. Tulis syarat, ubah suai, rekodkan penemuan dengan langkah pengeluaran sekali lagi, lakukan ujian keselamatan hanya dalam kebenaran.
Tugasan permohonan
Pilih ciri daripada produk anda sendiri. Bahagikan sesi 60 minit kepada 3 keadaan menggunakan templat "penjana keadaan ujian" dengan AI. Lakukan sesi (tanpa AI, meneroka dengan tangan), simpan nota mentah. Apabila selesai, susun nota dengan templat "penyelesaikan nota sesi". Keputusan: sekurang-kurangnya 5 anomali, langkah penjanaan semula untuk setiap satu dan anggaran keterukan. Perhatikan keadaan ujian dan petunjuk intuitif yang menghasilkan anomali paling berharga yang anda temui.
senarai semak
- [ ] Sebelum sesi, saya mencipta keadaan ujian dengan AI dan menentukan fokus.
- [ ] Saya mencuba sekurang-kurangnya 4 paksi penemuan yang berbeza (input, pemasaan, format, kebenaran, gangguan).
- [ ] Saya mengendalikan sesi secara manual, dengan rasa ingin tahu saya sendiri; Saya tidak menggantikan AI.
- [ ] Saya merekodkan setiap anomali dengan langkah pembiakan dan anggaran keterukannya.
- [ ] Saya menukar nota saya menjadi laporan biasa dengan AI.
- [ ] Saya hanya mencuba keselamatan/manipulasi pada produk saya sendiri dan dengan kebenaran.