Voitot:
- Kyky ymmärtää tutkivan testauksen inhimilliseen uteliaisuuteen perustuvaa luonnetta ja käyttää tekoälyä kumppanina testausperuskirjan ja intuitiivisten vihjeiden luomiseen
- Kyky monipuolistaa etsintäakseleita, kuten syöttö, ajoitus, muoto, valtuutus ja keskeytys, ja tallentaa jokainen poikkeama tuotantovaiheessa uudelleen
- Kyky soveltaa tekoälyn käyttörajaa vain valmisteluun ja lopputulokseen, kun itse etsintäistunnon suorittavat ihmiset
Jokainen kirjoitettu testitapaus tarkistaa jotain, mitä on jo ajateltu. Mutta vaarallisimmat virheet kätkeytyvät usein paikkoihin, joita kukaan ei ole aiemmin ajatellut. Tutkiva testaus – testauslähestymistapa, jossa testaaja samanaikaisesti oppii, suunnittelee ja käyttää tuotetta tutkimalla sitä turvautumatta valmiiksi kirjoitettuun käsikirjoitukseen – kohdistuu juuri tähän aukkoon. Tutkivassa testauksessa asiantuntija leikkii vapaasti tuotteella, kysyy "mitä jos teen tämän" ja saa kiinni järjestelmän odottamattomasta käyttäytymisestä. Tämä on testaustyyppi, joka perustuu eniten ihmisen intuitioon ja uteliaisuuteen – ja juuri siksi tekoälyn (AI) tehtävänä ei ole "korvaa" vaan vahvistaa uteliaisuutta, herättää kuolleita kulmia ja tuottaa ideoita.
Tässä osiossa opit käyttämään tekoälyä tutkivana testauskumppanina: testisymbolien tulostamisesta, heuristiikan herättämisestä istunnon jälkeisten muistiinpanojen yhteenvetoon.
Miksi tutkiva testaus on edelleen ihmisen työtä?
Käsikirjoitettu testaus – testi, jossa vaiheet kirjoitetaan etukäteen ja toistetaan sanatarkasti – vahvistaa sen, mikä tiedetään; Tutkiva testaus etsii tuntematonta. Tutkivan testauksen arvo tulee siitä hetkestä, kun testaaja näkee tuotteen ja aistii "tässä on jotain outoa". Tekoäly ei näe tuotetta sellaisena kuin sinä sen näet, se ei voi aistia mikä häiritsisi oikeaa käyttäjää, sitä ei voi häiritä sanomalla "tämä painike on väärässä paikassa". Mutta tekoäly on erittäin tehokas apuväline kolmella tavalla: (1) tuottaa systemaattisia luetteloita testiideoista, (2) muistuttaa sinua unohdetuista testiakseleista, (3) muuntaa hajallaan olevia löytömuistiinpanojasi järjestetyksi raportiksi.
Vinkki: Pyydä tekoälyltä "testiidean lämmittely" ennen löytöistunnon aloittamista; Älä jätä näyttöä tekoälylle istunnon aikana. AI on hyödyllinen ennen ja jälkeen istunnon; Itse istunto on uteliaisuutesi ohjaama.
Heuristiikka ja tekoäly
Tutkivat testaajat käyttävät heuristiikkaa, joka on lyhyitä muistutuksia, jotka antavat suuntaa vianetsinnässä. Tekoäly voi muistuttaa sinua näistä mukauttamalla niitä kontekstisiisi. Muutama klassikko:
- CRUD: Kokeile Luo, Lue, Päivitä, Poista -kulkua jokaiselle tiedolle; keskeyttää joku.
- Kultakutri (pieni/täysi/paljon): Syötä kenttään hyvin vähän, täysiä ja paljon tietoja (0 merkkiä, 1 merkki, 10 000 merkkiä).
- CRUD + ajoitus: Muokkaa samaa tietuetta kahdessa välilehdessä kerralla ja tallenna sitten molemmat.
- Keskeytä: Päivitä sivu kesken toiminnon, katkaise verkkoyhteys, paina askelpalautinta.
- Käänteinen järjestys: Suorita vaiheet käänteisessä järjestyksessä (maksa ensin ja lisää sitten ostoskoriin).
Kun käsket tekoälyä "ehdottamaan konkreettisia kokeita käyttämällä näitä intuitiivisia vihjeitä kyseiselle näytölle", saat kenttävalmiin tarkistuslistan.
Testiehdon kirjoittaminen (peruskirja)
Tutkivassa testauksessa ei ole kyse vaeltamisesta; Se keskittyy testiperuskirjaan (lyhyt ohje, joka määrittelee mitä tutkimusistunnossa tutkitaan ja mihin tarkoitukseen). Hyvä peruskirja noudattaa tätä kaavaa: "Tutki [kohdeverkkotunnusta] käyttämällä [työkaluja/data] löytääksesi [mitä tietoja/riskejä]." Tekoäly laatii nämä ehdot nopeasti.
Käsikirjoitetun testauksen tasapainottaminen tutkivan testauksen kanssa
Hyvässä testausstrategiassa käytetään käsikirjoitetun (automaattisen, toistettavan) testauksen ja tutkivan testauksen yhdistelmää. Käsikirjoitetut testit varmistavat halvalla, että tunnetut käyttäytymiset eivät ole rikki, versio versiosta toiseen; Tutkiva testaus sen sijaan etsii uusia riskejä, joita nämä skriptit eivät ole koskaan huomioineet. Nämä kaksi eivät ole kilpailijoita, vaan täydentäviä. Yleinen virhe on ajatella "automatisoidaan kaikki, jotta löytöjä ei tarvita"; kun taas automaatio tarkistaa vain sen, minkä jo tiedät, se ei koskaan löydä sitä, mitä et tiedä. Toinen virhe on päinvastainen: luottaminen manuaaliseen etsintään jokaisen julkaisun yhteydessä ilman automaatiota - tämä johtaa samoihin perusvirheisiin, jotka hiipivät yhä uudelleen ja uudelleen.
Tekoäly auttaa luomaan tämän tasapainon: voit muuttaa löytöistunnossasi löytämäsi poikkeaman pysyväksi käsikirjoitetuksi regressiotestiksi antamalla sen tekoälylle. Siten kerran löydetty virhe ei voi koskaan palata havaitsematta uudelleen. Discovery huolehtii "löydä uusi riski", automaatio huolehtii "älä päästä irti löydetystä"; Tekoäly nopeuttaa siltaa näiden kahden välillä.
Vinkki: Erottele kunkin etsintäistunnon tulos kahteen ryhmään: "välittömästi korjattavat viat" ja "pysyväksi automaatioksi muuttuvat skenaariot". Toinen ämpäri kantaa löydön pitkän aikavälin arvon regressiopakettiisi.
Heikko kehote / Vahva kehote
Heikko: "Mitä minun pitäisi testata tällä näytöllä?"
Vahva: "Profiilikuvan latausominaisuutta varten jaa 90 minuutin tutkiva testausistunto kolmeen testiehtoon. Jokaiselle ehdolle: anna kohde, intuitiiviset vihjeet käytettäväksi (tiedoston koko/muoto/kultakukko/katkaisu), 5 konkreettista kokeiltavaa toimenpidettä ja riskisignaalit, joita on syytä varoa (hidastus, vaurioitunut tiedostopääte, erityisen suuret tiedostopääte, turvallisuuden riskit). puolustuksellisesti."
Tehokas kehote; antaa keston, rakenteen, vihjeitä ja riskifokustuksen. Tuloksena on tiekartta, jota pidät käden ulottuvilla koko istunnon ajan.
Tutkimusakselien taulukko
akseli
kysymys kysyttäväksi
esimerkki esseestä
Syöttörajoitukset
Mitä kenttä tekee ääriarvoilla?
10 000 merkin nimi
ajoitus
Mitä tapahtuu samanaikaisessa/keskeytetyssä käsittelyssä?
Tallenna sama tietue kahdelle välilehdelle
Muoto
Kuinka käsitellä odottamatonta muotoa?
Emoji, oikealta vasemmalle luettava teksti, HTML
viranomainen
Voiko luvaton käyttäjä käyttää?
Muuta URL-osoite manuaalisesti
Tila
Onko virheellinen tilasiirtymä mahdollinen?
Yritä maksaa peruutettu tilaus
vähennys
Ovatko tiedot johdonmukaisia, kun verkko/istunto keskeytyy?
Katkaise verkko tallennuksen aikana
Neljä kopioitavaa mallia
1) Testitilan generaattori:
Tehtäväsi: vanhempi tutkiva testaaja. Jaa [kesto] minuutin tutkimusistunto 3–4 testiehtoon ominaisuudelle:[ominaisuus]. Jokainen ehto: tavoite, intuitiiviset vihjeet käytettäväksi, 5 konkreettista toimenpidettä, joita kannattaa kokeilla, riskisignaalit, joita kannattaa seurata. Ehtomalli: "Tutki [verkkotunnus] käyttämällä [tool/data] for [riski/tiedot]."
2) Intuitiivinen vihjesovitin:
Käännä nämä intuitiiviset vihjeet konkreettisiksi kokeiksi seuraavaa näyttöä varten: CRUD, kultakukko (vähemmän/täysi/enemmän), keskeytys, käänteinen järjestys, ohitusvaltuutus. Näyttö: [näytön/virran kuvaus]. Kirjoita 2 näyttökohtaista koetta jokaiselle vihjeelle.
3) Kuolleen kulman muistutus:
Testaan seuraavaa ominaisuutta: [ominaisuus]. Luettele 10 tapausta, joissa kokeneet testaajat kaipaavat ENIMMÄISIIN tämäntyyppistä ominaisuutta. Sisällytä saavutettavuus, lokalisointi (kieli/päivämäärä/valuutta), samanaikaisuus, turvallisuus ja suorituskykyakselit.
4) Istunnon muistiinpanojen yhteenveto:
Alla on raaka muistiinpanot löytöistunnostani. Järjestä ne tähän rakenteeseen: - Löytyneet poikkeavuudet (arvioitu vakavuus) - Ne, joilla on tiedossa lisääntymisvaihe - Ne, jotka vaativat lisätutkimuksia - Ehdotus seuraavaa istuntoa varten Raaka muistiinpano: [liitä muistiinpanot]
kolme minilaukkua
Tapaus 1 — Kuolleen kulman muistutus toiminnassa. Asiantuntija testasi hakuominaisuutta monikielisessä sovelluksessa. Kun tekoäly muistutti "älä unohda lokalisointiakselia", hän kokeili turkkikohtaista "i/I"-kirjaimen muuntamista. Haku sanalla "Istanbul" ei tuottanut tulosta; Havaittiin pienten kirjainten muunnosvirhe. AI-akseli muistutti, asiantuntija yritti ja löysi sen.
Tapaus 2 – Peruskirjan painopiste. Uusi testaaja vietti 2 tuntia "surffaamassa" maksunäytön läpi, mutta teki vain 2 pientä muistiinpanoa, koska se oli jäsentämätön. Suunniteltuaan istunnon, jossa tekoäly oli jaettu 3 testiolosuhteisiin, se kirjasi 11 poikkeavaa samalla ajanjaksolla; kaksi heistä oli vakavia. Sama aika oli 5 kertaa tehokkaampi rakenteen ansiosta.
Tapaus 3 – Puolustava tiedostojen lataustestaus. Tiimi kokeili YZ:n ehdottamaa "väärää laajennusta/liian suurta tiedostoa" lataaessaan profiilikuvaa omissa tuotteissaan. Havaittiin, että 50 Mt:n tiedosto kaatui palvelimen 40 sekunniksi ja lisäsi kokorajoituksen ja aikakatkaisun. Testaus tehtiin vain sen omille tuotteille puolustustarkoituksessa.
Yleisiä virheitä
- Tekoälyn korvaaminen istunnolla. Löytämisen arvo on havainnoissasi ja intuitiossasi; AI auttaa valmistautumisessa ja palautumisessa.
- Selaa ilman varausta. Viettää tunteja keskittymättä ja löytää vähän. Testitilanne antaa tarkennusta.
- Ei kerää muistiinpanoja. Jos et tallenna löydöstä löydettyä poikkeavuutta tuotantovaiheessa uudelleen, tämä löytö menetetään.
- Yhdelle akselille jumissa oleminen. Testaa aina syötteen rajoja; Valtuutuksen, ajoituksen, lokalisointiakselien ohittaminen.
- Luvattomien turvatestien suorittaminen. Yritä muokata tiedostoa/URL-osoitetta vain omalla tuotteellasi ja luvalla.
Yhteenvetona
Tutkiva testaus on testaustyyppi, joka perustuu eniten ihmisen uteliaisuuteen, kirjoittamattoman etsimiseen. AI ei korvaa sinua täällä; Se hahmottaa testiolosuhteet, mukauttaa intuitiiviset vihjeet kontekstisi, muistuttaa sinua kuolleista pisteistä ja muuttaa sotkuiset istuntomuistiinpanot järjestetyksi raportiksi. Arvo tulee havainnoinnistasi ja intuitiostasi; AI keskittää ja moninkertaistaa tämän arvon. Kirjoita ehdot, vaihda akseleita, tallenna havainnot tuotantovaiheessa uudelleen, suorita turvatestejä vain valtuutuksen puitteissa.
Sovellustehtävä
Valitse ominaisuus omasta tuotteestasi. Jaa 60 minuutin istunto kolmeen ehtoon käyttämällä tekoälyn "testiehtogeneraattori" -mallia. Suorita istunto (ilman tekoälyä, tutkimalla käsin), tee raakoja muistiinpanoja. Kun olet valmis, järjestä muistiinpanot "istunnon muistiinpanojen yhteenveto" -mallin avulla. Tulos: vähintään 5 poikkeavaa, kunkin regenerointivaihe ja vakavuusarvio. Huomaa, mitkä testiolosuhteet ja intuitiivinen vihje johtivat arvokkaimpaan löytämääsi poikkeamaan.
tarkistuslista
- [ ] Ennen istuntoa loin testiolosuhteet tekoälyllä ja määritin fokuksen.
- [ ] Kokeilin ainakin 4 eri etsintäakselia (syöttö, ajoitus, muoto, valtuutus, keskeytys).
- [ ] Suoritin istunnon manuaalisesti omalla uteliaisuudellani; En vaihtanut tekoälyä.
- [ ] Tallensin jokaisen poikkeaman sen lisääntymisaskeleen ja vakavuusarvioineen.
- [ ] Muutin muistiinpanoistani säännöllisen raportin tekoälyn kanssa.
- [ ] Olen yrittänyt vain suojata/manipuloida omaa tuotettani ja luvalla.