Upimaji Kamili wa Idadi ya Watu kwa Uchanganuzi wa Data: Kutoka Sampuli hadi Nzima

Faida:

• Kuelewa hatari ya sampuli na mantiki ya upimaji kamili wa idadi ya watu (jaribio la 100%) na uweze kutumia akili bandia kwa utayarishaji wa data, uandishi wa sheria na tafsiri ya matokeo.
• Uwezo wa kubuni na kutekeleza vipimo vya kulinganisha, ukamilifu na usahihi katika seti kubwa za data na usaidizi wa akili bandia.
• Uwezo wa kuelewa kwamba orodha ya ubaguzi katika mtihani kamili wa idadi ya watu sio matokeo, lakini mwanzo ambao mkaguzi atachunguza, na kwamba tathmini ya mwisho ni ya mkaguzi.

Mojawapo ya mapungufu ya kimsingi ya taaluma ya ukaguzi ni kwamba mkaguzi alilazimika kufanya kazi na sampuli kwa miaka mingi. Huwezi kukagua mwenyewe ankara 180,000 za masuala ya biashara kwa mwaka; Kwa hivyo unachagua rekodi mia chache kwa kutumia mbinu ya takwimu au ya kuhukumu, zijaribu, na ujumlishe matokeo kwa watu wote. Sampuli ni mbinu yenye nguvu na halali, lakini ina hatari ya asili: hatari ya sampuli - sampuli unayochagua inaweza isiwe mwakilishi wa idadi ya watu, na hitilafu ya kweli ndani yake huenda isianguke mahali unapotafuta.

Uchanganuzi wa data na AI hubadilisha picha hii: sasa unaweza kujaribu idadi ya watu wote, yaani 100%. Hii inaitwa upimaji kamili wa idadi ya watu. Tunatoa kitengo hiki kuelewa mabadiliko kutoka kwa "sampuli hadi nzima," nguvu inayoletwa, na majukumu mapya ambayo watu wengi hupuuza. Kwa sababu upimaji kamili wa idadi ya watu haurahisishi ukaguzi; Inabadilisha asili ya mtihani na kuweka mizigo mipya kwa mtahini.

Tofauti kati ya sampuli na upimaji kamili wa idadi ya watu

Katika sampuli ya classical, mantiki ni: "Hebu nijaribu kikamilifu kikundi kidogo lakini wakilishi, na kutafsiri matokeo kwa ujumla." Katika jaribio kamili la idadi ya watu, mantiki inabadilishwa: "Hebu nichambue yote kulingana na sheria fulani, nitafute tofauti ambazo ziko nje ya sheria na kuzichunguza vizuri." Katika mbinu ya kwanza, hatari ni "kuchagua sampuli isiyofaa"; Katika pili, hatari ni "kuandika sheria mbaya" na "kufanya kazi na data isiyo kamili / yenye makosa".

Jedwali lifuatalo linalinganisha njia hizi mbili:

Ukubwa

sampuli

Jaribio kamili la idadi ya watu (100%)

Upeo

sehemu ya idadi ya watu

idadi ya watu wote

Hatari kuu

Hatari ya sampuli (hitilafu ya uwakilishi)

Hitilafu ya kanuni + hitilafu ya uadilifu wa data

pato

Idadi ndogo ya matokeo ya mtihani

Orodha ya vighairi ambavyo havizingatii sheria

Mzigo wa Mkaguzi

chaguo + mtihani

Muundo wa kanuni + tathmini ya ubaguzi

Jukumu la AI

Msaada kwa uteuzi wa sampuli

Utayarishaji wa data, uandishi wa sheria, alama za ubaguzi

Kumbuka: upimaji kamili wa idadi ya watu haimaanishi "Nilijaribu kila kitu, kazi imefanywa". Kinyume chake, kawaida hukupa vitu zaidi vya kuchunguza. Unapotumia ankara zote 180,000 kupitia sheria ya uidhinishaji wa kiasi cha tarehe, utapata isipokuwa 900. Kila moja ya haya ni swali; sio jibu. Hapa ndipo mahakama ya ukaguzi inapoingia.

Ukamilifu wa data: msingi usioonekana wa majaribio

Shida kubwa ya upimaji wa idadi ya watu wote ni kwamba ubora wa jaribio hutegemea ubora wa data. "Nilijaribu 100% ya data" inaeleweka ikiwa data uliyo nayo ni 100% ya idadi ya watu. Ikiwa kichujio hakikuwa sahihi wakati wa kutoa data kutoka kwa mfumo, baadhi ya rekodi ziliachwa, au safu wima ya kiasi ilihamishwa kwa hitilafu ya desimali, jaribio lako "kamili" litafanywa kwa data isiyokamilika au mbovu. Kwa hiyo, uthibitisho wa ukamilifu na usahihi wa data ni hatua ya kwanza na ya lazima katika upimaji kamili wa idadi ya watu.

Ukaguzi wa vitendo kwa uthibitishaji wa ukamilifu:

• Upatanisho wa hesabu ya rekodi: Je, idadi ya safu mlalo katika mkusanyiko wa data uliochota inalingana na jumla ya rekodi kwenye mfumo?
• Upatanisho wa kiasi: Je, jumla ya kiasi katika mkusanyiko wa data inapatana na jumla ya akaunti husika katika salio la majaribio/zaidi?
• Masafa ya tarehe: Ni siku za kwanza na za mwisho za kipindi kilichojumuishwa kwenye data; Je, kuna mwezi/siku inayokosekana?
• Uchanganuzi wa nafasi tupu na mbaya: Je, kuna nafasi zozote au thamani zisizo na maana katika sehemu zinazohitajika (tarehe, kiasi, nambari ya akaunti)?

AI husaidia kwa ukaguzi huu wote: hutambaa data, hupata jumla, huhesabu nafasi tupu, huripoti kipindi. Lakini mkaguzi ndiye anayeamua ikiwa makubaliano "yatashikilia", huchunguza tofauti, na kuthibitisha kuwa data hiyo inafaa kwa madhumuni ya ukaguzi.

Tahadhari: Usiandike "Nilijaribu data yote" kwenye lahakazi bila kuthibitisha ukamilifu wa data. Jaribio kamili la idadi ya watu juu ya data inayokosekana hutoa uhakikisho unaoonekana kuwa kamili lakini unaopotosha.

Jaribio kamili la idadi ya watu na AI: hatua kwa hatua

1. Tayarisha data kwa usalama. Usitambulishe sehemu za kibinafsi/za kibinafsi au ubadilishe na vishikilia nafasi. Ikiwezekana, tumia gari la ushirika, la mkataba.
2. Thibitisha ukamilifu. Sawazisha idadi ya rekodi na kiasi.
3. Fafanua wazi sheria ya mtihani. Ni nini kinachohesabiwa kama "isipokuwa"? (Kwa mfano: ankara ambayo haijaidhinishwa, ankara iliyotolewa wikendi, malipo makubwa ya mzunguko, mapato yaliyorekodiwa baada ya tarehe ya kusimamishwa.)
4. Tumia sheria na AI. AI hutumia sheria kwa data na hutoa orodha ya tofauti; Andika sheria kwa uwazi ili iweze kukaguliwa.
5. Tanguliza na ukague vighairi. Chunguza kila ubaguzi na ushahidi; kushughulikia chanya za uwongo, thibitisha matokeo halisi.
6. Andika matokeo. Unganisha sheria, idadi ya vighairi, vipengee vilivyochunguzwa, na hitimisho kwenye laha ya kazi.

kesi tatu ndogo

Kesi ya 1 - Mtihani wa kukata. Mkaguzi alitaka kupima upunguzaji wa mapato ya mwisho wa mwaka. Alichukua ankara 42,000 za mauzo kama idadi kamili ya watu na kufanya AI itekeleze "rekodi za orodha zilizo na tarehe za ankara kufikia tarehe 31 Desemba, lakini tarehe za usafirishaji/uwasilishaji mnamo au baada ya Januari 1". YZ iliweka rekodi 118. Mkaguzi alikagua haya: miamala 96 ni halali isiyokuwa na tofauti za muda (uwasilishaji wa siku hiyo hiyo), 22 yalikuwa mapato ya mwaka uliofuata na yalirekodiwa katika kipindi cha nyuma. Vipengee hivi 22 viliripotiwa kwa sababu vilionyesha muundo, ingawa chini ya umuhimu. AI iliuliza maswali 118; Mkaguzi alipata majibu 22.

Kesi ya 2 - Wakati ukamilifu umeachwa. Mwanachama mmoja wa timu alisema alifanya majaribio kamili ya idadi ya watu kwenye ankara 180,000; Hakukuwa na ubaguzi na alifarijika. Mtu aliyehusika alilinganisha jumla ya kiasi cha mkusanyiko wa data na salio la majaribio: data milioni 155 TL, salio la majaribio TL milioni 210. Inabadilika kuwa wakati data ilikuwa ikitolewa kutoka kwa mfumo, tawi lilichujwa na kuachwa nje. Jaribio "kamili" lilikosa robo ya data. Jaribio lilitekelezwa na data sahihi. Somo: hakuna upimaji kamili wa idadi ya watu bila uthibitisho wa ukamilifu.

Kesi ya 3 - Hitilafu ya sheria. Mkaguzi aliagiza AI iandike sheria "Orodhesha malipo ambayo hayajaidhinishwa zaidi ya 50,000 TL", lakini hakugundua kuwa sehemu ya "idhini" iliwekwa katika safu wima mbili tofauti za mfumo (idhini ya kielektroniki na idhini ya mwongozo). AI iliweka alama ya malipo 300 kama "hayajaidhinishwa" kwa sababu iliangalia moja tu; Baada ya uchunguzi, ilionekana kwamba wengi wao waliidhinishwa katika safu nyingine. Sheria mbaya ilizalisha mamia ya chanya za uwongo. Mkaguzi alirekebisha sheria ili kujumuisha safu zote mbili. Somo: mkaguzi anathibitisha kuwa sheria inalingana na data na mchakato wa biashara.

Mwongozo dhaifu / Mwongozo thabiti

Agizo dhaifu:

Pata rekodi zenye matatizo katika data hii ya ankara.

Tatizo: Hakuna ufafanuzi wa "tatizo." AI haijui cha kuzingatia isipokuwa; Anafanya kazi kulingana na ishara za nasibu au kulingana na kigezo alichotunga. Hairudiwi na inaweza kukaguliwa.

Agizo lenye nguvu:

Jukumu lako: wewe ni msaidizi wa uchanganuzi wa data kwa mkaguzi huru. Hukumu ni yangu; Utatumia sheria na utengeneze orodha ya vighairi. Muktadha: Hapa chini kuna data ya ankara ya mauzo isiyojulikana (safu wima: ankara_hapana, tarehe_ya_ ankara, tarehe_ya_kutuma, kiasi, hali_ya_idhinisho, tawi). Mwisho wa mwaka: 31.12.HATUA YA 1 - Ukamilifu: Toa jumla ya idadi ya rekodi na jumla ya kiasi ili nilinganishe na salio la majaribio. Ripoti ikiwa kuna nafasi yoyote tupu/haitoshi.HATUA YA 2 - Kukata sheria ya mtihani: Orodhesha rekodi zenye ankara_date <= 31.12 NA delivery_date >= 01.01 kama "isipokuwa "cutoff".HATUA YA 3 - Andika sheria kwa maandishi wazi (uliweka masharti gani) ili iweze kukaguliwa.Kanuni: Nilitoa sheria, nisizibadilishe. Wasilisha rekodi unazoripoti kama "vighairi vya ukaguzi"; Usiseme "kosa/kutafuta". Usitengeneze kile ambacho huwezi kupata kutoka kwa data.

Ombi hili lina nguvu kwa sababu kwanza linathibitisha ukamilifu, linafafanua wazi sheria ya kutofuata kanuni, linahitaji maandishi wazi ya sheria (ukaguzi), na kuweka matokeo kama "kighairi."

Makosa ya kawaida

• Inaruka uthibitishaji wa ukamilifu. Kufanya majaribio "kamili" kwenye data isiyokamilika/rushwa na kutoa uhakikisho wa uwongo.
• Kukosea ubaguzi kwa utafutaji. Kuhesabu makosa bila kuthibitisha rekodi iliyowekwa na AI; kuepuka kuondoa chanya za uwongo.
• Sio kuangalia kanuni. Inazalisha mamia ya alama za uongo bila kuangalia kama sheria inatii data na mchakato wa biashara.
• Kuandika sheria zisizo wazi. Kupata matokeo yasiyoweza kurudiwa kwa vidokezo ambavyo havijabainishwa kama "pata rekodi zenye matatizo".
• Kutosheka na mwanzo mmoja. Sio kuuliza sheria au data ikiwa idadi ya vighairi ni tofauti sana na inavyotarajiwa.

Kidokezo: Uwe na wasiwasi ikiwa idadi ya vighairi ni ndogo sana (karibu na sifuri) au kubwa sana. Sifuri kawaida humaanisha "sheria iliyoandikwa vibaya" au "data kukosa"; Idadi kubwa sana inaonyesha kuwa sheria ni pana sana. Mkaguzi mzuri anashuku "hakuna ubaguzi" na "kila kitu ni tofauti".

Kwa muhtasari

Upimaji kamili wa idadi ya watu ni hatua kubwa mbele katika ukaguzi: huondoa hatari ya sampuli, kukagua 100% ya data. Lakini sio bure. Huleta majukumu mawili mapya: (1) kuthibitisha ukamilifu na usahihi wa data, (2) kutathmini vighairi maalum vinavyojitokeza. AI huandaa data, hutumia sheria, huashiria ubaguzi na kupunguza masaa ya skanning hadi sekunde; Lakini usahihi wa sheria, ukamilifu wa data na tathmini ya isipokuwa ni ya mkaguzi. Ubaguzi sio matokeo, ni mwanzo.

Jukumu la maombi

Fikiria seti ya data ya muamala iliyopo (au dhahania). Kwanza fafanua hundi mbili za ukamilifu (idadi ya rekodi na upatanisho wa kiasi). Kisha uandike sheria wazi ya kutofuata kanuni kwa madhumuni ya ukaguzi (k.m. ankara zinazotolewa wikendi, au vighairi vilivyopunguzwa). Ukiwa na muundo wenye nguvu wa haraka ulio hapo juu, ruhusu AI itekeleze ukamilifu kwanza kisha sheria. 10 za kwanza kati ya vighairi vinavyoonekana ni "matokeo halisi au chanya za uwongo?" Jizoeze kuainisha kama ifuatavyo na uandike ni ushahidi gani utatafuta kwa kila moja.

orodha ya ukaguzi

• [ ] Nilificha jina la data na nikaendesha gari kwa usalama.
• [ ] Nilithibitisha ukamilifu wa data kwa kupatanisha idadi ya rekodi na kiasi.
• [ ] Nilichanganua kupata nafasi isiyolipishwa/mbaya.
• [ ] Nilifafanua sheria ya ubaguzi kwa njia wazi, inayoweza kurudiwa.
• [ ] Nilipokea maandishi dhahiri ya sheria hiyo kutoka kwa AI na kuthibitisha ufuasi wake wa data na mchakato wa biashara.
• [ ] Nilihoji usawaziko wa idadi ya vighairi (vichache sana / si vingi sana).
• [ ] Nilichukulia kila ubaguzi kama swali la kuchunguzwa, sio matokeo; Niliondoa chanya za uwongo.