Mga nadagdag:
- Unawain kung ano ang propesyonal na pag-aalinlangan at ang mga panganib na mahulog sa bias sa pagkumpirma at bias sa automation kapag gumagamit ng artificial intelligence
- Kakayahang subukan ang output ng artificial intelligence gamit ang isang diskarte sa pagtatanong na sumusubok na pabulaanan (hanapin ang kabaligtaran)
- Ang kakayahang maunawaan na ang katatasan ng artificial intelligence ay hindi nangangahulugan ng katumpakan, na ang pag-aalinlangan na pag-iisip ay ang ubod ng kontrol at hindi maaaring ilipat.
Mayroong isang mental na saloobin na nakikilala ang independiyenteng pag-audit mula sa maraming iba pang mga propesyon: propesyonal na pag-aalinlangan. Tinukoy ito ng mga ISA bilang ang auditor na nagtatrabaho "nang may nagtatanong na isip, na binabanggit kung ang ebidensya ay nagpapahiwatig ng potensyal na maling pahayag, at kritikal na sinusuri ang ebidensya." Ibig sabihin, hindi awtomatikong tinatanggap ng auditor ang anumang impormasyong ipinakita sa kanya—hindi isang pahayag ng pamamahala, hindi isang dokumento, kahit isang account na "tila makatuwiran"—bilang totoo. Palagi kong iniisip "Ganun ba talaga?" tanong niya. Ang saloobing ito ang ubod ng kontrol at hindi maiaalis.
Sa edad ng artificial intelligence, ang core na ito ay nahaharap sa isang bagong pagsubok. Dahil ang AI ay bihasa sa pag-trigger ng dalawang malalim na kahinaan ng pag-iisip ng tao — bias ng automation at bias sa pagkumpirma. Sa unit na ito, tatalakayin natin kung paano mapapanatili o mapalakas ng isang auditor na gumagamit ng AI ang kanyang pag-aalinlangan. Ang pangunahing thesis ay ang pagiging matatas ng AI ay hindi katumpakan; Ang pag-aalinlangan na isip ay nagiging mas mahalaga sa harap ng AI.
Dalawang mapanganib na bias
Ang automation bias ay ang tendensya para sa mga tao na magtiwala sa output ng isang makina/software nang higit pa sa kanilang sariling paghuhusga. "Kinakalkula ito ng computer, tama ito." Ang panganib na ito ay pinalaki pagdating sa AI, dahil ang AI ay hindi lamang nagkalkula; Nagsasalita ng matatas, may tiwala, tulad ng tao, makatuwirang mga pangungusap. Ang isang kumpiyansa na tono ay mapanghikayat kahit na ang impormasyon ay hindi tumpak.
Ang bias sa pagkumpirma ay ang ugali ng mga tao na maghanap ng impormasyon na sumusuporta sa konklusyon na dati nilang pinaniwalaan o inaasahan at huwag pansinin ang magkasalungat na impormasyon. Ito ay nakamamatay sa pag-audit: Ang isang auditor na nag-iisip na "Ang kliyenteng ito ay dapat na malinis" ay maluwag kapag nagtanong siya sa AI at nakakuha ng kumpirmasyon, at hihinto sa paghahanap ng katibayan na kabaligtaran. Dahil ang AI ay may posibilidad na sumandal sa tanong na itinatanong (kung tatanungin mo ang "okay lang, tama ba?" mas malamang na makagawa ng sagot na sumasang-ayon sa iyo), maaari itong magsulong ng bias sa pagkumpirma.
Mayroon ding pangatlo: guni-guni. Nakita namin ito nang maraming beses sa module — ang AI ay mahusay na makakagawa ng isang numero, item, mapagkukunan na hindi umiiral. Nadagdagan ang panganib kapag pinagsama ang tatlong kahinaan: Ang AI ay gumagawa ng mga bagay-bagay (hallucination), pinaniniwalaan mo ito dahil ito ay tuluy-tuloy (automation bias), hindi mo ito kinukuwestiyon dahil sinasabi nito sa iyo kung ano ang iyong inaasahan (confirmation bias).
Ang tatlong tool ng skeptical mind laban sa AI
Ilagay natin ang pag-aalinlangan sa mga kongkretong pamamaraan laban sa AI:
- Subukang pabulaanan, hindi kumpirmahin. Maaaring itanong ng isang AI ang output nito "totoo ba ito?" hindi "paano ko malalaman kung mali ito?" tanong. Tanungin ang iyong sarili: "Kung mali ang pahayag na ito, anong ebidensya ang magpapakita nito?" at hanapin ang ebidensyang iyon. Madaling makahanap ng isang halimbawang nagpapatunay; Ang pagsisikap na pabulaanan at mabigo ay nagbibigay ng tunay na katiyakan.
- Magtanong nang neutral at pabalik. Tanungin ang AI "walang problema dito, tama?" Huwag magtanong; ito ay nag-iimbita ng isang pag-apruba ng tugon. Sa halip, "ano ang mga panganib na maaaring napalampas ko sa data na ito?" at "ano ang tatlong pinakamalamang na senaryo kung saan maaaring mali ang resultang ito?" magtanong. Magtanong ng parehong tanong mula sa dalawang magkabilang panig at ihambing ang mga sagot.
- I-download sa pinagmulan at magparami. Para sa bawat isyu, pagpapatungkol, at konklusyon, "saan ko ito independyenteng ibe-verify?" Itanong at i-verify talaga. Tingnan ang output ng AI bilang isang assertion; Ang ebidensya ay nasa labas ng claim.
Tip: Gumawa ng ugali: Sa tabi ng bawat makabuluhang output na ibinibigay ng AI, sumulat ng dalawang bagay sa pamamagitan ng kamay — “(1) saan ko ito napatunayan, (2) anong ebidensya ang magpapakita nito kung ito ay mali.” Ang dalawang tala na ito ay sumisira sa bias ng automation at pagkumpirma.
Mga paghatol na hindi maaaring italaga ng auditor
Ang ilang mga trabaho ay likas na nangangailangan ng pag-aalinlangan at paghatol; ang mga ito ay hindi maaaring italaga sa AI, sinusuportahan lamang:
hindi maiaalis na hurisdiksyon
Bakit
Kung sapat at angkop ang ebidensya
Propesyonal na paghatol; nakadepende sa konteksto
Plausibility ng isang paliwanag
Nangangailangan ng pagsasaalang-alang sa negosyo at layunin
Pagtatasa ng panganib sa pandaraya
Pag-aalinlangan at intuwisyon; lampas sa pattern ng data
Materyal at desisyon ng opinyon
Ang hudikatura ay responsable sa publiko
Opinyon tungkol sa katapatan ng pamamahala
Pagbasa ng gawi ng tao; Hindi ito magagawa ng AI
Ang pagkakaiba sa pagitan ng skepticism at pedantry: isang nasusukat na saloobin
Ang propesyonal na pag-aalinlangan ay hindi nangangahulugang hindi paniniwalaan ang lahat o sinisisi ang pamamahala nang maaga; Ito ay magiging isang overreach at magiging hindi epektibo ang kontrol. Ang pag-aalinlangan ay hindi purong pagtitiwala (pagtanggap sa lahat ng sinabi sa iyo) o bulag na pagtanggi (pagtanggi sa lahat); Sa pagitan, ito ay isang saloobin ng pagtatanong na naaayon sa ebidensya. Maaaring tanggapin ng auditor ang pamamahala bilang tapat, ngunit sinusuri ang pagtanggap na ito nang may ebidensya; maaaring makakita ng paliwanag na kapani-paniwala, ngunit nagpapatunay ng pagiging totoo. Maaaring sirain ng AI ang balanseng ito: sa isang direksyon, pinapatulog ka nito sa sobrang kumpiyansa sa likidong output nito; Sa kabilang banda, kung sasabihin mo dito na "maghanap ng mali sa lahat ng bagay" ay bombahin ka nito ng walang katapusang mga maling positibo. Ang tamang saloobin ay palaging timbangin ang kinalabasan laban sa bigat ng ebidensya, habang pinapatakbo ang AI upang makagawa ng ebidensya at pabulaanan ang ebidensya. Ang pag-aalinlangan ay hindi isang katangian ng personalidad, ngunit isang disiplinadong paraan ng pagtatrabaho; At ang auditor ang nagtatatag, nagpapanatili at nagpapatunay ng disiplinang ito, hindi AI.
tatlong mini case
Case 1 — Gumagana ang rebuttal technique. Isang auditor ang nag-print ng AI na nagsasabing "mukhang makatwiran ang pagtatasa ng stock na ito." Sa halip na kumpirmahin, nagtanong siya nang pabalik-balik: "Kung ang pagpapahalagang ito ay labis na sinabi, anong ebidensya ang magpapakita nito?" "mga item kung saan ang mga presyo pagkatapos ng benta ay mas mababa sa gastos," sabi ni YZ. Hinanap ng auditor ang mga item na ito at natagpuan ang isang grupo na talagang undervalued. Inilantad ng rebuttal question ang panganib na itinatago ng kumpirmasyon.
Kaso 2 — Nahuhulog sa bias sa pagkumpirma. Isang miyembro ng team ang nagtanong sa AI sa panahon ng crunch time, "wala namang malaking mali sa account na ito, tama ba?" tanong niya. Sumandal si YZ sa tanong at sinabing, "Ayon sa impormasyong ibinigay mo, mukhang walang malaking problema." Ang miyembro ng koponan ay nagpahinga at tinakpan ang panulat. Gayunpaman, hindi siya nagpakita ng anumang ebidensya; Sinalamin lang ng AI ang kanyang pangungusap. Ipinakita ng taong responsable na ang tanong ay hindi tinanong nang walang kinikilingan. Aralin: kung paano mo itatanong ang tanong ay tumutukoy sa sagot na makukuha mo; Ang isang tanong na naghahanap ng kumpirmasyon ay gumagawa ng kumpirmasyon.
Kaso 3 - Nahuhulog sa pagiging matatas. Naisip ng isang auditor na tama ang isang interpretasyon ng batas na ipinaliwanag ni YZ sa isang napakahusay at makatuwirang talata at isinama ito sa working paper. Napakaayos ng text kaya hindi niya naisip na tanungin ito. Ang taong responsable ay nagpakita na ang sanggunian ay walang katumbas sa opisyal na teksto. Aralin: ang katatasan at kumpiyansa ay hindi patunay ng katumpakan; Ang kinalabasan na tila pinaka-nakakumbinsi ay maaaring ang pinaka-mapanganib.
Mahinang prompt / Malakas na prompt
Mahinang prompt:
Tama ang pagsusuri na ito, tama ba? Approve ka ba?
Ang problema: isang bias na tanong na naghahanap ng kumpirmasyon. Itinutulak nito ang AI na sumali sa iyo; Itinataguyod nito ang pagkiling sa kumpirmasyon at itinatago ang totoong panganib.
Napakahusay na prompt:
Ang iyong tungkulin: ikaw ay isang independiyenteng auditor ng kritikal na kasosyo sa pagtatanong. Ang iyong gawain ay hindi sumang-ayon sa akin, ngunit upang subukang TANGgihan ang aking output. Konteksto: Nasa ibaba ang aking konklusyon ng isang analytical na pamamaraan at ang aking pansamantalang konklusyon.[result text]Gawain:1) Ilista ang 3 pinaka-malamang na mga sitwasyon kung saan ang konklusyong ito ay maaaring MALI.2) Para sa bawat sitwasyon: "kung ito ay totoo, anong ebidensya ang magpapakita nito?" Magmungkahi ng konkreto, mahahanap na ebidensya. 3) Markahan ang anumang data o mga pagpapalagay na maaaring napalampas ko. 4) Huwag gumawa ng mga pangungusap na sumasang-ayon sa akin; Ikaw ay may tungkulin sa paghahanap ng mga mahihinang punto. Markahan ang "unknown" kung saan hindi ka sigurado.
Makapangyarihan ang prompt na ito dahil binabaligtad nito ang papel ng AI (rebuttal), nangangailangan ng mga rebuttal scenario at mahahanap na ebidensya, at ipinagbabawal ang wikang naghahanap ng kumpirmasyon. Inilalagay nito ang AI sa serbisyo ng pag-aalinlangan sa halip na isang instrumento ng bias sa pagkumpirma.
Mga karaniwang pagkakamali
- Nagtatanong na humihingi ng pag-apruba. "Okay lang naman diba?" sa pamamagitan ng pagtatanong at pagtiyak ng napagkasunduang sagot.
- Napagkakamalang katatasan para sa katumpakan. Pagtanggap ng mahusay na pagkakasulat, tiwala na output nang walang tanong.
- Maging kontento sa isang halimbawang nagpapatunay. Pagsasara sa unang pansuportang paghahanap, nang hindi sinusubukang pabulaanan ito.
- Upang italaga ang hindi maiaalis na hurisdiksyon. Ipaubaya sa AI ang desisyon ng sapat na ebidensya, pagiging makatwiran, opinyon.
- Pagpapaalam sa pag-aalinlangan sa ilalim ng presyon ng oras. Sumilong sa nakakaaliw na sagot ng AI kapag naipit ka.
Pag-iingat: Ang presyon ng oras ay ang pinakamalaking kaaway ng pag-aalinlangan, at ang AI ay nagiging pinakamapanganib sa ilalim ng presyur na ito; dahil nag-aalok ito sa iyo ng mabilis, matatas at nakakaaliw na sagot. Gawin itong kinakailangan upang itanong ang rebuttal question kapag nagmamadali ka.
Sa buod
Ang propesyonal na pag-aalinlangan ay nasa core ng pag-audit at nagiging mas kritikal sa edad ng AI. Ang AI ay nag-trigger ng tatlong kahinaan: hallucination (bumubuo), automation bias (naniniwala kami dahil ito ay tuluy-tuloy), confirmation bias (hindi namin ito kinukuwestiyon dahil sinasabi nito kung ano ang inaasahan namin). Ang antidote ay ang magmadali upang pabulaanan ang AI, hindi kumpirmahin ito: "kung ito ay mali, anong ebidensya ang magpapakita nito?" ' at naghahanap ng salungat na ebidensiya, nagtatanong nang may layunin at paatras, na ginagawa ang bawat output mula sa pinagmulan. Ang mga paghatol tulad ng sapat na ebidensya, pagiging makatwiran, panganib ng pandaraya, at paghatol sa opinyon ay nangangailangan ng pag-aalinlangan at hindi naililipat. Ang katatasan ay hindi katumpakan; Nasa iyo ang skeptical mind.
Gawain ng aplikasyon
Kunin ang iyong resulta ng pag-audit (o isang hypothetical na resulta). Magtanong muna sa AI gamit ang mahinang tanong na "naghahanap ng kumpirmasyon", pagkatapos ay gamit ang malakas na pattern ng prompt na "rebuttal" sa itaas. Ilagay ang dalawang resulta nang magkatabi at isulat ang pagkakaiba: aling mga panganib ang nahayag lamang sa pamamagitan ng rebuttal na tanong? Pagkatapos ay magdagdag ng dalawang tala sa tabi ng bawat key claim sa iyong output: "ano ang na-verify ko" at "anong ebidensya ang magpapakita kung ito ay mali."
checklist
- [ ] Tinanong ko ang AI rebuttal/neutral na mga tanong, hindi ang mga tanong na naghahanap ng kumpirmasyon.
- [ ] Para sa bawat makabuluhang resulta, "kung ito ay mali, anong ebidensya ang magpapakita nito?" Tanong ko at naghanap ng ebidensya.
- [ ] Sinubukan ko ang output, na tila makinis at kumpiyansa, na may labis na pag-aalinlangan.
- [ ] Hindi ako tumigil sa isang halimbawa ng kumpirmasyon; Sinubukan kong pabulaanan ito ngunit nabigo.
- [ ] Gumawa ako ng sarili kong mga paghatol tulad ng sapat na ebidensya, pagiging makatwiran, at opinyon.
- [ ] Kahit sa ilalim ng pressure ng oras, hindi ko pinalampas ang rebuttal question.
- [ ] Sa tabi ng mahahalagang claim, gumawa ako ng mga tala ng "kung ano ang aking na-verify sa / kung ano ang ipapakita kung ito ay mali".