Yunit 9 / 11

Pag-scan ng Ebidensya at Kasalukuyang Impormasyon: Pag-verify ng Pinagmulan at Hallucination

Mga nadagdag:

  • Kakayahang gumamit ng artificial intelligence upang mabilis na i-scan ang kasalukuyang impormasyon sa pag-unlad at mga diskarte at i-verify ang bawat claim sa pamamagitan ng pagkonekta nito sa isang maaasahang pinagmulan
  • Kakayahang kilalanin ang mga bitag ng mga gawa-gawang pinagmumulan, lumang impormasyon at mga pamamaraan ng fashion (paglapit na may mahinang ebidensya) at pagtatanong sa antas ng ebidensya
  • Kakayahang maunawaan na ang output ng AI ay isang panimulang punto, ang huling pinagmumulan ay literatura na sinuri ng mga kasamahan at mga opisyal na alituntunin

Ang pag-unlad ng bata ay isang mabilis na umuusbong na larangan: mga bagong tool sa pag-screen, na-update na mga alituntunin sa milestone, umuusbong na mga diskarte sa interbensyon. Responsibilidad ng isang propesyonal na manatiling napapanahon. Ang artipisyal na katalinuhan ay isang mapang-akit na mabilis na tool para makuha ang pagiging maagap na ito: nagbubuod ito ng isang paksa sa ilang segundo, naghahambing ng mga diskarte, nagbibigay ng matatas na sagot sa tanong na "kung ano ang huli na alam". Ngunit tiyak na ang bilis na ito ay nagtatago ng pinakamalaking pitfall. Ang artificial intelligence ay maaaring gumawa ng: magpakita ng isang hindi umiiral na pag-aaral, isang maling istatistika, o kahit isang huwad na pinagmulan na parang totoo sa pamamagitan ng pagdaragdag ng pangalan ng isang tunay na siyentipiko. Sa unit na ito, sasaklawin namin ang paggamit ng AI bilang panimulang punto ng screening at pagbe-verify ng bawat claim sa pamamagitan ng pagkonekta nito sa isang mapagkakatiwalaang source.

Una ang pinaka kritikal na konsepto: guni-guni. Ito ay ang kakayahan ng modelo ng wika na gumawa ng impormasyon, isang mapagkukunan o isang pag-aaral na hindi aktwal na umiiral, na parang ito ay totoo. Ang modelo ay hindi "naaalala ang katotohanan"; Bumubuo ng mga posibleng pagkakasunud-sunod ng salita. Samakatuwid, lubos na posible na makagawa ito ng isang sanggunian na halos kapareho sa isang tunay na pinagmulan ngunit wala ("Yılmaz et al., 2019, Journal of Child Development"). Para sa isang dalubhasa sa pagpapaunlad ng bata na umasa sa isang maling pinagmulan ay nakompromiso ang kredibilidad ng propesyonal at ang kapakanan ng bata.

Saan nakakatulong ang artificial intelligence, saan ito mapanganib?

Ang AI ay isang magandang simula sa pag-unawa at pag-frame ng isang paksa: pinapasimple nito ang isang konsepto, nagmumungkahi ng mga terminong hahanapin mo, nagbubuod ng isang text, naglilista ng magkasalungat na pananaw. Ngunit hindi ito pinagmumulan ng mga katotohanan: huwag umasa dito para sa mga numero, petsa, resulta ng pag-aaral, cutoff score, at source. Panuntunan: Gumamit ng AI upang iguhit ang mapa, hindi maghukay ng kayamanan. Ang kayamanan (ang tunay na ebidensya) ay nasa peer-reviewed literature at opisyal na mga alituntunin.

Ligtas na paggamit ng AI

Mapanganib na paggamit ng AI

Pagpapaliwanag ng isang konsepto sa simpleng wika

Ipagpalagay na ang isang istatistika ay tumpak

Magmungkahi ng mga termino para sa paghahanap at mga mapa ng paksa

Pag-quote sa isang source nang walang verification

Pagbubuod ng mahabang teksto

Pag-aaral ng milestone age mula dito

Pag-frame ng magkasalungat na diskarte

pagtanggap ng katibayan ng isang pamamaraan nang walang tanong

Antas ng katibayan at ang bitag ng paraan ng fashion

Hindi lahat ng claim ay pantay; Ang antas ng ebidensya ay mahalaga. Ang isang solong case narrative ay hindi kapareho ng bigat ng isang replicated, peer-reviewed na pag-aaral na isinagawa sa maraming bata. Ang isang karaniwang panganib sa pag-unlad ng bata ay ang fad-method trap: ang pinalaking at tiyak na mga pangako tulad ng "mabilis na itatama ng bagong paraan ang lahat ng mga pagkaantala sa pag-unlad" ay halos palaging isang senyales ng mahinang ebidensya. Ang tunay na agham ay maingat; Ang mga pahayag tulad ng "ito ay malulutas ito para sigurado", "ito ay isang himala", "ito ay gumagana para sa lahat ng mga bata" ay babala flags.

Disiplina sa pagpapatunay:

  1. Paghiwalayin ang claim. Markahan ang bawat factual claim at source sa AI text.
  2. Malayang i-verify ang pinagmulan. Umiiral ba talaga ang pinagmulan? refereed ba ito? Napapanahon ba ito? Tumingin ng diretso.
  3. Tanong sa antas ng ebidensya. Kaso, pag-aaral, sistematikong pagsusuri?
  4. Abangan ang hype. Maging may pag-aalinlangan sa tiyak at mahimalang mga pangako.
  5. Bumalik sa opisyal na mapagkukunan. Ang mga pambansa/internasyonal na alituntunin at literatura na sinuri ng mga kasamahan ang may huling say.
Pansin: Ang paghiling sa isa pang AI na "i-verify" ang isang source na ibinigay ng AI ay hindi pag-verify; Ang parehong mga modelo ay maaaring gumawa ng parehong error. Ang pag-verify ay nangyayari sa pamamagitan ng pagtingin sa pinagmulan mismo (journal, gabay, opisyal na institusyon).
Tip: Kapag nagbubuod ng isang paksa mula sa AI, malinaw na turuan ang "gumawa ng isang pinagmulan; kung hindi ka sigurado, markahan ito bilang 'dapat ma-verify'; kung hindi ka makapagbigay ng tiyak na pinagmulan, huwag ibigay ito." Binabawasan nito ngunit hindi inaalis ang panganib ng mga gawa-gawang mapagkukunan — ibe-verify mo pa rin ito.

Ang pagiging napapanahon, pagiging bago ng impormasyon at salungatan ng interes

Ang isa pang limitasyon ng artificial intelligence ay ang pagiging bago ng impormasyon. Ang mga modelo ng wika ay sinanay sa data hanggang sa isang tiyak na petsa; Ang isang gabay na nagbago mula noon, isang na-update na listahan ng milestone, o isang bagong diskarte ay maaaring wala sa mundo na "alam" ng modelo. Maaaring ipakita ng modelo ang lumang impormasyon bilang kasalukuyan nang hindi sinasabi ito sa iyo. Samakatuwid, lalo na sa mga isyu tulad ng "pinakabago", "pinakabagong gabay", "bagong rekomendasyon", tingnan ang kasalukuyang publikasyon ng opisyal na institusyon, hindi ang modelo. Ang modelo ay nagbibigay ng isang paunang mapa; Ang tunay na pinagmulan na may tatak ng petsa ang may huling say.

Ang isa pang kritikal na filter ay salungatan ng interes. Maaaring may komersyal na interes sa likod ng content na pumupuri sa isang paraan, produkto o programa. Maaaring hindi sinasadyang ulitin ng AI ang wika sa marketing sa data ng pagsasanay at ipasa ang mga claim ng brand o pamamaraan bilang walang pinapanigan na impormasyon. Kapag sinusuri ang isang paghahabol, itanong: sino ang nagsasabi nito at bakit; isang independiyente, pinagmumulan ng peer-review o ang partidong nagbebenta? Ang independiyenteng ebidensya ay hindi nagtataglay ng kaparehong bigat ng claim ng isang tagagawa. Pagdating sa mga bata at pamilya, ang pinakamahusay na proteksyon laban sa komersyal na pagmamanipula ay ang pagtatanong sa antas ng ebidensya at kalayaan ng pinagmulan sa bawat pagkakataon.

Pag-iingat: Ang isang paraan na ipinakita bilang "bago at rebolusyonaryo" ay nagdadala ng dobleng panganib, kapwa sa mga tuntunin ng pagiging bago ng impormasyon at sa mga tuntunin ng salungatan ng interes: alinman sa modelo ay hindi alam ito o alam ito sa wikang marketing. Huwag dalhin ang gayong mga pag-aangkin sa pamilya nang hindi pinatutunayan ang mga ito ng opisyal na patnubay at independiyenteng peer-reviewed na literatura.

Apat na makokopya na prompt

1) Prompt ng secure na buod ng paksa:

Ang iyong tungkulin: draft assistant. Ibuod lang ang sumusunod na paksa para sa isang eksperto: [paksa]. KASANGKAPAN NG SOURCE; Kung hindi ka makapagbigay ng eksaktong pinagmulan, huwag mo itong ibigay. Markahan ang anumang makatotohanang claim na hindi ka sigurado bilang "[dapat ma-verify]". Panghuli, magmungkahi ng 5 termino para sa paghahanap para hanapin ko ang paksang ito sa mga mapagkakatiwalaang mapagkukunan.

2) Prompt sa pagkuha ng pinagmumulan ng pag-claim:

Ilista ang bawat FACTUAL CLAIM (numero, petsa, resulta ng pag-aaral, pinagmulan) nang hiwalay sa teksto sa ibaba. Maglagay ng "independently verified" note sa tabi ng bawat isa. Kung may binanggit na source sa text, ipaalala sa akin na dapat kong suriin kung talagang umiiral ang source. Teksto: [AI output]

3) Pamamaraan ng fashion/pagmamalabis na kontrol:

Suriin ang sumusunod na paglalarawan ng diskarte: Naglalaman ba ito ng mga pagmamalabis o mga pangako ng isang tiyak na lunas ("siguradong gumagaling", "lahat ng bata", "mabilis na gumagaling", "himala"). Lagyan ng tsek ang bawat isa. Tantyahin ang antas ng ebidensya ng diskarte (kaso / pag-aaral / pagsusuri / hindi alam) at magdagdag ng babala na "i-verify mula sa opisyal na pinagmulan." Teksto: [paglalarawan ng diskarte]

4) Prompt ng query sa antas ng ebidensya:

Para sa claim na ito, ilista sa akin ang 5 KRITIKAL NA TANONG na dapat kong itanong kapag gumagawa ng isang mapagkakatiwalaang pagtatasa (hal., kung gaano karaming mga bata ang nasubok, ito ba ay nasuri ng mga kasamahan, ito ba ay kinopya, mayroon bang Turkish sample, mayroon bang salungatan ng interes). Huwag gumawa ng mga sagot; ibigay lang ang mga tanong. Claim: [text]

tatlong mini case

Case 1 — Pinagmulan ng gawa-gawa. Tinanong ng isang eksperto ang AI tungkol sa pagiging epektibo ng isang paraan ng interbensyon. Nagbibigay ang AI ng maayos na buod at nagsasabing "ipinakita ito sa isang 2021 meta-analysis (Demir et al.)." Minarkahan ng eksperto ang pinagmulan gamit ang pangalawang prompt at malayang naghahanap; Walang ganoong meta-analysis. Ang pinagmulan ay gawa-gawa. Hindi ginagamit ng eksperto ang claim hanggang sa ma-verify ito ng makatotohanan, na-review ng mga source.

Kaso 2 — Fashion-paraan. Binanggit ng AI ang isang sikat na paraan sa social media na "nagwawasto sa lahat ng mga pagkaantala sa pag-unlad sa loob ng ilang linggo." Nahuhuli ng eksperto ang pagmamalabis sa ika-3 prompt; Ang katumpakan at paglalahat na ito ay tanda ng mahinang ebidensya. Tumitingin sa mga opisyal na alituntunin at panitikan na sinuri ng mga kasamahan; Ang pamamaraan ay walang matibay na ebidensya upang suportahan ang inaangkin na epekto. Hindi inirerekomenda sa pamilya.

Kaso 3 — Tamang paggamit. Gusto ng isang espesyalista na matuto ng bagong diskarte sa screening. Gumagamit ng AI para i-frame ang paksa at kunin ang mga termino para sa paghahanap gamit ang 1st prompt; pagkatapos ay pumupunta sa mga opisyal na gabay at mga pinagmumulan ng peer-review na may mga tuntuning iyon. Iginuhit ng AI ang mapa, hinukay ng eksperto ang kayamanan mula sa pinagkakatiwalaang pinagmulan. Ang resulta: parehong mabilis at maaasahan.

Mahinang prompt / Malakas na prompt

Mahinang prompt:

Isulat ang mga pinagmumulan ng mga pag-aaral na nagpapatunay na gumagana ang paraan ng pag-unlad na ito.

Problema: Direktang iniimbitahan ang AI na gumawa ng mga mapagkukunan; "patunayan na ito ay gumagana" ay puno ng pagkiling; hindi ibinigay ang pagpapatunay.

Napakahusay na prompt:

Layunin na ibuod ang sumusunod na pamamaraan: [pamamaraan]. Paghiwalayin ang mga kalamangan at kahinaan. KASANGKAPAN NG SOURCE; Kung hindi ka makapagbigay ng eksaktong pinagmulan, huwag mo itong ibigay; Markahan ang bawat factual claim bilang "[dapat ma-verify]". Panghuli, bigyan ako ng 5 termino para sa paghahanap upang maghanap sa peer-reviewed na literatura at 3 tanong upang itanong ang antas ng ebidensya.

Mga karaniwang pagkakamali

  • Pag-asa sa mga gawa-gawang pinagmumulan: Mag-isa, direktang i-verify ang bawat pinagmulan.
  • Napagkakamalang pinagmulan ng katotohanan ang AI: Huwag umasa dito para sa numero/petsa/cutoff na marka.
  • Hindi pinapansin ang pagmamalabis: Ang mga pahayag na "Tiyak na malulutas/himala" ay tanda ng mahinang ebidensya.
  • "Pagpapatunay" na may dalawang modelo: Ang pagtatanong sa isa pang AI ay hindi pagpapatunay.
  • Nilaktawan ang antas ng ebidensya: Ang isang kaso ay walang kaparehong bigat sa isang sistematikong pagsusuri.

Sa buod

Ang artificial intelligence ay isang mahusay na panimulang punto para sa pag-frame, pagpapasimple at pagsisimula ng mga paghahanap para sa kasalukuyang impormasyon; ngunit ito ay hindi isang katotohanan at pinagmumulan ng awtoridad. Maaaring gumawa ng mga pekeng mapagkukunan at istatistika dahil sa hallucination. Independyenteng i-verify ang bawat makatotohanang claim at pinagmulan nang direkta mula sa peer-reviewed na literatura at opisyal na mga alituntunin; tanong sa antas ng ebidensya; Tingnan ang pinalaking at tiyak na mga pangako (paraan ng fashion) bilang isang watawat ng babala. Iginuhit ng AI ang mapa; Hinukay mo ang kayamanan mula sa isang mapagkakatiwalaang pinagmulan.

Gawain ng aplikasyon

Pumili ng kasalukuyang paksa o pamamaraan. Makakuha ng secure na buod at mga termino para sa paghahanap sa 1st prompt. 2. kunin ang mga makatotohanang paghahabol at pinagmumulan mula sa output ng AI nang may prompt; Maghanap ng hindi bababa sa isang independiyenteng mapagkukunan upang suriin kung ito ay totoo o hindi. 3. Magsagawa ng pagmamalabis/fashion-method check gamit ang prompt. Tandaan ang hindi bababa sa isang gawa-gawa/hindi nabe-verify na pinagmulan at isang pinalaking pahayag na makikita mo; pagkatapos ay i-verify ang claim gamit ang isang tunay, maaasahang pinagmulan.

checklist

  • [ ] Minarkahan ko ang bawat makatotohanang paghahabol at pinagmulan.
  • [ ] Mayroon akong independyente at direktang na-verify na mga mapagkukunan (journal/gabay/institusyon).
  • [ ] Kinuwestiyon ko ang antas ng ebidensya (kaso, pag-aaral, pagsusuri).
  • [ ] Tinatrato ko ang pinalaking/tumpak na mga pangako na may babala sa pamamaraan ng fashion.
  • [ ] Ginamit ko ang AI bilang isang framing device, hindi isang pinagmulan ng katotohanan.
  • [ ] Hindi ako gumamit ng ibang AI para sa "pag-verify".
  • [ ] Ibinatay ko ang huling impormasyon sa peer-reviewed literature at opisyal na patnubay.