Unità 9 / 11

Alluċinazzjoni, Żbalji Matematiċi Komuni, u d-Dixxiplina tal-Verifika

Qligħ:

  • Ikunu kapaċi jagħrfu għaliex l-intelliġenza artifiċjali tagħmel żbalji fil-matematika (li tkun mudell tal-lingwa, ma tiċċekkjax il-loġika) u s-seba’ tipi ewlenin ta’ żbalji
  • Kapaċità li tispjega għaliex huwa imperattiv li tivverifika kull pass billi tifhem li l-iżball huwa propagat u l-eżattezza hija binarja fil-matematika.
  • Kapaċità li tapplika dixxiplina ta' verifika b'ħafna saffi permezz ta' ttestjar tas-sens komun, verifika ta' ordni ta' kobor, checksums, kontroverifika u metodi indipendenti

Din l-unità tapprofondixxi l-idea fil-qalba tal-modulu: għaliex u kif l-AI tagħmel żbalji fil-matematika, x'inhuma t-tipi ta 'dawn l-iżbalji u kif naqbduhom b'mod sistematiku? F'unitajiet preċedenti, rajna metodi ta 'verifika għal kull suġġett; Hawnhekk niġbru l-anatomija tal-iżbalji taħt saqaf wieħed. Il-punt hu li meta tħares lejn output tal-AI tistaqsi "x'jista' jkun żball hawn?" Huwa biex tikseb mentalità ta’ validazzjoni li taħseb b’mod riflessiv.

Tfakkira: alluċinazzjoni hija meta AI b'fiduċja tipproduċi informazzjoni li fil-fatt mhix vera. Fil-matematika, l-alluċinazzjoni spiss tidher fil-forma ta '"persważiva iżda falza." Għaliex l-AI tagħmel żbalji? Minħabba li huwa mudell tal-lingwa, mhux magna loġika - jiġifieri, jipproduċi test b'mudelli statistiċi, ma jiċċekkjax il-validità loġika tal-passi. "Multiplikazzjoni ta' 3 ċifri" u "prova valida" huma għalih il-kompitu li jipproduċi l-istess tip ta' test; M'għandu l-ebda mekkaniżmu intern biex jiggarantixxi l-eżattezza.

Anatomija ta 'żbalji matematiċi: seba' tipi

Il-lista ta 'tipi li ġejja tiġbor fil-qosor l-iżbalji l-aktar komuni li tiltaqa' magħhom fl-output tal-AI u l-antidotu għal kull wieħed.

Tip ta' żball

Kif jidher

antidotu

żball aritmetiku

Żball tan-numru bħal 7×8=54

Kalkulatur/SymPy

żball tas-sinjal

−(a−b)=−a−b

Iftaħ ismi manwalment

Teorema magħmula

isem teorema ineżistenti

Konferma mis-sors

Applikazzjoni ħażina tar-regola

Tinsiex ir-regola tal-katina

"Liema regola?" mistoqsija

Status maqbuż

Injora l-għerq negattiv

Elenka l-istatus kollha

nuqqas ta' prova

"Għalhekk" mingħajr ġustifikazzjoni

Interrogazzjoni kull pass

Data antika/skorretta

informazzjoni skaduta

provenjenza

Għaliex il-matematika teħtieġ attenzjoni speċjali?

F'ħafna oqsma, żball żgħir għandu konsegwenza żgħira. Fil-matematika, l-iżball jinfirex u jikber. Żball tas-sinjal fl-ewwel linja ta 'ekwazzjoni jagħmel l-għaxar linji li jmiss u r-riżultat finali kompletament ħażin. Lakuna fin-nofs ta' prova tagħmel il-prova kollha invalida. Din il-"fraġilità" tagħmilha meħtieġa li jiġi vverifikat kull pass fil-matematika - "b'mod ġenerali jidher veru" mhuwiex biżżejjed.

Barra minn hekk, il-verità fil-matematika hija binarja: riżultat huwa jew veru jew falz, m'hemmx bejniethom. "Tmenin fil-mija preċiża" tista' titqies aċċettabbli f'sommarju ta' test; M'hemm l-ebda ħaġa bħal "tmenin fil-mija korretta" f'integral—jew huwa r-riżultat korrett jew le. Din in-natura doppja tagħmel il-verifika kemm aktar kritika kif ukoll (fortunatament) aktar possibbli: ir-riżultat jew jgħaddi mill-verifika jew le.

Pass pass: id-dixxiplina tal-verifika sistematika

1. Ikkonferma kull riżultat numeriku b'għodda. Qatt tħalli l-aritmetika biex tistrieħ fuq l-AI; SymPy, kalkulatur jew bl-idejn.

2. Iċċekkja kull riżultat simboliku b'SymPy. Integral, derivattiv, simplifikazzjoni, ekwazzjoni—kollha tista' tiġi vverifikata b'SymPy.

3. Ikkonferma kull teorema/formula mis-sors. L-isem u l-espressjoni huma korretti? It-teoremi magħmula huma l-aktar nassa insidjuża.

4. Mistoqsija kull okkorrenza f'kull prova. "Dan verament isegwi mill-pass preċedenti?" Każ bażi, suppożizzjoni impliċita, kontroll tal-vojt.

5. Iċċekkja u kontroverifika. Operazzjoni inversa, sostituzzjoni, stati limitu, analiżi dimensjonali.

6. Poġġiha għat-test tas-sens komun. Ir-riżultat huwa raġonevoli? Jekk probabbiltà hija akbar minn 1, ikun hemm żball jekk tul ikun negattiv.

Ħjiel: L-eħfef test tas-sens komun huwa l-kontroll tal-"ordni tal-kobor". Ir-riżultat huwa bejn wieħed u ieħor fil-medda mistennija? Jekk medja tal-klassi hija 250 (minn 100), jew probabbiltà hija 3.5, tkun taf li hemm żball mingħajr ma tħares lejn id-dettalji. Dan il-kontroll ta '5 sekondi jelimina ħafna riżultati redikoli fil-bud.

tliet każijiet żgħar

Każ 1 — Żball tas-sinjal tal-katina. Student wieħed sab li f'simplifikazzjoni alġebrin ta '8 linji, żball ta' sinjal li l-AI magħmula fil-linja 2 propagat għas-6 linji li jmiss. Ir-riżultat finali kien kompletament żbaljat, iżda l-AI ppreżentah b'kunfidenza sħiħa. Meta l-istudent issimplifikah mill-bidu b'SymPy, inkiseb ir-riżultat korrett u ppermetta lill-AI biex issib l-iżball fit-2 linja. Sinjal wieħed ikkonfuta 6 linji.

Każ 2 — Is-sens komun salva t-test. Għalliem kellu AI issolvi problema ta' probabbiltà; Ir-riżultat kien 1.4. Mingħajr ma ħares lejn id-dettalji, l-għalliem qal "il-probabbiltà ma tistax tkun akbar minn 1" u fittex l-iżball: l-AI kienet ġabret avvenimenti mhux diskreti bħallikieku kienu diskreti. Test tas-sens komun indika l-iżball fi ftit sekondi.

Każ 3 — Formula magħmula. Inġinier talab lill-AI għal "formula magħluqa" għal somma serje. AI tat formula konvinċenti. L-inġinier ittestja l-formula għal valur żgħir ta 'n (n=3) kemm bil-formula kif ukoll biż-żieda tal-idejn; Ir-riżultati ma qablux. Il-formula kienet magħmula. Ftit tweaking ipprevjeni sigħat ta 'użu ħażin.

Erba' mudelli li jistgħu jiġu kkupjati

1) Talba ta' verifika b'ħafna saffi:

Inti sibt: [riżultat]. Issa tivverifika dan TLIET modi differenti: (1) hashing bil-maqlub, (2) ttestjar ta 'valur tad-dwana sempliċi, (3) xi kodiċi biex tiċċekkja ma' SymPy (nkun nara l-output). Għidli jekk it-tliet modi humiex konsistenti; Jekk le, uri liema pass għandu żball.

2) Test tas-sens komun/rank:

Inti sibt: [riżultat]. Poġġiha għat-test tas-sens komun biex tara jekk dan ir-riżultat huwiex RAĠJONIBBLI: x'inhu l-ordni ta' kobor mistenni, is-sinjal huwa korrett, huwa fil-limiti (eż. probabbiltà 0-1)? Jekk ma jkunx raġonevoli, investiga fejn jista' jkun hemm żball.

3) Teorema/konferma tal-formula:

It-[teorema/formula] li qed tuża hija verament standard u korretta? Ikteb l-espressjoni u l-kundizzjonijiet standard tagħha. Uri kont li jittestja dan b’kampjun żgħir (eż. n=3). Jekk hija formula magħmula jew xi ħaġa li m'intix ċert dwarha, għidha b'mod ċar.

4) Dijanjosi tal-mod ta 'żball:

Naf li hemm bug fis-soluzzjoni hawn taħt. Iċċekkja dawn it-tipi ta' żbalji wieħed wieħed: aritmetika, sinjal, regola ħażina, kundizzjoni maqbuża, dominju. Għidli x'tip ta' żball huwa u f'liema pass. Soluzzjoni: [hawn]

Pront dgħajjef / Pront qawwi

Dgħajjef: "Din il-konklużjoni hija korretta?" [pejst ir-riżultat]
Riżultat: AI spiss tgħid "yeah right" (tendenza li tikkonferma l-output tagħha stess); mhux affidabbli minħabba li m'hemm l-ebda verifika indipendenti.
Qawwija: "Iċċekkja dan ir-riżultat b'mod indipendenti: uża soluzzjoni differenti jew iċċekkja bil-kodiċi SymPy (nagħmel il-kodiċi). Tgħidx biss 'veru/falz'; uri liema kontroll għamilt u r-riżultat. Jekk iċ-checksum ifalli, sib l-iżball."
Riżultat: Metodu ta' kontroll indipendenti huwa kkontestat; L-AI hija pprevenuta milli tapprova bl-addoċċ l-output tagħha stess.

Żbalji komuni

  • Li tikseb l-AI biex tivvalida l-output tagħha stess. "Dan huwa minnu?" L-AI ħafna drabi tikkonferma l-iżball tagħha stess; Huwa meħtieġ metodu indipendenti.
  • Taqbeż it-test tas-sens komun. Nonsense bħal probabbiltà akbar minn 1 u tul li jkun negattiv jista 'jinqabad mingħajr ma tħares lejn id-dettalji.
  • Jiddependu fuq verifika waħda. Uża mogħdijiet indipendenti multipli (hashes + SymPy + valur tad-dwana) fuq riżultati kritiċi.
  • Formuli li ma jittestjawx b'kampjuni żgħar. Formuli magħmulin jikkollassaw immedjatament f'valuri żgħar bħal n=2, n=3.
  • Jinsa li l-bug huwa propagat. Żball fl-ewwel linja jikkorrompi r-riżultat kollu; Jekk issib żball, iċċekkjah mill-bidu.
Attenzjoni: M'hemm l-ebda korrelazzjoni bejn il-kunfidenza tal-AI u l-eżattezza tagħha. Is-sentenza li tidher l-aktar determinata, l-aktar fluwenti, l-aktar “ċerta” tista’ tkun kompletament żbaljata. Trust verifika indipendenti, mhux ton. Ikkunsidra biss riżultat "veru" meta tikkonfermah bl-idejn jew b'għodda deterministika - mhux għax l-AI tgħid "żgur."

Fil-qosor

L-AI tagħmel żbalji fil-matematika għax hija mudell tal-lingwa li statistikament jipproduċi test, mhux magna li tikkontrolla l-loġika. L-iżbalji jaqgħu f'seba' tipi ewlenin: aritmetika, sinjal, teorema magħmula, applikazzjoni ħażina tar-regola, każ imħalla barra, vojt fil-provi, data skaduta. Fil-matematika, l-iżball jinfirex u jikber, il-verità hija binarja - għalhekk kull pass irid jiġi vverifikat. Dixxiplina sistematika: ivverifika kull għodda numerika, kull riżultat simboliku b'SymPy, kull teorema mis-sors, kull prova tgħaddi mill-interrogazzjoni; Applika kontroll, kontro-kontroll u ttestjar tas-sens komun. Il-fiduċja tal-AI mhijiex evidenza ta 'eżattezza.

Kompitu ta' applikazzjoni

Agħżel problema b'soluzzjoni ta 'tul medju (mill-inqas 6-8 passi) u qabbad lill-AI issolviha. Imbagħad agħmel verifika b'ħafna saffi billi tuża l-mudelli 1 u 4 minn din l-unità: (a) ittestjar tas-sens komun/rank, (b) verifika b'SymPy, (c) ttestjar fuq valur speċjali. Imbagħad jgħaddu s-soluzzjoni linja b'linja b'għajn deliberata "bug hunt" u iċċekkja liema mis-seba 'tipi ta' żbalji jista 'jseħħ. Irreġistra kull żball li ssib flimkien mat-tip tiegħu.

lista ta' kontroll

  • [ ] Ikkonfermajt kull riżultat numeriku b'għodda deterministika.
  • [ ] Iċċekkja kull riżultat simboliku b'SymPy.
  • [ ] Ivverifikajt it-teorema/formula użata mis-sors jew b'eżempju żgħir.
  • [ ] Applikajt it-test tas-sens komun/ordni tal-kobor.
  • [ ] Ivverifikajtha b'mod indipendenti (mingħajr ma noqgħod fuq l-approvazzjoni tal-AI stess).
  • [ ] Meta sibt żball, erġajt iċċekkja s-soluzzjoni mill-bidu.