Dobički:
- Znati prepoznati, zakaj umetna inteligenca dela napake pri matematiki (ker je jezikovni model, ne preverja logike) in sedem glavnih vrst napak
- Sposobnost razlage, zakaj je nujno preveriti vsak korak z razumevanjem, da se napaka širi in je natančnost v matematiki binarna.
- Sposobnost uporabe večplastne discipline preverjanja s testiranjem zdrave pameti, preverjanjem reda velikosti, kontrolnimi vsotami, navzkrižnim preverjanjem in neodvisnimi metodami
Ta enota poglablja idejo v središču modula: zakaj in kako umetna inteligenca dela napake pri matematiki, kakšne so vrste teh napak in kako jih sistematično odkrijemo? V prejšnjih enotah smo videli metode preverjanja za vsako temo; Tukaj združujemo anatomijo napak pod eno streho. Bistvo je, da se, ko pogledate izhod AI, vprašate, "kaj bi lahko bila tukaj napaka?" Gre za pridobitev miselnosti potrjevanja, ki razmišlja refleksno.
Opomnik: halucinacija je, ko AI samozavestno proizvede informacije, ki dejansko niso resnične. V matematiki se halucinacije pogosto pojavljajo v obliki "prepričljive, a lažne". Zakaj AI dela napake? Ker je jezikovni model, ne logični mehanizem - to pomeni, da proizvaja besedilo s statističnimi vzorci, ne preverja logične veljavnosti korakov. "3-mestno množenje" in "veljaven dokaz" sta zanj naloga produciranja iste vrste besedila; Nima notranjega mehanizma, ki bi zagotavljal točnost.
Anatomija matematičnih napak: sedem vrst
Naslednji seznam vrst povzema najpogostejše napake, na katere boste naleteli pri izpisu AI, in protistrup za vsako.
Vrsta napake
Kako izgleda
protistrup
aritmetična napaka
Številska napaka, kot je 7×8=54
Kalkulator/SymPy
napaka znaka
−(a−b)=−a−b
Odpri moje ime ročno
Izmišljeni izrek
neobstoječe ime izreka
Potrditev iz vira
Napačna uporaba pravila
Ne pozabite na pravilo verige
"Katero pravilo?" vprašanje
Preskočeno stanje
Ignorirajte negativni koren
Navedite vsa stanja
vrzel v dokazu
»Zato« brez utemeljitve
Preizpraševanje vsakega prehoda
Stari/napačni podatki
zastarele informacije
pridobivanje virov
Zakaj matematika zahteva posebno pozornost?
Na večini področij ima majhna napaka majhne posledice. V matematiki se napaka širi in raste. Napaka predznaka v prvi vrstici enačbe naredi naslednjih deset vrstic in končni rezultat popolnoma napačne. Vrzel na sredini dokaza naredi celoten dokaz neveljaven. Zaradi te "krhkosti" je treba preveriti vsak korak v matematiki - "na splošno se zdi res" ni dovolj.
Poleg tega je resnica v matematiki binarna: rezultat je resničen ali napačen, vmes ni. "Osemdeset odstotkov natančno" se lahko šteje za sprejemljivo v besedilnem povzetku; V integralu ni "osemdeset odstotkov pravilnega" - ali je pravilen rezultat ali pa ni. Zaradi te dvojne narave je preverjanje bolj kritično in (na srečo) bolj možno: rezultat prestane preverjanje ali pa ne.
Korak za korakom: disciplina sistematičnega preverjanja
1. Vsak numerični rezultat potrdite z orodjem. Nikoli ne zapustite aritmetike in se zanašajte na AI; SymPy, kalkulator ali ročno.
2. Vsak simbolni rezultat preverite s SymPy. Integral, izpeljanka, poenostavitev, enačba – vse je mogoče preveriti s SymPy.
3. Vsak izrek/formulo potrdite iz vira. Ali sta ime in izraz pravilna? Izmišljeni izreki so najbolj zahrbtna past.
4. Podvomite o vsakem pojavu v vsakem dokazu. "Ali to res sledi prejšnjemu koraku?" Osnovni primer, implicitna predpostavka, preverjanje vrzeli.
5. Ček in protikontrola. Inverzna operacija, substitucija, mejna stanja, dimenzijska analiza.
6. Preizkusite zdrav razum. Ali je rezultat razumen? Če je verjetnost večja od 1, je napaka, če je dolžina negativna.
Namig: Najhitrejši zdravorazumski test je preverjanje "reda velikosti". Ali je rezultat približno v pričakovanem območju? Če je povprečje razreda 250 (od 100) ali je verjetnost 3,5, boste vedeli, da gre za napako, ne da bi pogledali podrobnosti. Ta 5-sekundni pregled v kali odpravi številne smešne rezultate.
trije mini kovčki
1. primer – Napaka verižnega znaka. En študent je ugotovil, da se je pri 8-vrstični algebrski poenostavitvi napaka znaka, ki jo je AI naredil v 2. vrstici, razširila na naslednjih 6 vrstic. Končni rezultat je bil popolnoma napačen, vendar ga je AI predstavil s popolnim zaupanjem. Ko ga je študent poenostavil iz nič s SymPy, je bil dosežen pravilen rezultat in je AI lahko našel napako v 2. vrstici. En sam znak je ovrgel 6 vrstic.
Primer 2 – Zdrava pamet je rešila test. Učitelj je dal AI rešiti problem verjetnosti; Rezultat je bil 1,4. Ne da bi pogledal podrobnosti, je učitelj rekel, da "verjetnost ne more biti večja od 1" in poiskal napako: umetna inteligenca je zbrala nediskretne dogodke, kot da bi bili diskretni. Test zdrave pameti je napako pokazal v nekaj sekundah.
Primer 3 – Izdelana formula. Inženir je prosil AI za "zaprto formulo" za serijsko vsoto. AI je dal prepričljivo formulo. Inženir je preizkusil formulo za majhno vrednost n (n=3) s formulo in ročnim seštevanjem; Rezultati se niso ujemali. Formula je bila sestavljena. Majhna prilagoditev je preprečila ure zlorabe.
Štiri predloge za kopiranje
1) Zahteva za večplastno preverjanje:
Našli ste: [rezultat]. Zdaj preverite to na TRI različne načine: (1) zgoščevanje v obratni smeri, (2) testiranje preproste vrednosti po meri, (3) nekaj kode za preverjanje s SymPy (bom videl rezultat). Povej mi, ali so vsi trije načini skladni; Če ni, pokažite, kateri korak ima napako.
2) Preizkus zdrave pameti/razvrstitve:
Našli ste: [rezultat]. Preizkusite zdrav razum, da ugotovite, ali je ta rezultat RAZUMEN: kakšen je pričakovani vrstni red velikosti, ali je znak pravilen, ali je v mejah (npr. verjetnost 0-1)? Če ni razumno, raziščite, kje bi lahko bila napaka.
3) Potrditev izreka/formule:
Ali je [izrek/formula], ki jo uporabljate, res standardna in pravilna? Zapišite njegov standardni izraz in pogoje. Pokažite račun, ki to testira z majhnim vzorcem (npr. n=3). Če gre za izmišljeno formulo ali nekaj, o čemer niste prepričani, to jasno povejte.
4) Diagnoza načina napake:
Vem, da je v spodnji rešitvi napaka. Preverite te vrste napak eno za drugo: aritmetika, znak, napačno pravilo, preskočen pogoj, domena. Povejte mi, za katero vrsto napake gre in na katerem koraku. Rešitev: [tukaj]
Šibek poziv/močan poziv
Slab: "Ali je ta sklep pravilen?" [prilepite rezultat]
Rezultat: umetna inteligenca pogosto pravi "da, prav" (nagnjenost k potrditvi lastnega rezultata); nezanesljivo, ker ni neodvisne revizije.
Močno: "PREVERITE ta rezultat na neodvisen način: uporabite drugačno rešitev ali preverite s kodo SymPy (zagnal bom kodo). Ne recite samo 'true/false'; pokažite, katero preverjanje ste opravili, in rezultat. Če kontrolna vsota ne uspe, poiščite napako."
Rezultat: Neodvisna metoda nadzora je izpodbijana; Umetni inteligenci je preprečeno, da bi slepo odobril svoj rezultat.
Pogoste napake
- Pridobiti AI, da potrdi lastne rezultate. "Je to res?" AI pogosto potrdi lastno napako; Potrebna je neodvisna metoda.
- Preskok testa zdrave pameti. Neumnosti, kot je verjetnost, večja od 1, in negativna dolžina, lahko ujamete, ne da bi pogledali podrobnosti.
- Zanašanje na eno samo preverjanje. Za kritične rezultate uporabite več neodvisnih poti (razpršitve + SymPy + vrednost po meri).
- Ne preizkušanje formul z majhnimi vzorci. Izmišljene formule se takoj zrušijo pri majhnih vrednostih, kot sta n=2, n=3.
- Pozabljamo, da se hrošč razmnožuje. Napaka v prvi vrstici pokvari celoten rezultat; Če najdete napako, jo preverite od začetka.
Pozor: Med zaupanjem AI in njegovo natančnostjo ni povezave. Stavek, ki se zdi najbolj odločen, najbolj tekoč, najbolj "gotov", je lahko povsem napačen. Zaupajte neodvisnemu preverjanju, ne tonu. Rezultat upoštevajte kot "resničnega" le, če ga potrdite ročno ali z determinističnim orodjem - ne zato, ker AI pravi "gotovo".
Če povzamem
Umetna inteligenca dela napake v matematiki, ker je jezikovni model, ki statistično ustvarja besedilo, in ne motor, ki nadzoruje logiko. Napake delimo na sedem glavnih vrst: aritmetika, predznak, izmišljeni izrek, napačna uporaba pravila, izpuščena velika črka, dokazna vrzel, zastareli podatki. V matematiki se napaka širi in raste, resnica je binarna — zato je treba vsak korak preveriti. Sistematična disciplina: preverite vsako numerično orodje, vsak simbolni rezultat s SymPy, vsak izrek iz vira, vsak dokaz prestane s preizpraševanjem; Uporabite preverjanje, nasprotno preverjanje in testiranje zdrave pameti. Samozavest AI ni dokaz točnosti.
Aplikacijska naloga
Izberite problem s srednje dolgo rešitvijo (vsaj 6-8 korakov) in naj ga AI reši. Nato izvedite večplastno preverjanje z uporabo vzorcev 1 in 4 iz te enote: (a) testiranje zdrave pameti/razvrstitve, (b) preverjanje s SymPy, (c) testiranje posebne vrednosti. Nato preglejte rešitev vrstico za vrstico z namenom »lov na hrošče« in preverite, katera od sedmih vrst napak se lahko pojavi. Zabeležite vsako napako, ki jo najdete, skupaj z njeno vrsto.
kontrolni seznam
- [ ] Vsak numerični rezultat sem potrdil z determinističnim orodjem.
- [ ] Vsak simbolni rezultat sem preveril s SymPy.
- [ ] Preveril sem uporabljeni izrek/formulo iz vira ali z majhnim primerom.
- [ ] Uporabil sem test zdrave pameti/vrste velikosti.
- [ ] Revidiral sem ga na neodvisen način (brez zanašanja na lastno odobritev AI).
- [ ] Ko sem našel napako, sem rešitev znova preveril od začetka.