Kasu:
- Suuda ära tunda, miks tehisintellekt teeb matemaatikas vigu (on keelemudel, ei kontrolli loogikat) ja seitset peamist veatüüpi
- Oskus selgitada, miks on hädavajalik kontrollida iga sammu, mõistes, et viga levib ja täpsus on matemaatikas binaarne.
- Võimalus rakendada mitmekihilist kontrollimise distsipliini terve mõistuse testimise, suurusjärku kontrollimise, kontrollsummade, ristkontrolli ja sõltumatute meetodite kaudu
See üksus süvendab mooduli keskmes olevat ideed: miks ja kuidas teeb tehisintellekt matemaatikas vigu, millised on nende vigade tüübid ja kuidas neid süstemaatiliselt tabada? Eelmistes üksustes oleme näinud iga teema kontrollimismeetodeid; Siin koondame ühe katuse alla vigade anatoomia. Asi on selles, et tehisintellekti väljundit vaadates tekib küsimus: "mis siin viga võib olla?" See on refleksiivselt mõtleva valideerimismentaliteedi saavutamine.
Meeldetuletus: hallutsinatsioon on siis, kui tehisintellekt toodab enesekindlalt teavet, mis tegelikult ei vasta tõele. Matemaatikas ilmnevad hallutsinatsioonid sageli "veenva, kuid vale" kujul. Miks AI teeb vigu? Kuna see on keelemudel, mitte loogikamootor – see tähendab, et see toodab statistiliste mustritega teksti, ei kontrolli see sammude loogilist kehtivust. "3-kohaline korrutis" ja "kehtiv tõestus" on tema jaoks sama tüüpi teksti loomine; Sellel puudub sisemine mehhanism, mis tagaks täpsuse.
Matemaatiliste vigade anatoomia: seitse tüüpi
Järgmises tüüpide loendis on kokkuvõte kõige levinumad vead, mida tehisintellekti väljundis kohtab, ja nende vastumürk.
Vea tüüp
Kuidas see välja näeb
vastumürk
aritmeetiline viga
Numbriviga nagu 7×8=54
Kalkulaator/SymPy
märgi viga
−(a−b)=−a−b
Avage minu nimi käsitsi
Väljamõeldud teoreem
olematu teoreemi nimi
Kinnitus allikast
Reegli vale rakendamine
Ärge unustage ketireeglit
"Milline reegel?" küsimus
Vahele jäetud olek
Ignoreeri negatiivset juurt
Loetlege kõik olekud
tõendite lünk
"Seega" ilma põhjenduseta
Küsib iga passi
Vanad/valed andmed
aegunud teave
hankimine
Miks vajab matemaatika erilist tähelepanu?
Enamikus valdkondades on väikesel veal väike tagajärg. Matemaatikas vead levivad ja kasvavad. Märgiviga võrrandi esimesel real muudab järgmised kümme rida ja lõpptulemuse täiesti valeks. Tühik tõestuse keskel muudab kogu tõendi kehtetuks. See "haprus" muudab vajalikuks matemaatika iga sammu kontrollimise - "üldiselt tundub tõsi" ei piisa.
Pealegi on tõde matemaatikas binaarne: tulemus on kas tõene või väär, vahepealset pole. "Kaheksakümmend protsenti täpsust" võib pidada vastuvõetavaks tekstikokkuvõttes; Integraalis pole sellist asja nagu "kaheksakümmend protsenti õige" – see kas on õige tulemus või mitte. See kahetine olemus muudab kontrollimise nii kriitilisemaks kui ka (õnneks) võimalikumaks: tulemus kas läbib kontrolli või mitte.
Samm-sammult: süstemaatilise kontrollimise distsipliin
1. Kinnitage iga numbriline tulemus tööriistaga. Ärge kunagi jätke aritmeetikat tehisintellektile tuginema; SymPy, kalkulaator või käsitsi.
2. Kontrollige SymPy abil iga sümboolset tulemust. Integraal, tuletis, lihtsustamine, võrrand – kõike saab kontrollida SymPy abil.
3. Kinnitage iga teoreem/valem allikast. Kas nimi ja väljend on õiged? Väljamõeldud teoreemid on kõige salakavalam lõks.
4. Sea kahtluse alla iga esinemine igas tõestuses. "Kas see tuleneb tõesti eelmisest sammust?" Põhijuhtum, kaudne oletus, lünkade kontroll.
5. Kontrolli ja vastukontroll. Pöördoperatsioon, asendus, piirseisundid, mõõtmete analüüs.
6. Pane see terve mõistuse proovile. Kas tulemus on mõistlik? Kui tõenäosus on suurem kui 1, on negatiivse pikkuse korral viga.
Vihje: kõige kiirem terve mõistuse test on "suurusjärgu" kontroll. Kas tulemus jääb ligikaudu oodatud vahemikku? Kui klassi keskmine on 250 (100-st) või tõenäosus on 3,5, saate aru, et viga on ilma üksikasju vaatamata. See 5-sekundiline kontroll kõrvaldab palju naeruväärseid tulemusi.
kolm minikarpi
Juhtum 1 – ketimärgi viga. Üks õpilane leidis, et 8-realise algebralise lihtsustamise korral levis 2. real tehtud tehisintellekti märgiviga järgmisele 6 reale. Lõpptulemus oli täiesti vale, kuid AI esitas selle täiesti enesekindlalt. Kui õpilane seda SymPy abil nullist lihtsustas, saadi õige tulemus ja võimaldas AI-l leida vea teiselt realt. Üksainus märk lükkas ümber 6 rida.
Juhtum 2 – terve mõistus päästis testi. Õpetaja lasi tehisintellektil lahendada tõenäosusülesande; Tulemuseks oli 1,4. Üksikasju vaatamata ütles õpetaja, et "tõenäosus ei saa olla suurem kui 1" ja otsis viga: AI oli kogunud mittediskreetseid sündmusi, nagu oleksid need diskreetsed. Terve mõistuse test näitas vea sekunditega.
3. juhtum – väljamõeldud valem. Insener küsis AI-lt seeriasumma jaoks "suletud valemit". AI on andnud veenva valemi. Insener testis valemit väikese väärtuse n jaoks (n=3) nii valemi kui ka käsitsi liitmise teel; Tulemused ei klappinud. Valem mõeldi välja. Väike näpistamine hoidis ära tundidepikkuse väärkasutamise.
Neli kopeeritavat malli
1) Mitmekihiline kinnitustaotlus:
Leidsite: [tulemus]. Nüüd kontrollige seda KOLM erineval viisil: (1) räsimine vastupidises järjekorras, (2) lihtsa kohandatud väärtuse testimine, (3) mõni kood, mida SymPy abil kontrollida (ma näen väljundit). Ütle mulle, kas kõik kolm viisi on kooskõlas; Kui ei, siis näidake, millises etapis on viga.
2) Terve mõistuse/järgu test:
Leidsite: [tulemus]. Kas see tulemus on MÕISTLIK, tehke seda terve mõistuse testiga: milline on eeldatav suurusjärk, kas märk on õige, kas see on piirides (nt tõenäosus 0-1)? Kui see pole mõistlik, uurige, kus võib viga olla.
3) Lause/valemi kinnitus:
Kas teie kasutatav [teoreem/valem] on tõesti standardne ja õige? Kirjutage selle standardavaldis ja tingimused. Näidake kontot, mis testib seda väikese valimiga (nt n=3). Kui see on väljamõeldud valem või midagi, milles te pole kindel, öelge see selgelt.
4) Vearežiimi diagnostika:
Tean, et allolevas lahenduses on viga. Kontrollige neid veatüüpe ükshaaval: aritmeetika, märk, vale reegel, vahele jäetud tingimus, domeen. Ütle mulle, mis tüüpi viga see on ja millisel etapil. Lahendus: [siin]
Nõrk viip / Tugev viip
Nõrk: "Kas see järeldus on õige?" [kleebi tulemus]
Tulemus: AI ütleb sageli "jah, õige" (kalduvus kinnitada oma väljundit); ebausaldusväärne, kuna puudub sõltumatu audit.
Tugev: "KONTROLLIGE seda tulemust iseseisvalt: kasutage teist lahendust või kontrollige SymPy koodiga (käivitan koodi). Ärge öelge lihtsalt "tõene/väär"; näidake, millise kontrolli tegite ja tulemust. Kui kontrollsumma ebaõnnestub, leidke viga."
Tulemus: sõltumatu kontrollimeetod on vaidlustatud; AI-l ei lubata oma väljundit pimesi heaks kiita.
Levinud vead
- AI panemine oma väljundit valideerima. "Kas see on tõsi?" AI kinnitab sageli omaenda viga; Vajalik on sõltumatu meetod.
- Terve mõistuse testi vahelejätmine. Sellise jama, nagu tõenäosus, mis on suurem kui 1, ja pikkus on negatiivne, saab tabada ilma detaile vaatamata.
- Tuginedes ühele kinnitusele. Kasutage kriitiliste tulemuste jaoks mitut sõltumatut teed (räsid + SymPy + kohandatud väärtus).
- Ei testi valemeid väikeste proovidega. Koostatud valemid varisevad kohe kokku väikeste väärtuste korral, nagu n=2, n=3.
- Unustades, et viga levib. Viga esimesel real rikub kogu tulemuse; Kui leiate vea, kontrollige seda algusest peale.
Ettevaatust: AI usaldusväärsuse ja selle täpsuse vahel puudub seos. Lause, mis tundub kõige kindlam, ladusam, kõige "kindlam", võib väga hästi olla täiesti vale. Usalda sõltumatut kinnitust, mitte tooni. Pidage tulemust tõeseks ainult siis, kui kinnitate selle käsitsi või deterministliku tööriistaga - mitte sellepärast, et tehisintellekt ütleb "kindlasti".
Kokkuvõttes
AI teeb matemaatikas vigu, sest see on keelemudel, mis statistiliselt toodab teksti, mitte loogikat kontrolliv mootor. Vead jagunevad seitsmeks peamiseks tüübiks: aritmeetika, märk, väljamõeldud teoreem, reegli valesti rakendamine, väljajäetud suurtähtede, tõestuse lünk, aegunud andmed. Matemaatikas vead levivad ja kasvavad, tõde on binaarne – seega tuleb iga samm kontrollida. Süstemaatiline distsipliin: kontrollige SymPy abil iga numbrilist vahendit, iga sümboolset tulemust, iga allika teoreemi, iga tõestust küsitledes; Rakendage kontrolli, vastukontrolli ja terve mõistuse testimist. AI enesekindlus ei tõenda täpsust.
Rakenduse ülesanne
Valige keskmise pikkusega (vähemalt 6-8 sammu) lahendusega ülesanne ja laske tehisintellektil see lahendada. Seejärel tehke mitmekihiline kontrollimine, kasutades selle üksuse mustreid 1 ja 4: (a) terve mõistuse/järgu testimine, (b) kontrollimine SymPy abil, (c) eriväärtuse testimine. Seejärel läbige lahendus rida-realt sihiliku "vigajahi" pilguga ja kontrollige, millised seitsmest veatüübist võivad ilmneda. Registreerige iga leitud viga koos selle tüübiga.
kontrollnimekiri
- [ ] Iga arvulise tulemuse kinnitasin deterministliku tööriistaga.
- [ ] Kontrollisin SymPy abil iga sümboolset tulemust.
- [ ] Kontrollisin kasutatud teoreemi/valemit allikast või väikese näitega.
- [ ] Rakendasin terve mõistuse/suurusjärgu testi.
- [ ] Auditeerisin seda sõltumatult (ilma tehisintellekti enda heakskiidule tuginemata).
- [ ] Kui leidsin vea, kontrollisin lahendust algusest peale uuesti.