Ieguvumi:
- Spēt atpazīt, kāpēc mākslīgais intelekts pieļauj kļūdas matemātikā (būdams valodas modelis, nepārbaudot loģiku) un septiņus galvenos kļūdu veidus
- Spēja izskaidrot, kāpēc ir obligāti jāpārbauda katrs solis, saprotot, ka kļūdas tiek izplatītas un precizitāte ir bināra matemātikā.
- Spēja piemērot daudzslāņu verifikācijas disciplīnu, izmantojot veselā saprāta testēšanu, lieluma kārtas pārbaudi, kontrolsummas, savstarpējas pārbaudes un neatkarīgas metodes
Šī vienība padziļina moduļa pamatā esošo ideju: kāpēc un kā mākslīgais intelekts pieļauj kļūdas matemātikā, kādi ir šo kļūdu veidi un kā tās sistemātiski pieķert? Iepriekšējās vienībās mēs esam redzējuši katras tēmas pārbaudes metodes; Šeit mēs apkopojam kļūdu anatomiju zem viena jumta. Lieta ir tāda, ka, skatoties uz AI izvadi, rodas jautājums: "kāda šeit varētu būt kļūda?" Tas ir, lai iegūtu apstiprinājuma mentalitāti, kas domā refleksīvi.
Atgādinājums: halucinācijas ir tad, kad AI pārliecinoši rada informāciju, kas patiesībā nav patiesa. Matemātikā halucinācijas bieži parādās kā "pārliecinošs, bet nepatiess". Kāpēc AI pieļauj kļūdas? Tā kā tas ir valodas modelis, nevis loģikas dzinējs, tas ir, tas veido tekstu ar statistiskiem modeļiem, tas nepārbauda darbību loģisko derīgumu. "Trīsciparu reizinājums" un "derīgs pierādījums" viņam ir uzdevums radīt tāda paša veida tekstu; Tam nav iekšēja mehānisma, kas garantētu precizitāti.
Matemātisko kļūdu anatomija: septiņi veidi
Tālāk sniegtajā veidu sarakstā ir apkopotas visbiežāk sastopamās kļūdas, ar kurām saskarsities mākslīgā intelekta izvadē, un pretlīdzeklis katram no tiem.
Kļūdas veids
Kā tas izskatās
pretlīdzeklis
aritmētiskā kļūda
Skaitļa kļūda, piemēram, 7×8=54
Kalkulators/SymPy
zīmes kļūda
−(a−b)=−a−b
Manuāli atveriet manu vārdu
Izdomāta teorēma
neeksistējoša teorēmas nosaukums
Apstiprinājums no avota
Noteikumu nepareiza piemērošana
Neaizmirstiet ķēdes noteikumu
— Kurš noteikums? jautājums
Izlaists statuss
Ignorējiet negatīvo sakni
Norādiet visus statusus
pierādījumu trūkums
"Tāpēc" bez pamatojuma
Apšauba katru piespēli
Veci/nepareizi dati
novecojusi informācija
iegūšanu
Kāpēc matemātikai ir jāpievērš īpaša uzmanība?
Lielākajā daļā jomu nelielai kļūdai ir nelielas sekas. Matemātikā kļūdas izplatās un pieaug. Zīmes kļūda vienādojuma pirmajā rindā padara nākamās desmit rindas un gala rezultātu pilnīgi nepareizu. Atstarpe pierādījuma vidū padara visu pierādījumu nederīgu. Šis "trauslums" liek pārbaudīt katru matemātikas soli - ar "vispārīgi runājot, šķiet, ka ir taisnība" nepietiek.
Turklāt patiesība matemātikā ir bināra: rezultāts ir patiess vai nepatiess, starp tiem nav. "Astoņdesmit procentu precizitāte" var tikt uzskatīta par pieņemamu teksta kopsavilkumā; Integrālī nav tādas lietas kā "astoņdesmit procenti pareizi" — vai nu tas ir pareizs rezultāts, vai nav. Šī divējāda būtība padara verifikāciju gan kritiskāku, gan (par laimi) iespējamu: rezultāts vai nu iztur pārbaudi, vai ne.
Soli pa solim: sistemātiskas pārbaudes disciplīna
1. Apstipriniet katru skaitlisko rezultātu ar rīku. Nekad neatstājiet aritmētiku paļauties uz AI; SymPy, kalkulators vai ar roku.
2. Pārbaudiet katru simbolisko rezultātu ar SymPy. Integrāls, atvasināts, vienkāršots, vienādojums — visu var pārbaudīt ar SymPy.
3. Apstipriniet katru teorēmu/formulu no avota. Vai nosaukums un izteiksme ir pareizi? Izdomātas teorēmas ir vismānīgākās lamatas.
4. Apšaubiet katru gadījumu katrā pierādījumā. "Vai tas tiešām izriet no iepriekšējā soļa?" Bāzes gadījums, netiešs pieņēmums, nepilnības pārbaude.
5. Pārbaudiet un pretpārbaudiet. Apgrieztā darbība, aizstāšana, robežstāvokļi, dimensiju analīze.
6. Pārbaudi veselo saprātu. Vai rezultāts ir saprātīgs? Ja varbūtība ir lielāka par 1, ir kļūda, ja garums ir negatīvs.
Padoms: ātrākais veselā saprāta tests ir "lieluma kārtas" pārbaude. Vai rezultāts ir aptuveni paredzētajā diapazonā? Ja klases vidējais rādītājs ir 250 (no 100) vai varbūtība ir 3,5, jūs zināt, ka ir kļūda, neapskatot informāciju. Šī 5 sekunžu pārbaude novērš daudzus smieklīgus rezultātus.
trīs mini futrāļi
1. gadījums — ķēdes zīmes kļūda. Viens students atklāja, ka 8 rindu algebriskajā vienkāršošanā 2. rindā AI veiktā zīmes kļūda tika izplatīta uz nākamajām 6 rindām. Gala rezultāts bija pilnīgi nepareizs, taču AI to prezentēja ar pilnīgu pārliecību. Kad students to no nulles vienkāršoja ar SymPy, tika iegūts pareizs rezultāts un ļāva AI atrast kļūdu 2. rindā. Viena zīme atspēkoja 6 rindiņas.
2. gadījums — veselais saprāts izglāba pārbaudi. Skolotājam bija AI atrisināt varbūtības problēmu; Rezultāts bija 1,4. Neskatoties uz detaļām, skolotājs teica "varbūtība nevar būt lielāka par 1" un meklēja kļūdu: AI bija savācis nediskrētus notikumus, it kā tie būtu diskrēti. Veselā saprāta pārbaude dažu sekunžu laikā norādīja uz kļūdu.
3. gadījums — izdomāta formula. Inženieris AI lūdza "slēgtu formulu" sērijas summai. AI ir devis pārliecinošu formulu. Inženieris pārbaudīja formulu nelielai n vērtībai (n=3) gan ar formulu, gan ar roku pievienošanu; Rezultāti nesakrita. Formula tika izdomāta. Neliela pielāgošana novērsa ļaunprātīgu izmantošanu.
Četras kopējamas veidnes
1) Daudzslāņu verifikācijas pieprasījums:
Jūs atradāt: [rezultāts]. Tagad pārbaudiet to TRĪS dažādos veidos: (1) jaukšana apgrieztā veidā, (2) vienkāršas pielāgotas vērtības pārbaude, (3) kāds kods, ko pārbaudīt ar SymPy (es redzēšu izvadi). Pastāstiet man, vai visi trīs veidi ir konsekventi; Ja nē, parādiet, kurā darbībā ir kļūda.
2) Veselā saprāta/ranga pārbaude:
Jūs atradāt: [rezultāts]. Veiciet veselā saprāta pārbaudi, lai noskaidrotu, vai šis rezultāts ir PAMATOTS: kāda ir sagaidāmā lieluma secība, vai zīme ir pareiza, vai tā ir robežās (piemēram, varbūtība 0–1)? Ja tas nav saprātīgi, izpētiet, kur varētu būt kļūda.
3) Teorēmas/formulas apstiprinājums:
Vai jūsu izmantotā [teorēma/formula] tiešām ir standarta un pareiza? Uzrakstiet tā standarta izteiksmi un nosacījumus. Parādiet kontu, kas to pārbauda ar nelielu paraugu (piemēram, n=3). Ja tā ir izdomāta formula vai kaut kas, par ko neesat pārliecināts, pasakiet to skaidri.
4) Kļūdu režīma diagnostika:
Es zinu, ka tālāk esošajā risinājumā ir kļūda. Pa vienam pārbaudiet šos kļūdu veidus: aritmētika, zīme, nepareizs noteikums, izlaists nosacījums, domēns. Pastāstiet man, kāda veida kļūda tā ir un kurā posmā. Risinājums: [šeit]
Vāja uzvedne / spēcīga uzvedne
Vājš: "Vai šis secinājums ir pareizs?" [ielīmējiet rezultātu]
Rezultāts: AI bieži saka "jā, pareizi" (tendence apstiprināt savu rezultātu); neuzticams, jo nav neatkarīga audita.
Strong: "PĀRBAUDIET šo rezultātu neatkarīgi: izmantojiet citu risinājumu vai pārbaudiet ar SymPy kodu (es izpildīšu kodu). Nesakiet tikai "true/false"; parādiet, kuru pārbaudi veicāt, un rezultātu. Ja kontrolsumma neizdodas, atrodiet kļūdu."
Rezultāts: tiek apstrīdēta neatkarīga kontroles metode; AI nevar akli apstiprināt savu izvadi.
Biežas kļūdas
- Piespiest AI apstiprināt savu izvadi. "Vai tā ir taisnība?" AI bieži apstiprina savu kļūdu; Nepieciešama neatkarīga metode.
- Veselā saprāta pārbaudes izlaišana. Tādas muļķības kā varbūtība, kas lielāka par 1, un garums ir negatīvs, var uztvert, neskatoties uz detaļām.
- Paļaujoties uz vienu pārbaudi. Izmantojiet vairākus neatkarīgus ceļus (jaucējzīmes + SymPy + pielāgotā vērtība) kritiskiem rezultātiem.
- Nepārbauda formulas ar maziem paraugiem. Sagatavotās formulas uzreiz sabrūk pie mazām vērtībām, piemēram, n=2, n=3.
- Aizmirstot, ka kļūda tiek izplatīta. Kļūda pirmajā rindā sabojā visu rezultātu; Ja atrodat kļūdu, pārbaudiet to no sākuma.
Uzmanību: nav korelācijas starp AI pārliecību un tā precizitāti. Teikums, kas šķiet visnoteiktākais, raitākais, "pārliecinātākais", var būt pilnīgi nepareizs. Uzticieties neatkarīgai pārbaudei, nevis signālam. Uzskatiet rezultātu par patiesu tikai tad, kad to apstiprināt ar roku vai ar deterministisku rīku, nevis tāpēc, ka AI saka "pārliecināts".
Rezumējot
AI pieļauj kļūdas matemātikā, jo tas ir valodas modelis, kas statistiski veido tekstu, nevis dzinējs, kas kontrolē loģiku. Kļūdas iedala septiņos galvenajos veidos: aritmētiskā, zīme, izdomāta teorēma, noteikumu nepareiza piemērošana, izlaists reģistrs, pierādījuma atstarpe, novecojuši dati. Matemātikā kļūdas izplatās un pieaug, patiesība ir bināra — tāpēc katrs solis ir jāpārbauda. Sistemātiska disciplīna: pārbaudiet katru skaitlisko rīku, katru simbolisko rezultātu ar SymPy, katru teorēmu no avota, katru pierādījumu iziet ar jautājumu; Izmantojiet pārbaudi, pretpārbaudi un veselā saprāta pārbaudi. AI pārliecība neliecina par precizitāti.
Lietojumprogrammas uzdevums
Izvēlieties problēmu ar vidēja garuma risinājumu (vismaz 6-8 soļi) un ļaujiet AI to atrisināt. Pēc tam veiciet daudzslāņu verifikāciju, izmantojot šīs vienības 1. un 4. modeli: (a) veselā saprāta/ranga pārbaude, (b) pārbaude ar SymPy, (c) īpašas vērtības pārbaude. Pēc tam rindu pa rindiņai izejiet cauri risinājumam, apzināti meklējot kļūdas un pārbaudiet, kurš no septiņiem kļūdu veidiem varētu rasties. Pierakstiet katru atrasto kļūdu kopā ar tās veidu.
kontrolsaraksts
- [ ] Katru skaitlisko rezultātu apstiprināju ar deterministisko rīku.
- [ ] Es pārbaudīju katru simbolisko rezultātu ar SymPy.
- [ ] Es pārbaudīju izmantoto teorēmu/formulu no avota vai ar nelielu piemēru.
- [ ] Es izmantoju veselā saprāta/lieluma kārtas testu.
- [ ] Es to pārbaudīju neatkarīgi (nepaļaujoties uz paša AI apstiprinājumu).
- [ ] Kad atradu kļūdu, es vēlreiz pārbaudīju risinājumu no sākuma.