Pelnas:
- Gebėti atpažinti, kodėl dirbtinis intelektas daro klaidas matematikoje (būdamas kalbos modeliu, netikrina logikos) ir septynis pagrindinius klaidų tipus
- Gebėjimas paaiškinti, kodėl būtina patikrinti kiekvieną žingsnį, suprantant, kad klaida plinta, o tikslumas yra dvejetainis matematikoje.
- Gebėjimas taikyti daugiasluoksnę tikrinimo discipliną, atliekant sveiko proto testavimą, tikrinant dydžių tvarką, kontrolines sumas, kryžminį patikrinimą ir nepriklausomus metodus.
Šis skyrius pagilina modulio esmę: kodėl ir kaip dirbtinis intelektas daro klaidas matematikoje, kokios yra šių klaidų rūšys ir kaip jas sistemingai sugauti? Ankstesniuose skyriuose matėme kiekvienos temos tikrinimo metodus; Čia po vienu stogu surinkome klaidų anatomiją. Esmė ta, kad kai žiūrite į AI išvestį, kyla klausimas: „kas čia gali būti klaida? Tai yra įgyti refleksyviai mąstantį patvirtinimo mentalitetą.
Priminimas: haliucinacija yra tada, kai AI užtikrintai pateikia informaciją, kuri iš tikrųjų nėra tiesa. Matematikoje haliucinacijos dažnai pasireiškia „įtikinamos, bet klaidingos“ forma. Kodėl AI daro klaidas? Kadangi tai kalbos modelis, o ne loginis variklis – tai yra, jis sukuria tekstą su statistiniais šablonais, netikrina veiksmų loginio pagrįstumo. „3 skaitmenų daugyba“ ir „galiojantis įrodymas“ jam yra užduotis sukurti tos pačios rūšies tekstą; Jame nėra vidinio mechanizmo, užtikrinančio tikslumą.
Matematinių klaidų anatomija: septyni tipai
Toliau pateiktame tipų sąraše apibendrinamos dažniausiai pasitaikančios AI išvesties klaidos ir kiekvienos jų priešnuodis.
Klaidos tipas
Kaip atrodo
priešnuodis
aritmetinė klaida
Skaičių klaida, pvz., 7 × 8 = 54
Skaičiuoklė/SymPy
ženklo klaida
−(a−b)=−a−b
Atidarykite mano vardą rankiniu būdu
Sugalvota teorema
neegzistuojantis teoremos pavadinimas
Patvirtinimas iš šaltinio
Neteisingas taisyklės taikymas
Nepamirškite grandinės taisyklės
— Kurią taisyklę? klausimas
Praleista būsena
Ignoruokite neigiamą šaknį
Išvardykite visas būsenas
įrodymų spraga
„Todėl“ be pagrindo
Kvestionuoja kiekvieną praėjimą
Seni / neteisingi duomenys
pasenusi informacija
tiekimas
Kodėl matematikai reikia ypatingo dėmesio?
Daugumoje sričių nedidelė klaida turi nedidelę pasekmę. Matematikoje klaidos plinta ir auga. Ženklo klaida pirmoje lygties eilutėje paverčia kitas dešimt eilučių ir galutinį rezultatą visiškai neteisingai. Tarpas įrodymo viduryje daro visą įrodymą negaliojantį. Dėl šio „trapumo“ būtina patikrinti kiekvieną matematikos žingsnį – „paprastai kalbant atrodo, kad tai tiesa“ nepakanka.
Be to, tiesa matematikoje yra dvejetainė: rezultatas yra teisingas arba klaidingas, tarp jų nėra. „Aštuoniasdešimties procentų tikslumas“ gali būti laikomas priimtinu teksto santraukoje; Integrale nėra tokio dalyko kaip „aštuoniasdešimt procentų teisinga“ – arba tai teisingas rezultatas, arba ne. Dėl šios dvejopos prigimties patikrinimas tampa kritiškesnis ir (laimei) labiau įmanomas: rezultatas arba praeina patikrinimą, arba ne.
Žingsnis po žingsnio: sistemingo tikrinimo disciplina
1. Kiekvieną skaitinį rezultatą patvirtinkite įrankiu. Niekada nepalikite aritmetikos pasikliauti DI; SymPy, skaičiuotuvu arba ranka.
2. Patikrinkite kiekvieną simbolinį rezultatą su SymPy. Integralas, išvestinė, supaprastinta, lygtis – visa tai galima patikrinti naudojant SymPy.
3. Patvirtinkite kiekvieną teoremą/formulę iš šaltinio. Ar teisingas pavadinimas ir išraiška? Sugalvotos teoremos yra patys klastingiausi spąstai.
4. Kvestionuokite kiekvieną įvykį kiekviename įrodyme. „Ar tai tikrai išplaukia iš ankstesnio žingsnio? Bazinis atvejis, numanoma prielaida, spragų patikrinimas.
5. Patikrinkite ir patikrinkite. Atvirkštinis veikimas, pakeitimas, ribinės būsenos, matmenų analizė.
6. Išbandykite sveiką protą. Ar rezultatas pagrįstas? Jei tikimybė yra didesnė nei 1, yra klaida, jei ilgis yra neigiamas.
Užuomina: Greičiausias sveiko proto patikrinimas yra „dydžio eilės“ patikrinimas. Ar rezultatas apytiksliai atitinka tikėtiną diapazoną? Jei klasės vidurkis yra 250 (iš 100) arba tikimybė yra 3,5, jūs žinosite, kad įvyko klaida, nežiūrėję į detales. Šis 5 sekundžių patikrinimas pašalina daugybę juokingų rezultatų.
trys mini dėklai
1 atvejis – grandinės ženklo klaida. Vienas studentas nustatė, kad atliekant 8 eilučių algebrinį supaprastinimą, 2 eilutėje AI padaryta ženklo klaida peraugo į kitas 6 eilutes. Galutinis rezultatas buvo visiškai neteisingas, tačiau dirbtinis intelektas jį pristatė visiškai pasitikėdamas. Kai studentas tai supaprastino nuo nulio su SymPy, buvo gautas teisingas rezultatas ir AI leido rasti klaidą 2-oje eilutėje. Vienas ženklas paneigė 6 eilutes.
2 atvejis – sveikas protas išgelbėjo testą. Mokytojas turėjo AI išspręsti tikimybių problemą; Rezultatas buvo 1,4. Nežiūrėdamas į detales, mokytojas pasakė „tikimybė negali būti didesnė nei 1“ ir ieškojo klaidos: AI surinko nediskrečius įvykius, tarsi jie būtų atskiri. Sveiko proto testas klaidą nustatė per kelias sekundes.
3 atvejis – Sugalvota formulė. Inžinierius paprašė AI „uždarosios formulės“ serijinei sumai. AI pateikė įtikinamą formulę. Inžinierius išbandė mažos n reikšmės formulę (n=3) ir formule, ir pridėdamas ranka; Rezultatai nesutapo. Formulė buvo sugalvota. Šiek tiek pakeitus išvengta netinkamo naudojimo valandų.
Keturi kopijuojami šablonai
1) kelių sluoksnių patvirtinimo užklausa:
Radote: [rezultatas]. Dabar patikrinkite tai TRYS skirtingais būdais: (1) maišos nustatymas atvirkštine tvarka, (2) paprastos pasirinktinės vertės testavimas, (3) tam tikras kodas, kurį reikia patikrinti naudojant SymPy (pamatysiu išvestį). Pasakykite man, ar visi trys būdai yra nuoseklūs; Jei ne, parodykite, kuriame veiksme įvyko klaida.
2) Sveiko proto / rango testas:
Radote: [rezultatas]. Išbandykite sveiką protą, kad pamatytumėte, ar šis rezultatas yra PAGRINDAS: kokia numatoma dydžio tvarka, ar ženklas teisingas, ar jis neviršija ribų (pvz., tikimybė 0–1)? Jei tai nėra pagrįsta, ištirkite, kur gali būti klaida.
3) Teoremos / formulės patvirtinimas:
Ar jūsų naudojama [teorema/formulė] tikrai standartinė ir teisinga? Parašykite jos standartinę išraišką ir sąlygas. Parodykite paskyrą, kuri tai patikrina su nedideliu pavyzdžiu (pvz., n = 3). Jei tai sugalvota formulė arba kažkas, dėl ko nesate tikri, pasakykite tai aiškiai.
4) Klaidos režimo diagnostika:
Žinau, kad toliau pateiktame sprendime yra klaida. Patikrinkite šiuos klaidų tipus po vieną: aritmetika, ženklas, neteisinga taisyklė, praleista sąlyga, domenas. Pasakykite man, kokio tipo tai klaida ir kuriame etape. Sprendimas: [čia]
Silpnas raginimas / Stiprus raginimas
Silpnas: "Ar ši išvada teisinga?" [įklijuokite rezultatą]
Rezultatas: AI dažnai sako „taip, teisingai“ (tendencija patvirtinti savo išvestį); nepatikimas, nes nėra nepriklausomo audito.
Stiprus: "PATIKRINTI šį rezultatą nepriklausomai: naudokite kitą sprendimą arba patikrinkite naudodami SymPy kodą (aš paleisiu kodą). Nesakykite tik "teisinga/netiesa"; parodykite, kurį patikrinimą atlikote ir kokį rezultatą. Jei kontrolinė suma nepavyksta, suraskite klaidą."
Rezultatas: užginčytas nepriklausomas kontrolės metodas; AI neleidžiama aklai patvirtinti savo išvesties.
Dažnos klaidos
- Priversti AI patvirtinti savo išvestį. – Ar tai tiesa? DI dažnai patvirtina savo klaidą; Reikalingas nepriklausomas metodas.
- Sveiko proto testo praleidimas. Nesąmones, tokias kaip tikimybė, didesnė nei 1, o ilgis yra neigiamas, galima pagauti nežiūrint į detales.
- Pasikliauti vienu patikrinimu. Kritiniams rezultatams naudokite kelis nepriklausomus kelius (maišos + SymPy + tinkinta vertė).
- Nebando formulių su mažais mėginiais. Sudarytos formulės iš karto susitraukia esant mažoms reikšmėms, tokioms kaip n=2, n=3.
- Pamiršus, kad klaida plinta. Klaida pirmoje eilutėje sugadina visą rezultatą; Jei radote klaidą, patikrinkite ją nuo pat pradžių.
Atsargiai: nėra jokio ryšio tarp AI pasitikėjimo ir jo tikslumo. Sakinys, kuris atrodo ryžtingiausias, sklandžiausias, „tikimiausias“, gali būti visiškai klaidingas. Pasitikėkite nepriklausomu patvirtinimu, o ne tonu. Tik tada, kai patvirtinate ranka arba deterministiniu įrankiu, rezultatas yra „tikras“ – ne todėl, kad AI sako „tikrai“.
Apibendrinant
AI daro klaidų matematikoje, nes tai kalbos modelis, kuris statistiškai sukuria tekstą, o ne logiką valdantis variklis. Klaidos skirstomos į septynis pagrindinius tipus: aritmetika, ženklas, sugalvota teorema, neteisingas taisyklės taikymas, praleistos didžiosios ir mažosios raidės, įrodymo spraga, pasenę duomenys. Matematikoje klaidos plinta ir auga, tiesa yra dvejetainė, todėl kiekvienas žingsnis turi būti patikrintas. Sisteminga disciplina: patikrinkite kiekvieną skaitmeninį įrankį, kiekvieną simbolinį rezultatą su SymPy, kiekvieną teoremą iš šaltinio, kiekvieną įrodymą; Taikykite patikrinimą, priešpriešinį patikrinimą ir sveiko proto testą. AI pasitikėjimas nėra tikslumo įrodymas.
Taikymo užduotis
Pasirinkite vidutinio ilgio (mažiausiai 6–8 žingsnių) sprendimą ir leiskite dirbtiniam intelektui ją išspręsti. Tada atlikite daugiasluoksnį patikrinimą naudodami 1 ir 4 modelius iš šio įrenginio: (a) sveiko proto / rango testavimas, (b) patikrinimas naudojant SymPy, (c) specialios vertės testavimas. Tada eilutę po eilutės eikite per eilutę, tyčia ieškodami klaidų ir patikrinkite, kurios iš septynių klaidų tipų gali atsirasti. Įrašykite kiekvieną rasta klaidą ir jos tipą.
kontrolinis sąrašas
- [ ] Kiekvieną skaitinį rezultatą patvirtinau deterministiniu įrankiu.
- [ ] Kiekvieną simbolinį rezultatą patikrinau su SymPy.
- [ ] Patikrinau naudotą teoremą/formulę iš šaltinio arba nedideliu pavyzdžiu.
- [ ] Aš pritaikiau sveiko proto / dydžio testą.
- [ ] Aš jį patikrinau nepriklausomu būdu (nepasitikėdamas AI patvirtinimu).
- [ ] Radęs klaidą dar kartą patikrinau sprendimą nuo pat pradžių.