Dobici:
- Biti u stanju prepoznati zašto umjetna inteligencija griješi u matematici (što je jezički model, a ne provjerava logiku) i sedam glavnih tipova grešaka
- Sposobnost da se objasni zašto je imperativ provjeriti svaki korak razumijevanjem da se greška propagira i da je tačnost binarna u matematici.
- Sposobnost primjene višeslojne discipline verifikacije kroz testiranje zdravog razuma, provjeru reda veličine, kontrolne zbrojeve, unakrsnu provjeru i nezavisne metode
Ova jedinica produbljuje ideju u srcu modula: zašto i kako AI pravi greške u matematici, koje su vrste ovih grešaka i kako ih sistematski hvatamo? U prethodnim jedinicama, vidjeli smo metode provjere za svaku temu; Ovdje skupljamo anatomiju grešaka pod jednim krovom. Poenta je da kada pogledate AI izlaz pitate se "šta bi tu mogla biti greška?" To je stjecanje mentaliteta validacije koji refleksivno razmišlja.
Podsjetnik: halucinacija je kada AI pouzdano proizvodi informacije koje zapravo nisu istinite. U matematici se halucinacije često pojavljuju u obliku "uvjerljivog, ali lažnog". Zašto AI pravi greške? Budući da je to jezički model, a ne logički mehanizam – to jest, proizvodi tekst sa statističkim obrascima, ne provjerava logičku valjanost koraka. Za njega su "3-cifreno množenje" i "ispravan dokaz" zadatak da proizvede istu vrstu teksta; Nema interni mehanizam koji garantuje tačnost.
Anatomija matematičkih grešaka: sedam vrsta
Sljedeća lista tipova sažima najčešće greške na koje ćete naići u AI izlazu i protuotrov za svaku od njih.
Vrsta greške
Kako to izgleda
protuotrov
aritmetička greška
Greška u broju kao 7×8=54
Kalkulator/SymPy
greška u znaku
−(a−b)=−a−b
Otvori moje ime ručno
Izmišljena teorema
naziv nepostojeće teoreme
Potvrda iz izvora
Pogrešna primjena pravila
Ne zaboravite pravilo lanca
"Koje pravilo?" pitanje
Status preskočenog
Zanemarite negativni korijen
Navedite sve statuse
praznina u dokazima
"Stoga" bez opravdanja
Ispitivanje svakog prolaza
Stari/netačni podaci
zastarjele informacije
izvor
Zašto matematika zahteva posebnu pažnju?
U većini oblasti, mala greška ima male posledice. U matematici se greška širi i raste. Greška predznaka u prvom redu jednačine čini sljedećih deset redova i konačni rezultat potpuno pogrešnim. Praznina u sredini dokaza čini cijeli dokaz nevažećim. Ova “krhkost” čini neophodnim da se provjeri svaki korak u matematici – “općenito govoreći izgleda istinito” nije dovoljno.
Štaviše, istina u matematici je binarna: rezultat je ili istinit ili lažan, nema između. "Osamdeset posto tačno" može se smatrati prihvatljivim u sažetku teksta; Ne postoji nešto poput "osamdeset posto tačnih" u integralu - ili je to tačan rezultat ili nije. Ova dvostruka priroda čini verifikaciju i kritičnijom i (na sreću) mogućom: rezultat ili prolazi verifikaciju ili ne.
Korak po korak: disciplina sistematske verifikacije
1. Potvrdite svaki numerički rezultat pomoću alata. Nikada ne ostavljajte aritmetiku da se oslonite na AI; SymPy, kalkulatorom ili rukom.
2. Provjerite svaki simbolički rezultat sa SymPy. Integral, derivat, pojednostavljenje, jednačina—sve se može provjeriti sa SymPy.
3. Potvrdite svaku teoremu/formulu iz izvora. Da li su naziv i izraz tačni? Izmišljene teoreme su najpodmuklija zamka.
4. Dovedite u pitanje svaku pojavu u svakom dokazu. “Da li ovo zaista slijedi iz prethodnog koraka?” Osnovni slučaj, implicitna pretpostavka, provjera praznina.
5. Provjera i protuprovjera. Inverzni rad, supstitucija, granična stanja, dimenzionalna analiza.
6. Stavite to na test zdravog razuma. Da li je rezultat razuman? Ako je vjerovatnoća veća od 1, postoji greška ako je dužina negativna.
Savjet: Najbrži test zdravog razuma je provjera "reda veličine". Je li rezultat otprilike unutar očekivanog raspona? Ako je prosjek klase 250 (od 100), ili je vjerovatnoća 3,5, znat ćete da postoji greška bez gledanja u detalje. Ova provjera od 5 sekundi eliminira mnoge smiješne rezultate u začetku.
tri mini kofera
Slučaj 1 — Greška u znaku lanca. Jedan učenik je otkrio da se u algebarskom pojednostavljenju od 8 redova, greška u znaku koju je AI napravio u redu 2 proširila na sljedećih 6 redaka. Konačni rezultat je bio potpuno pogrešan, ali AI ga je prezentirao s potpunim samopouzdanjem. Kada je učenik to ispočetka pojednostavio sa SymPyjem, dobijen je tačan rezultat i omogućio AI da pronađe grešku u 2. redu. Jedan znak je opovrgnuo 6 redova.
Slučaj 2 — Zdrav razum je spasio test. Nastavnik je imao AI da riješi problem vjerovatnoće; Rezultat je bio 1.4. Ne gledajući detalje, učitelj je rekao da "vjerovatnoća ne može biti veća od 1" i potražio grešku: AI je prikupio nediskretne događaje kao da su diskretni. Test zdravog razuma ukazao je na grešku u roku od nekoliko sekundi.
Slučaj 3 — Izmišljena formula. Inženjer je od AI tražio "zatvorenu formulu" za serijski iznos. AI je dao uvjerljivu formulu. Inženjer je testirao formulu za malu vrijednost n (n=3) i formulom i ručnim dodavanjem; Rezultati se nisu poklapali. Formula je izmišljena. Malo prilagođavanje spriječilo je sate zloupotrebe.
Četiri šablona za kopiranje
1) Zahtjev za višeslojnu verifikaciju:
Našli ste: [rezultat]. Sada provjerite ovo TRI različita načina: (1) heširanje u obrnutom smjeru, (2) testiranje jednostavne prilagođene vrijednosti, (3) neki kod za provjeru sa SymPy (vidjet ću izlaz). Reci mi da li su sva tri načina konzistentna; Ako nije, pokažite koji korak ima grešku.
2) Zdrav razum/test ranga:
Našli ste: [rezultat]. Stavite ga na test zdravog razuma da vidite da li je ovaj rezultat RAZUMAN: koji je očekivani red veličine, da li je znak tačan, da li je u granicama (npr. vjerovatnoća 0-1)? Ako nije razumno, istražite gdje bi moglo doći do greške.
3) Potvrda teoreme/formule:
Da li je [teorema/formula] koju koristite zaista standardna i tačna? Napišite njegov standardni izraz i uslove. Pokažite račun koji to testira s malim uzorkom (npr. n=3). Ako je u pitanju izmišljena formula ili nešto u šta niste sigurni, recite to jasno.
4) Dijagnoza načina rada greške:
Znam da postoji greška u rješenju ispod. Provjerite ove vrste grešaka jednu po jednu: aritmetika, znak, pogrešno pravilo, preskočeni uvjet, domena. Recite mi koja je to vrsta greške i na kom koraku. Rješenje: [ovdje]
Slaba prompt / Jaka prompt
Slabi: "Da li je ovaj zaključak tačan?" [zalijepi rezultat]
Rezultat: AI često kaže „da, tačno“ (tendencija da potvrdi svoje rezultate); nepouzdan jer ne postoji nezavisna revizija.
Snažno: "PROVJERITE ovaj rezultat na nezavisan način: koristite drugačije rješenje ili provjerite sa SymPy kodom (ja ću pokrenuti kod). Nemojte samo reći 'tačno/netačno'; pokažite koju ste provjeru uradili i rezultat. Ako kontrolni zbroj ne uspije, pronađite grešku."
Rezultat: Dovedena je u pitanje nezavisna metoda kontrole; AI je spriječeno da slijepo odobrava vlastite rezultate.
Uobičajene greške
- Natjerati AI da potvrdi svoj vlastiti izlaz. "Je li ovo istina?" AI često potvrđuje sopstvenu grešku; Potrebna je nezavisna metoda.
- Preskakanje testa zdravog razuma. Gluposti poput vjerovatnoće veće od 1 i negativne dužine mogu se uhvatiti bez gledanja u detalje.
- Oslanjajući se na jednu verifikaciju. Koristite više nezavisnih putanja (heševi + SymPy + prilagođena vrijednost) za kritične rezultate.
- Ne testirajte formule sa malim uzorcima. Izmišljene formule odmah se kolabiraju pri malim vrijednostima kao što su n=2, n=3.
- Zaboravljajući da se greška propagira. Greška u prvom redu kvari ceo rezultat; Ako nađete grešku, provjerite je od početka.
Oprez: Ne postoji korelacija između samopouzdanja AI i njegove tačnosti. Rečenica koja se čini najodlučnijom, najtečnijom, najsigurnijom može biti potpuno pogrešna. Vjerujte nezavisnoj provjeri, a ne tonu. Smatrajte da je rezultat "tačan" samo kada ga potvrdite rukom ili determinističkim alatom - ne zato što AI kaže "sigurno".
Ukratko
AI pravi greške u matematici jer je to jezički model koji statistički proizvodi tekst, a ne motor koji kontroliše logiku. Greške se dijele na sedam glavnih tipova: aritmetika, znak, izmišljena teorema, pogrešna primjena pravila, izostavljeni slučajevi, praznine u dokazima, zastarjeli podaci. U matematici se greška širi i raste, istina je binarna — tako da svaki korak mora biti provjeren. Sistematska disciplina: provjeriti svaki numerički alat, svaki simbolički rezultat sa SymPyjem, svaku teoremu iz izvora, svaki dokaz proći ispitivanjem; Primijenite provjeru, protuprovjeru i testiranje zdravog razuma. Samopouzdanje AI nije dokaz tačnosti.
Zadatak aplikacije
Odaberite problem sa rješenjem srednje dužine (najmanje 6-8 koraka) i neka ga AI riješi. Zatim izvršite višeslojnu verifikaciju koristeći obrasce 1 i 4 iz ove jedinice: (a) testiranje zdravog razuma/ranga, (b) provjera sa SymPy, (c) testiranje na posebnoj vrijednosti. Zatim prođite kroz rješenje red po red s namjernim okom za “lov na greške” i provjerite koja od sedam vrsta grešaka se može pojaviti. Zabilježite svaku grešku koju pronađete zajedno s njenom vrstom.
kontrolna lista
- [ ] Svaki numerički rezultat sam potvrdio determinističkim alatom.
- [ ] Svaki simbolički rezultat sam provjerio sa SymPy.
- [ ] Provjerio sam teoremu/formulu korištenu iz izvora ili malim primjerom.
- [ ] Primijenio sam test zdravog razuma/reda veličine.
- [ ] Provjerio sam ga na nezavisan način (ne oslanjajući se na vlastito odobrenje AI).
- [ ] Kada sam pronašao grešku, ponovo sam provjerio rješenje od početka.