Câștiguri:
- Să fii capabil să recunoști de ce inteligența artificială face greșeli în matematică (fiind un model de limbaj, nu verifică logica) și cele șapte tipuri principale de erori
- Capacitatea de a explica de ce este imperativ să se verifice fiecare pas prin înțelegerea faptului că eroarea este propagată și precizia este binară în matematică.
- Abilitatea de a aplica o disciplină de verificare pe mai multe straturi prin teste de bun simț, verificare a ordinii de mărime, sume de control, verificare încrucișată și metode independente
Această unitate aprofundează ideea din centrul modulului: de ce și cum face AI greșeli la matematică, care sunt tipurile de aceste greșeli și cum le prindem sistematic? În unitățile anterioare, am văzut metode de verificare pentru fiecare subiect; Aici adunăm anatomia erorilor sub un singur acoperiș. Ideea este că, când te uiți la o ieșire AI, te întrebi „ce ar putea fi o greșeală aici?” Este să câștigi o mentalitate de validare care gândește reflexiv.
Memento: o halucinație este atunci când o IA produce cu încredere informații care nu sunt de fapt adevărate. În matematică, halucinația apare adesea sub formă de „persuasiv, dar fals”. De ce AI face greșeli? Deoarece este un model de limbaj, nu un motor logic - adică produce text cu modele statistice, nu verifică validitatea logică a pașilor. O „înmulțire cu trei cifre” și o „dovadă valabilă” sunt pentru el sarcina de a produce același tip de text; Nu are mecanism intern care să garanteze acuratețea.
Anatomia erorilor matematice: șapte tipuri
Următoarea listă de tipuri rezumă cele mai frecvente erori pe care le veți întâlni în ieșirea AI și antidotul pentru fiecare.
Tip de eroare
Cum arată
antidot
eroare aritmetică
Eroare de număr ca 7×8=54
Calculator/SymPy
eroare de semn
−(a−b)=−a−b
Deschide numele meu manual
Teoremă alcătuită
nume de teoremă inexistent
Confirmare de la sursa
Aplicarea greșită a regulilor
Nu uitați de regula lanțului
— Care regulă? întrebare
Stare omisă
Ignorați rădăcina negativă
Listați toate stările
lipsa de probă
„Deci” fără justificare
Întrebând fiecare trecere
Date vechi/incorecte
informatii invechite
aprovizionare
De ce matematica necesită o atenție specială?
În majoritatea zonelor, o mică greșeală are o mică consecință. În matematică, eroarea se răspândește și crește. O eroare de semn în prima linie a unei ecuații face ca următoarele zece linii și rezultatul final să fie complet greșite. Un decalaj în mijlocul unei dovezi face ca întreaga dovadă să fie invalidă. Această „fragilitate” face necesară verificarea fiecărui pas în matematică – „în general vorbind pare adevărat” nu este suficient.
Mai mult, adevărul în matematică este binar: un rezultat este fie adevărat, fie fals, nu există niciun mijloc între ele. „Optzeci la sută exacte” poate fi considerat acceptabil într-un rezumat text; Nu există „optzeci la sută corect” într-o integrală – fie că este rezultatul corect, fie nu este. Această natură duală face verificarea atât mai critică, cât și (din fericire) mai posibilă: rezultatul fie trece verificarea, fie nu.
Pas cu pas: disciplina verificării sistematice
1. Confirmați fiecare rezultat numeric cu un instrument. Nu lăsa niciodată aritmetica să se bazeze pe AI; SymPy, calculator sau manual.
2. Verificați fiecare rezultat simbolic cu SymPy. Integrală, derivată, simplificare, ecuație — toate pot fi verificate cu SymPy.
3. Confirmați fiecare teoremă/formulă din sursă. Numele și expresia sunt corecte? Teoremele inventate sunt cea mai insidioasă capcană.
4. Întrebați fiecare apariție din fiecare dovadă. „Devine cu adevărat acest lucru de la pasul anterior?” Caz de bază, presupunere implicită, verificare a decalajului.
5. Verificare și contraverificare. Funcționare inversă, substituție, stări limită, analiză dimensională.
6. Pune-l la testul bunului simț. Este rezultatul rezonabil? Dacă o probabilitate este mai mare decât 1, există o eroare dacă lungimea este negativă.
Sugestie: Cel mai rapid test de bun simț este verificarea „ordinului de mărime”. Este rezultatul aproximativ în intervalul așteptat? Dacă o medie a clasei este 250 (din 100) sau o probabilitate este 3,5, veți ști că există o eroare fără să vă uitați la detalii. Această verificare de 5 secunde elimină multe rezultate ridicole de la început.
trei mini cutii
Cazul 1 — Eroare de semn al lanțului. Un student a descoperit că într-o simplificare algebrică cu 8 linii, o eroare de semn AI făcută în linia 2 sa propagat la următoarele 6 linii. Rezultatul final a fost complet greșit, dar AI l-a prezentat cu deplină încredere. Când studentul a simplificat-o de la zero cu SymPy, rezultatul corect a fost obținut și a permis AI să găsească eroarea pe a doua linie. Un singur semn a respins 6 rânduri.
Cazul 2 — Bunul simț a salvat testul. Un profesor a avut un AI pentru a rezolva o problemă de probabilitate; Rezultatul a fost 1,4. Fără să se uite la detalii, profesorul a spus „probabilitatea nu poate fi mai mare de 1” și a căutat eroarea: AI a colectat evenimente nediscrete ca și cum ar fi discrete. Un test de bun simț a evidențiat eroarea în câteva secunde.
Cazul 3 — Formula inventată. Un inginer a cerut AI o „formulă închisă” pentru o sumă în serie. AI a dat o formulă convingătoare. Inginerul a testat formula pentru o valoare mică de n (n=3) atât prin formulă, cât și prin adăugare manuală; Rezultatele nu s-au potrivit. Formula a fost inventată. O mică modificare a prevenit ore de utilizare greșită.
Patru șabloane copiabile
1) Solicitare de verificare pe mai multe straturi:
Ați găsit: [rezultat]. Acum verificați aceste TREI moduri diferite: (1) hashing-o invers, (2) testarea unei valori personalizate simplă, (3) un cod de verificat cu SymPy (voi vedea rezultatul). Spune-mi dacă toate cele trei moduri sunt consecvente; Dacă nu, arată ce pas are o eroare.
2) Bunul simț/test de rang:
Ați găsit: [rezultat]. Pune-l la testul bunului simț pentru a vedea dacă acest rezultat este REZONABIL: care este ordinul de mărime așteptat, semnul este corect, este în limite (de exemplu, probabilitatea 0-1)? Dacă nu este rezonabil, investigați unde ar putea fi o greșeală.
3) Confirmarea teoremei/ formulei:
Este [teorema/formula] cu adevărat standard și corectă? Scrieți expresia standard și condițiile acesteia. Afișați un cont care testează acest lucru cu un eșantion mic (de exemplu, n=3). Dacă este o formulă inventată sau ceva despre care nu ești sigur, spune-o clar.
4) Diagnosticarea modului de eroare:
Știu că există o eroare în soluția de mai jos. Verificați aceste tipuri de erori unul câte unul: aritmetică, semn, regulă greșită, condiție omisă, domeniu. Spune-mi ce tip de eroare este și la ce pas. Soluție: [aici]
Prompt slab / Prompt puternic
Slab: „Este corectă această concluzie?” [inserați rezultatul]
Rezultat: AI spune adesea „da, corect” (tendința de a-și confirma propria rezultat); nesigur pentru că nu există un audit independent.
Puternic: „VERIFICAȚI acest rezultat într-un mod independent: utilizați o soluție diferită sau verificați cu codul SymPy (voi rula codul). Nu spuneți doar „adevărat/fals”; arătați ce verificare ați făcut și rezultatul. Dacă suma de verificare eșuează, găsiți eroarea."
Rezultat: O metodă de control independentă este contestată; AI este împiedicat să-și aprobe orbește propria ieșire.
Greșeli comune
- Obținerea AI pentru a-și valida propria ieșire. — Este adevărat? AI își confirmă adesea propria greșeală; Este necesară o metodă independentă.
- Sari peste testul bunului simt. Prostii precum probabilitatea mai mare de 1 și lungimea negativă pot fi surprinse fără a privi detaliile.
- Bazându-se pe o singură verificare. Utilizați mai multe căi independente (hash + SymPy + valoare personalizată) pentru rezultatele critice.
- Nu se testează formule cu mostre mici. Formulele inventate se prăbușesc imediat la valori mici, cum ar fi n=2, n=3.
- Uitând că bug-ul este propagat. O eroare în prima linie corupă întregul rezultat; Dacă găsiți o eroare, verificați-o de la început.
Atenție: Nu există nicio corelație între încrederea AI și acuratețea acestuia. Propoziția care pare cea mai hotărâtă, cea mai fluentă, cea mai „sigură” poate foarte bine să fie complet greșită. Aveți încredere în verificarea independentă, nu în ton. Considerați un rezultat „adevărat” doar atunci când îl confirmați manual sau cu un instrument determinist – nu pentru că AI spune „sigur”.
Pe scurt
AI face greșeli în matematică, deoarece este un model de limbaj care produce statistic text, nu un motor care controlează logica. Erorile se încadrează în șapte tipuri principale: aritmetică, semn, teoremă inventată, aplicare greșită a regulilor, caz omis, decalaj de dovezi, date învechite. În matematică, eroarea se răspândește și crește, adevărul este binar - așa că fiecare pas trebuie verificat. Disciplina sistematică: verificați fiecare instrument numeric, fiecare rezultat simbolic cu SymPy, fiecare teoremă de la sursă, fiecare demonstrație trecută prin chestionare; Aplicați verificarea, contraverificarea și testele de bun simț. Încrederea AI nu este o dovadă de acuratețe.
Sarcina de aplicare
Alegeți o problemă cu o soluție de lungime medie (cel puțin 6-8 pași) și puneți AI să o rezolve. Apoi faceți verificarea pe mai multe straturi folosind modelele 1 și 4 din această unitate: (a) testarea de bun simț/rangul, (b) verificarea cu SymPy, (c) testarea pe o valoare specială. Apoi parcurgeți soluția linie cu linie cu un ochi deliberat de „vânătoare de bug-uri” și verificați care dintre cele șapte tipuri de erori ar putea apărea. Înregistrați fiecare eroare pe care o găsiți împreună cu tipul acesteia.
lista de verificare
- [ ] Am confirmat fiecare rezultat numeric cu un instrument determinist.
- [ ] Am verificat fiecare rezultat simbolic cu SymPy.
- [ ] Am verificat teorema/formula folosită din sursă sau cu un mic exemplu.
- [ ] Am aplicat testul de bun simț/ordine de mărime.
- [ ] L-am auditat într-o manieră independentă (fără să mă bazez pe aprobarea propriei AI).
- [ ] Când am găsit o eroare, am verificat din nou soluția de la început.