Добици:
- Бити у стању да препозна зашто вештачка интелигенција прави грешке у математици (да је језички модел, а не проверава логику) и седам главних типова грешака
- Способност да се објасни зашто је императив да се верификује сваки корак разумевањем да се грешка пропагира и да је тачност бинарна у математици.
- Способност примене вишеслојне дисциплине верификације кроз тестирање здравог разума, проверу реда величине, контролне суме, унакрсну проверу и независне методе
Ова јединица продубљује идеју у срцу модула: зашто и како АИ прави грешке у математици, које су врсте ових грешака и како их систематски ухватимо? У претходним јединицама смо видели методе верификације за сваку тему; Овде скупљамо анатомију грешака под једним кровом. Поента је да када погледате излаз вештачке интелигенције питате се „шта би овде могла бити грешка?“ То је стицање менталитета валидације који рефлексивно размишља.
Подсетник: халуцинација је када АИ поуздано производи информације које заправо нису истините. У математици, халуцинације се често појављују у облику „убедљивог, али лажног“. Зашто АИ прави грешке? Пошто је то језички модел, а не логички механизам — то јест, производи текст са статистичким обрасцима, не проверава логичку валидност корака. За њега су „множење од три цифре“ и „ваљан доказ“ задатак да произведе исту врсту текста; Нема унутрашњи механизам који гарантује тачност.
Анатомија математичких грешака: седам врста
Следећа листа типова сумира најчешће грешке на које ћете наићи у АИ излазу и противотров за сваку од њих.
Врста грешке
Како то изгледа
противотров
аритметичка грешка
Грешка у броју као 7×8=54
Калкулатор/СимПи
грешка у знаку
−(а−б)=−а−б
Отвори моје име ручно
Измишљена теорема
назив непостојеће теореме
Потврда из извора
Погрешна примена правила
Не заборавите правило ланца
"Које правило?" питање
Статус прескоченог
Занемарите негативни корен
Наведите све статусе
празнина у доказима
„Због тога“ без оправдања
Испитивање сваког пролаза
Стари/нетачни подаци
застареле информације
извор
Зашто математика захтева посебну пажњу?
У већини области, мала грешка има малу последицу. У математици се грешка шири и расте. Грешка предзнака у првом реду једначине чини следећих десет редова и коначни резултат потпуно погрешним. Празнина у средини доказа чини цео доказ неважећим. Ова „крхкост” чини неопходним да се провери сваки корак у математици – „уопштено говорећи, изгледа истинито” није довољно.
Штавише, истина у математици је бинарна: резултат је или тачан или лажан, нема између. „Осамдесет посто тачно“ може се сматрати прихватљивим у сажетку текста; Не постоји таква ствар као што је „осамдесет посто тачно“ у интегралу — или је тачан резултат или није. Ова двострука природа чини верификацију и критичнијом и (на срећу) могућом: резултат или пролази верификацију или не.
Корак по корак: дисциплина систематске провере
1. Потврдите сваки нумерички резултат помоћу алата. Никада не остављајте аритметику да се ослоните на АИ; СимПи, калкулатором или руком.
2. Проверите сваки симболички резултат са СимПи. Интеграл, дериват, поједностављење, једначина—све се може верификовати са СимПи.
3. Потврдите сваку теорему/формулу из извора. Да ли су назив и израз тачни? Измишљене теореме су најподмуклија замка.
4. Доводе у питање сваку појаву у сваком доказу. „Да ли ово заиста следи из претходног корака?“ Основни случај, имплицитна претпоставка, провера празнина.
5. Провера и противпровера. Инверзни рад, замена, гранична стања, димензиона анализа.
6. Ставите га на тест здравог разума. Да ли је резултат разуман? Ако је вероватноћа већа од 1, постоји грешка ако је дужина негативна.
Савет: Најбржи тест здравог разума је провера „реда величине“. Да ли је резултат отприлике у очекиваном опсегу? Ако је просек класе 250 (од 100), или је вероватноћа 3,5, знаћете да постоји грешка без гледања у детаље. Ова провера од 5 секунди елиминише многе смешне резултате у почетку.
три мини кофера
Случај 1 — Грешка у знаку ланца. Један ученик је открио да се у алгебарском поједностављењу од 8 редова, грешка у знаку коју је АИ направио у реду 2 проширила на следећих 6 редова. Коначни резултат је био потпуно погрешан, али АИ га је представио са потпуним самопоуздањем. Када га је ученик упростио од нуле помоћу СимПи-а, добијен је тачан резултат и омогућио АИ да пронађе грешку у 2. реду. Један знак је оповргао 6 редова.
Случај 2 — Здрав разум је спасио тест. Наставник је имао АИ да реши проблем вероватноће; Резултат је био 1,4. Не гледајући детаље, наставник је рекао да „вероватноћа не може бити већа од 1“ и потражио грешку: АИ је прикупио недискретне догађаје као да су дискретни. Тест здравог разума је указао на грешку у року од неколико секунди.
Случај 3 — Измишљена формула. Инжењер је од АИ тражио „затворену формулу“ за суму серије. АИ је дао убедљиву формулу. Инжењер је тестирао формулу за малу вредност н (н=3) и формулом и ручним додавањем; Резултати се нису поклапали. Формула је измишљена. Мало подешавање спречило је сате злоупотребе.
Четири шаблона за копирање
1) Захтев за вишеслојну верификацију:
Нашли сте: [резултат]. Сада проверите ово ТРИ различита начина: (1) хеширање у обрнутом смеру, (2) тестирање једноставне прилагођене вредности, (3) неки код за проверу са СимПи (видећу излаз). Реци ми да ли су сва три начина доследна; Ако није, покажите у ком кораку је грешка.
2) Тест здравог разума/ранга:
Нашли сте: [резултат]. Ставите га на тест здравог разума да видите да ли је овај резултат РАЗУМАН: који је очекивани ред величине, да ли је знак тачан, да ли је у границама (нпр. вероватноћа 0-1)? Ако није разумно, истражите где може доћи до грешке.
3) Потврда теореме/формуле:
Да ли је [теорема/формула] коју користите заиста стандардна и тачна? Напишите његов стандардни израз и услове. Покажите налог који ово тестира са малим узорком (нпр. н=3). Ако је у питању измишљена формула или нешто у шта нисте сигурни, реците то јасно.
4) Дијагноза режима грешке:
Знам да постоји грешка у решењу испод. Проверите ове типове грешака једну по једну: аритметичка, знак, погрешно правило, прескочени услов, домен. Реците ми о којој врсти грешке је реч и на ком кораку. Решење: [овде]
Слаби промпт / Јаки промпт
Слаб: "Да ли је овај закључак тачан?" [налепите резултат]
Резултат: АИ често каже „да, тачно“ (тенденција да потврди сопствене резултате); непоуздан јер не постоји независна ревизија.
Јака: „ПРОВЕРИТЕ овај резултат на независан начин: користите другачије решење или проверите помоћу СимПи кода (покренућу код). Немојте само да кажете „тачно/нетачно“; покажите коју сте проверу урадили и резултат. Ако контролни збир не успе, пронађите грешку.“
Резултат: Оспорава се независна метода контроле; АИ је спречено да слепо одобрава сопствене резултате.
Уобичајене грешке
- Добијање АИ да потврди сопствени излаз. "Да ли је ово истина?" АИ често потврђује сопствену грешку; Независна метода је потребна.
- Прескакање теста здравог разума. Глупости попут вероватноће веће од 1 и негативне дужине могу се ухватити без гледања у детаље.
- Ослањајући се на једну верификацију. Користите више независних путања (хешеви + СимПи + прилагођена вредност) за критичне резултате.
- Не тестирајте формуле са малим узорцима. Измишљене формуле се одмах срушавају при малим вредностима као што су н=2, н=3.
- Заборављајући да се буба пропагира. Грешка у првом реду квари цео резултат; Ако нађете грешку, проверите је од почетка.
Опрез: Не постоји корелација између поверења АИ и њене тачности. Реченица која се чини најодлучнијом, најтечнијом, најсигурнијом може бити потпуно погрешна. Верујте независној вери, а не тону. Сматрајте резултат „тачним“ само када га потврдите руком или детерминистичким алатом — не зато што АИ каже „сигурно“.
Укратко
АИ прави грешке у математици јер је језички модел који статистички производи текст, а не мотор који контролише логику. Грешке се сврставају у седам главних типова: аритметичке, знак, измишљена теорема, погрешна примена правила, изостављени случајеви, празнине у доказима, застарели подаци. У математици се грешка шири и расте, истина је бинарна — тако да сваки корак мора бити проверен. Систематска дисциплина: провери сваки нумерички алат, сваки симболички резултат са СимПи, сваку теорему из извора, сваки доказ прође испитивањем; Примените проверу, противпроверу и тестирање здравог разума. Самопоуздање АИ није доказ тачности.
Задатак апликације
Изаберите проблем са решењем средње дужине (најмање 6-8 корака) и нека га АИ реши. Затим урадите вишеслојну верификацију користећи обрасце 1 и 4 из ове јединице: (а) тестирање здравог разума/ранга, (б) провера са СимПи, (ц) тестирање на посебној вредности. Затим прођите кроз решење ред по ред са намерним „ловом на грешке“ и проверите која од седам врста грешака може да се деси. Забележите сваку грешку коју пронађете заједно са њеним типом.
контролна листа
- [ ] Сваки нумерички резултат сам потврдио детерминистичким алатом.
- [ ] Проверио сам сваки симболички резултат са СимПи.
- [ ] Проверио сам коришћену теорему/формулу из извора или малим примером.
- [ ] Применио сам тест здравог разума/реда величине.
- [ ] Проверио сам га на независан начин (без ослањања на сопствено одобрење АИ).
- [ ] Када сам пронашао грешку, поново сам проверио решење од почетка.