Прибуток:
- Зуміти розпізнати, чому штучний інтелект робить помилки в математиці (будучи мовною моделлю, а не перевіряючи логіку), і сім основних типів помилок
- Здатність пояснити, чому необхідно перевіряти кожен крок, розуміючи, що помилка поширюється, а точність є двійковою в математиці.
- Здатність застосовувати багаторівневу дисципліну перевірки за допомогою тестування здорового глузду, перевірки порядку величини, контрольних сум, перехресної перевірки та незалежних методів
Цей розділ поглиблює ідею, що лежить в основі модуля: чому і як штучний інтелект робить помилки в математиці, які є типи цих помилок і як ми систематично їх виловлюємо? У попередніх розділах ми бачили методи перевірки для кожної теми; Тут ми збираємо анатомію помилок під одним дахом. Справа в тому, що коли ви дивитеся на результат штучного інтелекту, ви замислюєтеся: "а що тут може бути помилкою?" Це набуття ментальності перевірки, яка рефлекторно мислить.
Нагадування: галюцинація — це коли ШІ впевнено видає інформацію, яка насправді не відповідає дійсності. У математиці галюцинації часто проявляються у вигляді «переконливих, але фальшивих». Чому ШІ робить помилки? Оскільки це мовна модель, а не логічний механізм, тобто він створює текст зі статистичними шаблонами, він не перевіряє логічну достовірність кроків. «Множення на 3 цифри» і «дійсний доказ» є для нього завданням створення одного виду тексту; Він не має внутрішнього механізму, який би гарантував точність.
Анатомія математичних помилок: сім типів
У наведеному нижче списку типів наведено найпоширеніші помилки, з якими ви можете зіткнутися під час виведення ШІ, і протиотруту для кожного.
Тип помилки
Як це виглядає
протиотрута
арифметична помилка
Числова помилка, наприклад 7×8=54
Калькулятор/SymPy
помилка знака
−(a−b)=−a−b
Відкрийте моє ім'я вручну
Вигадана теорема
неіснуюча назва теореми
Підтвердження з джерела
Неправильне застосування правила
Не забувайте про правило ланцюжка
«Яке правило?» запитання
Пропущений статус
Ігноруйте від'ємний корінь
Перерахувати всі статуси
прогалина доказів
«Тому» без обґрунтування
Перепитуючи кожен пас
Старі/невірні дані
застаріла інформація
пошук джерел
Чому математика потребує особливої уваги?
У більшості випадків невелика помилка має невеликі наслідки. У математиці помилка поширюється і зростає. Помилка знака в першому рядку рівняння робить наступні десять рядків і кінцевий результат абсолютно неправильними. Прогалина в середині доказу робить весь доказ недійсним. Ця «крихкість» змушує перевіряти кожен крок у математиці — «загалом кажучи, здається вірним» недостатньо.
Крім того, істина в математиці є двійковою: результат або істинний, або хибний, між ними немає нічого. «Вісімдесят відсотків точний» може вважатися прийнятним у текстовому резюме; В інтегралі немає такого поняття, як «вісімдесят відсотків правильний» — це або правильний результат, або ні. Ця подвійна природа робить перевірку більш критичною і (на щастя) більш можливою: результат або проходить перевірку, або ні.
Крок за кроком: дисципліна систематичної перевірки
1. Кожен числовий результат підтвердіть інструментом. Ніколи не залишайте арифметику, щоб покладатися на ШІ; SymPy, калькулятор або вручну.
2. Перевірте кожен символічний результат за допомогою SymPy. Інтеграл, похідна, спрощення, рівняння — все це можна перевірити за допомогою SymPy.
3. Підтвердьте кожну теорему/формулу з джерела. Чи правильні назва та вираз? Вигадані теореми — найпідступніша пастка.
4. Ставте під сумнів кожен випадок у кожному доказі. «Чи справді це випливає з попереднього кроку?» Базовий випадок, неявне припущення, перевірка прогалин.
5. Перевірка та зустріч. Обернена операція, підстановка, граничні стани, розмірний аналіз.
6. Перевірте здоровий глузд. Чи обґрунтований результат? Якщо ймовірність більша за 1, є помилка, якщо довжина від’ємна.
Підказка: найшвидшим тестом здорового глузду є перевірка «порядку величини». Чи відповідає результат приблизно очікуваному діапазону? Якщо середнє значення класу становить 250 (зі 100) або ймовірність 3,5, ви дізнаєтеся про помилку, навіть не дивлячись на деталі. Ця 5-секундна перевірка усуває багато смішних результатів у зародку.
три міні-чохла
Випадок 1 — помилка знака ланцюга. Один студент виявив, що в 8-рядковому алгебраїчному спрощенні помилка знака, зроблена штучним інтелектом у рядку 2, поширюється на наступні 6 рядків. Остаточний результат був абсолютно неправильним, але ШІ представив його з повною впевненістю. Коли студент спростив це з нуля за допомогою SymPy, був отриманий правильний результат і дозволив ШІ знайти помилку у 2-му рядку. Один знак спростовував 6 рядків.
Випадок 2 — Здоровий глузд врятував тест. Вчитель мав ШІ розв’язати ймовірнісну задачу; Результат 1,4. Не дивлячись на деталі, вчитель сказав, що «ймовірність не може бути більшою за 1», і шукав помилку: штучний інтелект збирав недискретні події так, ніби вони були дискретними. Перевірка здорового глузду виявила помилку за лічені секунди.
Випадок 3 — Вигадана формула. Інженер попросив ШІ «закриту формулу» для суми ряду. AI дав переконливу формулу. Інженер перевірив формулу для малого значення n (n=3) як за допомогою формули, так і шляхом додавання вручну; Результати не збіглися. Формула була складена. Невелике налаштування запобігло годинам неправильного використання.
Чотири шаблони, які можна копіювати
1) Запит на багаторівневу перевірку:
Ви знайшли: [результат]. Тепер перевірте це Трьома різними способами: (1) хешування у зворотному порядку, (2) тестування простого спеціального значення, (3) деякий код для перевірки за допомогою SymPy (я побачу результат). Скажіть мені, чи всі три способи узгоджені; Якщо ні, покажіть, на якому кроці є помилка.
2) Перевірка здорового глузду/рангу:
Ви знайшли: [результат]. Перевірте це на здоровий глузд, щоб побачити, чи цей результат є РОЗУМНИМ: який очікуваний порядок величини, чи правильний знак, чи він у межах (наприклад, ймовірність 0-1)? Якщо це нерозумно, дослідіть, де може бути помилка.
3) Підтвердження теореми/формули:
Чи [теорема/формула], яку ви використовуєте, дійсно стандартна та правильна? Напишіть його стандартний вираз і умови. Покажіть обліковий запис, який перевіряє це на невеликій вибірці (наприклад, n=3). Якщо це вигадана формула або щось, у чому ви не впевнені, скажіть це чітко.
4) Діагностика режиму помилки:
Я знаю, що в наведеному нижче рішенні є помилка. Перевірте ці типи помилок один за одним: арифметика, знак, неправильне правило, пропущена умова, домен. Підкажіть, який це тип помилки і на якому кроці. Рішення: [тут]
Слабка підказка / Сильна підказка
Слабкий: «Чи правильний цей висновок?» [вставити результат]
Результат: штучний інтелект часто каже «так, правильно» (тенденція підтверджувати власний результат); ненадійний, оскільки немає незалежного аудиту.
Сильно: «ПЕРЕВІРТЕ цей результат незалежним способом: скористайтеся іншим обхідним шляхом або перевірте за допомогою коду SymPy (я запусту код). Не просто кажіть «вірно/хибно»; покажіть, яку перевірку ви зробили, і результат. Якщо контрольна сума не вдається, знайдіть помилку».
Результат: незалежний метод контролю оскаржується; ШІ не може сліпо схвалювати власний результат.
Поширені помилки
- Змусити ШІ перевірити власний результат. «Це правда?» ШІ часто підтверджує власну помилку; Необхідний незалежний метод.
- Пропуск тесту на здоровий глузд. Таку нісенітницю, як ймовірність більше 1 і від’ємна довжина, можна вловити, не дивлячись на деталі.
- Покладаючись на одну перевірку. Використовуйте кілька незалежних шляхів (хеш + SymPy + спеціальне значення) для критичних результатів.
- Не перевіряти формули на малих вибірках. Вигадані формули відразу згортаються при малих значеннях, таких як n=2, n=3.
- Забуваючи, що помилка поширюється. Помилка в першому рядку псує весь результат; Якщо ви знайшли помилку, перевірте її з самого початку.
Застереження: між впевненістю штучного інтелекту та його точністю немає кореляції. Речення, яке здається найбільш рішучим, найбільш вільним, найбільш «впевненим», цілком може бути абсолютно неправильним. Довіряйте незалежній перевірці, а не сигналу. Вважайте результат «істинним» лише тоді, коли ви підтверджуєте його вручну або за допомогою детермінованого інструменту, а не тому, що ШІ говорить «впевнено».
Підсумовуючи
ШІ робить помилки в математиці, оскільки це мовна модель, яка статистично створює текст, а не механізм, який контролює логіку. Помилки поділяються на сім основних типів: арифметичні, знакові, вигадана теорема, неправильне застосування правила, пропущений регістр, пропуск у доказі, застарілі дані. У математиці помилка поширюється і зростає, істина є двійковою, тому кожен крок потрібно перевіряти. Систематична дисципліна: перевіряйте кожен чисельний інструмент, кожен символічний результат за допомогою SymPy, кожну теорему з джерела, кожне доведення проходьте шляхом опитування; Застосовуйте перевірку, контрперевірку та перевірку здорового глузду. Впевненість штучного інтелекту не є доказом точності.
Аплікаційне завдання
Виберіть задачу з рішенням середньої довжини (не менше 6-8 кроків) і попросіть штучний інтелект вирішити її. Потім виконайте багаторівневу перевірку, використовуючи шаблони 1 і 4 з цього розділу: (a) перевірка здорового глузду/рангу, (b) перевірка за допомогою SymPy, (c) перевірка спеціального значення. Потім перегляньте рішення рядок за рядком, навмисно шукаючи помилки, і перевірте, який із семи типів помилок може виникнути. Запишіть кожну знайдену помилку разом із її типом.
контрольний список
- [ ] Я підтвердив кожен числовий результат детермінованим інструментом.
- [ ] Я перевірив кожен символічний результат за допомогою SymPy.
- [ ] Я перевірив теорему/формулу, використану з джерела або на невеликому прикладі.
- [ ] Я застосував тест здорового глузду/порядку величини.
- [ ] Я перевірив це незалежним способом (не покладаючись на власне схвалення ШІ).
- [ ] Коли я знайшов помилку, я знову перевірив рішення з самого початку.