Халюцинациите и границите на достоверността

Печалби:

Може да обясни какво е халюцинация и защо се появява
Може да определи кога AI изходът трябва да бъде валидиран
Може да прилага практически техники, които повишават надеждността

Може би най-критичната тема за AI грамотността е в тази част: Измисляне на модел, тоест халюцинация. Разбирането на този термин е най-основната предпазна мярка за всеки, който използва AI. Тъй като потребител, който не разпознава халюцинацията, може да обърка фалшивата информация като вярна и да я прехвърли в бизнес решение, комуникация с клиенти или официален документ. В тази част ще научите какво е халюцинация, защо е неизбежна и как да се предпазите от нея.

Какво е халюцинация?

Халюцинация е, когато езиков модел произвежда информация, която всъщност не съществува на плавен и уверен език, точно както ако е истина. Моделът не възнамерява да лъже; Произвеждайки само „най-вероятното продължение“, той създава текст, който изглежда вероятен, но всъщност е неверен.

Пример: Ако кажете на модел "Препоръчайте академичен източник по темата. Всичко се появява в правилния формат и убедително; Но източникът е напълно въображаем. Това е класически пример за халюцинация.

Защо се случва? (Запомнете раздел две)

Източникът на халюцинацията се крие в принципа на работа на модела. Моделът не е "енциклопедия на фактите"; Това е "машина за вероятности". Неговата работа е да създаде възможно най-плавното продължение на вашия въпрос; Не става дума за предоставяне на най-точната информация. модел:

Той не знае какво не знае; Когато е изправен пред празно място, той е склонен да попълни възможен отговор, вместо да каже „Не знам“.
Тя няма механизъм за контрол на реалността; Той не проверява дали текстът, който произвежда, съответства на света.
Плавността и точността са две различни неща за него; Това, че е гладко, не означава, че е правилно.

Внимание: Халюцинациите не са "неизправност"; Това е присъща характеристика на технологията. Новите модели намаляват това, но не могат да го премахнат напълно. Следователно, вместо да чакаме "модел без халюцинации", е необходимо да се научим да живеем с халюцинациите.

Къде е висок рискът от халюцинации?

Не всеки резултат е еднакво рискован. Рискът се увеличава, когато:

Висок риск

Нисък риск

Точни цифри, дати, статистика

Генериране на общи идеи, мозъчна атака

Искане на източници, цитати, препратки

Промяна на тона на текст

Нишови, специализирани теми

Общи, общи теми

Актуални събития и хора

Резюмирайте текста си

Вътрешна информация, специфична за вашата компания

Граматическа корекция

Три мини калъфа

Случай 1 — Фалшива фигура влезе в презентацията. Служител поиска от AI „темп на растеж на електронната търговия за 2023 г. и източник в Турция“ за доклада на индустрията. Моделът върна убедителен процент (48%) и име на институция. Служителят го е поставил в презентацията, без да го провери; Когато на срещата се разбра, че фигурата е измислена, бяха накърнени както представянето, така и репутацията на компанията. Ако същият служител беше получил цифрата от официалния източник, нямаше да има проблем.

Случай 2 — Несъществуващ законодателен акт. Асистент поиска от AI „съответния член от закона“ за петиция. Моделът създаде реалистично изглеждащ номер на елемент и текст; но този елемент го нямаше. За щастие правният отдел го забеляза преди доставката. Урок: правните цитати винаги се проверяват от първичния източник.

Случай 3 — Правилен метод, сигурен резултат. Друг служител от същия екип просто накара AI да изготви доклада, като сам въведе всички числа от официалните данни и го инструктира да „не добавя цифри, които не са в този текст“. Резултатът беше бърз и точен. Разлика: AI написа чернова, факти, захранвани от хора.

Слаба подкана / Силна подкана

Слаба подкана: Дайте 3-те най-важни академични източника по тази тема с автора и годината.

Резултат: Моделът може безопасно да пасне на несъществуващи източници.

Мощна подкана: Напишете резюме въз основа на текста, който поставих по-долу. Използвайте само информацията в този текст. Не добавяйте имена, числа или източници, които не са в текста. Ако не сте сигурни, напишете „не е посочено в текста“.<text>[поставете тук]</text>

Резултат: Тъй като моделът получава източника от вас, пространството за монтиране става по-тясно.

Практически техники, които повишават надеждността

Маркирайте всяко проверимо твърдение във вашия отговор (номер, дата, име, източник) и ги поставете в отделен списък „задължително за проверка“.

Отговорете на този въпрос. Ако не сте сигурни, не гадайте; Кажете „Не съм сигурен“ и обяснете, че не знаете какво. Тема: [тема]

Отговорете на един и същи въпрос по два различни начина и отбележете противоречията между двата отговора. Нека да видя кои точки са съмнителни. Въпрос: [въпрос]

Ще проверя текста по-долу. Избройте рисковите твърдения, които трябва да проверя по важност, и предложете къде мога да проверя всяко от тях. Текст: [поставете тук]

Освен това приемете следните навици:

Вие предоставяте източника. Поставете съответния документ в текста и кажете „отговорете само въз основа на това“.
Винаги проверявайте проверими факти. Проверете числата, датите, имената, цитатите и източниците от независим, надежден източник.
Помолете го да посочи, че не е сигурен за модела. Това намалява риска, но не го елиминира напълно.
За работни места с висок риск накарайте експерт да провери изхода. Правните, финансовите и свързаните със здравето резултати трябва да преминат през филтъра на човешки експерти.
Използвайте AI като „отправна точка“, а не като „последна дума“. Черновата е от него; Проверката и решението са ваши.

Внимание: „Моделът го каза два пъти, значи е вярно“ логиката е грешна. Може да повтори същата грешка уверено. Повторението не е доказателство за точност.

Често срещани грешки

Използване на източници без проверка. Може да създава образци на книги, статии, закони и връзки; Всяка референция трябва да бъде потвърдена.
Сбъркайте уверения тон с точност. Най-опасното в една халюцинация е именно това, че тя изглежда уверена.
Достатъчно е просто моделът да каже „вие потвърждавате“. Самовалидирането на модела не е независимо валидиране.
Използване на изход с висок риск, без да го показвате на експерт. Човешкият контрол е от съществено значение за парите, законите и здравето.

В обобщение

Халюцинация е, когато моделът произвежда несъществуваща информация по плавен и уверен начин, сякаш е истина.
Причината не е неизправност, а естеството на модела за прогнозиране на вероятността; не може да се елиминира напълно.
Рискът е особено висок, когато става въпрос за точни цифри, източници, актуална информация и нишови проблеми.
За да се предпазите: дайте източника, проверете фактите, кажете „ако не сте сигурни, кажете ми“, проверете високорисковия изход от експерт.
Използвайте AI като отправна точка; Крайната проверка и отговорност винаги остават с вас.

Задача за приложение

Кажете на вашия AI инструмент да „предложи 3 академични източника“ по тема, която изисква опит и се опитайте да потвърдите източниците, които предлага в интернет; Забележете колко са реални. След това повторете същата задача с метода „давате източника“ и наблюдавайте разликата.

Контролен списък

[ ] Мога да обясня какво е халюцинация и защо се появява.
[ ] Мога да правя разлика между задачи с висок и нисък риск от халюцинации.
[ ] Мога да намаля риска от фабрикуване, като дам източника на модела.
[ ] Проверявам самостоятелно числата, датите, имената и източниците.
[ ] Не считам уверения тон за доказателство за точност.