Халуцинације и границе веродостојности

Добици:

Може да објасни шта је халуцинација и зашто се јавља
Може да одреди када АИ излаз треба да се потврди
Може да примени практичне технике које повећавају поузданост

Можда најкритичнија тема АИ писмености је у овој јединици: Смишљање модела, односно халуцинације. Разумевање овог појма је најосновнија безбедносна мера предострожности за свакога ко користи вештачку интелигенцију. Зато што корисник који не препознаје халуцинацију може погрешно да погреши лажну информацију као истиниту и пренесе је на пословну одлуку, комуникацију са клијентом или званични документ. У овој јединици ћете научити шта је халуцинација, зашто је неизбежна и како се заштитити од ње.

Шта је халуцинација?

Халуцинација је када језички модел производи информације које заправо не постоје на течном и самоувереном језику, баш као да су истините. Модел нема намеру да лаже; У производњи само „највероватнијег наставка“, ствара се текст који изгледа вероватан, али је заправо лажан.

Пример: Ако моделу кажете „Препоручите академски извор на тему Све се појављује у исправном формату и убедљиво; Али извор је потпуно замишљен. Ово је класичан пример халуцинације.

Зашто се то дешава? (Запамтите другу јединицу)

Извор халуцинације лежи у принципу рада модела. Модел није „енциклопедија чињеница“; То је „машина вероватноћа“. Његов посао је да произведе што глаткији наставак вашег питања; Не ради се о доношењу најтачнијих информација. Модел:

Не зна оно што не зна; Када се суочи са празнином, он тежи да попуни могући одговор уместо да каже „не знам“.
Она нема механизам да контролише стварност; Не проверава да ли текст који производи одговара свету.
Течност и тачност су две различите ствари за њега; Само зато што је течно не значи да је исправан.

Опрез: Халуцинација није „квар“; То је инхерентна карактеристика технологије. Нови модели смањују ово, али га не могу потпуно елиминисати. Стога, уместо да чекате „модел без халуцинације“, потребно је научити да живите са халуцинацијом.

Где је висок ризик од халуцинација?

Није сваки исход подједнако ризичан. Ризик се повећава када:

Висок ризик

Низак ризик

Тачне бројке, датуми, статистика

Генерисање општих идеја, браинсторминг

Тражење извора, цитата, референци

Промените тон текста

Ниша, специјализоване теме

Уобичајене, опште теме

Актуелни догађаји и људи

Сумирајте свој текст

Инсајдерске информације специфичне за вашу компанију

Граматичка корекција

Три мини кућишта

Случај 1 — Лажна фигура је ушла у презентацију. Запослени је од АИ затражио „стопу раста е-трговине у 2023. и извор у Турској“ за извештај о индустрији. Модел је вратио убедљив проценат (48%) и назив институције. Запослени га је ставио у презентацију без верификације; Када је на састанку откривено да је цифра измишљена, нарушена је и презентација и репутација компаније. Да је исти службеник добио цифру из званичног извора, не би било проблема.

Случај 2 — Непостојећи закон. Помоћник је тражио од АИ „релевантни члан закона“ за петицију. Модел је произвео број ставке и текст реалног изгледа; али те ствари није било. На срећу, правно одељење је то приметило пре испоруке. Поука: правни цитати су увек верификовани из примарног извора.

Случај 3 — Тачан метод, сигуран резултат. Други запослени у истом тиму је једноставно дао АИ да изради извештај, сам унео све бројеве из званичних података и наложио му да „не додаје цифре које нису у овом тексту“. Резултат је био и брз и тачан. Разлика: АИ је написао нацрт, чињенице које су хранили људи.

Слаба порука / јака промпт

Слаб упит: Наведите 3 најважнија научна извора о овој теми са аутором и годином.

Резултат: Модел може безбедно да стане у непостојеће изворе.

Снажан упит: Напишите резиме на основу текста који сам налепио испод. Користите само информације у овом тексту. Немојте додавати имена, бројеве или изворе којих нема у тексту. Ако нисте сигурни, напишите „није наведено у тексту“.<тект>[налепите овде]</тект>

Резултат: Пошто модел добија извор од вас, простор за уклапање постаје ужи.

Практичне технике које повећавају поузданост

Означите сваку тврдњу која се може проверити у свом одговору (број, датум, име, извор) и ставите их на засебну листу „мора да проверите“.

Одговори на ово питање. Ако нисте сигурни, немојте погађати; Реците "нисам сигуран" и објасните да не знате шта. Предмет: [предмет]

Одговорите на исто питање на два различита начина и означите контрадикторности између два одговора. Па да видим које су тачке упитне. Питање: [питање]

Проверићу текст испод. Наведите ризичне тврдње које треба да проверим по важности и предложите где могу да проверим сваку од њих. Текст: [налепите овде]

Поред тога, усвојите ове навике:

Ви дајете извор. Налепите релевантни документ у текст и реците „одговори само на основу овога“.
Увек проверавајте проверљиве чињенице. Проверите бројеве, датуме, имена, цитате и изворе из независног, поузданог извора.
Замолите га да назначи да није сигуран за модел. Ово смањује ризик, али га не елиминише у потпуности.
За послове високог ризика, нека стручњак прегледа резултате. Правни, финансијски и здравствени резултати морају проћи кроз филтер људских стручњака.
Користите АИ као „почетну тачку“, а не као „завршну реч“. Нацрт је од њега; Верификација и одлука су на вама.

Опрез: "Модел је то рекао два пута, онда је истина" логика је погрешна. Може са сигурношћу поновити исту грешку. Понављање није доказ тачности.

Уобичајене грешке

Коришћење извора без њихове провере. Може креирати књиге модела, чланке, чланове закона и линкове; Свака референца мора бити потврђена.
Погрешио самоуверени тон за тачност. Најопаснија ствар у вези са халуцинацијом је управо то што изгледа самоуверено.
Довољно је само да модел каже "ви верификујете". Самовалидација модела није независна валидација.
Коришћење високог ризика без показивања стручњаку. Људска контрола је неопходна у новцу, закону и здрављу.

Укратко

Халуцинација је када модел производи непостојеће информације на течан и сигуран начин као да су истините.
Узрок није квар, већ природа модела предвиђања вероватноће; не може се потпуно елиминисати.
Ризик је посебно висок када су у питању прецизни бројеви, извори, ажурне информације и ниша питања.
Да бисте се заштитили: наведите извор, проверите чињенице, реците „ако нисте сигурни, реците ми“, нека високоризични резултат провери стручњак.
Користите АИ као полазну тачку; Коначна провера и одговорност увек остају на вама.

Апплицатион Таск

Реците свом АИ алату да „предложи 3 академска извора“ о теми која захтева стручност и покушајте да потврдите изворе које предлаже на интернету; Обратите пажњу колико их је стварних. Затим поновите исти задатак методом „дајете извор“ и уочите разлику.

Контролна листа

[ ] Могу да објасним шта је халуцинација и зашто се јавља.
[ ] Могу да разликујем задатке високог и ниског ризика од халуцинација.
[ ] Могу да смањим ризик од фабрикације дајући извор моделу.
[ ] Независно проверавам бројеве, датуме, имена и изворе.
[ ] Не сматрам самоуверен тон доказом тачности.