Галлюцинация және сенімділік шегі

Табыстар:

• Галлюцинацияның не екенін және оның неліктен пайда болатынын түсіндіре алады
• AI шығысын тексеру қажет болған кезде анықтай алады
• Сенімділікті арттыратын практикалық әдістерді қолдана алады

Мүмкін, AI сауаттылығының ең маңызды тақырыбы осы бөлімде: Модель жасау, яғни галлюцинация. Бұл терминді түсіну AI қолданатын кез келген адам үшін ең негізгі қауіпсіздік шарасы болып табылады. Өйткені галлюцинацияны мойындамайтын пайдаланушы жалған ақпаратты шындық деп қателесіп, оны іскерлік шешімге, тұтынушы байланысына немесе ресми құжатқа жіберуі мүмкін. Бұл бөлімде сіз галлюцинацияның не екенін, неліктен ол сөзсіз екенін және одан қалай қорғану керектігін білесіз.

Галлюцинация дегеніміз не?

Галлюцинация - бұл тілдік модельдің еркін және сенімді тілде шын мәнінде жоқ ақпаратты шығаруы. Модель өтірік айтуды ойламайды; Тек «ең ықтимал жалғасын» шығара отырып, ол ықтимал болып көрінетін, бірақ шын мәнінде жалған мәтін жасайды.

Мысал: Егер сіз үлгіге «Тақырып бойынша академиялық дереккөзді ұсыныңыз Барлығы дұрыс форматта және сенімді түрде көрінеді; Бірақ дереккөз толығымен ойдан шығарылған. Бұл галлюцинацияның классикалық мысалы.

Бұл неге болады? (Екінші бөлімді есте сақтаңыз)

Галлюцинацияның көзі модельдің жұмыс принципінде жатыр. The model is not an "encyclopedia of facts"; It is a "probability machine". Оның міндеті - сұрағыңыздың мүмкін болатын жалғасын шығару; Бұл ең нақты ақпаратты әкелу туралы емес. Үлгі:

• He doesn't know what he doesn't know; Бос орынға тап болған кезде ол «білмеймін» дегеннен гөрі ықтимал жауапты толтыруға бейім.
• Оның шындықты басқару механизмі жоқ; Ол шығарған мәтіннің әлемге сәйкес келетінін тексермейді.
• Жаппай сөйлеу мен дәлдік ол үшін екі бөлек нәрсе; Оның еркін сөйлеуі оның дұрыс екенін білдірмейді.

Caution: Hallucination is not a "malfunction"; It is an inherent feature of technology. Жаңа модельдер мұны азайтады, бірақ оны толығымен жоя алмайды. Сондықтан «галлюцинациясыз модельді» күтудің орнына, галлюцинациямен өмір сүруді үйрену керек.

Галлюцинация қаупі қай жерде жоғары?

Not every outcome is equally risky. Тәуекел келесі жағдайларда артады:

Жоғары тәуекел

Төмен тәуекел

Exact figures, dates, statistics

Generating general ideas, brainstorming

Requesting sources, quotes, references

Change the tone of a text

Niche, specialized topics

Жалпы, жалпы тақырыптар

Ағымдағы оқиғалар мен адамдар

Мәтінді қорытындылаңыз

Сіздің компанияңызға тән ішкі ақпарат

Грамматикалық түзету

Үш шағын корпус

1-жағдай — Презентацияға жалған фигура кірді. Қызметкер AI-дан салалық есеп үшін «2023 жылы Түркиядағы электрондық коммерцияның өсу қарқыны мен көзін» сұрады. Модель сенімді пайызды (48%) және мекеме атауын қайтарды. Қызметкер оны тексермей презентацияға енгізді; Жиында бұл цифрдың ойдан шығарылғаны анықталғанда, тұсаукесер де, компанияның беделі де бұзылды. Дәл сол қызметкер бұл көрсеткішті ресми дереккөзден алса, еш қиындық болмас еді.

2-жағдай – жоқ заң бөлігі. Көмекші AI-дан петиция үшін «заңның тиісті бабын» сұрады. Модель нақты көрінетін элемент нөмірі мен мәтінін шығарды; бірақ ол зат жоқ еді. Бақытымызға орай, заң бөлімі оны жеткізгенге дейін байқады. Сабақ: заңды сілтемелер әрқашан бастапқы көзден тексеріледі.

Case 3 — Correct method, safe result. Сол командадағы тағы бір қызметкер ресми деректерден барлық сандарды өзі енгізіп, оған «осы мәтінде жоқ цифрларды қоспауды» тапсырып, AI есебінің жобасын жасады. The result was both fast and accurate. Difference: AI wrote draft, human fed facts.

Әлсіз шақыру / Күшті шақыру

Әлсіз нұсқау: осы тақырып бойынша ең маңызды 3 академиялық дереккөзді автормен және жылымен көрсетіңіз.

Нәтиже: Модель жоқ көздерді қауіпсіз сыйдыра алады.

Күшті кеңес: Мен төменде қойған мәтінге негізделген қорытынды жазыңыз. Тек осы мәтіндегі ақпаратты пайдаланыңыз. Мәтінде жоқ атауларды, сандарды немесе дереккөздерді қоспаңыз. Егер сенімді болмасаңыз, "мәтінде көрсетілмеген" деп жазыңыз.<text>[мұнда қойыңыз]</text>

Нәтиже: Модель көзді сізден алатындықтан, орнату кеңістігі тарылады.

Practical Techniques That Increase Reliability

Жауабыңызда әрбір тексерілетін шағымды белгілеңіз (нөмірі, күні, аты, көзі) және оларды бөлек «тексеру керек» тізіміне қойыңыз.

Бұл сұраққа жауап беріңіз. If you're not sure, don't guess; «Мен сенімді емеспін» деп айтыңыз және нені білмегеніңізді түсіндіріңіз. Тақырып: [тақырып]

Бір сұраққа екі түрлі жауап беріп, екі жауаптың арасындағы қайшылықтарды белгілеңіз. Ендеше, қандай нүктелер күмәнді екенін көрейін. Сұрақ: [сұрақ]

Төмендегі мәтінді тексеремін. Маңыздылығы бойынша тексеруге болатын қауіпті шағымдарды тізімдеңіз және олардың әрқайсысын қай жерде тексере алатынымды көрсетіңіз. Мәтін: [осы жерге қойыңыз]

Сонымен қатар, мына әдеттерді қабылдаңыз:

1. Сіз дереккөзді бересіз. Мәтінге сәйкес құжатты қойып, «тек осыған негізделген жауап» деңіз.
2. Әрқашан тексерілетін фактілерді тексеріңіз. Сандарды, күндерді, атауларды, дәйексөздерді және тәуелсіз, сенімді көзден алынған дереккөздерді тексеріңіз.
3. Оның модельге сенімді емес екенін көрсетуін сұраңыз. Бұл тәуекелді азайтады, бірақ оны толығымен жоймайды.
4. Тәуекелділігі жоғары жұмыстарды сарапшыдан тексеруді сұраңыз. Құқықтық, қаржылық және денсаулыққа қатысты нәтижелер адам сарапшыларының сүзгісінен өтуі керек.
5. AI-ді «соңғы сөз» ретінде емес, «бастапқы нүкте» ретінде пайдаланыңыз. Жоба одан; Тексеру және шешім сіздікі.

Абайлаңыз: «Модель мұны екі рет айтты, содан кейін бұл шындық» логикасы дұрыс емес. Бір қателікті сенімді түрде қайталай алады. Қайталау дәлдіктің дәлелі емес.

Жалпы қателер

Жалпы қателер

• Дереккөздерді оларды тексермей пайдалану. Ол үлгі кітаптарды, мақалаларды, заң мақалаларын және сілтемелерді жасай алады; Әрбір анықтама расталуы керек.
• Сенімді тонды дәлдікпен қателесу. Галлюцинацияның ең қауіптісі - оның сенімді болып көрінуі.
• Үлгінің «тексересіз» деп айтуы жеткілікті. Модельдің өзін-өзі тексеруі тәуелсіз валидация емес.
• Тәуекелділігі жоғары нәтижені сарапшыға көрсетпей пайдалану. Адамның бақылауы ақшада, заңда және денсаулықта маңызды.

Қысқаша айтқанда

• Галлюцинация - бұл модель жоқ ақпаратты ақиқат сияқты еркін және сенімді түрде шығаратын кезде.
• Себеп ақаулық емес, модельдің ықтималдықты болжау сипаты; толығымен жою мүмкін емес.
• Тәуекел әсіресе нақты сандарға, дереккөздерге, өзекті ақпаратқа және тауашалық мәселелерге қатысты жоғары.
• Өзіңізді қорғау үшін: дереккөзді көрсетіңіз, фактілерді тексеріңіз, «сенбесеңіз, маған айтыңыз» деп айтыңыз, жоғары қауіпті нәтижені сарапшыға тексертіңіз.
• AI-ны бастапқы нүкте ретінде пайдаланыңыз; Соңғы тексеру және жауапкершілік әрқашан сізде қалады.

Қолданбалы тапсырма

AI құралына тәжірибені қажет ететін тақырып бойынша «3 академиялық дереккөзді ұсынуды» айтыңыз және ол интернетте ұсынатын көздерді растауға тырысыңыз; Қаншасы нақты екенін ескеріңіз. Содан кейін сол тапсырманы «көзді бересіз» әдісімен қайталаңыз және айырмашылықты байқаңыз.

Бақылау тізімі

• [ ] Мен галлюцинацияның не екенін және оның неліктен пайда болатынын түсіндіре аламын.
• [ ] Мен галлюцинация қаупі жоғары және төмен тапсырмаларды ажырата аламын.
• [ ] Модельге көзді беру арқылы жасау қаупін азайта аламын.
• [ ] Мен сандарды, күндерді, атауларды және дереккөздерді дербес тексеремін.
• [ ] Мен сенімді тонды дәлдіктің дәлелі деп санамаймын.