Добици:
- Способност препознавања у којим облицима (фабрицирани ген/секвенца/варијанта/референца) се халуцинација (самоуверено стварање грешака вештачке интелигенције) јавља у генетици
- Способност да се разуме да 'самоуверени' тон вештачке интелигенције није доказ тачности и унакрсно провери сваки излаз са независним извором
- Способност имплементације тока рада који смањује халуцинације са применом извора, потврдом координата/верзије и упутствима „ако не знате, измислите“
Једна опасност се понавља у свакој јединици овог модула: халуцинација вештачке интелигенције (АИ) — то јест, стварање са потпуном поузданошћу информација које заправо не постоје. Ова јединица сама се бави том опасношћу: шта и како се АИ уклапа у молекуларну биологију и генетику; Како то примећујете? и који рефлекс верификације треба да развијете за сваку врсту резултата. Циљ је да халуцинацију видите не као „несрећу која се понекад дешава“ већ као појаву која се увек очекује и систематски хвата.
Зашто су халуцинације неизбежне? Јер ЛЛМ није систем који „зна истину“, већ систем који „производи следећу највероватнију реч“. Научио је како изгледа име гена, варијантни облик или образац ознаке у подацима о обуци; Стога, може произвести излаз који је веома сличан стварности, али не и стварност. У генетици је ова сличност посебно опасна јер се измишљено "ц.1234А>Г" и права варијанта не могу разликовати оком.
Шта АИ чини у генетици? мапу
измишљена ствар
Како то изгледа
Како ухватити
Име/симбол гена
Реалан, али непостојећи симбол
ХГНЦ/НЦБИ Гене
серије
Погрешан редослед са тачним словима
НЦБИ/Енсембл ФАСТА
Координата варијанте
У ХГВС формату, али погрешно/непостојеће
ВариантВалидатор, ЦлинВар
учесталост популације
Разуман проценат
гномАД
функционални рад
убедљив отисак
ПубМед/ДОИ
клиничка тврдња
"То је патогено"
АЦМГ ланац доказа
протеинска координата
3Д бројеви са децималом
ПДБ/АлпхаФолд датотека
Статистички резултат
п-вредност без корекције
Поново покрените код
Технике које смањују (али не завршавају) халуцинације
1. Наведите контекст. Што прецизнији контекст дате (верзија генома, транскрипт, стварна секвенца), мање ће АИ надокнадити. Али се не ресетује.
2. Упутство „ако не знаш, реци ми“. Упутство „Ако нисте сигурни, реците 'мора се проверити', немојте измишљати" смањује измишљотину — али немојте јој потпуно веровати.
3. Захтевајте ресурс. Затражите проверљиви извор (ДОИ, ПМИД, запис базе података) за сваки захтев.
4. Само проверите. „Који елементи у овом излазу захтевају независну верификацију?“ питати; АИ често може означити ризичне ставке.
5. Најважније: проверите лично. Горе наведено смањује вероватноћу; Само ваша примарна контрола извора пружа сигурност.
Савет: Подесите „буџет за валидацију“: са сваким АИ излазом, обавезно проверите чињенице кључне за одлуку (редослед, варијанта, учесталост, атрибуција); Објашњења са ниским улозима (дефиниција концепта) третирајте лабавије. Усредсредите своје ресурсе на грешку која може проузроковати највише штете.
три мини кофера
Случај 1 — Непостојећи ген. Студент је покушао да истражи "ген" који је АИ споменуо, али није могао да га пронађе у ХГНЦ-у. АИ је произвео симбол који није постојао комбиновањем имена два права гена. Без ХГНЦ контроле, ученик би провео сате у потрази за геном духова.
Случај 2 — Ланчана халуцинација. Истраживач је питао АИ о варијанти; АИ је дао измишљену фреквенцију, затим предложио лажни АЦМГ код заснован на тој фреквенцији, а затим додао лажни чланак који подржава тај код. Једна лажна вредност родила је трослојни лажни ланац. Када је истраживач отворио гномАД, прва карика у ланцу је пукла и све се срушило.
Случај 3 — Потврда добијена. Техничар је примио код за анализу стрингова од АИ; У коду је АИ уградио измишљени низ као „референтни низ“. Техничар је прочитао код и заменио секвенцу стварном секвенцом из НЦБИ. Ако би слепо покренуо код, резултат би био тихо погрешан.
Рефлекси потврде: по врсти излаза
Када видите СЕКУЕНЦЕ -> када видите НЦБИ/Енсембл ФАСТА када видите ВАРИАНТ -> када видите ВариантВалидатор + ЦлинВар + гномАДФРЕКУЕНЦИ -> потражите у самом гномАД-у када видите АТТРИБУТЕ -> отворите ДОИ/ПМИД, задржите наслов-аутора -> када видите ГЕНЕТЕ ХБИГНАМЕ видите верзију генома + лифтОверСТАТИСТИЦС -> сами покрените код, проверите исправку
Четири шаблона за копирање
1) Упозорење за самоконтролу:
У излазу који сте управо дали, који елементи (секвенца, варијанта, учесталост, назив гена, цитат, број) захтевају независну верификацију? Означите сваки као „известан/могућ/несигуран” и запишите који извор да проверите.
2) Извор обавезног одговора:
Одговорите на ово питање, али цитирајте извор који се може проверити (запис базе података, ДОИ, ПМИД) за СВАКУ чињеничну тврдњу. Немојте износити никакве тврдње за које не можете дати извор; напишите "мора бити верификовано": [питање].
3) Скенирање направљеног низа:
Наведите све низове, константе и варијанте уграђене у следећи код:[код]. За сваку од њих јасно означите „мора бити верификовано“ ако није јасно да ли потиче из стварног извора или је чувар места који сте креирали.
4) Контрола ланца:
Сваки корак се надовезује на претходни у следећем резоновању: [ланац]. Који наредни кораци се срушавају ако је прва веза (основни подаци) погрешна? Наведите КЉУЧНЕ тачке података које ланац треба да провери.
Слаби промпт / Јаки промпт
Слабо: "Реците нам све што знате о овој варијанти."
Проблем: АИ измишља учесталост, атрибуцију, клиничку тврдњу; Не постоји кука за валидацију.
Снажно: „Одговорите на ову варијанту; наведите који извор желите да проверите за сваку чињеничну тврдњу, означите 'мора да се провери' ако нисте сигурни, немојте измишљати никакву учесталост или приписивање.
Зашто је моћан: Област израде је сужена, свака тврдња је везана за куку за верификацију.
Уобичајене грешке
- Грешка течност за тачност. Најубедљивије реченице могу бити најопасније халуцинације.
- Изградња на једној вредности без њене валидације. Тако се рађа ланчана халуцинација.
- Не чита константе уграђене у код. АИ може да угради измишљени стринг/константу у код.
- Бити задовољан са "Ако не знаш, реци ми." Ово упутство смањује вероватноћу и не даје сигурност.
- Трошење буџета за верификацију на погрешном месту. Проверавање неважних чињеница, а не најкритичнијих чињеница.
Опрез: Стопа халуцинација варира у зависности од верзије модела, питања и домена; али погрешно је рећи „овај модел више не одговара“. Дисциплина верификације се мора одржавати без обзира на то колико је модел добар. Одговорност увек лежи на особи.
Дубина: Зашто РАГ и 'вожња' не окончавају халуцинације
Последњих година, многи алати вештачке интелигенције су користили РАГ (Ретриевал-Аугментед Генератион — метод којим модел преузима релевантне документе из базе података и користи их пре генерисања одговора) или директно позивање алата (нпр. стварно претраживање ПубМед-а) да „повеже“ свој одговор са стварним изворима. Ови приступи смањују халуцинацију, али је не прекидају из два разлога. Прво, модел може погрешно сумирати снимљени документ или приписати резултат документу који није у документу; Чак и ако је извор стваран, тумачење може бити измишљено. Друго, претрага може да врати погрешан или нерелевантан документ, а модел ће га и даље претворити у ауторитативан одговор. Другим речима, чак и одговор за који се чини да је „из извора“ не треба сматрати поузданим без отварања и читања да извор заправо подржава ту тврдњу.
Конкретан пример: помоћник заснован на РАГ-у је вратио стварну страницу ЦлинВар за варијанту, али је резимирао страницу као „патогену“; Међутим, на страници је варијанта означена као „конфликтни коментари“. Извор је био тачан, резиме је био погрешан - и грешка клиничке тежине. Други пример: алат за литературу је извукао стварни чланак, али је чланак био о другом гену; Модел је био преварен сличношћу наслова и приписао је резултат питању.
Опште правило: ако је дата веза, отворите везу; ако је наведен цитат, погледајте да ли је цитат цитиран дословно у извору. „Изворни АИ“ олакшава верификацију, а не елиминише је. Ваш рефлекс верификације остаје исти без обзира на то колико је возило „повезано“.
5) Шаблон за инспекцију завареног одговора:
За сваки изворни линк/цитат који наведете у овом одговору, покажите ми тачну реченицу/одломак где могу да проверим да ли се тврдња појављује ТАКО у извору. Ако је извор чињеничан, али ваш сажетак одступа од њега, означите га.
Укратко
- Халуцинације су природна последица ЛЛМ-овог модус операнди; То није „несрећа“, већ очекивана појава која се мора систематски хватати.
- У генетици, АИ може да прави гене, секвенце, варијанте, фреквенције, атрибуције, координате, статистику и клиничке тврдње.
- Контекст, императив ресурса и самоконтрола смањују, али не окончавају халуцинацију; Само примарна контрола извора обезбеђује тачност.
- Развити рефлексе верификације специфичне за тип излаза (секвенца→ФАСТА, цитирање→ДОИ); Фокусирајте свој буџет за верификацију на најкритичније чињенице.
Задатак апликације
Питајте АИ о генетској теми и лично проверите сваку чињеничну тврдњу (ген, секвенцу, варијанту, учесталост, атрибуцију) у излазу у односу на горњу листу рефлекса. Пребројите колико је тврдњи тачних, колико лажних/измишљених, а колико нејасних. Сумирајте резултат у табелу и забележите која је врста тврдње највише измишљена.
контролна листа
- [ ] Применио сам свој рефлекс верификације за сваки тип излаза.
- [ ] Лично сам проверио критичне чињенице из примарног извора.
- [ ] Потврдио сам основну тачку података у ланчаном резоновању.
- [ ] Прочитао сам и потврдио низове/константе уграђене у код.
- [ ] Нисам сматрао глатки и самоуверени тон доказом тачности.
- [ ] Усредсредио сам свој буџет за верификацију на потраживања са највећим ризиком.