Печалби:
- Способност за използване на изкуствен интелект при картографиране на литература, сканиране на концепции и приоритизиране на четене за управление на риска от изфабрикувани източници (халюцинации)
- Възможност за установяване на поток за проверка, който потвърждава всеки цитат, констатация и претенция за размера на ефекта от първичния източник
- Възможност за разграничаване на нивото на доказателства (мета-анализ, RCT, случай) и претегляне на резюмето на AI спрямо йерархията на доказателствата
Психологията е професия, основана на доказателства: доказателствата от изследванията ни казват дали дадена интервенция работи, а не „просто ми изглежда така“. Когато един експерт иска да остане актуален, да напише дисертация или да избере правилния подход за даден случай, той се обръща към литературата. Но литературата е огромна; Всяка година се публикуват десетки хиляди статии. Изкуственият интелект (AI) е огромен ускорител тук: той дефинира концепция, картографира полето, предлага коя статия трябва да прочетете първо, опростява сложен текст. Но тук се крие най-опасната характеристика на ИИ в литературата: той измисля несъществуващи източници. В този модул ще научите как да направите AI ускорител в литературния бизнес, как да работите, без да попадате в капана на измислени източници (халюцинации).
Какво прави AI в литературата, какво съставлява?
Литературни задачи, при които AI е силен: обяснение на концепция на разбираем език; обобщава основните дебати в дадена област; да направи текста четим; предлага ключови думи и стратегия за търсене; обобщете статия (когато предоставяте текста); сравняване на различни гледни точки. В тях AI намалява часовете за четене до минути.
Неща, създадени от AI: цитати (източници, които изглеждат перфектни, но не съществуват, включително автор, година, списание, DOI номер); статистика (реално изглеждащи числа като размер на ефекта, размер на извадката, p-стойност); констатации (проучване твърди, че е „открило това“, когато всъщност не е). Това е така, защото AI не е търсачка, а „вероятен инструмент за отгатване на думи“: той генерира най-вероятно изглеждащия формат на цитиране, без да проверява неговата точност.
Внимание: Всеки цитат, даден от AI, не е валиден, без да го проверите от първичния източник (самата статия). Дори привидно перфектен DOI може да се окаже фалшив. Винаги е по-добре да кажете „Не можах да го намеря“, отколкото „Поставих грешен източник“.
Йерархия на доказателствата: не всички констатации са еднакви
Когато AI обобщава откритие, той не ви казва неговата доказателствена сила. Има обаче йерархия на доказателствата. Когато претегляте едно твърдение, важно е да знаете на какъв тип доказателства се основава то.
Ниво на доказателства
какво искаш да кажеш
мощност
Мета-анализ / систематичен преглед
Статистическа комбинация от множество изследвания
най-високо
Рандомизирано контролирано изпитване (RCT)
Експеримент, при който участниците са разделени на произволни групи
високо
Надлъжно/напречно изследване
Наблюдателен, неекспериментален
среден
Серия от случаи / доклад за случай
Описание на един или няколко случая
ниско
Експертно мнение / теоретично писане
Повече тълкувания, отколкото доказателства
най-нисък
Когато изкуственият интелект ви каже „изследванията показват...“, първият ви въпрос трябва да бъде: Какъв тип изследване? Констатацията от мета-анализ няма същата тежест като констатацията от доклад за отделен случай.
Стъпка по стъпка: Сигурен литературен поток, задвижван от AI
- Накарайте AI да обясни концепцията. За да стигнете бързо до същността, помолете AI за просто резюме и ключови концепции. (Това е начало, а не източник.)
- Настройте стратегия за търсене. Помолете AI да предложи ключови думи, синоними и низ за търсене; използвайте го в реални бази данни (академични търсачки, архиви на списания).
- Намерете сами истински източници. Получавайте статии от рецензирани бази данни. Използвайте предложените от AI заглавия като улики за търсене, а не като цитати.
- Резюмирайте текст към AI. Дайте текста на действителната статия, която сте намерили, на AI и поискайте резюме/сравнение. AI вече не измисля неща, защото има реален текст.
- Потвърдете всяко число и находка. AI сравнява размера на ефекта в резюмето с действителната стойност в текста.
- Обозначете нивото на доказателства. Напишете вида на доказателството до всяка констатация.
Съвет: Използвайте AI в литературата в два различни режима: „сугестивен без източник“ (излагане на концепция, идея за търсене) и „обобщен източник“ (когато давате текста). Последното е безопасно, защото AI работи от текста, който предоставяте, а не от собствената си памет.
три мини калъфа
Случай 1 — Епидемията от фалшиво приписване. Завършил студент иска цитиране от AI за глава с 15 източника за тревожни разстройства. AI дава всичко във формат APA. Когато ученикът проверява, той вижда, че 6 от 15 източника всъщност не съществуват (40%) и 3 са приписани към грешен дневник. Така че половината списък е неизползваем. Урок: приписването идва от реалната база данни, а не от AI.
Случай 2 — Правилна употреба. Клиницист дава PDF текста на 4 реални мета-анализа на AI един по един и казва „таблица с номера на пробата, основния размер на ефекта и ограничението на всеки един“. AI намалява 4 статии от 30 страници в сравнителна таблица за 10 минути. Клиницистът потвърждава всеки номер чрез текст; Всички те се оказват верни, защото AI работи от даден текст, а не от собствената си памет.
Случай 3 — Капан за ниво на доказателства. Експерт пита AI: „Терапията X работи ли?“ пита той. AI казва „да, проучванията го подкрепят“ и брои четири „проучвания“. Когато експертът го прегледа, той вижда, че три от тях са доклад за отделен случай и един е публикация в блог; Няма дори нито един RCT. Въпреки че твърдението може да изглежда формално „доказано“, неговата доказателствена сила е много слаба.
Подкани и шаблони с възможност за копиране
Тъкмо започвам с тази тема. БЕЗ ДА МИ СЪЗДАВАТЕ ИЗТОЧНИЦИ, просто ми дайте концептуално въведение: основни понятия, основни дискусии в областта и списък с ключови думи + синоними, които мога да използвам при търсене. Приписване; Ако се изисква приписване, кажете „намерете източника сами“. Тема: [тема]
Поставям текста на действителна статия по-долу. Работете само от този текст, не добавяйте външна информация. Извлечете следното: изследователски въпрос, метод, проба (n), основна находка и размер на ефекта, ограничения, ниво на доказателства. Текст: [текст на статията]
По-долу е текстът на 3 статии. Поставете ги в сравнителна таблица със следните колони: автор-година, проба, метод, основна констатация, ниво на доказателства, ограничение. Работете само по дадените текстове, не добавяйте източници. Текстове: [текстове]
Избройте всяко числово твърдение (n, p, размер на ефекта, процент) в този текст на отделен ред, за да мога да го потвърдя с оригиналната статия. Не добавяйте никакви числа, които не можете да проверите сами. Текст: [резюме]
Слаба подкана / Силна подкана
Слаба подкана: „Дайте 10 академични източника за ефективността на когнитивно-поведенческата терапия при депресия.“
Тази подкана приканва AI да състави приписване от паметта; Значителна част от изхода ще бъде фалшив.
Мощна подкана: „Предложете ключови думи, синоними и низове за търсене, за да търсите в базата данни за когнитивно-поведенческа терапия и депресия. Не предоставяйте източници/цитати; аз ще намеря статиите от действителната база данни, след което ще ви дам техните текстове.“
Тази подкана поставя AI в безопасна роля (търсенски стратег); Препратките идват от истинския източник.
Често срещани грешки
- Директно използване на приписването, дадено от AI. Привидно перфектните източници често са измислени; Никога не се използва без потвърждение.
- Сляпо доверие на DOI/връзката. AI може също да създаде реалистични, но несъществуващи DOI; Няма да се счита за валидно, докато не го отворите и проверите.
- Игнориране на нивото на доказателства. Без да се пита дали има блог или мета-анализ зад изречението „проучванията казват“.
- Замяна на резюмето на AI за статията. Това е обобщена карта; Базирането на критично решение само на резюмето означава да се направи преценка, без да се чете текста.
- Използване в единичен режим. Винаги използвайки AI в режим "ресурс от паметта"; докато безопасният е режимът "обобщаване от дадения текст".
В обобщение
В литературния бизнес AI е мощен ускорител за изясняване на концепции, стратегия за търсене и обобщение (когато предоставите текста). Но той измисля справки, статистики и констатации от собствената си памет (халюцинации). Проверете всеки цитат и номер от първичния източник; Считайте източника, който не можете да намерите за невалиден. Обозначете нивото на доказателства (от мета-анализ до доклад на случай) за всяко откритие. Използвайте AI в два различни режима: „сугестивен без източник“ и „обобщаващ източник“, като предпочитате последния.
Задача за приложение
Изберете тема. Първо помолете AI за 5 цитата по тази тема (режим с източници). След това потърсете тези 5 цитата един по един в истинска академична търсачка и отбележете колко всъщност съществуват. След това намерете 2 реални статии на една и съща тема, подайте техните текстове на AI и го накарайте да създаде сравнителна таблица. Сравнете два опита: кой даде надежден резултат?
контролен списък
- [ ] Не използвах нито една от препратките, дадени от AI, без да ги потвърдя.
- [ ] Получих статиите от истинска, рецензирана база данни.
- [ ] За резюмето дадох на AI действителния текст на статията (не по памет).
- [ ] Сравних всяко числово твърдение с оригиналния текст.
- [] Означих нивото на доказателства за всяко откритие.
- [ ] Направих невалиден източника, който не можах да намеря.