Табыстар:
- NER, қарым-қатынастарды шығару, уақыт шкаласы және желіні талдау сияқты әдістерді қолдана отырып, мәтіннің үлкен жиынтығынан үлгілерді алу мүмкіндігі
- Үлгіні дәлелдемеден гөрі гипотеза ретінде көре білу, субъектілерді көзбен байланыстыру және оларды адамның мақұлдауымен қалыпқа келтіру
- Жетіспейтін деректер мен іріктеудің бұрмалануына байланысты сандар қалай жаңылыстыруы мүмкін екенін түсіну және жалған қатынастар мен хронологияларды болдырмау.
Тарихи зерттеу жеке құжаттарды оқу ғана емес; көбінесе құжаттардың үлкен жинақтарында үлгілерді іздейді. Белгілі бір атау жылдар бойы қандай контексте пайда болады? Қандай адамдар елді мекенмен байланысты? Уақыт өте келе тақырып қалай өзгереді? Кім кіммен хат жазысып жатыр? Мұндай сұрақтар бір құжатты емес, жүздеген құжатты жиынтықтап қарауды қажет етеді. Бұл көбінесе сандық гуманитарлық ғылымдар деп аталады - тарих және әдебиет сияқты салаларда есептеу әдістерін қолдану.
AI мәтіннің үлкен жинағынан құрылымдық ақпаратты алуда күшті. Бұл бөлімде сіз NER (атаулы нысанды тану), үлгі мен қатынастарды шығару, тақырыпты модельдеу логикасы және уақыт кестесін құруды үйренесіз; бірақ біз сонымен бірге осы әдістердің ең қауіпті тұзағын талқылаймыз - AI өзін жоқ үлгіні «тапты» ретінде көрсетеді.
Негізгі техникалар
- NER (атаулы нысанды тану): мәтіннен адам, орын, мекеме, күн сияқты нысандарды автоматты түрде алу. Ол бірнеше минут ішінде «Осы 500 құжатта аталған барлық жер атаулары» сияқты тізімді жасайды.
- Қарым-қатынас туралы қорытынды: Субъектілер арасындағы байланыстарды белгілеу («Y жеріндегі X тұлғасы», «А В орнына сәйкес келеді»).
- Тақырыпты модельдеу: Мәтіннің үлкен жинағында қайталанатын тақырыптардың кластерлерін статистикалық түрде табу. Ол қандай тақырыптардың қай кезеңде шоғырланғанын көрсетеді.
- Уақыт кестесі туралы қорытынды: Құжаттардағы даталы оқиғаларды хронологиялық ретпен реттеу.
- Желілік талдау: тұлға аралық/институционалдық қарым-қатынастарды желі ретінде визуализациялау (кім орталық, кім қосылу нүктесі).
Бұлардың барлығының ортақ мақсаты – бір құжатта көрінбейтін, бірақ бүкіл жинақта көрінетін құрылымдарды ашу. Бұл әдістер тек оқу арқылы ешқашан көрінбейтін көрінетін үлгілерді жасайды. Бірақ олардың әрқайсысы «дәлел» емес, «белгі»; Бастапқы құжатта не бар екенін тексеру өте маңызды.
Бұл салада жиі қолданылатын ұғым жақыннан оқу (мәтінді тереңдетіп, жол бойынша оқу) мен қашықтан оқу (жүздеген/мыңдаған мәтіндерді жалпы, статистикалық түрде қарау) арасындағы айырмашылық болып табылады. Жасанды интеллект қашықтан оқуға мүмкіндік береді: сіз бір адамның өміріне жететіндей үлкен корпустағы үлгілерді көресіз. Бірақ қашықтан оқу үлгіні көрсеткенде, оны түсіну үшін жақын оқуға, яғни түпнұсқа құжатқа оралу керек. Екі әдіс өзара алмастырылмайды; Бірі өрнекті көрсетсе, екіншісі мағынасын береді. Ең сенімді зерттеу екеуін бірге пайдаланады.
Кеңес: Гипотеза генераторы ретінде үлгіні талдауды пайдаланыңыз: «AI мұнда үлгіні байқады, бұл шын ба?» Содан кейін құжаттардағы үлгіні бір-бірден тексеріңіз. Үлгі - нәтиже емес, зерттеуіңіздің бастапқы нүктесі.
Жұмыс барысы: кезең-кезеңімен
1. Сұрақты нақтылаңыз. «Бұл топтамада қай адамдар жиі кездеседі?» сияқты анық үлгі сұрағы.
2. Деректерді дайындаңыз және белгілеңіз. Мәтінді бастапқы сілтемелермен реттеңіз, сонда кез келген табылған активтер құжатқа кері байланыстырылады.
3. Нысан/үлгі пайда болады. AI-мен NER, қарым-қатынас немесе уақыт кестесін жасаңыз.
4. Нормализациялау. Бір адамның/жердің әртүрлі емлесін біріктіріңіз («Стамбул / Стамбул / Костантинийе» бір жер?). Бұл қадам өте маңызды; Егер ол алынып тасталса, үлгі бұзылады.
5. Құжатта растаңыз. Белгіленген кез келген маңызды үлгілер үшін нақты құжаттарды тексеріңіз. AI құрастырылған сілтемені қоспайтынына көз жеткізіңіз.
6. Түсініктеме. Үлгі нені білдіреді – тарихшының пайымдауы; AI жай ғана үлгіні белгілейді.
Сан және статистикалық тұзақ
Үлгілерді талдау жиі сандарды шығарады: «X атауы 47 рет кездеседі», «бұл тақырып құжаттардың 30% -ында кездеседі». Бұл сандар объективті болып көрінеді, бірақ жаңылыстыруы мүмкін:
- Жетіспейтін деректер: жинақ әлдеқашан толық болмаса (құжаттар жоғалған, топ ешқашан жазылмаған), нөмір шындықты емес, сақталған құжаттарды көрсетеді.
- Нормалау қатесі: Егер бір адам басқаша жазылса және бөлек есептелсе, сан қате болады.
- Мәтінмәннің жоғалуы: «47 рет кездеседі» ештеңе айтпайды; Оның қалай өткені (оң/теріс, тақырып/объект) маңызды.
үлгі шығару
көрінетін мағынасы
нақты тәуекел
«Х 47 рет кездеседі»
маңызды адам
Толық емес жинақ, орфографиялық нұсқа
«Тақырып 30%»
басым тақырып
іріктеу бұрмалануы
«А-В жиі бірге»
жақын қарым-қатынас
Кездейсоқтық, жетіспейтін контекст
«уақыт шкаласы»
нақты хронология
Мерзімі жоқ құжаттар, жасанды тапсырыс
үш шағын іс
1-жағдай — Желі талдауы жасырын делдалды анықтады. Зерттеуші 800 хаттан тұратын корреспонденциялар жинағын зерттеді. АИ-мен кімге кім жазғаны анықталып, желі құрылды. Желі бір қарағанда елеусіз болып көрінетін адамның шын мәнінде екі топ арасындағы негізгі байланыс нүктесі екенін көрсетті. Зерттеуші осы кісінің хаттарына тоқталып, жаңа тұжырымға келді. Бірақ алдымен құжаттардағы барлық сілтемелерді тексерді.
2-жағдай — Нормалау қатесі нөмірді бұзды. Студент құжаттарда орынның қанша рет пайда болғанын санауды тапсырды. AI бір жердің үш түрлі жазылуын бөлек санағандықтан, бұл сан нақты санның үштен бірі болып шықты. Емлелерді біріктіргенде, орын шын мәнінде үшінші жиі кездесетін позицияда болды. Сабақ: нормалаусыз нөмірге сенуге болмайды.
3-жағдай — құрастырылған хронология. Зерттеуші күні көрсетілмеген құжаттардан уақыт кестесін жасады. AI белгісіз оқиғаларды «логикалық» ретпен орналастырып, нақты хронологиясын ұсынды. Алайда, бұл реттілік құжаттарда болмаған, оны AI жасаған. Сабақ: уақыт шкаласы құжатта күні бар оқиғалардан ғана құрастырылады; қалғаны «күні жоқ» болып қалады.
Көшірілетін төрт үлгі
1) NER (нысан қорытындысы):
Төмендегі құжаттарда көрсетілген тұлғалар, орындар, мекемелер мен күндер БӨЛЕК тізім ретінде көрсетіледі. Қандай құжатта (анықтамада) әрбір субъекті туралы айтылғанын көрсетіңіз. Мәтінде АНЫҚ айтылғандарды ғана алыңыз; болжам бойынша қосыңыз. Айтылуына сенімді болмасаңыз, [?] белгілеңіз. Құжаттар: [мұнда]
2) нысанды қалыпқа келтіру:
Төмендегі нысандар тізімінде бір адам/жер болуы мүмкін әртүрлі емлелерді топтаңыз (мысалы, "Istanbul / Kostantiniyye"). Әр топ үшін мүмкін болатын ортақ пішімді ұсыныңыз, БІРАҚ нақты комбинацияны енгізбеңіз; «Мүмкін бірдей болуы мүмкін, адамдар тексеруге рұқсат етіңіз» деген ескертуді қосыңыз. Сенбесеңіз, оны жай қалдырыңыз. Тізім: [мұнда]
3) Қарым-қатынас/желі құрылымы:
Келесі корреспонденциялар/құжаттар жинағынан «кім кімге қатысты» сілтемелерін шығарып алыңыз. Әрбір сілтеме үшін қай құжатқа (анықтамаға) негізделгенін көрсетіңіз. Құжатта АНЫҚ емес қатынасты құрады. Анық емес сілтемелерді белгілеңіз [анық емес]. Құжаттама: [мұнда]
4) Күні:
Келесі құжаттарда АНЫҚ баяндалған оқиғаларды ғана хронологиялық ретпен көрсетіңіз; Әрбір оқиғаны оның көзіне байланыстырыңыз. Белгісіз күні бар оқиғаларды «күні жоқ» айдарымен бөлек көрсетіңіз, оларды ретке келтірмеңіз. Болжалды күнді ҚОЛДАМАҢЫЗ. Құжаттама: [мұнда]
Әлсіз шақыру / Күшті шақыру
Әлсіз:
Осы құжаттарды талдап, маңызды үлгілерді, қарым-қатынастарды және уақыт кестелерін шығарып алыңыз.
«Маңызды үлгілерді шығару» AI-ны жоқ байланыстар мен нақты хронологияларды ойлап табуға итермелейді, сандарды қалыпқа келтірместен ұсынады.
Күшті:
Әрқайсысын құжат анықтамасына қосу арқылы келесі құжаттардан тұлға/орын/мекеме нысандарын шығарып алады. «Біріктіруге болады» дегенмен бірдей болуы мүмкін әртүрлі емлелерді белгілеңіз, бірақ біріктірмеңіз. Құжатта анық көрсетілмеген қарым-қатынастар мен күні белгісіз оқиғалар ЖАЛАНДЫҚ БОЛМАЙДЫ; күні көрсетілмегендерді бөлек ұстаңыз. Құжаттама: [мұнда]
Айырмашылық: дереккөзге жатқызу, қалыпқа келтіруді адамдарға қалдыру, жалған байланыстарға/тарихқа тыйым салу және күні көрсетілмеген оқиғаларды бөлу үлгіні қорғалатын етеді.
Жалпы қателер
- Дәлелдеу үлгісін қателесу. Үлгі – гипотеза; құжатта расталады.
- Қалыптастыруды өткізіп жіберу. Бір нысанның әртүрлі жазылуы нөмір мен желіні бұрмалайды.
- Сандарға соқыр сенім. Толық емес жинақтау және сынама алудың ауытқуы санды жаңылыстырады.
- Құрылған хронология. Күні көрсетілмеген оқиғалар хронологияға кірмейді.
- Мәтінмәнді елемеу. «Қанша рет өткені» емес, «қалай өткені» маңызды.
Қысқаша
Мазмұнды талдау және үлгіні табу - бұл AI тек оқу арқылы көрінбейтін көрінетін құрылымдарды жасайтын қуатты өріс: нысанды шығару, байланыс желілері, тақырып кластерлері, уақыт кестелері. Бірақ әрбір үлгі дәлел емес, гипотеза. Активтерді дереккөзге байланыстырыңыз, мұқият және адам тексеруімен қалыпқа келтіріңіз, жетіспейтін деректер мен қиғаштық үшін нөмірлерді сұраңыз, жалған қатынастар мен хронологиялардан аулақ болыңыз. AI үлгіні белгілейді; Оның мәні неде, рас па – тарихшының пайымдауында.
Қолданбалы тапсырма
Кем дегенде 15 құжаттаманы жинаңыз (анықтамалармен бірге). Адамды шығарып алыңыз және нысандарды "NER" үлгісімен орналастырыңыз. Содан кейін әртүрлі емлелерді «нысанды қалыпқа келтіру» арқылы топтаңыз және топтарды өзіңіз тексеріңіз. Соңында, «күні белгіленген хронология» үлгісін іске қосыңыз және қанша оқиғаның «күні көрсетілмеген» қалғанын көріңіз. AI нашар шақыру арқылы қанша құрастырылған сілтемелер немесе хронологиялар шығаратынын салыстырыңыз.
бақылау парағы
- [ ] Мен үлгі сұрағымды нақты анықтадым.
- [ ] Менде құжат сілтемесіне байланыстырылған әрбір нысан бар.
- [ ] Мен нысанды теруді қалыпқа келтірдім және оны адамның мақұлдауымен біріктірдім.
- [ ] Мен жетіспейтін деректер мен ауытқулар үшін сандарды сұрадым.
- [ ] Мен күні көрсетілмеген оқиғаларды хронологияға салмадым, бөлек сақтадым.