Пайдалар:
- NER, мамилелерди чыгаруу, хронология жана тармак анализи сыяктуу ыкмаларды колдонуу менен тексттин чоң топтомдорунан үлгүлөрдү алуу мүмкүнчүлүгү
- Үлгүнү далил эмес, гипотеза катары көрө билүү, объектилерди булак менен байланыштыруу жана аларды адамдын макулдугу менен нормалдаштыруу
- Берилиштердин жетишсиздигинен жана тандап алуунун туура эместигинен улам сандар кандайча адаштыруучу болорун түшүнүү жана жасалма мамилелерден жана хронологиялардан качуу.
Тарыхый изилдөө жеке документтерди окуу менен гана чектелбейт; көп документтердин чоң топтомдорунун үлгүлөрүн издеп. Кандай контексттерде белгилүү бир ысым жылдар бою пайда болот? Кайсы эл конуш менен байланышкан? Тема убакыттын өтүшү менен кантип өзгөрөт? Ким ким менен кат алышууда? Мындай суроолор бир эле документти эмес, жүздөгөн документтерди чогуу кароону талап кылат. Бул көбүнчө санариптик гуманитардык илимдер деп аталат - тарых жана адабият сыяктуу тармактарда эсептөө ыкмаларын колдонуу.
AI тексттин чоң топтомдорунан структураланган маалыматты алууда күчтүү. Бул бөлүмдө сиз NER (аттуу объектти таануу), үлгүнү жана мамилелерди чыгарууну, теманы моделдөө логикасын жана хронологияны түзүүнү үйрөнөсүз; бирок биз бул ыкмалардын эң кооптуу тузагын да талкуулайбыз - AI өзүн жок үлгүнү "тапкан" деп көрсөтөт.
Негизги техникалар
- NER (Amed Entity Recognition): тексттен адам, жер, мекеме, дата сыяктуу объекттерди автоматтык түрдө алуу. Ал бир нече мүнөттүн ичинде "Бул 500 документте айтылган бардык жер аттары" сыяктуу тизмени түзөт.
- Мамилелер жөнүндө корутунду: Объекттердин ортосундагы байланыштарды белгилөө («Y жеринде X адамы», «А менен В туура келет»).
- Теманы моделдөө: Тексттин чоң топтомундагы кайталануучу темалардын кластерлерин статистикалык жактан табуу. Анда кайсы темалар кайсы мезгилде топтолгондугу көрсөтүлөт.
- Убакыт графигин жыйынтыктоо: документтердеги даталуу окуяларды хронологиялык тартипте жайгаштыруу.
- Тармактын анализи: Тармак катары адамдар аралык/институционалдык мамилелерди визуализациялоо (ким борбор, ким байланыш түйүнү).
Булардын бардыгынын жалпы максаты – бир документте көрүнбөгөн, бирок бүтүндөй коллекцияда пайда болгон структураларды ачып берүү. Бул ыкмалар окуу аркылуу эч качан көрүнбөй турган көзгө көрүнгөн үлгүлөрдү түзөт. Бирок алардын ар бири «далил» эмес, «белги»; Документтин түпнускасында эмне бар экенин текшерүү маанилүү.
Бул тармакта көп колдонулган түшүнүк жакын окуу (текстти тереңдетип, сап сап окуу) менен алыстан окуу (жүздөгөн/миңдеген тексттерди жалпы, статистикалык түрдө кароо) ортосундагы айырмачылык болуп саналат. AI алыстан окууга мүмкүндүк берет: сиз бир адамдын өмүрүнө жете тургандай чоң корпуста үлгүлөрдү көрөсүз. Бирок алыстан окуу бир калыпка ишарат кылганда, анын маанисин түшүнүү үчүн жакын окууга, башкача айтканда, баштапкы документке кайтуу керек. Бул эки ыкма бири-бирин алмаштыра албайт; Бири үлгү көрсөтсө, экинчиси анын маанисин берет. Эң күчтүү изилдөө экөөнү тең колдонот.
Кеңеш: Үлгү анализин гипотеза генератору катары колдонуңуз: "AI бул жерде үлгүнү байкады, бул чынбы?" Андан кийин документтердеги ошол үлгүнү бирден текшериңиз. Үлгү изилдөөңүздүн натыйжасы эмес, башталышы болуп саналат.
Иш агымы: этап-этабы менен
1. Суроону тактаңыз. "Бул коллекцияда кайсы адамдар көп кездешет?" сыяктуу ачык үлгү суроо.
2. Маалыматтарды даярдоо жана белгилөө. Табылган активдерди кайра документке байланыштыра тургандай, булак шилтемелери менен текстти уюштуруңуз.
3. Объект/үлгү пайда болот. AI менен NER, карым-катнаш же убакыт схемасын түзүңүз.
4. Нормалдаштыруу. Бир адамдын/жердин ар кандай жазылышын айкалыштыруу (“Стамбул / Стамбул / Костантинийе” ошол эле жер?). Бул кадам абдан маанилүү; Эгерде ал алынып салынса, анда үлгү бузулат.
5. Документте текшериңиз. Белгиленген ар кандай маанилүү үлгүлөр үчүн иш жүзүндөгү документтерди текшериңиз. AI жасалма шилтеме кошпогонуна ынаныңыз.
6. Комментарий. Үлгү эмнени билдирет тарыхчынын өкүмү; AI жөн гана үлгүнү белгилейт.
Сан жана статистикалык тузак
Үлгүлөрдү талдоо көбүнчө сандарды чыгарат: "X аты 47 жолу кездешет", "бул тема документтердин 30%да бар". Бул сандар объективдүү көрүнөт, бирок адаштыруучу болушу мүмкүн:
- Жетишпеген маалыматтар: Эгерде чогултуу мурунтан эле толук эмес болсо (документтер жоголгон, топ эч качан жазыла элек), сан чындыкты эмес, аман калган документтерди чагылдырат.
- Нормалдаштыруу катасы: Эгерде бир эле адам башкача жазылып, өзүнчө эсептелсе, сан туура эмес болуп калат.
- Контекстти жоготуу: "47 жолу пайда болот" эч нерсе айтпайт; Ал кантип өткөнү (оң/терс, предмет/объект) маанилүү.
үлгү чыгаруу
көрүнгөн мааниси
реалдуу тобокелдик
"X 47 жолу кездешет"
маанилүү адам
Толук эмес жыйнак, орфографиялык вариация
"Тема 30%"
басымдуу тема
тандап алуу бурмалоо
"A-B көбүнчө чогуу"
жакын мамиле
Кокустук, контекст жок
"убакыт тилкеси"
так хронология
Мөөнөтү жок документтер, жасалма буйрук
үч мини учурлар
1-жагдай — Тармактын анализи жашыруун ортомчуну аныктады. Изилдөөчү 800 каттан турган корреспонденциялар жыйнагын изилдеген. AI менен кимге ким жазганы аныкталып, тармак түзүлдү. Тармак бир караганда анча деле маанилүү эместей көрүнгөн адам чындыгында эки топтун ортосундагы байланыштын негизги чекити экенин көрсөттү. Изилдөөчү бул адамдын каттарына басым жасап, жаңы табылгага жетишкен. Бирок алгач документтердеги бардык шилтемелер текшерилди.
2-жагдай - Нормалдаштыруу катасы номерди бузган. Студент аларга бир жердин документтерде канча жолу пайда болгонун санап чыгууну тапшырды. AI бир эле жердин үч түрдүү жазылышын өзүнчө эсептегендиктен, бул сан чыныгы сандын үчтөн бир бөлүгү болуп чыкты. Орфографиялар бириктирилгенде, орун чындыгында үчүнчү эң көп кездешкен абалда болгон. Сабак: нормалдаштырбаса, номерге ишенүүгө болбойт.
3-жагдай - Жасалган хронология. Изилдөөчү датасы жок документтерден хронологияны түзгөн. AI белгисиз окуяларды "логикалык" тартипте тизип, так хронологиясын көрсөткөн. Бирок бул ырааттуулук документтерде жок болчу, аны AI ойлоп тапкан. Сабак: хронология документте датасы бар окуялардан гана түзүлөт; калганы "даты жок" бойдон калууда.
Көчүрүү үчүн төрт шаблон
1) NER (объекттин корутундусу):
Төмөндөгү документтерде көрсөтүлгөн адамдар, жерлер, мекемелер жана даталар БӨЛҮК тизмелер катары көрсөтүлөт. Кайсы документте (маалыматта) ар бир субъект көрсөтүлгөнүн көрсөтүңүз. Текстте АЧЫК айтылгандарды гана алыңыз; божомол менен кошуу. Эгер айтылышын билбесеңиз [?] белгилеңиз. Документтер: [бул жерде]
2) объектти нормалдаштыруу:
Төмөнкү объекттердин тизмесинде бир адам/жер болушу мүмкүн болгон ар кандай орфографияларды топтоңуз (мисалы, "Стамбул / Костантинийе"). Ар бир топ үчүн мүмкүн болгон жалпы форматты сунуштаңыз, БИРОК так айкалыштырууга болбойт; "Балким, ошондой болушу мүмкүн, адамдар текшерсин" деген жазууну кошуңуз. Ишенбесеңиз, аны жайына калтырыңыз. Тизме: [бул жерде]
3) Байланыш/тармак схемасы:
Төмөнкү корреспонденциялардын/документтердин топтомунан "ким ким менен байланышы бар" шилтемесин чыгарып алыңыз. Ар бир шилтеме үчүн кайсы документке (маалыматка) негизделгенин көрсөтүңүз. Документте АЧЫК болбогон мамилени түздү. Белгисиз шилтемелерди [анык эмес]. Документтер: [бул жерде]
4) Датасы:
Төмөнкү документтерде АЧЫК баяндалган окуяларды гана хронологиялык тартипте тизмектеңиз; Ар бир окуяны анын булагы менен байланыштырыңыз. Белгисиз датасы бар окуяларды өзүнчө "датасы жок" деген рубрика астында тизмектеп, аларды иретке келтирбеңиз. Болжолдуу датаны АЛБАҢЫЗ. Документтер: [бул жерде]
Алсыз тездик / Күчтүү тездик
Алсыз:
Бул документтерди талдап, маанилүү үлгүлөрдү, мамилелерди жана мөөнөттөрдү бөлүп алыңыз.
"Маанилүү үлгүлөрдү чыгарып алуу" AIны болбогон байланыштарды жана так хронологияларды ойлоп табууга түртүп, сандарды нормалдаштырбастан көрсөтөт.
Күчтүү:
Төмөнкү документтерден инсанды/жерди/мекеменин субъекттерин ар бирин документтин маалымдамасына туташтыруу менен чыгарат. "Бириктирилиши мүмкүн" деп бирдей болушу мүмкүн болгон ар кандай жазууларды белгилеңиз, бирок бириктирбеңиз. Документте так көрсөтүлбөгөн мамилелер жана датасы белгисиз болгон окуялар ЖАЛГАН БОЛБОЙТ; датасы жокторду өзүнчө кармаңыз. Документтер: [бул жерде]
Айырмачылык: булакка таандык кылуу, нормалдаштырууну адамдарга калтыруу, ойдон чыгарылган байланыштарга/тарыхка тыюу салуу жана датасы жок окуяларды бөлүү үлгүнү коргоого болот.
Жалпы каталар
- Далил үчүн үлгүнү жаңылыштык. Үлгү - гипотеза; документте ырасталат.
- Нормалдаштыруу өткөрүп жиберүү. Бир эле нерсенин ар кандай жазылышы санды жана тармакты бурмалайт.
- Сандарга сокур ишеним. Толук эмес чогултуу жана үлгүлөрдү алуу санды жаңылыштырат.
- Түзүлгөн хронология. Датасы жок окуялар хронологияга кирбейт.
- Контекстке көңүл бурбоо. «Канча жолу өткөнү» эмес, «кантип өткөнү» маанилүү.
Кыскача айтканда
Мазмунду анализдөө жана үлгүлөрдү табуу – бул күчтүү талаа, анда AI көзгө көрүнгөн структураларды түзөт, алар окуу аркылуу гана көрүнбөйт: объекттерди чыгаруу, байланыш тармактары, тема кластерлери, убакыт графиги. Бирок ар бир үлгү далил эмес, гипотеза. Активдерди булак менен байланыштырыңыз, кылдаттык менен жана адамдын текшерүүсү менен нормалдаштырыңыз, жетишпеген маалыматтар жана бир тараптуулук үчүн сандарды сураңыз, жасалма мамилелерден жана хронологиялардан качыңыз. AI үлгүнү белгилейт; Бул эмнени билдирет жана чынбы, бул тарыхчынын өкүмү.
Колдонмо тапшырмасы
Жок дегенде 15 даана документтерди чогултуңуз (маалыматтар менен). "NER" үлгүсү менен адамды чыгарып, объекттерди жайгаштырыңыз. Андан кийин ар кандай орфографияларды "объектти нормалдаштыруу" менен топтоп, топторду өзүңүз текшериңиз. Акырында, "даталанган хронология" шаблонун иштетип, канча иш-чаранын "датасы жок" калганын көрүңүз. AI начар түрткү менен канча түзүлгөн шилтемелерди же хронологияларды чыгара аларын салыштырыңыз.
текшерүү тизмеси
- [ ] Мен үлгү суроомду так аныктадым.
- [ ] Менде документтин шилтемеси менен байланышкан ар бир объект бар.
- [ ] Мен объектти терүүнү нормалдаштырдым жана аны адамдардын макулдугу менен айкалыштырдым.
- [ ] Мен жетишпеген маалыматтар жана бир тараптуулук үчүн сандарды сурадым.
- [ ] Мен датасы жок окуяларды хронологияга киргизген жокмун, өзүнчө сактадым.