Qazanclar:
- NER, əlaqələrin çıxarılması, zaman qrafiki və şəbəkə təhlili kimi üsullardan istifadə edərək böyük mətn dəstlərindən nümunələri çıxarmaq bacarığı
- Nümunəni sübut deyil, fərziyyə kimi görə bilmək, varlıqları mənbə ilə əlaqələndirmək və insanların razılığı ilə onları normallaşdırmaq.
- Çatışmayan məlumatlar və seçmə qərəzliyi səbəbindən rəqəmlərin necə yanıltıcı ola biləcəyini başa düşmək və uydurma əlaqələrdən və xronologiyalardan qaçınmaq bacarığı.
Tarixi araşdırma təkcə ayrı-ayrı sənədləri oxumaqdan ibarət deyil; tez-tez böyük sənədlər toplusunda nümunələr axtarır. Müəyyən bir ad illər ərzində hansı kontekstlərdə görünür? Hansı insanlar yaşayış məntəqəsi ilə əlaqələndirilir? Mövzu zamanla necə dəyişir? Kim kiminlə yazışır? Bu cür suallar bir sənədə deyil, yüzlərlə sənədə toplu şəkildə baxmaq tələb olunur. Buna çox vaxt rəqəmsal humanitar elmlər deyilir - hesablama metodlarının tarix və ədəbiyyat kimi sahələrə tətbiqi.
Süni intellekt böyük mətn dəstlərindən strukturlaşdırılmış məlumatı çıxarmaqda güclüdür. Bu bölmədə siz NER (adlandırılmış obyektin tanınması), nümunə və əlaqələrin çıxarılması, mövzu modelləşdirmə məntiqi və zaman qrafikinin yaradılmasını öyrənəcəksiniz; lakin biz bu üsulların ən təhlükəli tələsini də müzakirə edəcəyik - özünü mövcud olmayan nümunəni "tapmış" kimi təqdim edən AI.
Əsas texnikalar
- NER (Named Entity Recognition): Mətndən şəxs, yer, qurum, tarix kimi obyektlərin avtomatik çıxarılması. Bir neçə dəqiqə ərzində "Bu 500 sənəddə qeyd olunan bütün yer adları" kimi bir siyahı hazırlayır.
- Münasibətlərdən nəticə çıxarma: Müəssisələr arasında əlaqələrin qeyd edilməsi (“Y yerində X şəxs”, “A B ilə uyğundur”).
- Mövzunun modelləşdirilməsi: Böyük mətn dəstində təkrarlanan mövzuların statistik klasterlərinin tapılması. Hansı mövzuların hansı dövrdə cəmləndiyini göstərir.
- Xronoloji nəticə: Sənədlərdə tarixli hadisələrin xronoloji ardıcıllıqla təşkili.
- Şəbəkə təhlili: Şəbəkə kimi şəxslərarası/institusional əlaqələrin vizuallaşdırılması (mərkəz kimdir, əlaqə nöqtəsi kimdir).
Bütün bunların ümumi məqsədi bir sənəddə görünməyən, lakin bütün kolleksiyada görünən strukturları aşkar etməkdir. Bu üsullar yalnız oxumaqla heç vaxt görünməyəcək görünən nümunələr yaradır. Amma onların hər biri “dəlil” deyil, “işarəsidir”; Orijinal sənəddə nə tapıldığını yoxlamaq vacibdir.
Bu sahədə tez-tez istifadə olunan anlayış yaxından oxuma (mətni dərindən, sətir-sətir oxumaq) və uzaqdan oxuma (yüzlərlə/minlərlə mətnə toplu, statistik olaraq baxmaq) arasındakı fərqdir. Süni intellekt uzaqdan oxumağı mümkün edir: siz tək bir insan həyatı boyu davam edəcək qədər böyük korpusda naxışlar görürsünüz. Ancaq uzaqdan oxumaq bir nümunəyə işarə etdikdə, onu mənalandırmaq üçün yaxın oxumağa, yəni orijinal sənədə qayıtmaq lazımdır. İki üsul bir-birini əvəz edə bilməz; Biri nümunəni göstərir, digəri onun mənasını verir. Ən güclü tədqiqat hər ikisini birlikdə istifadə edir.
İpucu: Nümunə təhlilini bir fərziyyə generatoru kimi istifadə edin: "AI burada bir nümunə gördü, bu, realdırmı?" Sonra sənədlərdə həmin nümunəni bir-bir yoxlayın. Nümunə tədqiqatınızın nəticəsi deyil, başlanğıc nöqtəsidir.
İş axını: addım-addım
1. Sualı aydınlaşdırın. "Bu kolleksiyada ən çox hansı insanlar bir araya gəlir?" kimi aydın nümunə sualı.
2. Məlumatları hazırlayın və etiketləyin. Mətni mənbə istinadları ilə təşkil edin ki, tapılan hər hansı aktiv yenidən sənədlə əlaqələndirilə bilsin.
3. Müəssisə/naxış görünür. AI ilə NER, əlaqə və ya vaxt qrafiki kontur yaradın.
4. Normallaşdırın. Eyni şəxsin/yerin müxtəlif yazılışlarını birləşdirin (“İstanbul / İstanbul / Kostantiniyye” eyni yer?). Bu addım kritikdir; Əgər buraxılarsa, nümunə dağılacaq.
5. Sənəddə yoxlayın. İşarələnmiş hər hansı əhəmiyyətli nümunə üçün faktiki sənədləri yoxlayın. Süni intellektin uydurma link əlavə etmədiyinə əmin olun.
6. Şərh. Nümunənin mənası tarixçinin mühakiməsidir; AI sadəcə nümunəni qeyd edir.
Nömrə və statistika tələsi
Nümunə təhlili tez-tez rəqəmlər yaradır: "X adı 47 dəfə olur", "bu mövzu sənədlərin 30% -ində mövcuddur". Bu rəqəmlər obyektiv görünür, lakin yanıltıcı ola bilər:
- Çatışmayan məlumatlar: Əgər kolleksiya artıq natamamdırsa (sənədlər itibsə, qrup heç vaxt qeydə alınmayıbsa), nömrə reallığı deyil, sağ qalan sənədləri əks etdirir.
- Normallaşdırma xətası: Əgər eyni adam fərqli yazılırsa və ayrıca sayılırsa, rəqəm səhv olacaq.
- Kontekst itkisi: “47 dəfə baş verir” heç nə demir; Onun necə keçdiyi (müsbət/mənfi, mövzu/obyekt) vacibdir.
model çıxışı
görünən məna
real risk
"X 47 dəfə baş verir"
vacib insan
Natamam toplu, orfoqrafiya dəyişikliyi
"Mövzu 30%"
dominant mövzu
seçmə qərəzi
"A-B tez-tez birlikdə"
intim münasibət
Təsadüf, çatışmayan kontekst
"zaman qrafiki"
dəqiq xronologiya
Tarixi olmayan sənədlər, uydurma sifariş
üç mini qutu
Case 1 - Şəbəkə təhlili gizli vasitəçi aşkar etdi. Tədqiqatçı 800 məktubdan ibarət yazışma kolleksiyasını araşdırıb. AI ilə kimin kimə yazdığı təyin olundu və şəbəkə yaradıldı. Şəbəkə göstərdi ki, ilk baxışda əhəmiyyətsiz görünən şəxs əslində iki qrup arasında əsas əlaqə nöqtəsi olub. Tədqiqatçı diqqətini bu şəxsin məktublarına yönəldib və yeni bir tapıntıya çatıb. Ancaq əvvəlcə sənədlərdəki bütün bağlantıları yoxlayın.
Hal 2 - Normallaşdırma xətası nömrəni pozdu. Tələbə onlara bir yerin sənədlərdə neçə dəfə göründüyünü saymağı tapşırdı. Süni intellekt eyni yerin üç fərqli yazılışını ayrı-ayrılıqda saydığından, rəqəmin real rəqəmin üçdə biri olduğu ortaya çıxdı. Yazılar birləşdirildikdə, yer əslində üçüncü ən çox rast gəlinən mövqedə idi. Dərs: normallaşdırma olmadan nömrəyə etibar etmək olmaz.
3-cü hal - Hazırlanmış qrafik. Tədqiqatçı tarixsiz sənədlərdən bir zaman qrafiki yaratdı. Süni intellekt naməlum hadisələri “məntiqi” ardıcıllıqla sıraladı və dəqiq xronologiya təqdim etdi. Ancaq bu ardıcıllıq sənədlərdə yox idi, AI onu uydurmuşdu. Dərs: vaxt qrafiki yalnız sənəddə tarixi olan hadisələrdən qurulur; qalanı isə “tarixsiz” olaraq qalır.
Dörd kopyalana bilən şablon
1) NER (müəssisə nəticəsi):
Aşağıdakı sənədlərdə qeyd olunan şəxslər, yerlər, qurumlar və tarixlər AYRI siyahı kimi göstərilir. Hər bir qurumun hansı sənəddə (arayışda) qeyd olunduğunu göstərin. Yalnız mətndə AÇIQ qeyd olunanları götürün; təxmin edərək əlavə edin. Əgər tələffüzdən əmin deyilsinizsə [?] işarələyin. Sənədlər: [burada]
2) Müəssisənin normallaşdırılması:
Aşağıdakı qurumlar siyahısında eyni şəxs/yer ola biləcək müxtəlif yazımları qruplaşdırın (məsələn, "İstanbul / Kostantiniyye"). Hər bir qrup üçün mümkün ümumi formatı təklif edin, AMMA dəqiq birləşməni tətbiq etməyin; "Bəlkə də eynidir, insanlar təsdiq etsin" qeydini əlavə edin. Əmin deyilsinizsə, onu tək buraxın. Siyahı: [burada]
3) Əlaqələr/şəbəkə konturları:
Aşağıdakı yazışmalar/sənədlər toplusundan "kim kiminlə əlaqəlidir" bağlantılarını çıxarın. Hər bir keçid üçün onun hansı sənədə (istinad) əsaslandığını göstərin. Sənəddə açıq-aydın olmayan bir əlaqə qurdu. Qeyri-müəyyən bağlantıları qeyd edin [qeyri-müəyyən]. Sənədlər: [burada]
4) Tarix qrafiki:
Yalnız aşağıdakı sənədlərdə AÇIQ qeyd olunan hadisələri xronoloji ardıcıllıqla sadalayın; Hər hadisəni mənbəyi ilə əlaqələndirin. Tarixləri qeyri-müəyyən olan hadisələri ayrı-ayrılıqda "tarixsiz" başlığı altında sadalayın, onları sıralamayın. Təxmini tarixi düzəltməyin. Sənədlər: [burada]
Zəif məlumat / Güclü göstəriş
Zəif:
Bu sənədləri təhlil edin və mühüm nümunələri, əlaqələri və vaxt qrafiklərini çıxarın.
"Vacib nümunələri çıxarmaq" süni intellektni mövcud olmayan əlaqələri və dəqiq xronologiyaları icad etməyə sövq edir, nömrələri normallaşdırmadan təqdim edir.
Güclü:
Aşağıdakı sənədlərdən hər birini sənəd arayışına qoşmaqla şəxs/yer/qurum qurumlarını çıxarır. "Birləşə bilər" ilə eyni ola biləcək müxtəlif yazımları qeyd edin, lakin birləşdirməyin. Sənəddə aydın göstərilməyən əlaqələr və tarixi qeyri-müəyyən hadisələr SAXTA VERMİR; tarixi olmayanları ayrı saxlayın. Sənədlər: [burada]
Fərq: mənbəyə aid etmək, normallaşmanı insanlara buraxmaq, uydurma əlaqələrə/tarixə qadağa və tarixi olmayan hadisələrin ayrılması nümunəni müdafiə edilə bilən edir.
Ümumi səhvlər
- Nümunəni sübut üçün səhv salmaq. Nümunə hipotezdir; sənəddə təsdiqlənir.
- Normallaşmanın atlanması. Eyni obyektin müxtəlif yazılışları nömrəni və şəbəkəni təhrif edir.
- Rəqəmlərə kor-koranə etibar. Natamam toplama və seçmə qərəzliyi rəqəmi yanıltıcı edir.
- Hazırlanmış qrafik. Tarixi olmayan hadisələr xronologiyaya daxil edilmir.
- Kontekstə məhəl qoymamaq. “Neçə dəfə keçdiyi” deyil, “necə keçdiyi” önəmlidir.
Xülasə
Məzmun təhlili və nümunənin kəşfi güclü bir sahədir ki, süni intellekt təkcə oxumaqla görünməyəcək strukturları görünən edir: obyektlərin çıxarılması, əlaqələr şəbəkələri, mövzu qrupları, vaxt qrafikləri. Ancaq hər nümunə sübut deyil, fərziyyədir. Aktivləri mənbə ilə əlaqələndirin, diqqətlə və insan yoxlaması ilə normallaşdırın, çatışmayan məlumatlar və qərəzlilik üçün nömrələri sorğulayın, uydurma əlaqələrdən və xronologiyalardan qaçın. AI nümunəni qeyd edir; Bunun nə demək olduğu və doğru olub-olmadığı tarixçinin mühakiməsidir.
Tətbiq tapşırığı
Ən azı 15 sənəd (istinadlarla) toplayın. Şəxsləri çıxarın və obyektləri "NER" şablonu ilə yerləşdirin. Sonra müxtəlif yazımları "obyektin normallaşdırılması" ilə qruplaşdırın və qrupları özünüz yoxlayın. Nəhayət, “tarixli vaxt qrafiki” şablonunu işə salın və nə qədər hadisənin “tarixsiz” qaldığına baxın. Süni intellektin zəif təkliflə nə qədər uydurulmuş əlaqə və ya xronologiya yarada biləcəyini müqayisə edin.
yoxlama siyahısı
- [ ] Mən nümunə sualımı aydın şəkildə müəyyən etmişəm.
- [ ] Məndə sənəd istinadı ilə əlaqəli hər bir obyekt var.
- [ ] Mən obyektin yazılmasını normallaşdırdım və onu insanların təsdiqi ilə birləşdirdim.
- [ ] Mən çatışmayan məlumatlar və qərəzlilik üçün rəqəmləri sorğuladım.
- [ ] Tarixi olmayan hadisələri xronologiyaya salmadım, ayrı saxladım.