Keuntungan:
- Keupayaan untuk mengekstrak corak daripada set teks yang besar menggunakan teknik seperti NER, pengekstrakan hubungan, garis masa dan analisis rangkaian
- Mampu melihat corak sebagai hipotesis dan bukannya bukti, menghubungkan entiti kepada sumber dan menormalkannya dengan persetujuan manusia
- Keupayaan untuk memahami cara nombor boleh mengelirukan kerana kehilangan data dan berat sebelah pensampelan, dan untuk mengelakkan perhubungan dan kronologi yang direka-reka.
Penyelidikan sejarah bukan sekadar membaca dokumen individu; sering mencari corak dalam set dokumen yang besar. Dalam konteks apakah nama tertentu muncul selama bertahun-tahun? Orang manakah yang dikaitkan dengan penempatan? Bagaimanakah topik berubah dari semasa ke semasa? Siapa yang berpadanan dengan siapa? Soalan sedemikian memerlukan melihat bukan satu dokumen, tetapi beratus-ratus dokumen secara kolektif. Ini sering dipanggil kemanusiaan digital—aplikasi kaedah pengiraan kepada bidang seperti sejarah dan kesusasteraan.
AI berkuasa dalam mengekstrak maklumat berstruktur daripada set teks yang besar. Dalam unit ini, anda akan mempelajari NER (pengiktirafan entiti bernama), pengekstrakan corak dan perhubungan, logik pemodelan topik dan penciptaan garis masa; tetapi kita juga akan membincangkan perangkap paling berbahaya bagi teknik ini—AI menampilkan dirinya sebagai telah "menemui" corak yang tidak wujud.
Teknik asas
- NER (Pengiktirafan Entiti Dinamakan): Pengekstrakan automatik entiti seperti orang, tempat, institusi, tarikh daripada teks. Ia menghasilkan senarai seperti "Semua nama tempat yang disebut dalam 500 dokumen ini" dalam beberapa minit.
- Inferens hubungan: Menandai hubungan antara entiti (“Orang X di tempat Y”, “A sepadan dengan B”).
- Pemodelan topik: Mencari gugusan topik berulang secara statistik dalam set teks yang besar. Ia menunjukkan tema mana yang tertumpu pada tempoh mana.
- Inferens garis masa: Menyusun acara bertarikh dalam dokumen ke dalam susunan kronologi.
- Analisis rangkaian: Menggambarkan hubungan antara orang/institusi sebagai rangkaian (siapa pusat, siapa titik sambungan).
Matlamat bersama semua ini adalah untuk mendedahkan struktur yang tidak muncul dalam satu dokumen tetapi muncul sepanjang koleksi. Teknik ini membuat corak yang boleh dilihat yang tidak akan dapat dilihat melalui pembacaan sahaja. Tetapi setiap daripada mereka adalah "tanda", bukan "bukti"; Adalah penting untuk mengesahkan apa yang terdapat dalam dokumen asal.
Konsep yang kerap digunakan dalam bidang ini ialah perbezaan antara bacaan rapat (membaca teks secara mendalam, baris demi baris) dan bacaan jauh (melihat ratusan/ribuan teks secara kolektif, secara statistik). AI membolehkan anda membaca dari jauh: anda melihat corak dalam korpus yang cukup besar untuk bertahan seumur hidup manusia. Tetapi apabila bacaan jauh menunjuk kepada corak, adalah perlu untuk kembali kepada bacaan tertutup, iaitu, ke dokumen asal, untuk memahaminya. Kedua-dua kaedah tidak boleh ditukar ganti; Satu menunjukkan corak, satu lagi memberi maknanya. Penyelidikan yang paling mantap menggunakan kedua-duanya bersama-sama.
Petua: Gunakan analisis corak sebagai penjana hipotesis: "AI telah melihat corak di sini, adakah ia benar?" Kemudian semak corak itu dalam dokumen satu demi satu. Corak adalah titik permulaan penyelidikan anda, bukan hasilnya.
Aliran kerja: langkah demi langkah
1. Jelaskan soalan. “Orang manakah yang paling kerap muncul bersama dalam koleksi ini?” Soalan corak yang jelas seperti.
2. Sediakan dan labelkan data. Susun teks dengan rujukan sumber supaya sebarang aset yang ditemui boleh dipautkan kembali ke dokumen.
3. Entiti/corak muncul. Hasilkan NER, perhubungan atau garis masa dengan AI.
4. Normalisasi. Gabungkan ejaan berbeza untuk orang/tempat yang sama (“Istanbul / Istanbul / Kostantiniyye” tempat yang sama?). Langkah ini adalah kritikal; Jika ia ditinggalkan, corak akan runtuh.
5. Sahkan dalam dokumen. Semak dokumen sebenar untuk sebarang corak penting yang dibenderakan. Pastikan AI tidak menambah pautan yang dibuat-buat.
6. Komen. Apa yang dimaksudkan dengan pola itu ialah pertimbangan ahli sejarah; AI hanya menandakan corak.
Perangkap nombor dan perangkaan
Analisis corak sering menghasilkan nombor: "nama X berlaku 47 kali", "tema ini terdapat dalam 30% dokumen". Nombor ini kelihatan objektif tetapi boleh mengelirukan:
- Data hilang: Jika koleksi sudah tidak lengkap (dokumen telah hilang, kumpulan tidak pernah direkodkan), nombor itu menggambarkan dokumen yang masih hidup, bukan realiti.
- Ralat penormalan: Jika orang yang sama dieja secara berbeza dan dikira secara berasingan, nombor itu akan menjadi salah.
- Kehilangan konteks: "berlaku 47 kali" tidak mengatakan apa-apa; Bagaimana ia diluluskan (positif/negatif, subjek/objek) adalah penting.
keluaran corak
makna yang jelas
risiko sebenar
"X berlaku 47 kali"
orang penting
Koleksi tidak lengkap, variasi ejaan
"Tema 30%"
topik dominan
bias pensampelan
"A-B sering bersama"
hubungan intim
Kebetulan, tiada konteks
"garis masa"
kronologi yang tepat
Dokumen tidak bertarikh, pesanan rekaan
tiga kes mini
Kes 1 — Analisis rangkaian mendedahkan perantara tersembunyi. Seorang penyelidik meneliti koleksi surat-menyurat sebanyak 800 surat. Dengan AI, yang menulis kepada siapa ditentukan dan rangkaian telah dibuat. Rangkaian itu menunjukkan bahawa orang yang kelihatan tidak penting pada pandangan pertama sebenarnya adalah titik hubungan utama antara kedua-dua kumpulan. Penyelidik memberi tumpuan kepada surat orang ini dan mencapai penemuan baharu. Tetapi terlebih dahulu mengesahkan semua pautan dalam dokumen.
Kes 2 — Ralat penormalan merosakkan nombor. Seorang pelajar menyuruh mereka mengira bilangan kali tempat muncul dalam dokumen. Oleh kerana AI mengira tiga ejaan berbeza dari tempat yang sama secara berasingan, nombor itu ternyata satu pertiga daripada nombor sebenar. Apabila ejaan digabungkan, tempat sebenarnya berada di kedudukan ketiga yang paling kerap berlaku. Pengajaran: tanpa normalisasi nombor itu tidak boleh dipercayai.
Kes 3 — Garis masa yang dibuat-buat. Seorang penyelidik mencipta garis masa daripada dokumen tidak bertarikh. AI menyusun peristiwa yang tidak diketahui dalam susunan "logik" dan membentangkan kronologi yang tepat. Walau bagaimanapun, urutan ini tiada dalam dokumen, AI telah mengada-adakannya. Pelajaran: garis masa dibina hanya daripada peristiwa yang mempunyai tarikh dalam dokumen; selebihnya kekal "tidak bertarikh".
Empat templat yang boleh disalin
1) NER (inferens entiti):
Orang, tempat, institusi dan tarikh yang disebut dalam dokumen di bawah muncul sebagai senarai BERASINGAN. Nyatakan dalam dokumen mana (rujukan) setiap entiti disebut. Ambil hanya apa yang dinyatakan dengan JELAS dalam teks; tambah dengan tekaan. Tandakan [?] jika anda tidak pasti dengan sebutannya. Dokumen: [di sini]
2) Normalisasi entiti:
Dalam senarai entiti di bawah, kumpulkan ejaan berbeza yang boleh menjadi orang/tempat yang sama (cth. "Istanbul / Kostantiniyye"). Cadangkan format biasa yang mungkin untuk setiap kumpulan TETAPI jangan mengenakan gabungan yang tepat; Tambah nota "mungkin sama, biar orang sahkan". Biarkan sahaja jika anda tidak pasti. Senarai: [di sini]
3) Garis besar hubungan/rangkaian:
Ekstrak pautan "siapa yang berkaitan dengan siapa" daripada set surat-menyurat/dokumen berikut. Untuk setiap pautan, nyatakan dokumen (rujukan) yang mana ia berdasarkan. MEMBUAT perhubungan yang tidak JELAS dalam dokumen. Tandakan pautan yang tidak jelas [tidak jelas]. Dokumentasi: [di sini]
4) Garis masa bertarikh:
Senaraikan dalam susunan kronologi sahaja peristiwa yang dinyatakan dengan JELAS dalam dokumen berikut; Pautkan setiap acara kepada sumbernya. Senaraikan peristiwa dengan tarikh yang tidak pasti secara berasingan di bawah tajuk "tidak bertarikh", JANGAN susunkannya. JANGAN buat tarikh anggaran. Dokumentasi: [di sini]
Gesaan lemah / Gesaan kuat
lemah:
Analisis dokumen ini dan ekstrak corak, perhubungan dan garis masa yang penting.
"Ekstrak corak penting" mendorong AI untuk mencipta sambungan yang tidak wujud dan kronologi yang tepat, mempersembahkan nombor tanpa penormalan.
kuat:
Mengekstrak entiti orang/tempat/institusi daripada dokumen berikut dengan menghubungkan setiap satu kepada rujukan dokumen. Tandai ejaan berbeza yang mungkin sama dengan "boleh dicantumkan", tetapi jangan cantumkan. Perhubungan yang tidak dinyatakan dengan jelas dalam dokumen dan peristiwa dengan tarikh yang tidak pasti JANGAN PALSU; asingkan yang tiada kurma. Dokumentasi: [di sini]
Perbezaannya: atribusi kepada sumber, meninggalkan normalisasi kepada manusia, mengharamkan hubungan/sejarah rekaan, dan pemisahan peristiwa tanpa tarikh menjadikan corak itu boleh dipertahankan.
Kesilapan biasa
- Tersilap corak sebagai bukti. Coraknya ialah hipotesis; disahkan dalam dokumen.
- Melangkau normalisasi. Ejaan yang berbeza dari entiti yang sama memesongkan nombor dan rangkaian.
- Kepercayaan buta pada nombor. Pengumpulan yang tidak lengkap dan berat sebelah pensampelan menjadikan nombor itu mengelirukan.
- Garis masa yang dibuat-buat. Peristiwa tidak bertarikh tidak disertakan dalam kronologi.
- Mengabaikan konteks. Bukan "berapa kali ia diluluskan", tetapi "bagaimana ia diluluskan" yang penting.
Secara ringkasnya
Analisis kandungan dan penemuan corak ialah medan yang berkuasa di mana AI membuat struktur yang boleh dilihat yang tidak akan kelihatan melalui pembacaan sahaja: pengekstrakan entiti, rangkaian perhubungan, kelompok topik, garis masa. Tetapi setiap corak adalah hipotesis, bukan bukti. Pautkan aset kepada sumber, normalisasi dengan teliti dan dengan pengesahan manusia, nombor pertanyaan untuk kehilangan data dan berat sebelah, elakkan perhubungan dan kronologi yang direka-reka. AI menandakan corak; Apakah maksudnya dan sama ada ianya benar adalah pertimbangan ahli sejarah.
Tugasan permohonan
Kumpul sekurang-kurangnya 15 keping dokumentasi (dengan rujukan). Ekstrak entiti orang dan tempat dengan templat "NER". Kemudian kumpulkan ejaan yang berbeza dengan "penormalan entiti" dan sahkan kumpulan itu sendiri. Akhir sekali, jalankan templat "garis masa bertarikh" dan lihat bilangan acara yang kekal "tidak bertarikh". Bandingkan berapa banyak pautan atau kronologi rekaan yang akan dihasilkan oleh AI dengan gesaan yang lemah.
senarai semak
- [ ] Saya telah mentakrifkan soalan corak saya dengan jelas.
- [ ] Saya mempunyai setiap entiti yang dipautkan kepada rujukan dokumen.
- [ ] Saya menormalkan penaipan entiti dan menggabungkannya dengan kelulusan manusia.
- [ ] Saya mempersoalkan nombor kerana kehilangan data dan berat sebelah.
- [ ] Saya tidak memasukkan peristiwa tidak bertarikh ke dalam kronologi, saya menyimpannya secara berasingan.