Keuntungan:
- Kemampuan untuk mengekstrak pola dari kumpulan teks besar menggunakan teknik seperti NER, ekstraksi hubungan, garis waktu, dan analisis jaringan
- Mampu melihat pola sebagai hipotesis dan bukan bukti, menghubungkan entitas dengan sumbernya dan menormalisasikannya dengan persetujuan manusia
- Kemampuan untuk memahami bagaimana angka dapat menyesatkan karena data yang hilang dan bias pengambilan sampel, serta untuk menghindari hubungan dan kronologi yang dibuat-buat.
Penelitian sejarah bukan hanya sekedar membaca dokumen individual; sering mencari pola dalam kumpulan dokumen yang besar. Dalam konteks apa nama tertentu muncul selama bertahun-tahun? Orang mana yang terkait dengan pemukiman? Bagaimana suatu topik berubah seiring waktu? Siapa yang berkorespondensi dengan siapa? Pertanyaan-pertanyaan seperti ini tidak perlu melihat satu dokumen saja, tapi ratusan dokumen secara kolektif. Hal ini sering disebut humaniora digital—penerapan metode komputasi pada bidang-bidang seperti sejarah dan sastra.
AI sangat ampuh dalam mengekstraksi informasi terstruktur dari kumpulan teks yang besar. Dalam unit ini, Anda akan mempelajari NER (pengenalan entitas bernama), ekstraksi pola dan hubungan, logika pemodelan topik, dan pembuatan garis waktu; namun kita juga akan membahas jebakan paling berbahaya dari teknik ini—AI yang menampilkan dirinya telah “menemukan” pola yang tidak ada.
Teknik dasar
- NER (Named Entity Recognition): Ekstraksi otomatis entitas seperti orang, tempat, institusi, tanggal dari teks. Ini menghasilkan daftar seperti "Semua nama tempat yang disebutkan dalam 500 dokumen ini" dalam hitungan menit.
- Inferensi hubungan: Menandai ikatan antar entitas (“Orang X di tempat Y”, “A berkorespondensi dengan B”).
- Pemodelan topik: Secara statistik menemukan kelompok topik berulang dalam sekumpulan besar teks. Ini menunjukkan tema mana yang terkonsentrasi pada periode mana.
- Inferensi garis waktu: Menyusun peristiwa bertanggal dalam dokumen ke dalam urutan kronologis.
- Analisis jaringan: Memvisualisasikan hubungan antar orang/lembaga sebagai sebuah jaringan (siapa pusat, siapa titik penghubung).
Tujuan umum dari semua ini adalah untuk mengungkap struktur yang tidak muncul dalam satu dokumen tetapi muncul di seluruh koleksi. Teknik-teknik ini membuat pola-pola terlihat yang tidak akan pernah terlihat hanya dengan membaca. Namun masing-masingnya adalah sebuah "tanda", bukan "bukti"; Penting untuk memverifikasi apa yang ditemukan dalam dokumen asli.
Konsep yang sering digunakan dalam bidang ini adalah pembedaan antara membaca jarak dekat (membaca suatu teks secara mendalam, baris demi baris) dan membaca jauh (melihat ratusan/ribuan teks secara kolektif, secara statistik). AI memungkinkan pembacaan dari jarak jauh: Anda melihat pola dalam korpus yang cukup besar untuk bertahan seumur hidup manusia. Namun ketika pembacaan jarak jauh menunjuk pada suatu pola, kita perlu kembali ke pembacaan dekat, yaitu dokumen asli, untuk memahaminya. Kedua metode ini tidak dapat dipertukarkan; Yang satu menunjukkan polanya, yang lain memberi makna. Penelitian paling kuat menggunakan keduanya secara bersamaan.
Tip: Gunakan analisis pola sebagai pembangkit hipotesis: “AI telah melihat sebuah pola di sini, apakah itu nyata?” Kemudian periksa pola itu di dokumen satu per satu. Polanya adalah titik awal penelitian Anda, bukan hasilnya.
Alur kerja: langkah demi langkah
1. Klarifikasi pertanyaannya. “Siapa orang yang paling sering muncul bersama dalam koleksi ini?” Pertanyaan pola yang jelas seperti.
2. Siapkan dan beri label data. Atur teks dengan referensi sumber sehingga aset apa pun yang ditemukan dapat ditautkan kembali ke dokumen.
3. Entitas/pola muncul. Hasilkan NER, garis besar hubungan atau garis waktu dengan AI.
4. Normalisasi. Gabungkan ejaan berbeda dari orang/tempat yang sama (“Istanbul / Istanbul / Kostantiniyye” tempat yang sama?). Langkah ini sangat penting; Jika dihilangkan, polanya akan berantakan.
5. Verifikasi dalam dokumen. Periksa dokumen sebenarnya untuk mengetahui adanya pola signifikan yang ditandai. Pastikan AI tidak menambahkan tautan buatan.
6. Komentar. Yang dimaksud dengan pola tersebut adalah penilaian sejarawan; AI hanya menandai polanya.
Perangkap angka dan statistik
Analisis pola sering kali menghasilkan angka: “nama X muncul 47 kali”, “tema ini ada di 30% dokumen”. Angka-angka ini tampak obyektif namun bisa menyesatkan:
- Data hilang: Jika pengumpulan sudah tidak lengkap (dokumen hilang, suatu kelompok tidak pernah tercatat), angka tersebut mencerminkan dokumen yang masih ada, bukan kenyataan.
- Kesalahan normalisasi: Jika orang yang sama dieja berbeda dan dihitung secara terpisah, jumlahnya salah.
- Hilangnya konteks: "terjadi 47 kali" tidak berarti apa-apa; Cara penyampaiannya (positif/negatif, subjek/objek) adalah penting.
keluaran pola
makna yang jelas
risiko nyata
"X muncul 47 kali"
orang penting
Koleksi tidak lengkap, variasi ejaan
"Tema 30%"
topik yang dominan
bias pengambilan sampel
"A-B sering bersama"
hubungan intim
Kebetulan, konteksnya hilang
"garis waktu"
kronologi yang tepat
Dokumen tak bertanggal, pesanan palsu
tiga kasus mini
Kasus 1 — Analisis jaringan mengungkapkan perantara tersembunyi. Seorang peneliti memeriksa koleksi korespondensi sebanyak 800 surat. Dengan AI, siapa menulis kepada siapa ditentukan dan jaringan dibuat. Jaringan tersebut menunjukkan bahwa orang yang sekilas tampak tidak penting sebenarnya adalah titik kontak utama antara kedua kelompok. Peneliti memusatkan perhatian pada surat-surat orang ini dan mencapai temuan baru. Tapi pertama-tama verifikasi semua tautan di dokumen.
Kasus 2 — Kesalahan normalisasi merusak nomor tersebut. Seorang siswa meminta mereka menghitung berapa kali suatu tempat muncul di dokumen. Karena AI menghitung tiga ejaan berbeda di tempat yang sama secara terpisah, jumlahnya ternyata sepertiga dari bilangan sebenarnya. Ketika ejaannya digabungkan, tempat sebenarnya berada di posisi ketiga yang paling sering muncul. Pelajaran: tanpa normalisasi angka tersebut tidak dapat dipercaya.
Kasus 3 — Garis waktu yang dibuat-buat. Seorang peneliti membuat garis waktu dari dokumen tak bertanggal. AI mengatur peristiwa yang tidak diketahui dalam urutan yang "logis" dan menyajikan kronologi yang tepat. Namun, urutan ini tidak ada dalam dokumen, AI yang mengarangnya. Pelajaran: garis waktu dikonstruksi hanya dari peristiwa-peristiwa yang memiliki tanggal dalam dokumen; sisanya tetap "tidak bertanggal".
Empat templat yang dapat disalin
1) NER (inferensi entitas):
Orang, tempat, lembaga dan tanggal yang disebutkan dalam dokumen di bawah ini muncul dalam daftar TERPISAH. Tunjukkan di dokumen mana (referensi) setiap entitas disebutkan. Ambil saja apa yang dinyatakan dengan JELAS dalam teks; tambahkan dengan menebak. Tandai [?] jika Anda tidak yakin dengan pengucapannya. Dokumen: [di sini]
2) Normalisasi entitas:
Dalam daftar entitas di bawah, kelompokkan ejaan berbeda yang mungkin merupakan orang/tempat yang sama (misalnya, "Istanbul / Kostantiniyye"). Sarankan kemungkinan format umum untuk setiap kelompok TETAPI jangan memaksakan kombinasi yang tepat; Tambahkan catatan "mungkin sama, biarkan orang memverifikasi". Biarkan saja jika Anda tidak yakin. Daftar: [di sini]
3) Garis besar hubungan/jaringan:
Ekstrak tautan "siapa yang terkait dengan siapa" dari kumpulan korespondensi/dokumen berikut. Untuk setiap tautan, tunjukkan dokumen (referensi) mana yang menjadi dasarnya. MEMBUAT hubungan yang tidak JELAS dalam dokumen. Tandai tautan yang ambigu [tidak jelas]. Dokumentasi: [di sini]
4) Garis waktu bertanggal:
Cantumkan secara kronologis hanya peristiwa-peristiwa yang TERJELASKAN dengan jelas dalam dokumen-dokumen berikut; Tautkan setiap peristiwa ke sumbernya. Cantumkan peristiwa-peristiwa yang tanggalnya tidak pasti secara terpisah di bawah judul "tidak bertanggal", JANGAN mengurutkannya. JANGAN membuat perkiraan tanggal. Dokumentasi: [di sini]
Perintah lemah / Perintah kuat
Lemah:
Analisis dokumen-dokumen ini dan ekstrak pola, hubungan, dan garis waktu penting.
“Ekstrak pola penting” mendorong AI untuk menciptakan koneksi yang tidak ada dan kronologi yang tepat, menampilkan angka tanpa normalisasi.
Kuat:
Ekstrak entitas orang/tempat/lembaga dari dokumen berikut dengan menghubungkan masing-masing ke referensi dokumen. Tandai ejaan berbeda yang mungkin sama dengan "boleh digabungkan", tetapi jangan digabungkan. Hubungan yang tidak disebutkan dengan jelas dalam dokumen dan peristiwa dengan tanggal yang tidak pasti JANGAN PALSU; pisahkan yang tanpa tanggal. Dokumentasi: [di sini]
Perbedaannya: atribusi pada sumber, menyerahkan normalisasi kepada manusia, larangan terhadap ikatan/sejarah fiktif, dan pemisahan peristiwa tak bertanggal membuat pola tersebut dapat dipertahankan.
Kesalahan umum
- Salah mengira pola sebagai bukti. Polanya adalah hipotesis; diverifikasi dalam dokumen.
- Melewatkan normalisasi. Ejaan yang berbeda dari entitas yang sama mendistorsi nomor dan jaringan.
- Kepercayaan buta pada angka. Pengumpulan yang tidak lengkap dan bias pengambilan sampel membuat angka tersebut menyesatkan.
- Garis waktu yang dibuat-buat. Peristiwa yang tidak bertanggal tidak dimasukkan dalam kronologi.
- Mengabaikan konteks. Yang penting bukanlah "berapa kali hal itu dilewati", tetapi "bagaimana hal itu dilewati".
Singkatnya
Analisis konten dan penemuan pola adalah bidang yang ampuh di mana AI membuat struktur terlihat yang tidak akan terlihat hanya dengan membaca: ekstraksi entitas, jaringan hubungan, kelompok topik, garis waktu. Namun setiap pola hanyalah hipotesis, bukan bukti. Tautkan aset ke sumbernya, normalkan dengan hati-hati dan dengan validasi manusia, tanyakan nomor untuk data yang hilang dan bias, hindari hubungan dan kronologi yang dibuat-buat. AI menandai polanya; Apa maksudnya dan apakah benar, itu adalah penilaian sejarawan.
Tugas aplikasi
Kumpulkan setidaknya 15 lembar dokumentasi (dengan referensi). Ekstrak orang dan tempatkan entitas dengan templat "NER". Kemudian kelompokkan ejaan yang berbeda dengan "normalisasi entitas" dan verifikasi sendiri kelompok tersebut. Terakhir, jalankan templat “garis waktu bertanggal” dan lihat berapa banyak peristiwa yang masih “tidak bertanggal”. Bandingkan berapa banyak tautan atau kronologi yang dibuat oleh AI dengan dorongan yang buruk.
daftar periksa
- [ ] Saya telah mendefinisikan pertanyaan pola saya dengan jelas.
- [] Saya memiliki setiap entitas yang ditautkan ke referensi dokumen.
- [] Saya menormalkan pengetikan entitas dan menggabungkannya dengan persetujuan manusia.
- [ ] Saya mempertanyakan angka-angka karena data yang hilang dan bias.
- [ ] Peristiwa tak bertanggal itu tidak saya masukkan ke dalam kronologi, saya simpan secara terpisah.