Satuan 7 / 11

Tinjauan Pustaka, Verifikasi Sumber, dan Pertarungan Halusinasi

Keuntungan:

  • Kemampuan menggunakan kecerdasan buatan untuk meringkas dan membandingkan sumber nyata, menghilangkan dasar atribusi palsu dengan batasan 'hanya berdasarkan sumber tertentu'
  • Kemampuan menerapkan disiplin memverifikasi setiap kutipan dalam katalog sebenarnya, memverifikasi setiap abstrak kembali ke sumbernya, dan menangkap halusinasi DOI/jejak
  • Mampu memahami bagaimana kekinian, multibahasa, dan literatur abu-abu menentukan batas pengetahuan kecerdasan buatan dan mengapa diperlukan tulisan asli.

Arkeologi dan warisan budaya adalah ilmu kumulatif: setiap studi baru dibangun berdasarkan publikasi sebelumnya selama berabad-abad. Memindai literatur (keseluruhan artikel, buku, laporan, dan tesis yang diterbitkan mengenai subjek tersebut) di suatu wilayah, jenis temuan, atau periode adalah langkah pertama dan paling melelahkan dalam studi ilmiah apa pun. Dalam unit ini, kita akan melihat secara mendalam bagaimana AI mempercepat tinjauan literatur, tetapi mengapa verifikasi sumber sangat penting dalam bidang ini dan bagaimana mengatasi kesalahan AI yang paling berbahaya: halusinasi (sumber, kutipan, dan informasi palsu).

Prinsip dasar: AI membantu meringkas, membandingkan, dan mengatur literatur; Namun tidak ada kutipan yang dapat digunakan tanpa konfirmasi dalam katalog yang sebenarnya, dan tidak ada ringkasan yang dapat berubah menjadi klaim ilmiah tanpa membaca sumbernya sendiri. Dalam bidang humaniora, satu sumber palsu menghancurkan kredibilitas keseluruhan karya.

Mengapa halusinasi sangat penting dalam bidang ini?

Kesalahan paling umum dari alat obrolan publik adalah menghasilkan sumber daya akademis yang tidak ada namun tampak sangat realistis. AI dapat membuat kutipan yang terlihat “sempurna” dengan menggabungkan nama penulis asli, nama jurnal asli, dan judul yang masuk akal. Dari mana?

  • AI menghasilkan “kata berikutnya yang paling mungkin”; itu tidak melihat database sebenarnya (kecuali alat khusus terhubung).
  • Karena kutipan akademik berpola, AI sangat “pandai” dalam membuat kutipan yang sesuai dengan pola namun isinya dibuat-buat.
  • Dalam bidang humaniora, pembaca seringkali tidak langsung mengecek sumbernya; Hal ini memungkinkan atribusi palsu ditayangkan tanpa diketahui.

Kesimpulan: bagi seorang arkeolog, setiap triplet judul penulis-tahun dalam keluaran AI harus dianggap mencurigakan sampai terbukti sebaliknya.

Tip: Gunakan AI bukan sebagai “pencari sumber daya” tetapi sebagai asisten yang “memproses sumber daya nyata yang Anda miliki.” Temukan sendiri artikel sebenarnya, berikan PDF-nya kepada AI, lalu ucapkan "andalkan saja teks yang saya berikan ini". Dengan demikian, dasar halusinasi sebagian besar dihilangkan.

Langkah-langkah tinjauan literatur

  1. Ruang lingkup dan pertanyaan. Anda cari apa? Memperjelas topik, periode, wilayah, dan batasan bahasa.
  2. Pengumpulan sumber daya nyata. Temukan publikasi otentik dari katalog perpustakaan, database institusi, dan direktori tepercaya. Beresiko untuk "menemukan" sumber daya untuk AI pada langkah ini.
  3. Meringkas dan memetakan. Berikan teks aktual yang telah Anda kumpulkan ke AI untuk merangkum dan memetakan tema dan diskusi.
  4. Perbandingan dan analisis kesenjangan. Bandingkan pandangan berbagai penulis, temukan kontradiksi dan kesenjangan yang belum dijelajahi.
  5. Ejaan dan atribusi. Tulis argumen Anda sendiri dengan kutipan terverifikasi. AI memberikan rancangan; Anda menulis ulang dengan analisis dan kutipan aktual Anda.

Disiplin verifikasi sumber

Untuk setiap kutipan, periksa:

  • Apakah disana? Apakah penulis, tahun, judul, jurnal/penerbit terdapat dalam katalog sebenarnya (perpustakaan, DOI, indeks)?
  • Apakah dia mengatakan apa yang dia katakan? Apakah sumber tersebut benar-benar mengatakan apa yang diklaim AI? Buka sumbernya dan baca bagian yang relevan.
  • Apakah konteksnya benar? Apakah kutipan diambil dari maksud penulis? Apakah pandangan yang berlawanan ini diatribusikan kepada penulisnya?
  • Apakah ini mutakhir dan dapat diandalkan? Apakah publikasi tersebut telah melalui tinjauan sejawat, terkini, atau mencerminkan pandangan yang sudah ketinggalan zaman?
Perhatian: Hanya karena DOI atau nomor inventaris yang diberikan oleh AI muncul dalam "format yang benar" tidak menunjukkan bahwa catatan tersebut ada. Cari nomor di sistem nyata. DOI yang tidak ada adalah salah satu tanda halusinasi yang paling umum.

tiga kasus mini

Kasus 1 — Ringkasan menghemat waktu. Seorang mahasiswa doktoral memberikan 60 artikel nyata (semuanya ia temukan dan unduh) ke AI dan membuat peta tema; Dia menyusun tabel yang membandingkan pandangan berbagai penulis tentang jenis penemuan dalam dua hari, bukan beberapa minggu. Setiap ringkasan telah bersumber dan diverifikasi.

Kasus 2 — Bencana pengelasan palsu dapat dihindari. Seorang mahasiswa pascasarjana meminta AI untuk "menyarankan sumber tentang topik ini" dan mendapatkan daftar 15 kutipan yang bagus. Ketika dia memeriksanya di perpustakaan, dia menemukan bahwa 9 dari daftar tersebut tidak pernah ada – penulis asli, judul yang dibuat-buat. Jika daftar ini dimasukkan dalam daftar pustaka tesis, kredibilitas pembelaan akan runtuh dan bahkan dapat dianggap sebagai pelanggaran ilmiah.

Kasus 3 — Atribusi yang salah diperbaiki. Satu tim akan melaporkan bahwa AI memberi tahu seorang penulis "dia memberi tanggal pada situs itu pada zaman Romawi"; Ketika kita beralih ke sumbernya, terlihat bahwa penulis menyatakan sebaliknya, bahwa situs tersebut adalah situs pra-Romawi. AI telah membalikkan pandangan tersebut. Membaca sumbernya mencegah kesalahan serius.

Empat templat yang dapat disalin

1) Hanya mengandalkan sumber yang diberikan:

Peran Anda: asisten ringkasan literatur. HANYA mengandalkan teks yang akan saya tempel di bawah. JANGAN MENAMBAHKAN informasi, sumber atau referensi apa pun dari luar teks ini. Tuliskan setiap klaim Anda, yang menunjukkan bagian mana dari teks yang saya berikan kepada Anda berdasarkan. Jika Anda ditanya tentang sesuatu yang tidak ada dalam teks, katakan "tidak ada dalam sumber yang diberikan".

2) Peta tema dan perbandingan:

Saya akan memberikan ringkasan dari [N] sumber di bawah ini. Kelompokkan berdasarkan tema dan buat tabel perbandingan: untuk setiap tema, penulis mana yang mengatakan apa, mana yang setuju, mana yang bertentangan. Gunakan hanya pandangan dalam teks yang saya berikan; menambahkan komentar.

3) Daftar periksa verifikasi kutipan:

Saat MEMERIKSA daftar kutipan di bawah ini, lakukan langkah-langkah yang perlu saya periksa untuk masing-masingnya (cari di katalog, konfirmasi DOI, baca halaman yang relevan, periksa konteks). Anda TIDAK mengonfirmasi keakuratan atribusi; beritahu saya apa yang harus saya periksa. Fabrikasi sumber.

4) Analisis kesenjangan:

Berdasarkan ringkasan literatur yang saya berikan, buatlah daftar pertanyaan/kesenjangan yang tampaknya kurang diteliti mengenai topik ini. Untuk setiap celah, tunjukkan sumber mana yang membiarkannya terbuka. Hanya mengandalkan teks yang saya berikan kepada Anda; Jangan berspekulasi.

Perintah lemah / Perintah kuat

Perintah yang lemah:

Berikan 15 sumber akademis terpenting tentang topik ini dan ringkasannya.

AI menghasilkan daftar yang realistis tetapi kemungkinan dibuat sebagian tanpa melihat database yang sebenarnya; Ini adalah jebakan atribusi palsu itu sendiri.

Perintah yang kuat:

Di bawah ini saya menempelkan kutipan lengkap dan ringkasan dari 12 artikel nyata yang saya temukan. HANYA berdasarkan ini, peta tema dan tabel perbandingan muncul. TAMBAHKAN sumber daya baru. Tunjukkan dari artikel mana setiap baris berasal. Tandai topik yang hilang sebagai "tidak tercakup dalam kumpulan sumber daya ini".

Perbedaannya: yang pertama penuh dengan risiko sumber yang dibuat-buat; yang terakhir menangani sumber daya nyata dengan andal.

Kekinian, bahasa dan sastra abu-abu

Ada tiga ciri literatur arkeologi yang menjadikan penggunaan AI sangat berisiko. Yang pertama adalah aktualitas: pengetahuan tentang suatu model dibekukan pada tanggal tertentu, dan tidak ada penggalian, penanggalan baru, dan koreksi setelah tanggal tersebut. AI dapat menampilkan tampilan yang digantikan sebagai tampilan yang masih valid; Itu sebabnya Anda harus memindai publikasi terkini. Kedua, multilingualisme: arkeologi ditulis dalam bahasa Jerman, Perancis, Italia, Turki dan banyak bahasa daerah selain bahasa Inggris. Laporan penggalian penting mungkin diterbitkan hanya dalam satu bahasa; Mengandalkan hanya pada sumber-sumber berbahasa Inggris berarti kehilangan sebagian besar literatur. AI membantu dalam memindai sumber-sumber berbahasa asing ini, tetapi sekali lagi, Anda harus memiliki sumber sebenarnya.

Ketiga, literatur abu-abu: sebagian besar pengetahuan arkeologi terletak pada dokumen yang tidak muncul dalam jurnal resmi, seperti laporan penggalian komersial, arsip institusi, dan tesis yang tidak dipublikasikan. Literatur abu-abu (laporan yang dihasilkan di saluran komersial atau perusahaan yang tidak tersedia di direktori publikasi tradisional) tidak ada atau langka dalam data pelatihan AI; Oleh karena itu, AI tidak mengetahui informasi ini atau mengada-ada. Kisah arkeologi sebenarnya dari suatu wilayah sering kali terdapat dalam literatur abu-abu ini, dan Anda hanya dapat menjangkaunya dengan tangan asli dari arsip institusi.

Tip: Mengatakan "AI tidak dapat menemukan apa pun" atau "sumber dayanya sedikit" pada suatu subjek tidak berarti bahwa hanya ada sedikit pekerjaan yang dilakukan pada subjek tersebut; Seringkali sumbernya ada dalam literatur abu-abu, dalam bahasa asing, atau setelah bagian informasi model. Tanyakan pada arsip sebenarnya tentang kekurangan sumber daya, bukan AI.

Tabel tugas sastra

Pencarian

Peran AI

keputusan manusia

verifikasi

sumber

Lemah/berisiko

Pilihan dari katalog nyata

Konfirmasi katalog

merangkum

Kuat (untuk teks tertentu)

akurasi, pilihan

Baca sumbernya

Perbandingan

Peta tema/kontradiksi

Komentar, berat

konteks sumber

Penulisan kutipan

garis besar format

konten, akurasi

Apakah ada/apakah tertulis

Analisis kesenjangan

Pertanyaan kandidat

Nilai penelitian

Pengetahuan domain

Kesalahan umum

  • Membuat AI “menemukan” sumber daya. Menghasilkan atribusi palsu; Temukan sendiri sumber dayanya.
  • Mengandalkan format DOI/cetak. Meskipun formatnya tampak benar, catatan tersebut mungkin dibuat-buat; Cari di sistem.
  • Menggunakan ringkasan tanpa membaca sumbernya. AI dapat membalikkan pandangan penulis.
  • Menerbitkan teks AI apa adanya. Orisinalitas dan risiko plagiarisme; Tulislah dengan analisis Anda sendiri.
  • Tidak menempatkan batasan "hanya sumber daya tertentu". Tanpa kendala, AI menambahkan informasi yang dibuat secara eksternal.

Singkatnya

Dalam tinjauan literatur, AI menghemat banyak waktu dalam merangkum, membandingkan, dan menganalisis sumber faktual. Namun dalam ilmu humaniora, verifikasi sumber tidak dapat dinegosiasikan: temukan sendiri sumbernya, verifikasi setiap kutipan dalam katalog sebenarnya, periksa kembali setiap abstrak, terapkan batasan "hanya sumber yang dikutip", dan tulis teks akhir dengan analisis asli Anda sendiri. Sumber palsu akan menghancurkan pekerjaan Anda.

Tugas aplikasi

Pilih topik, temukan 8-10 publikasi nyata di perpustakaan/indeks dan kumpulkan kutipannya. Buatlah bagan perbandingan dengan templat "Berdasarkan sumber saja" dan "Peta tema". Dalam percobaan terpisah, beri tahu AI untuk "menyarankan sumber" (tanpa batasan apa pun) dan memeriksa kutipan yang disarankannya satu per satu di katalog dan mencatat berapa banyak yang asli.

daftar periksa

  • [ ] Saya sendiri yang menemukan sumbernya dari katalog asli.
  • [ ] Saya menerapkan batasan "hanya mengandalkan sumber yang diberikan" pada AI.
  • [ ] Saya telah mengkonfirmasi setiap kutipan dengan katalog/DOI.
  • [ ] Saya telah memverifikasi setiap ringkasan dengan kembali ke sumbernya.
  • [ ] Saya menulis teks terakhir dengan analisis asli saya sendiri dan referensi yang dikonfirmasi.