Yunit 7 / 11

Pagsusuri sa Panitikan, Pagpapatunay ng Pinagmulan, at Paglaban sa Hallucination

Mga nadagdag:

  • Kakayahang gumamit ng artificial intelligence upang buod at paghambingin ang mga tunay na pinagmumulan, na inaalis ang batayan para sa gawa-gawang pagpapatungkol na may hadlang na 'batay lamang sa ibinigay na pinagmulan'
  • Kakayahang ilapat ang disiplina sa pag-verify ng bawat pagsipi sa aktwal na catalog, pag-verify ng bawat abstract pabalik sa pinagmulan, at pagkuha ng DOI/imprint na mga guni-guni
  • Ang kakayahang maunawaan kung paano tinutukoy ng pagiging makabago, multilinggwalismo at kulay abong panitikan ang mga limitasyon ng kaalaman ng artificial intelligence at kung bakit kinakailangan ang orihinal na pagsulat.

Ang arkeolohiya at pamana ng kultura ay isang pinagsama-samang agham: bawat bagong pag-aaral ay bumubuo sa mga nakaraang publikasyon na sumasaklaw sa mga siglo. Ang pag-scan sa literatura (ang kabuuan ng mga artikulo, aklat, ulat at thesis na inilathala sa paksang iyon) ng isang rehiyon, isang uri ng paghahanap o isang panahon ang una at pinakanakakapagod na hakbang ng anumang siyentipikong pag-aaral. Sa unit na ito, malalaman natin kung paano pinapabilis ng AI ang pagsusuri sa literatura, ngunit bakit ang pag-verify ng pinagmulan ay pinakamahalaga sa larangang ito at kung paano labanan ang pinakamapanganib na pagkakamali ng AI: guni-guni (mga gawa-gawang mapagkukunan, pagsipi at impormasyon).

Pangunahing prinsipyo: Tumutulong ang AI sa pagbubuod, paghahambing at pagsasaayos ng panitikan; Ngunit walang pagsipi ang maaaring gamitin nang walang kumpirmasyon sa isang tunay na katalogo, at walang buod ang maaaring maging isang pang-agham na pahayag nang hindi binabasa ang pinagmulan mismo. Sa humanidades, sinisira ng isang huwad na mapagkukunan ang kredibilidad ng buong gawain.

Bakit napakahalaga ng hallucination sa larangang ito?

Ang pinakakaraniwang pagkakamali ng mga tool sa pampublikong chat ay ang paggawa ng mga mapagkukunang pang-akademiko na hindi umiiral ngunit mukhang napaka-makatotohanan. Ang AI ay maaaring bumuo ng isang "perpektong" hitsura ng pagsipi sa pamamagitan ng pagsasama-sama ng pangalan ng isang tunay na may-akda, ang pangalan ng isang tunay na journal, at isang makatotohanang pamagat. saan galing?

  • Ang AI ay gumagawa ng "susunod na pinaka-malamang na salita"; hindi ito tumitingin sa isang aktwal na database (maliban kung ang isang espesyal na tool ay konektado).
  • Dahil ang mga akademikong pagsipi ay naka-pattern, ang AI ay napaka "mahusay" sa paggawa ng isang pagsipi na akma sa pattern ngunit ang nilalaman ay gawa-gawa.
  • Sa humanidades, madalas na hindi agad sinusuri ng mambabasa ang pinagmulan; Nagbibigay-daan ito sa pekeng pagpapatungkol na maging live nang hindi napapansin.

Konklusyon: para sa isang arkeologo, ang bawat triplet ng may-akda-taon-title sa output ng AI ay dapat ituring na kahina-hinala hanggang sa mapatunayan kung hindi.

Tip: Gamitin ang AI hindi bilang isang "resource finder" ngunit bilang isang assistant na "nagpoproseso ng mga tunay na mapagkukunan na mayroon ka." Hanapin ang aktwal na mga artikulo sa iyong sarili, ibigay ang mga PDF sa AI, pagkatapos ay sabihin ang "umaasa ka lang sa mga tekstong ito na ibinigay ko sa iyo". Kaya, ang batayan para sa guni-guni ay higit na inalis.

Mga hakbang sa pagsusuri sa panitikan

  1. Saklaw at tanong. Ano ang hinahanap mo? Linawin ang paksa, panahon, rehiyon at mga hangganan ng wika.
  2. Koleksyon ng mga tunay na mapagkukunan. Maghanap ng mga tunay na publikasyon mula sa mga katalogo ng aklatan, mga database ng institusyon, at mga pinagkakatiwalaang direktoryo. Mapanganib na "makahanap" ng mga mapagkukunan para sa AI sa hakbang na ito.
  3. Pagbubuod at pagmamapa. Ibigay ang aktwal na mga tekstong nakolekta mo sa AI upang ibuod at i-map ang mga tema at talakayan.
  4. Paghahambing at pagsusuri ng agwat. Ihambing ang mga pananaw ng iba't ibang mga may-akda, maghanap ng mga kontradiksyon at hindi pa natutuklasang mga puwang.
  5. Spelling at attribution. Sumulat ng iyong sariling argumento na may mga na-verify na pagsipi. Nagbibigay ang AI ng draft; sumulat ka muli gamit ang iyong pagsusuri at aktwal na mga pagsipi.

Disiplina sa pag-verify ng pinagmulan

Para sa bawat pagsipi, suriin ang:

  • meron ba Ang may-akda, taon, pamagat, journal/publisher ay matatagpuan sa isang aktwal na catalog (library, DOI, index)?
  • Sinasabi niya ba ang sinasabi niya? Talaga bang sinasabi ng source kung ano ang inaangkin ng AI? Buksan ang pinagmulan at basahin ang nauugnay na seksyon.
  • Tama ba ang konteksto? Ang quote ba ay kinuha sa layunin ng may-akda? Ang kasalungat bang pananaw ay iniuugnay sa may-akda?
  • Ito ba ay napapanahon at maaasahan? Ang publikasyon ba ay peer-review, napapanahon, o nagpapakita ba ito ng isang lumang view?
Pag-iingat: Dahil lang sa isang DOI o numero ng imbentaryo na ibinigay ng AI ay lumilitaw sa "tamang format" ay hindi nagpapahiwatig na ang talaang iyon ay umiiral. Hanapin ang numero sa totoong sistema. Ang isang hindi umiiral na DOI ay isa sa mga pinakakaraniwang palatandaan ng mga guni-guni.

tatlong mini case

Case 1 — Buod na natipid na oras. Isang doktor na mag-aaral ang nagbigay ng 60 totoong artikulo (lahat ng mga ito ay nakita at na-download niya) sa AI at lumikha ng isang mapa ng tema; Gumawa siya ng isang talahanayan na naghahambing ng mga pananaw ng iba't ibang may-akda sa isang uri ng paghahanap sa loob ng dalawang araw sa halip na mga linggo. Ang bawat buod ay kinuha at na-verify.

Kaso 2 — Naiwasan ang pekeng welding na sakuna. Hiniling ng isang nagtapos na mag-aaral sa AI na "magmungkahi ng mga mapagkukunan sa paksang ito" at nakakuha ng magandang listahan ng 15 pagsipi. Nang suriin niya ito sa silid-aklatan, nalaman niyang 9 sa listahan ay hindi kailanman umiral — mga tunay na may-akda, mga gawa-gawang pamagat. Kung ang listahang ito ay kasama sa thesis bibliography, ang kredibilidad ng depensa ay babagsak at maaari pa itong ituring na siyentipikong maling pag-uugali.

Case 3 — Itinama ang maling attribution. Ang isang koponan ay mag-uulat na sinabi ng AI sa isang manunulat na "napetsahan niya ang site na iyon sa panahon ng Romano"; Nang bumaling kami sa pinagmulan, nakita na ang may-akda ay nag-claim ng kabaligtaran, na ang site ay pre-Roman. Binaligtad ng AI ang view. Ang pagbabasa ng pinagmulan ay napigilan ang isang malubhang pagkakamali.

Apat na maaaring kopyahin na mga template

1) Umaasa lamang sa pinagmulang ibinigay:

Ang iyong tungkulin: katulong sa buod ng panitikan. Umasa LAMANG sa mga text na ilalagay ko sa ibaba. HUWAG MAGDAGDAG ng anumang impormasyon, mapagkukunan o sanggunian mula sa labas ng mga tekstong ito. Isulat ang bawat isa sa iyong mga paghahabol, na nagsasaad kung saang bahagi ng tekstong ibinigay ko sa iyo ang batayan. Kung tatanungin ka tungkol sa isang bagay na wala sa text, sabihing "wala ito sa mga source na ibinigay."

2) Mapa ng tema at paghahambing:

Magbibigay ako ng mga buod ng [N] source sa ibaba. Igrupo sila ayon sa mga tema at lumikha ng talahanayan ng paghahambing: para sa bawat tema, kung saan ang mga may-akda ay nagsasabi kung ano, kung saan sila sumasang-ayon, kung saan sila sumasalungat. Gamitin lamang ang mga pananaw sa mga tekstong ibinigay ko; pagdaragdag ng mga komento.

3) Checklist sa pagpapatunay ng pagsipi:

Kapag nag-verify sa listahan ng pagsipi sa ibaba, gawin ang mga hakbang na kailangan kong suriin para sa bawat isa (hanapin sa catalog, kumpirmasyon ng DOI, basahin ang nauugnay na pahina, pagsusuri sa konteksto). HINDI mo kinukumpirma ang katumpakan ng mga pagpapatungkol; sabihin mo sa akin kung ano ang dapat kong suriin. Pinagmumulan ng katha.

4) Pagsusuri ng gap:

Batay sa mga buod ng literatura na ibinigay ko, ilista ang mga tanong/gaps na mukhang kulang sa pagsasaliksik sa paksang ito. Para sa bawat puwang, ipakita kung aling pinagmulan ang nag-iwan nitong bukas. Umasa lamang sa mga tekstong ibinigay ko sa iyo; Huwag mag-isip-isip.

Mahinang prompt / Malakas na prompt

Mahinang prompt:

Ibigay ang 15 pinakamahalagang mapagkukunang pang-akademiko sa paksang ito at ang kanilang mga buod.

Ang AI ay gumagawa ng isang makatotohanan ngunit malamang na bahagyang gawa-gawang listahan nang hindi tumitingin sa isang tunay na database; Ito mismo ang maling attribution trap.

Napakahusay na prompt:

Sa ibaba ay idinidikit ko ang buong pagsipi at mga buod ng 12 totoong artikulong nakita ko. Batay LAMANG sa mga ito, may lalabas na mapa ng tema at talahanayan ng paghahambing. MAGDAGDAG ng bagong mapagkukunan. Ipahiwatig kung saang artikulo nagmula ang bawat linya. Markahan ang mga nawawalang paksa bilang "hindi saklaw sa hanay ng mapagkukunang ito."

Ang pagkakaiba: ang una ay puno ng panganib ng mga gawa-gawang mapagkukunan; ang huli ay humahawak ng mga tunay na mapagkukunan nang mapagkakatiwalaan.

Kasalukuyan, wika at kulay abong panitikan

Tatlong tampok ng arkeolohikong panitikan ang ginagawang partikular na peligroso ang paggamit ng AI. Ang una ay topicality: ang kaalaman ng isang modelo ay nagyelo sa isang tiyak na petsa, at ang mga paghuhukay, bagong dating at pagwawasto pagkatapos ng petsang iyon ay wala rito. Maaaring ipakita ng AI ang isang pinalitan na view bilang wasto pa rin; Iyon ang dahilan kung bakit dapat mong i-scan ang mga kasalukuyang publikasyon. Pangalawa, multilinggwalismo: ang arkeolohiya ay nakasulat sa Aleman, Pranses, Italyano, Turko at maraming lokal na wika maliban sa Ingles. Ang isang mahalagang ulat sa paghuhukay ay maaaring nai-publish sa isang wika lamang; Ang pag-asa lamang sa mga mapagkukunan sa wikang Ingles ay nangangahulugan na nawawala ang isang malaking bahagi ng panitikan. Tumutulong ang AI sa pag-scan sa mga pinagmumulan ng wikang banyaga, ngunit muli, dapat na nasa kamay mo ang aktwal na pinagmulan.

Pangatlo, kulay abong panitikan: ang karamihan sa kaalamang arkeolohiko ay nasa mga dokumentong hindi lumalabas sa mga opisyal na journal, tulad ng mga ulat sa komersyal na paghuhukay, mga archive ng institusyonal at mga hindi nai-publish na mga thesis. Ang gray na literatura (mga ulat na ginawa sa mga komersyal o pangkumpanyang channel na hindi madaling makuha sa tradisyonal na mga direktoryo ng publikasyon) ay alinman sa wala o kakaunti sa data ng pagsasanay sa AI; Samakatuwid, ang AI ay hindi alam ang impormasyong ito o binubuo ito. Ang tunay na kuwento ng arkeolohiko ng isang rehiyon ay madalas na nasa kulay abong panitikang ito, at maaabot mo lamang ito gamit ang tunay na kamay mula sa mga archive ng institusyon.

Tip: Ang pagsasabi ng "AI ay walang mahanap na anuman" o "may kaunting mga mapagkukunan" sa isang paksa ay hindi nangangahulugan na may kaunting trabaho sa paksang iyon; Kadalasan ang pinagmulan ay nasa kulay abong panitikan, sa isang wikang banyaga, o pagkatapos ng seksyon ng impormasyon ng modelo. Tanungin ang totoong archive tungkol sa kakulangan ng mga mapagkukunan, hindi ang AI.

Talaan ng gawain sa panitikan

Paghanap

Papel ng AI

desisyon ng tao

pagpapatunay

pinagmumulan

Mahina/nasa panganib

Pinili mula sa totoong catalog

Pagkumpirma ng katalogo

pagbubuod

Malakas (sa ibinigay na teksto)

katumpakan, pagpili

Basahin ang pinagmulan

Paghahambing

Mapa ng tema/kontradiksyon

Komento, timbang

konteksto ng pinagmulan

Pagsusulat ng sipi

balangkas ng format

nilalaman, katumpakan

Meron/sabi ba

Pagsusuri ng gap

Mga tanong ng kandidato

Halaga ng pananaliksik

Kaalaman sa domain

Mga karaniwang pagkakamali

  • Ginagawa ang AI na "maghanap" ng mga mapagkukunan. Gumagawa ng maling pagpapalagay; Hanapin ang mga mapagkukunan sa iyong sarili.
  • Umaasa sa DOI/imprint na format. Bagama't mukhang tama ang format, maaaring gawa-gawa ang rekord; Maghanap sa system.
  • Gamit ang buod nang hindi binabasa ang pinagmulan. Maaaring baligtarin ng AI ang pananaw ng may-akda.
  • Ang pag-publish ng AI text kung ano ang dati. Pagka-orihinal at panganib ng plagiarism; Sumulat gamit ang iyong sariling pagsusuri.
  • Hindi paglalagay ng hadlang na "ibinigay na mapagkukunan lamang". Nang walang mga hadlang, ang AI ay nagdaragdag ng panlabas na gawa-gawang impormasyon.

Sa buod

Sa pagsusuri sa panitikan, ang AI ay nakakatipid ng maraming oras sa pagbubuod, paghahambing at pagsusuri ng mga totoong mapagkukunan. Ngunit sa isang humanities, hindi mapag-usapan ang pag-verify ng pinagmulan: ikaw mismo ang maghanap ng mga source, i-verify ang bawat pagsipi sa aktwal na catalog, suriing muli ang bawat abstract, ipataw ang hadlang na "binanggit na pinagmulan lamang", at isulat ang huling teksto gamit ang sarili mong orihinal na pagsusuri. Ang isang pekeng pinagmulan ay sisira sa iyong trabaho.

Gawain ng aplikasyon

Pumili ng paksa, maghanap ng 8-10 totoong publikasyon sa library/index at kolektahin ang kanilang mga pagsipi. Gumawa ng chart ng paghahambing gamit ang mga template na "Batay sa pinagmulan lamang" at "Mapa ng tema." Sa isang hiwalay na eksperimento, sabihin sa AI na "magmungkahi ng pinagmulan" (nang walang anumang mga paghihigpit) at suriin ang mga pagsipi na iminumungkahi nito nang isa-isa sa catalog at tandaan kung ilan ang totoo.

checklist

  • [ ] Nakita ko mismo ang mga source mula sa mga totoong katalogo.
  • [ ] Inilagay ko ang hadlang na "umaasa lamang sa ibinigay na pinagmulan" sa AI.
  • [ ] Nakumpirma ko ang bawat pagsipi gamit ang catalog/DOI.
  • [ ] Na-verify ko ang bawat buod sa pamamagitan ng pagbabalik sa pinagmulan.
  • [ ] Isinulat ko ang huling teksto gamit ang sarili kong orihinal na pagsusuri at nakumpirmang mga sanggunian.