Unitate 7 / 11

Revizuirea literaturii, verificarea sursei și combaterea halucinațiilor

Câștiguri:

  • Abilitatea de a utiliza inteligența artificială pentru a rezuma și compara surse reale, eliminând baza atribuirii fabricate cu constrângerea „numai pe baza sursei date”
  • Capacitatea de a aplica disciplina de a verifica fiecare citare din catalogul real, de a verifica fiecare rezumat înapoi la sursă și de a surprinde halucinațiile DOI / amprentă
  • A fi capabil să înțeleagă cum actualitatea, multilingvismul și literatura gri determină limitele cunoștințelor inteligenței artificiale și de ce este necesară scrierea originală.

Arheologia și moștenirea culturală sunt o știință cumulativă: fiecare studiu nou se bazează pe publicații anterioare de secole. Scanarea literaturii (totalitatea articolelor, cărților, rapoartelor și tezelor publicate pe acel subiect) a unei regiuni, a unui tip de descoperire sau a unei perioade este primul și cel mai obositor pas al oricărui studiu științific. În această unitate, vom vedea în profunzime cum AI accelerează revizuirea literaturii, dar de ce verificarea sursei este primordială în acest domeniu și cum să combatem cea mai periculoasă greșeală a AI: halucinația (surse fabricate, citări și informații).

Principiu de bază: AI ajută la rezumarea, compararea și organizarea literaturii; Dar nicio citare nu poate fi folosită fără confirmare într-un catalog real și nici un rezumat nu se poate transforma într-o afirmație științifică fără a citi sursa în sine. În științe umaniste, o sursă falsă distruge credibilitatea întregii lucrări.

De ce este halucinația atât de critică în acest domeniu?

Cea mai frecventă greșeală a instrumentelor publice de chat este producerea de resurse academice care nu există, dar care par foarte realiste. AI poate alcătui o citare cu aspect „perfect”, combinând numele unui autor real, numele unui jurnal real și un titlu plauzibil. De unde?

  • AI produce „următorul cuvânt cel mai probabil”; nu se uită la o bază de date reală (cu excepția cazului în care este conectat un instrument special).
  • Deoarece citatele academice sunt modelate, AI este foarte „bună” în a crea o citare care se potrivește tiparului, dar al cărei conținut este fabricat.
  • În științe umaniste, cititorul adesea nu verifică imediat sursa; Acest lucru permite atribuirea falsă să treacă live neobservată.

Concluzie: pentru un arheolog, fiecare triplet autor-an-titlu din ieșirea AI ar trebui să fie considerat suspect până când se dovedește contrariul.

Sfat: Folosiți inteligența artificială nu ca „găsător de resurse”, ci ca asistent care „procesează resursele reale pe care le aveți”. Găsiți singur articolele reale, dați PDF-urile AI-ului, apoi spuneți „bazați-vă pe aceste texte pe care vi le-am dat”. Astfel, baza halucinației este în mare măsură eliminată.

Etapele revizuirii literaturii

  1. Domeniul de aplicare și întrebarea. Ce căutați? Clarificați granițele de subiecte, perioade, regiuni și limbi.
  2. Colectarea de resurse reale. Găsiți publicații autentice din cataloagele bibliotecii, bazele de date instituționale și directoarele de încredere. Este riscant să „găsești” resurse pentru AI la acest pas.
  3. Rezumat și cartografiere. Oferiți AI textele reale pe care le-ați adunat pentru a rezuma și a mapa teme și discuții.
  4. Comparația și analiza decalajelor. Comparați punctele de vedere ale diferiților autori, găsiți contradicții și lacune neexplorate.
  5. Ortografie și atribuire. Scrieți propriul argument cu citate verificate. AI dă draft; rescrieți cu analiza dvs. și citările reale.

Disciplina de verificare a sursei

Pentru fiecare citare, verificați:

  • Există? Autorul, anul, titlul, revista/editorul se află într-un catalog propriu-zis (biblioteca, DOI, index)?
  • Spune el ce spune? Sursa spune cu adevărat ceea ce susține AI? Deschideți sursa și citiți secțiunea relevantă.
  • Contextul este corect? Citatul este luat din intenția autorului? Opinia opusă este atribuită autorului?
  • Este actualizat și de încredere? Publicația este revizuită de colegi, actuală sau reflectă o viziune învechită?
Atenție: doar pentru că un DOI sau un număr de inventar furnizat de AI apare în „formatul corect” nu indică faptul că acea înregistrare există. Căutați numărul în sistemul real. Un DOI inexistent este unul dintre cele mai comune semne de halucinații.

trei mini cutii

Cazul 1 — Rezumat timp economisit. Un doctorand a dat 60 de articole reale (toate pe care le-a găsit și le-a descărcat) AI și a creat o hartă tematică; El a elaborat un tabel care compară opiniile diferiților autori cu privire la un tip de descoperire în două zile în loc de săptămâni. Fiecare rezumat a fost obținut și verificat.

Cazul 2 – Dezastru de sudură fals evitat. Un student absolvent a cerut AI să „sugereze surse pe acest subiect” și a primit o listă de 15 citate. Când a verificat-o la bibliotecă, a descoperit că 9 din listă nu au existat niciodată — autori adevărați, titluri inventate. Dacă această listă ar fi inclusă în bibliografia tezei, credibilitatea apărării s-ar prăbuși și ar putea fi chiar considerată abatere științifică.

Cazul 3 — Atribuirea incorectă corectată. O echipă ar raporta că AI i-a spus unui scriitor „el a dat acel site din perioada romană”; Când am apelat la sursă, s-a văzut că autorul a susținut contrariul, că site-ul era preroman. AI inversase viziunea. Citirea sursei a prevenit o greșeală gravă.

Patru șabloane copiabile

1) Bazându-ne exclusiv pe sursa dată:

Rolul dumneavoastră: asistent de rezumat literatură. Bazează-te NUMAI pe textele pe care le voi lipi mai jos. NU ADĂUGAȚI informații, surse sau referințe din afara acestor texte. Notați fiecare dintre afirmațiile dvs., indicând pe ce parte a textului v-am dat se bazează. Dacă ești întrebat despre ceva care nu este în text, spune „nu se află în sursele date”.

2) Hartă tematică și comparație:

Voi oferi mai jos rezumate ale [N] surse. Grupați-le pe teme și creați un tabel de comparație: pentru fiecare temă, care autori spun ce, unde sunt de acord, unde se contrazic. Folosiți doar opiniile din textele pe care le-am oferit; adaugand comentarii.

3) Lista de verificare pentru verificarea citărilor:

Când VERIFICAȚI lista de citări de mai jos, parcurgeți pașii pe care trebuie să îi verific pentru fiecare (căutare în catalog, confirmare DOI, citiți pagina relevantă, verificare context). NU confirmați acuratețea atribuțiilor; spune-mi ce ar trebui sa verific. Fabricarea sursei.

4) Analiza decalajului:

Pe baza rezumatelor literaturii pe care le-am furnizat, enumerați întrebările/lacunele care par să fie insuficient cercetate pe acest subiect. Pentru fiecare gol, arătați ce sursă a lăsat-o deschisă. Bazează-te doar pe textele pe care ți le-am dat; Nu specula.

Prompt slab / Prompt puternic

Prompt slab:

Oferiți cele mai importante 15 surse academice pe această temă și rezumatele acestora.

AI produce o listă realistă, dar probabil parțial fabricată, fără să se uite la o bază de date reală; Aceasta este capcana atribuirii false în sine.

Solicitare puternică:

Mai jos lipesc citările și rezumatele complete ale celor 12 articole reale pe care le-am găsit. Pe baza NUMAI pe acestea, apare o hartă tematică și un tabel de comparație. ADAUGĂ o nouă resursă. Indicați din ce articol provine fiecare rând. Marcați subiectele lipsă ca „nu sunt acoperite în acest set de resurse”.

Diferența: primul este plin de riscul surselor fabricate; acesta din urmă gestionează resursele reale în mod fiabil.

Actualitate, limba și literatura gri

Trei caracteristici ale literaturii arheologice fac ca utilizarea IA să fie deosebit de riscantă. Prima este actualitatea: cunoașterea unui model este înghețată la o anumită dată, iar săpăturile, datarea nouă și corecțiile după acea dată lipsesc din acesta. AI poate prezenta o viziune înlocuită ca fiind încă valabilă; De aceea ar trebui să scanați publicațiile curente. În al doilea rând, multilingvismul: arheologia este scrisă în germană, franceză, italiană, turcă și multe limbi locale, altele decât engleza. Un raport important de săpătură poate să fi fost publicat într-o singură limbă; A te baza doar pe surse în limba engleză înseamnă a pierde o mare parte a literaturii. AI ajută la scanarea acestor surse în limbi străine, dar din nou, trebuie să aveți sursa reală la îndemână.

În al treilea rând, literatura gri: marea majoritate a cunoștințelor arheologice se află în documente care nu apar în jurnale oficiale, precum rapoartele de săpături comerciale, arhivele instituționale și tezele nepublicate. Literatura gri (rapoartele produse pe canale comerciale sau corporative care nu sunt ușor disponibile în directoarele tradiționale de publicații) este fie absentă, fie limitată în datele de instruire AI; Prin urmare, AI fie nu cunoaște aceste informații, fie le inventează. Adevărata poveste arheologică a unei regiuni se află adesea în această literatură gri și nu poți ajunge la ea decât cu mâna reală din arhivele instituționale.

Sfat: a spune „AI nu a putut găsi nimic” sau „există puține resurse” pe un subiect nu înseamnă că există puțină muncă pe acel subiect; Adesea sursa se află în literatura gri, într-o limbă străină sau după secțiunea de informații a modelului. Întrebați arhiva reală despre lipsa resurselor, nu AI.

Tabel de sarcini de literatură

Căutare

Rolul AI

decizie umană

verificarea

aprovizionare

Slab/la risc

Selecție din catalog real

Confirmare catalog

rezumând

Puternic (pentru textul dat)

precizie, alegere

Citiți sursa

Comparație

Hartă tematică/contradicție

Comentariu, greutate

contextul sursei

Scrierea citatelor

conturul formatului

continut, acuratete

Există/se spune

Analiza decalajului

Întrebări ale candidatului

Valoarea cercetării

Cunoașterea domeniului

Greșeli comune

  • Făcând AI să „găsească” resurse. Produce atribuire falsă; Găsiți singur resursele.
  • Bazându-se pe formatul DOI/imprint. Deși formatul pare corect, înregistrarea poate fi fabricată; Căutați în sistem.
  • Folosind rezumatul fără a citi sursa. AI poate inversa punctul de vedere al autorului.
  • Publicarea textului AI ca atare. Originalitate și risc de plagiat; Scrie cu propria ta analiză.
  • Nu plasarea constrângerii „doar resursa dată”. Fără constrângeri, AI adaugă informații fabricate extern.

Pe scurt

În analiza literaturii de specialitate, AI economisește mult timp în rezumarea, compararea și analiza surselor faptice. Dar într-un științe umaniste, verificarea sursei nu este negociabilă: găsiți singur sursele, verificați fiecare citare din catalogul actual, verificați fiecare rezumat, impuneți constrângerea „numai sursa citată” și scrieți textul final cu propria dumneavoastră analiză originală. O sursă falsă vă va distruge munca.

Sarcina de aplicare

Alegeți un subiect, găsiți 8-10 publicații reale în bibliotecă/index și colectați-le citările. Realizați o diagramă de comparație cu șabloanele „Doar pe sursă” și „Hartă tematică”. Într-un experiment separat, spuneți AI „să sugereze o sursă” (fără nicio restricție) și verificați citările pe care le sugerează unul câte unul în catalog și notați câte sunt reale.

lista de verificare

  • [ ] Sursele le-am găsit chiar eu din cataloage reale.
  • [ ] Am pus restricția „să se bazeze doar pe sursa dată” pe AI.
  • [ ] Am confirmat fiecare citare cu catalogul/DOI.
  • [ ] Am verificat fiecare rezumat revenind la sursă.
  • [ ] Am scris textul final cu propria mea analiză originală și referințe confirmate.