Gevinster:
- Evne til å fremskynde oppdagelsen ved å skanne store hauger med dokumenter med kunstig intelligens, eliminere og oppsummere det som er relevant
- Forstå at sammendraget er et oppdagelseskart, ikke et bevis, og være i stand til å knytte hvert viktig punkt og sitere tilbake til originaldokumentet.
- Evne til å skanne saker og sjekke eliminering med prøver uten å ha kunstig intelligens produsere resultater/kommentarer
En av de største flaskehalsene i historisk forskning er å finne «det som fungerer» i en enorm haug med materiale. En forsker må kanskje skanne hundrevis av dokumenter, avisbind, registre eller korrespondansefiler for en avhandling eller artikkel. Denne ressursgjennomgangsoppgaven krever tradisjonelt lesing side for side og kan ta uker. AI åpner for denne flaskehalsen ved raskt å skanne og oppsummere store tekstbiter og merke relevante steder. Men også her er faren klar: AI-sammendraget erstatter ikke kilden; det er bare et kart som leder deg til den virkelige kilden.
I denne enheten lærer du hvordan du skanner stort historisk materiale med AI, produserer pålitelige sammendrag, finner relevante passasjer og unngår den farligste fallgruven ved synopsis: «å stole på synopsis uten å gå til kilden». Målet er å bruke AI for hastighet uten å ofre nøyaktigheten; Når de brukes godt, kommer ikke disse to målene i konflikt, men gir næring til hverandre.
Sammendrag erstatter ikke kilden
La oss legge ut det grunnleggende prinsippet fra begynnelsen: AI-briefen er et oppdagelsesverktøy, ikke et bevis. Hvis en historiker skal inkludere en hendelse, et sitat eller et stykke data i studien sin, må han ta det fra originaldokumentet, ikke fra AIs sammendrag. Sammendraget sier, "det er noe slikt i dette dokumentet, se på det"; Han sier ikke "dette er nøyaktig hva det står i dokumentet". Fordi oppsummeringsprosessen komprimerer, velger, noen ganger forvrenger og noen ganger legger til noe som ikke eksisterer i det hele tatt.
Du kan bruke AI i tre kraftige skanningsjobber:
- Skann og sikt: Merk raskt blant hundrevis av dokumenter som er relevante for emnet ditt.
- Oppsummering: Skisserer konturene, personene og emnene i et langt dokument.
- Finne en passasje: Merk av spørsmålet "Hvor er stedene som snakker om dette emnet" i dokumentet.
I alle tre er utgangen en "omdirigering"; Beviset er hentet fra originaldokumentet.
En oversett fare her er grensen for AIs kontekstvindu - mengden tekst modellen kan behandle på en gang. Når du gir en veldig stor stabel med dokumenter på en gang, kan AI-en "glemme" eller skumme gjennom midtseksjonene; har en tendens til å legge vekt på det som skjer i begynnelsen og slutten. Derfor, i stedet for å montere hundrevis av dokumenter i en enkelt forespørsel, gir det mer pålitelige resultater å dele dem inn i logiske grupper og skanne hver gruppe separat. I tillegg er prøvekontroll avgjørende for å skille om et dokument som AI "aldri nevner" er virkelig irrelevant eller utelatt.
Arbeidsflyt: trinn for trinn
1. Avklar forskningsspørsmålet. Et klart spørsmål snarere enn et vagt "oppsummer dette for meg": "Hvor er stedene i disse 40 dokumentene som nevner vannrettighetskonflikten?"
2. Forbered ingrediensene. Rediger tekstene som skal skannes (transkripsjon eller OCR-utdata). Legg ved kildens navn/referanse til hvert stykke slik at sammendraget kan knyttes til kilden.
3. Gi instruksjoner for skanning/oppsummering. Be AI om å stole utelukkende på teksten du gir, koble hvert krav til kilden (dokumentet/siden) og ikke legge til noe som ikke eksisterer.
4. Koble sammendraget tilbake til kilden. Finn og verifiser i originaldokumentet alle viktige punkter markert av sammendraget. Ta sitater ordrett fra dokumentet.
5. Spørsmålshull og skjevhet. Hva kan AI ha gått glipp av? Fremhevet han bare det åpenbare? Valgte han den som passer spørsmålet ditt og skjulte det motsatte?
Forsiktig: Når du genererer et sammendrag, kan AI legge til en lenke eller et resultat som ikke er i et dokument fordi det "virker logisk". Spesielt "hvilken konklusjon kan trekkes fra disse dokumentene?" Spørsmål som disse inviterer AI til å gjøre opp tolkninger og slutninger. Hold oppsummeringsforespørselen saklig; hold kommentaren for deg selv.
Skanningsoppgaver med en tabell
Quest
Bidrag av AI
Risiko
verifisering
Fjern det relevante dokumentet
hastighet
Hopp over relevant
prøvekontroll
Dokumentsammendrag
disposisjon
Deformere/legge til
Sammenlign med kilden
Finne en passasje/sitat
bokmerke
feil plassering
finne i dokumentet
Sammenlignende oppsummering
mønstermerking
passende lenke
Bekreft hvert krav
Siterer
utkast
ordbytte
ord for ord
Sammendrag: AI viser hvor den er; Selve dokumentet forteller hva som skjedde.
tre minisaker
Sak 1 — 300 dokumenter redusert til 2 dager. En forsker studerte en bys vannrettighetstvist fra 1900-1920. Å skanne en serie på 300 dokumenter for hånd vil ta uker. AI merket hvert dokument som "er det relatert til vannrettigheter"; 42 av 300 dokumenter viste seg å være relevante. Forskeren leste kun disse 42 i dybden. Men han sjekket også 20 av de 258 dokumentene merket som irrelevante som en prøve; Fant ut at 2 faktisk var relatert og fikset det. Leksjon: eliminering går raskere, men må kontrolleres av prøve.
Sak 2 - Falsk resultat. En student ba YZ om å oppsummere 15 dokumenter og be om "konklusjonen fra disse dokumentene." AI skrev et årsak-virkning-forhold som ikke fantes i dokumentene som "resultat" på et flytende språk. Da eleven gikk gjennom dokumentene, så han at en slik konklusjon ikke var støttet i noe dokument. Leksjon: ikke la AI produsere tolkningen og konklusjonen; Få en saksskanning, du bestemmer resultatene.
Sak 3 — Modifisert sitat. En forfatter ville sette et "sitat" fra AI-abstraktet i papiret sitt. Da han sammenlignet det med dokumentet, la han merke til at AI hadde forenklet setningen og endret noen få ord. Sitatet var ikke lenger helt det samme som det som sto i dokumentet. Leksjon: hvert sitat er tatt ordrett fra dokumentet, ikke abstraktet.
Fire kopierbare maler
1) Kildeavhengig skanning:
Nedenfor er deler av dokumentet, hver merket med sin referanse. Mitt forskningsspørsmål: [spørsmål]. For hvert dokument merker du bare "relevant/irrelevant/usikker" og angir eventuelt hvilken setning/passasje det er relevant for og dokumentreferansen. Legge til kommentarer, trekke konklusjoner. Dokumentasjon: [her]
2) Trofast sammendrag:
Oppsummer dokumentet nedenfor. Regler: (1) Skriv kun det som står i teksten, IKKE LEGG TIL slutninger/kommentarer/konklusjoner. (2) Knytt hvert viktig punkt til sin plass (avsnitt/side) i dokumentet. (3) Hvis du trenger å sitere, gi det ord for ord, ikke endre det. (4) Skriv «uspesifisert» informasjon som ikke står i teksten. Dokument: [her]
3) Passasjefinner:
Finn ALLE omtaler av dette emnet i teksten nedenfor: [emne]. For hver, gi et kort sitat (ordrett) og plasseringen. Legger til steder som ikke inkluderer emnet. Merk kampen du er usikker på som [uklar]. Tekst: [her]
4) Sammenlignende saksgjennomgang:
Nedenfor er to/tre dokumenter. Skriv opp HVA hvert dokument sier om dette emnet [emne], separat, med kilden. PRODUSERING av en "konklusjon" eller "helhetsvurdering" mellom dokumenter; Bare gi hvert dokument sin egen uttalelse som fakta. Dokumentasjon: [her]
Svak forespørsel / Sterk forespørsel
Svak:
Les disse dokumentene og oppsummer hva de sier til meg om emnet, resultatene og deres betydning.
Å ønske «konsekvenser» og «betydning» presser AI til å avvike fra faktum og finne på tolkninger og sammenhenger; Den kobles heller ikke til kilden.
Sterk:
List opp fakta om [emne] i de følgende dokumentene, og koble hver til dokumentreferansen. LEGG TIL en kommentar, konklusjon eller viktighetsvurdering. Gi sitater ord for ord. Hvis temaet ikke er nevnt i et dokument, skriv "ikke nevnt". Dokumentasjon: [her]
Forskjellen: troskap til fakta, kobling til kilde, forbud mot tolkning og ordrett sitat forvandler sammendraget til et pålitelig kart over oppdagelsen.
Vanlige feil
- Forveksler sammendraget med bevis. Sammendrag leder; Beviset er hentet fra originaldokumentet.
- Be AI om å "trekke konklusjoner". Tolkning og årsak og virkning er historikerens jobb; AI skanner saker.
- Tar sitatet fra abstraktet. AI forenkler/erstatter sitater; Hvert sitat er tatt ordrett fra dokumentet.
- Overvåker ikke eliminering i det hele tatt. Hvis de som er merket med «irrelevant» ikke sjekkes mot prøven, vil viktige dokumenter gå glipp av.
- Ikke spør etter hull. Det er nødvendig å stille spørsmål ved hva AI utelater og hva det fører til.
Oppsummert
Kildeskanning og oppsummering er et av områdene hvor AI sparer mest tid i historieforskning: den siler gjennom hundrevis av dokumenter, oppsummerer dem og markerer relevante passasjer. Men sammendraget er et kart over funn, ikke bevis. Koble hvert nøkkelpunkt tilbake til det originale dokumentet, ta sitater ordrett fra dokumentet, ikke la AI-en produsere konklusjoner og tolkninger, kontroller eliminering ved prøvetaking, og sett spørsmålstegn ved hva AI-en har utelatt. AI tar deg til riktig side; Det er din jobb å lese den siden og forstå den.
Søknadsoppgave
Samle minst 10 dokumenter relatert til emnet ditt og legg ved referanser til hver enkelt. Eliminer de som er relatert til "kildebasert skanning"-mønsteret; sjekk deretter noen av de som er merket som "irrelevante" selv som et eksempel. La et "trofast sammendrag" oppsummere en av de relevante utdataene og finn og verifiser hvert nøkkelpunkt i sammendraget i dokumentet. Legg merke til hvor mange poeng AI’en legger til eller forvrenger.
sjekkliste
- [ ] Jeg startet med et tydelig forskningsspørsmål.
- [ ] Jeg har lagt ved en kildehenvisning til hver dokumentasjon.
- [ ] Jeg koblet hvert punkt i sammendraget tilbake til originaldokumentet.
- [ ] Jeg tok sitatene ordrett fra dokumentet.
- [ ] Jeg reviderte elimineringen ved å ta prøver og stilte spørsmål ved hullene.