Enhet 12 / 12

End-to-end-prosjekt: Behandling av en arkivsamling med kunstig intelligens

Gevinster:

  • Evne til å behandle en samling i en 7-trinns arbeidsflyt, fra etisk screening til publisering, med et menneskelig sjekkpunkt på hvert trinn
  • Forstå hvordan tidlige sjekkpunkter hindrer en feil (feil dato/navn) fra å spre seg gjennom hele kjeden
  • Evne til å bruke prinsippene for å bevare hovedfilen, ikke lagre på verifisering, og erklære bruken av AI i et helhetlig prosjekt

Tidligere enheter har dekket individuelle ferdigheter: digitalisering, transkripsjon, metadata, skanning, oversettelse, verifisering, mønsteranalyse, gjenfinning, bevaring og etikk. Denne siste enheten kombinerer alt. Et ekte arkivprosjekt opplever disse trinnene ikke separat, men som en sammenkoblet arbeidsflyt. Her skal vi se hvordan du kan behandle en samling fra start til slutt med en AI-støttet, men menneskestyrt prosess, steg for steg og med en kontrollkjede.

Målet er å posisjonere AI som en partner som "akselererer hvert trinn, men som ikke har noe siste ord om noe trinn." Når du er ferdig med denne enheten, vil du sitte igjen med en helhetlig metode som forvandler en rotete haug med dokumenter til en forskningsklar, verifisert, etisk ren samling.

Scenario: hva vi har

La oss si at du mottar en samling på 250 dokumenter: noen trykt (trykt korrespondanse, annonser), noen manuskripter (brev, notatbøker), fra forskjellige datoer, noen inneholder sensitive personopplysninger. Mål: å digitalisere, transkribere, katalogisere og gjøre denne samlingen tilgjengelig for forskere. La oss bryte ned prosessen i syv stadier.

Syv-trinns arbeidsflyt

Fase 1 — Vurdering og etisk screening. Bli kjent med samlingen først. Hvilke dokumenter inneholder sensitive personopplysninger? Hva er opphavsrettsstatusen? Er det kulturell sensitivitet? Denne skanningen bestemmer hvilke dokumenter som kan gis til skybaserte AI-verktøy og hvilke som kun vil bli behandlet i et lukket/godkjent miljø. Hvis dette stadiet hoppes over, er hele prosjektet i etisk risiko.

Trinn 2 — Digitalisering. Skann dokumenter med høy oppløsning (minst 300-400 DPI, god kontrast). Hold de originale (master) filene urørt; All behandling vil skje på kopiene.

Trinn 3 — Tekstutvinning. Bruk OCR for papirdokumenter og HTR for manuskript. Få AI til å rydde opp i råutdataene med instruksjoner for "sikker korrekturlesing" - kun optiske/gjenkjenningsfeil, ingen innholdskommentarer, uleselige steder [?]. Alternativ lesing og paleografkontroll for det osmanske/manuskriptet.

Trinn 4 — Metadata og katalogisering. Ha standard (Dublin Core/ISAD(G)) metadata utarbeidet for hvert dokument; Med tillatelse fra "la ikke-eksisterende felt stå tomt". Kartlegg emneord til den kontrollerte listen. Bekreft datoer og navn med dokumentasjon.

Trinn 5 — Berikning og mønstre. Trekk ut enheter (person/sted/organisasjon), normaliser, produsere relasjons- og tidslinjekonturer. Bekreft hvert mønster i dokumentet; Det er ingen konstruerte sammenhenger og ingen kronologi.

Trinn 6 — Tilgang til verktøy. Lag en oversikt over finnehjelpemidler for innsamling; Baser historiedelen kun på bekreftede notater. Merk tydelig tilgangsbegrensninger (personvern/opphavsrett).

Trinn 7 — Verifikasjon, erklæring og publisering. Bekreft kritiske felt (dato, navn, sitat, referanse) en siste gang. Erklær bruk av AI. Eksperten gir endelig godkjenning; Samlingen åpnes for forskning.

Tips: Sett et "menneskelig sjekkpunkt" på hvert trinn: En ekspert validerer AIs utdata før han går videre til neste trinn. Uten disse sjekkpunktene vil en feil på det første stadiet (en feillest dato) forplante seg gjennom hele kjeden og til slutt lekke inn i katalogen, mønsteret og veiledningen.

Kontrollkjedebord

Scene

AIs jobb

menneskelig sjekkpunkt

1. Etisk screening

Merking av sensitive data

Installasjonsbeslutning

2. Digitalisering

(Bildeforbedring)

Kvalitet, mesterbeskyttelse

3. Tekstuttrekk

OCR/HTR + sikker korreksjon

Navn/dato/lesebekreftelse

4. Metadata

standard utkast

Feltbekreftelse, terminmatching

5. Mønster

enhet, forhold, tidslinje

Validering i dokument

6. Tilgangsverktøy

Finne bistandsutkast

Historikk og begrensningsgodkjenning

7. Slipp

Endelig godkjenning, erklæring

tre minisaker

Tilfelle 1 - Kjedefeil fanget. I ett prosjekt, i fase 3, var datoen for et dokument "1868" i stedet for "1888". Hvis trinn 3-sjekkpunktet ikke hadde fanget opp denne feilen, ville datoen blitt spredt over katalogen (4), tidslinjen (5) og veiledningen (6). Takket være sjekkpunktet ble feilen fikset på ett sted. Leksjon: tidlig kontroll forhindrer at feilen sprer seg oppover kjeden.

Sak 2 - Etisk screening reddet prosjektet. 18 av de 250 dokumentene inneholdt sensitive opplysninger om levende personer. Etisk screening i fase 1 flagget disse; disse 18 dokumentene ble behandlet i et lukket miljø, resten med standardverktøy. Det ville vært et alvorlig brudd hvis skanningen ble hoppet over og det hele ble lastet opp til skyen. Leksjon: Etikkscreening er det første trinnet, ikke en løsning som legges til senere.

Case 3 — Tid og krefter. Ved å bruke den tradisjonelle metoden vil det ta omtrent 8-10 måneder å behandle en samling på 250 dokumenter. Med den AI-støttede sjekkpunktarbeidsflyten ble prosessen redusert til omtrent 3 måneder. Men besparelsene kom ikke fra "AI gjorde alt", men fra "AI gjorde det mekaniske arbeidet, fokusert på menneskelig verifisering." Tiden viet til verifisering har ikke blitt redusert; Tiden viet til mekanisk arbeid har gått ned.

Fire kopierbare maler

1) Prosjektets første plan:

Jeg har en samling av [antall] dokumenter: [blanding av trykk/manuskript], [punktum], hvorav noen kan inneholde sensitive data. Lag en 7-trinns arbeidsflytplan for å digitalisere og katalogisere denne samlingen: spesifiser AI-oppgaven og HUMAN-sjekkpunktet på hvert trinn. Sett etikkscreening først.

2) Sjekkliste for trinnovergang:

Jeg fullførte scenen [scenenavn]. Lag en sjekkliste over kritiske punkter jeg må verifisere før jeg går videre til neste trinn: hvilke fakta (dato/navn/referanse) må verifiseres, hvilke feil kan forplante seg oppover i kjeden? Jeg har den endelige godkjenningen; Du gir meg sjekklisten.

3) End-to-end kvalitetskontroll:

Nedenfor er alle lagene i et behandlet dokument: transkripsjon, metadata, ekstraherte eiendeler. FIGURBEGREP mellom lagene: samsvarer en dato i transkripsjonen med metadataene, eksisterer faktisk enhetene i teksten? Ileggelse av korreksjon; Generer en liste over inkonsekvenser. Lag: [her]

4) Prosjektavslutning og erklæring:

I dette innsamlingsprosjektet brukte jeg AI i følgende stadier: [liste]. For prosjektdokumentasjon: (1) hvilken AI-støtte ble brukt på hvilket stadium, (2) hvordan ble menneskelig verifisering utført, (3) hvilke begrensninger/begrensninger er det – skriv en ærlig sluttnotat og utkast til AI-brukserklæring som inkluderer disse.

Svak forespørsel / Sterk forespørsel

Svak:

Behandle denne samlingen grundig med AI og gjør den klar for forskning.

En enkelt "gjør hva som helst"-instruksjon omgår etisk screening, sjekkpunkter og verifisering; feil forplanter seg langs kjeden.

Sterk:

Sett opp en 7-trinns arbeidsflyt for denne samlingen, med et menneskelig sjekkpunkt på hvert trinn. La 1. trinn være etikk/personvernscreening. Utgangen produsert av AI på hvert trinn vil bli verifisert før du går til neste trinn; marker kritiske fakta (dato/navn/referanse). Ikke på noe stadium har AI det siste ordet.

Forskjellen: trinnvis struktur, etikkprioritet, sjekkpunkter og «folk har siste ord»-prinsippet gjør hele prosjektet trygt og forsvarlig.

Vanlige feil

  • Overlater etisk screening til slutten. Skanning av personvern/opphavsrett er det første trinnet; Hvis det legges til senere, har bruddet allerede skjedd.
  • Omgå sjekkpunkter. En feil som ikke blir bekreftet sprer seg gjennom hele kjeden.
  • Beskytter ikke hovedfilen. Hvis originalen ikke holdes urørt, blir retur umulig.
  • Sparer på verifisering. AI forkorter mekanisk arbeid; Hvis verifikasjonstiden forkortes, synker kvaliteten.
  • Erklærer ikke bruk av AI. Åpenhet er en del av den vitenskapelige troverdigheten til samlingen.

Oppsummert

Et ende-til-ende arkivprosjekt kobler individuelle ferdigheter inn i en kontrollkjede: etisk skanning, digitalisering, tekstutvinning, metadata, mønster, gjenfinningsverktøy og publisering. På hvert trinn fremskynder AI mekanisk arbeid; På hvert trinn har et menneskelig kontrollpunkt det siste ordet. Etisk screening er det første trinnet, masterfilen er beskyttet, feil fanges opp tidlig slik at de ikke sprer seg oppover i kjeden, og bruken av AI erklæres ærlig. Besparelsene kommer ikke fra AI som gjør alt, men fra mennesket frigjort fra mekanisk arbeid og fokus på verifisering. AI akselererer; Mennesket sikrer historiens nøyaktighet og integritet.

Søknadsoppgave

Velg en liten samling (10-20 dokumenter; eget materiale eller et prøvesett). Lag en 7-trinns arbeidsflyt med malen "prosjektoppstartsplan". Kjør minst to dokumenter gjennom denne flyten: etisk skanning, tekstutvinning, metadata og et mønsterlag. Bekreft hvert trinn med en "sjekkliste for trinnovergang." Dokumenter til slutt bruken din av AI med malen "prosjektavslutning og uttalelse". Legg merke til hvilke feil som ble fanget ved tidlige sjekkpunkter.

sjekkliste

  • [ ] Jeg gjorde etikk-/personvernscreeningen på det første trinnet.
  • [ ] Jeg holdt masterfilene urørt.
  • [ ] Jeg satte et menneskelig sjekkpunkt på hvert trinn.
  • [ ] Jeg bekreftet kritiske fakta før de ble spredt oppover kjeden.
  • [ ] Jeg erklærte bruken av AI ved prosjektets avslutning.

Moduleksamen

1. Hva er den mest hensiktsmessige posisjoneringen for kunstig intelligens i historie og arkivering?

  • A) AI er et oppsummerings-, redigerings- og tegneverktøy; Kommentar, kildekritikk og sluttansvar tilhører eksperten ✔
  • B) Kunstig intelligens kan avgjøre dokumentets autentisitet og betydning på egen hånd, som en historiker
  • C) Kunstig intelligens fungerer kun for å oversette tekst, det har ingenting med andre arkivoppgaver å gjøre
  • D) Siden kunstig intelligens alltid er mer upartisk enn mennesker, bør historisk tolkning overlates til det.

Beskrivelse: Kunstig intelligens; Det er en assistent som redigerer, skanner, oversetter og produserer tekstutkast. Kildekritikk, tolkning, årsak-virkning-fastsettelse og endelig avgjørelse tilhører den sakkyndige; En ubekreftet utdata kan føre til en fabrikkert kilde, en falsk dato eller en anakronisme.

2. Hva er hallusinasjonen produsert av kunstig intelligens i historisk forskning?

  • A) Kunstig intelligens behandler et dokument veldig sakte
  • B) Kunstig intelligens fremstiller en ikke-eksisterende kilde, sitat eller hendelse som ekte ✔
  • C) Et dokument er fysisk skadet
  • D) En arkivkatalog er ikke oppdatert

Forklaring: Hallusinasjon er når kunstig intelligens selvsikkert fabrikkerer informasjon, kilder, sitater eller hendelser som faktisk ikke eksisterer. Selv om formen virker perfekt, er ikke innholdet ekte; Derfor, i hver referansekatalog, må hver sitering verifiseres ved den opprinnelige kilden.

3. Hva er den beste tilnærmingen til å få en OCR-utgang korrigert med kunstig intelligens?

  • A) Be teksten om å være flytende og vakker og logisk fullføre de manglende delene.
  • B) La den korrigere alle tall og datoer basert på kontekst
  • C) Be ham om kun å korrigere optiske gjenkjenningsfeil, la være uleselige områder [?] og ikke endre tall/datoer ✔
  • D) Be eleven fylle ut de uleselige ordene med den mest sannsynlige gjetningen.

Forklaring: Den gylne regel i OCR-korreksjon er å korrigere kun åpenbare optiske gjenkjenningsfeil (som rn til m, l til 1); ikke tolker eller fullfører innholdet i teksten. Uleselige områder er merket med [?]; Tallene og datoene endres ikke, de bekreftes med bildet.

4. Hva bør man spørre om fra kunstig intelligens når det gjelder å lese et ord hvis vokal ikke er skrevet i en osmansk tekst?

  • A) Gi en enkelt, presis avlesning, og på den måten øke hastigheten på arbeidet
  • B) Velge ordet som vil gjøre betydningen mest flytende og fylle ut de tomme feltene
  • C) Fullføre de uleselige delene fra sin egen generelle kunnskap.
  • D) Tilby mulige lesealternativer og markere tvetydige områder i stedet for å pålegge en definitiv lesning ✔

Forklaring: På osmansk tyrkisk er korte vokaler stort sett ikke skrevet; En enkelt vokal/bokstavforskjell (abul og kabul, wali og vali) endrer betydningen fullstendig. Derfor, i stedet for å pålegge en definitiv lesning, bør mulige alternativer spørres, uleselige områder bør bevares, og den endelige avgjørelsen bør overlates til paleografen.

5. Hva er den mest effektive måten å forhindre hallusinasjoner når AI produserer et utkast til metadata (katalogpost)?

  • A) Gi uttrykkelig tillatelse til å la feltet stå tomt hvis det ikke er inkludert i dokumentet ✔
  • B) Be om at hvert felt fylles ut og ikke etterlates ufullstendig.
  • C) Estimere en dato basert på innholdet i udaterte dokumenter
  • D) La kunstig intelligens generere referansekoden

Beskrivelse: Utfyllingstrykk tvinger AI til å lage dokumentet ved å gjette datoen eller skaperen som ikke er i dokumentet. Det sterkeste skjoldet mot dette er å eksplisitt gi tillatelse til å la feltet stå tomt hvis det ikke er i dokumentet; I tillegg er emneord tilordnet kontrollert vokabular.

6. Hvordan skal et dokumentsammendrag produsert av kunstig intelligens plasseres i historisk forskning?

  • A) Som pålitelig bevis som kan siteres direkte
  • B) Som et funnkart som leder deg til selve dokumentet; Bevis er hentet fra originaldokumentet ✔
  • C) Som en tilstrekkelig ressurs som kan erstatte selve dokumentet
  • D) Som en tekst som kan brukes i studien uten å gå tilbake til dokumentet

Beskrivelse: Sammendraget er et funnkart, ikke et bevis. Det er noe slikt i dette dokumentet, det står gå og se; Det står ikke nøyaktig hva det står i dokumentet. Dersom en hendelse, sitat eller data skal inkluderes i studien, må det tas ordrett fra originaldokumentet.

7. Hva er den riktige måten å unngå anakronismer når man oversetter et historisk dokument for publisering?

  • A) Erstatter alle periodevilkår med dagens nærmeste ekvivalent
  • B) Å formidle teksten så flytende og moderne som mulig
  • C) La periodetitlene og institusjonsnavnene være unike og legg til en forklaring ✔
  • D) Tilpasning av egennavn til gjeldende bruk

Forklaring: Anakronisme er feil overføring av elementer fra en periode til en annen periode. Å endre periodetitler, institusjonsnavn og personnavn til dagens vilkår transporterer leseren til en verden som ikke tilhører perioden. Den riktige måten er å beholde periodebegrepet og legge til forklaring ved siden av.

8. Hvordan sikre at en arkivreferanse (fondsnavn, filnummer) gitt av kunstig intelligens er ekte?

  • A) Stoler på referansen fordi formatet virker riktig
  • B) Ved å spørre AI igjen om referansen er riktig
  • C) Godta referansen som sann fordi den er overbevisende og detaljert
  • D) Ved personlig å finne og bekrefte referansen i arkivkatalogen eller pålitelig kilde ✔

Beskrivelse: Kunstig intelligens kan produsere referanser som er perfekte i form, men som faktisk ikke eksisterer; En fiktiv referanse er i samme form som en reell referanse. Den eneste måten å bevise at en referanse eksisterer på er å finne den der den opprinnelige kilden er plassert (arkivkatalog, bibliotek).

9. Hvordan skal et mønster som er funnet når man utfører mønsteranalyse (NER, nettverk, tidslinje) med kunstig intelligens evalueres?

  • A) Som en hypotese som må verifiseres i dokumentet; utgangspunkt, ikke utfall ✔
  • B) Som et definitivt funn som ikke krever verifisering
  • C) Det er et ubestridt objektivt faktum fordi det er numerisk.
  • D) Som et resultat som kan settes inn i direkte studier fordi det fant kunstig intelligens

Forklaring: Hvert mønster er en hypotese, ikke bevis. Entiteter bør knyttes til kilden, forskjellige stavemåter (av samme person/sted) bør normaliseres med menneskelig godkjenning, tall bør stilles spørsmålstegn ved manglende data og samplingskjevhet, og udaterte hendelser bør ikke kronologiseres.

10. Hvorfor krever avsnittet om biografisk/institusjonshistorie i et hjelpemiddel spesiell oppmerksomhet?

  • A) Denne delen er uviktig og kan publiseres uten bekreftelse
  • B) Siden kunstig intelligens kan legge til fabrikkerte hendelser, falske datoer og titler i denne delen, bør den kun stole på verifiserte kilder ✔
  • C) Kunstig intelligens kan brukes trygt fordi den ikke gjør noen feil i historieskrivingen.
  • D) Kun forskere fyller denne delen, arkivaren er ikke interessert

Beskrivelse: Historiedelen er der hallusinasjonene oftest kommer snikende: AI kan sette inn ikke-eksisterende hendelser, falske datoer og oppdiktede titler mens du skriver en flytende tekst fra generell informasjon om en person eller institusjon. Denne delen skal kun være basert på bekreftede kilder.

11. Hvordan skal kunstig intelligens svare på en forskers faktaspørsmål i en referanse(konsultasjons)tjeneste?

  • A) Svaret på spørsmålet bør gis direkte og som et definitivt faktum.
  • B) Må produsere en troverdig dato eller navn og formidle det til forskeren.
  • C) I stedet for å gi fakta direkte, bør den lede forskeren til den aktuelle samlingen og kilden ✔
  • D) Det skal gi et fullstendig svar slik at forskeren ikke trenger å gå til kilden.

Forklaring: I referansetjenesten skal kunstig intelligens ikke gi et direkte faktasvar, men skal lede forskeren til kilden. Fordi det direkte faktuelle svaret gitt av kunstig intelligens kan være fabrikkert og forskeren kan forveksle det med kilden. I stedet for å si "Svaret er dette", bør det stå "Se på disse dokumentene i denne samlingen".

12. Hvilke operasjoner er akseptable og upassende ved behandling av et skadet dokumentbilde med kunstig intelligens?

  • A) Alle typer operasjoner er gratis, inkludert å fylle ut de manglende delene.
  • B) Ingen handling skal gjøres, bildet skal aldri berøres
  • C) Å fylle ut de manglende delene er den mest verdifulle handlingen fordi den fullfører dokumentet.
  • D) Lesbarhetsmanipulasjoner som kontrast/støy er akseptable; Det er upraktisk å fylle ut de manglende delene med gjetninger ✔

Forklaring: Prosesser som forbedrer lesbarheten (kontrast, lys, støyreduksjon) er akseptable fordi de ikke endrer innholdet; Men å fylle inn manglende/uleselige deler med gjetting er risikoen for å produsere det som ikke står i dokumentet, det vil si historisk forfalskning. Originalen er bevart, transaksjoner registreres.

13. Hva må gjøres før man behandler et arkivdokument som inneholder sensitive personopplysninger?

  • A) Personvernskanning og anonymisering om nødvendig eller ved hjelp av et lukket/godkjent verktøy ✔
  • B) Laste opp dokumentet direkte til et offentlig kjøretøy uten å tenke på det
  • C) Ignorer personvernhensyn for effektivitet
  • D) Overvinne tilgangsbegrensninger av effektivitetshensyn

Avsløring: Å laste opp dokumenter som inneholder sensitive data som identifiserer levende personer (helse, religion, etnisitet, adresse) til offentlige, skybaserte verktøy kan være et alvorlig brudd på personvernet. Personvernscreening bør gjøres først, anonymisering eller et lukket/godkjent verktøy bør brukes om nødvendig.

14. Hva er hovedformålet med et menneskelig sjekkpunkt i et ende-til-ende arkivprosjekt?

  • A) Bremse arbeidet med kunstig intelligens og forsinke prosjektet
  • B) For å forhindre at en feil (feil dato/navn) i ett trinn blir lenket til alle påfølgende stadier ✔
  • C) Å øke menneskelig arbeidskraft og gi opp automatisering fullstendig
  • D) Sikre at kunstig intelligens har siste ordet

Beskrivelse: Et menneskelig sjekkpunkt på hvert trinn sikrer at AI-ens utdata blir verifisert før du går videre til neste trinn. Uten dette ville en feil på det første stadiet (en feillest dato) spre seg oppover kjeden gjennom katalogen, mønsteret og veiledningen. Tidlig kontroll sikrer at feilen blir rettet på ett sted.

15. Hva krever åpenhet og autentisitet ved bruk av kunstig intelligens innen humaniora og samfunnsvitenskap?

  • A) Holde bruken av kunstig intelligens hemmelig, og sikre at ingen vet
  • B) Å presentere hver tekst produsert av kunstig intelligens som sin egen opprinnelige idé
  • C) Å ærlig erklære bruken av kunstig intelligens og ikke presentere produksjonen som ens eget originalverk ✔
  • D) Deler kun resultatene uten å forklare metodene

Beskrivelse: Gjennomsiktighet inkluderer registrering av at en transkripsjon, metadata eller oversettelse ble produsert ved hjelp av kunstig intelligens; Originalitet krever at man ikke presenterer en kommentar produsert av kunstig intelligens som sin egen originale idé. Dette er avgjørende for verifisering av påfølgende forskere og for akademisk integritet.