Zyski:
- Możliwość poprawiania zeskanowanych dokumentów poprzez konwersję ich na tekst za pomocą OCR i HTR oraz porównywanie wyniku z rzeczywistym obrazem
- Możliwość zachowania oryginalności i integralności dokumentu archiwalnego oraz zapobiegania zmianie treści przez sztuczną inteligencję i sfabrykowanym przywracaniu
- Możliwość planowania długoterminowej konserwacji cyfrowej z wykorzystaniem informacji o pochodzeniu i trwałych formatach
Archiwista ma za zadanie przenieść w przyszłość pięćdziesięcioletnie woluminy gazet, odręczne listy czy stare fotografie. Dokumenty te z biegiem czasu ulegają zużyciu; Aby je zachować i udostępnić, przeprowadza się digitalizację: skanowanie dokumentu fizycznego i przekształcanie go w kopię cyfrową. Jednak same badania przesiewowe nie wystarczą; Obiekt cyfrowy musi być możliwy do znalezienia, odczytania i utrzymania w dłuższej perspektywie. W tej jednostce dowiesz się, jak wykorzystywać sztuczną inteligencję w procesie digitalizacji, transkrypcji i konserwacji cyfrowej; ale dowiesz się dlaczego będziesz ponosić odpowiedzialność za oryginalność i dokładność.
Kilka koncepcji. OCR (Optical Character Recognition) to technologia, która konwertuje tekst znajdujący się na obrazie dokumentu na tekst nadający się do edycji maszynowej. HTR (rozpoznawanie tekstu odręcznego) wykonuje to samo zadanie w przypadku dokumentów pisanych odręcznie, jest jednak znacznie trudniejsze. Konserwacja cyfrowa to zaplanowane działania mające na celu zapewnienie, że obiekty cyfrowe pozostaną czytelne przez dziesięciolecia, nawet w przypadku dezaktualizacji formatów plików i zmian w oprogramowaniu. Sztuczna inteligencja jest potężnym, ale wadliwym asystentem we wszystkich trzech obszarach.
Krok po kroku: od digitalizacji do konserwacji
1. Ustal priorytety. Nie da się zdigitalizować wszystkiego na raz. Najbardziej delikatne, najbardziej pożądane i najbardziej unikalne dokumenty są stawiane na pierwszym miejscu. Jest to decyzja sądowa; Sztuczna inteligencja pomaga w edycji list, ale priorytet ustala instytucja.
2. Zeskanuj i zastosuj OCR/HTR. Zeskanuj dokument w wysokiej rozdzielczości, a następnie użyj OCR lub HTR, aby wyodrębnić tekst. Narzędzia oparte na sztucznej inteligencji sprawdzają się tutaj coraz lepiej, nawet w przypadku starych i trudnych tekstów.
3. Popraw i zweryfikuj tekst. Dane wyjściowe OCR/HTR nigdy nie są idealne. Błędy są częste, zwłaszcza jeśli zawierają stare pisma, poplamione strony lub rękopis. Ważne jest, aby porównać wynik z rzeczywistym obrazem i skorygować go.
4. Dodaj metadane i informacje o ochronie. Dodaj do obiektu cyfrowego jego pochodzenie, warunki skanowania, informacje o formacie i pochodzenie — skąd pochodzi dokument i jak został przetworzony. Informacje te mają kluczowe znaczenie dla przyszłej weryfikacji i ochrony.
5. Zaplanuj długoterminową ochronę. Wybieraj formaty plików, które są otwarte, powszechne i trwałe; kopia zapasowa; Przygotuj plan migracji na wypadek, gdyby formaty stały się przestarzałe.
Wskazówka: nie akceptuj wyników OCR jako „czystego tekstu”. Gdyby system wyszukiwania przeszukał ten tekst, niepoprawnie rozpoznane słowa spowodowałyby, że źródło nie zostałoby znalezione. W przypadku zbiorów krytycznych skorygowanie wyniku OCR do ludzkiego oka określa jakość całego późniejszego dostępu.
Autentyczność i integralność obiektu cyfrowego
U podstaw pracy archiwalnej leży autentyczność i integralność: pewność, że dokument rzeczywiście pochodzi z zastrzeżonego źródła i że jego treść nie została zmieniona. W tym momencie sztuczna inteligencja stwarza dwutorowe zagrożenie. Po pierwsze, podczas poprawiania lub „wzmacniania” OCR/HTR sztuczna inteligencja może po cichu modyfikować tekst; może dodać słowo, które nie istnieje pod nazwą „korekta”. Po drugie, jeśli „naprawa” lub „przywrócenie” obrazu zostanie przeprowadzona za pomocą sztucznej inteligencji, mogą powstać nieoryginalne detale.
Zasada archiwisty jest jasna: cyfrowa kopia konserwacyjna musi być wierna oryginałowi. Każde ulepszenie wprowadzone za pomocą sztucznej inteligencji powinno być udokumentowane, a rzeczywisty (surowy) skan powinien zawsze zostać zachowany. „Upiększanie” dokumentu może zniszczyć jego historyczną wartość dowodową.
Uwaga: „ulepszanie” starego zdjęcia lub dokumentu za pomocą sztucznej inteligencji może kusić; ale sztuczna inteligencja uzupełnia brakujące części, wymyślając je. W dokumencie archiwalnym oznacza to tworzenie fałszywych dowodów historycznych. Wynik przywracania nigdy nie zastępuje oryginalnego źródła; jest przechowywany jako oddzielny, wyraźnie oznakowany wariant.
trzy mini etui
Przypadek 1 — Archiwa gazet stały się dostępne do przeszukiwania. Biblioteka zdigitalizowała swój 30-letni zbiór lokalnych gazet. Dzięki OCR dokonano transkrypcji i umożliwiono przeszukiwanie 90 000 stron; Wyszukiwanie tematów, które wcześniej zajmowało kilka dni, zostało teraz skrócone do sekund. Zespół zauważył jednak, że dokładność rozpoznawania OCR spadła do 80% w przypadku starych i poplamionych stron, dlatego priorytetowo potraktował korygowanie najlepszych lat za pomocą ludzkiego oka.
Przypadek 2 – HTR otworzył rękopis. Archiwum zastosowało HTR do zbioru trudnych do odczytania listów z XIX wieku. System nabrał ogromnej prędkości dzięki wielomiesięcznym czytaniom ekspertów; Jednak każda strona wydruku była porównywana z oryginałem przez biegłego paleografa (znawcę pisma starożytnego), ponieważ zawierały błędy w nazwach osób i miejsc.
Przypadek 3 – Odrzucono fałszywą „przywrócenie”. Jeden zespół rozważał „naprawę” podartej fotografii historycznej za pomocą sztucznej inteligencji. AI uzupełniła brakujące części twarzy, dopasowując je. Archiwista zdał sobie sprawę, że te sfabrykowane szczegóły zniekształcą dowody historyczne; Naprawiony obraz był przechowywany osobno obok oryginału, jedynie wyraźnie oznaczony jako „pochodna AI”.
Kopia dostępu, kopia zabezpieczająca i decyzja o formacie
Dobrą praktyką w digitalizacji jest rozdzielanie kopii tego samego obiektu dla różnych celów. Master konserwacji to rzeczywisty obiekt cyfrowy, który ma zostać przeniesiony w przyszłość, przechowywany w najwyższej rozdzielczości, w nieskompresowanym lub bezstratnym formacie; rzadko się go dotyka. Kopia dostępowa to mniejszy, łatwy do otwarcia wariant prezentowany użytkownikowi. To rozróżnienie jest ważne, ponieważ format praktyczny w użyciu (mały, skompresowany) może nie nadawać się do długotrwałego przechowywania; Idealny format do przechowywania (duży, bezstratny) jest uciążliwy w codziennym użytkowaniu. W tym procesie sztuczna inteligencja może pomóc w inwentaryzacji plików, wykrywaniu brakujących wariantów i utrzymywaniu spójności metadanych w dwóch kopiach. Jednakże wybór formatu jest decyzją o zachowaniu: należy preferować otwarte, szeroko udokumentowane i trwałe formaty (a nie zastrzeżone, zamknięte formaty), a plan migracji powinien być przygotowany na wypadek, gdyby formaty z czasem stały się przestarzałe. Nawet jeśli sztuczna inteligencja zasugeruje format, ostateczne słowo należy do długoterminowej polityki instytucji dotyczącej konserwacji.
Wskazówka: Dla każdego obiektu cyfrowego prowadź krótki zapis zawierający odpowiedzi na pytania: „gdzie jest oryginalne źródło, w jakim formacie jest kopia zabezpieczająca, w jakim formacie jest kopia dostępowa i jaki jest udostępniany użytkownikowi?” Mieszanie tych trzech warstw powoduje, że nie jest jasne, który plik będzie w przyszłości zaufanym plikiem głównym.
Cztery szablony do kopiowania
1) Pomoc w korekcji wyjścia OCR:
Poniżej znajduje się tekst OCR i opis aktualnej strony. Naprawiaj tylko błędy openOCR (złe znaki, słowa złożone/rozdzielone). Nie zmieniaj treści, nie dodawaj ani nie usuwaj słów. Jeśli nie jesteś pewien, zaznacz „[?]”. Tekst OCR: [tutaj]
2) Kontrola spójności tekstu i obrazu:
Czy w poprawionym tekście poniżej znajdują się jakieś uzupełnienia, których nie spodziewano się znaleźć w oryginalnym dokumencie (które mogły zostać zmyślone)? Zaznacz każdą podejrzaną część i napisz, dlaczego jest podejrzana. Tekst: [tutaj]
3) Projekt metadanych ochrony:
Wygeneruj zarys metadanych konserwacji dla następującego zdigitalizowanego obiektu: źródło, pochodzenie, data skanowania/rozdzielczość, format pliku, historia transakcji. Po prostu skorzystaj z podanych przeze mnie informacji, pozostaw brakujące pole puste. Informacje: [tutaj]
4) Pomoc w ustalaniu priorytetów:
Poniżej znajduje się lista zbiorów oczekujących na digitalizację; Pomagaj w ustalaniu priorytetów w oparciu o kruchość, popyt i wyjątkowość. Podaj krótkie uzasadnienie każdego zasobu; Ostateczną decyzję zostaw mnie. Lista: [tutaj]
Słaba zachęta/silna zachęta
Słaba zachęta:
Popraw i upiększ ten zeskanowany tekst.
„Beautify” zaprasza sztuczną inteligencję do zmiany treści, uzupełnienia pominięć; Oryginalność dokumentu archiwalnego jest uszkodzona.
Potężny monit:
Twoja rola: asystent redaktora ds. digitalizacji. W poniższym tekście OCR napraw TYLKO wyraźne błędy rozpoznawania (zły znak, niepoprawnie podzielone słowo). Nie dodawaj, nie usuwaj ani nie zmieniaj żadnych słów. Zostaw „[?]” tam, gdzie nie jesteś pewien. Pokaż każdą dokonaną korektę na osobnej liście. Tekst: [tutaj]
Potężny monit ogranicza sztuczną inteligencję jedynie do rozpoznawania błędów, zabrania jej dotykania treści i umożliwia śledzenie poprawek.
Tabela przepływu pracy i ryzyka
Scena
Wkład sztucznej inteligencji
Główne ryzyko
środek ochronny
skanuj
—
słaba jakość
wysoka rozdzielczość
OCR/HTR
Konwertuj na tekst
Błędy rozpoznawania
ludzka korekta
korekta
Sugestia błędu
Zmiana treści
Porównanie z oryginałem
przywrócenie
Pochodna obrazu
pasujący detal
Zachowaj surowy oryginał i opisz go
ochrona
Wersja robocza metadanych
utrata pochodzenia
Zapis pochodzenia
Typowe błędy
- Akceptowanie wyniku OCR bez korekty. Błędy zakłócają wyszukiwanie i dostęp.
- Nazywanie sztucznej inteligencji „czyń piękną”. Zmienia treść i niszczy oryginalność.
- Zastąpienie rzeczywistych dowodów przywróceniem sztucznej inteligencji. Sfabrykowane detale tworzą fałszywą historię.
- Nie przechowuje surowego skanu. Bez oryginału nie można zweryfikować żadnej korekty.
- Pominięcie informacji o pochodzeniu. Wiarygodność dokumentu staje się niemożliwa do wyśledzenia.
Podsumowując
AI w archiwach cyfrowych i digitalizacji; Jest to cenna pomoc, która przyspiesza transkrypcję OCR/HTR, tworzenie metadanych i ustalanie priorytetów. Jednak istotą pracy archiwalnej jest autentyczność i integralność: wyniki OCR powinny być korygowane ludzkim okiem, sztuczna inteligencja nigdy nie powinna po cichu zastępować treści, pochodne odtworzenia nie powinny zastępować oryginalnych dowodów, a surowe informacje o skanowaniu i pochodzeniu powinny zawsze być zachowywane. Wykorzystaj sztuczną inteligencję jako narzędzie, które nie „ulepsza” dokumentu, ale raczej sprawia, że staje się on dostępny, zachowując przy tym jego wierność.
Zadanie aplikacji
Uzyskaj krótką próbkę wyników OCR (własnej produkcji lub rzeczywistego skanu). Popraw tylko błędy rozpoznawania za pomocą szablonu „Pomoc w korekcji wyniku OCR”, a następnie sprawdź, czy sztuczna inteligencja dodała treść za pomocą szablonu „Sprawdzanie spójności tekstu i obrazu”. Następnie utwórz rekord z informacjami o pochodzeniu i formacie obiektu, korzystając z szablonu „Wersja metadanych zachowania”.
lista kontrolna
- [ ] Porównałem wynik OCR/HTR z rzeczywistym obrazem i poprawiłem go.
- [ ] Sprawdziłem, czy sztuczna inteligencja nie dodaje/zmienia treści.
- [ ] Zachowałem surowy (master) skan oddzielnie i bez zmian.
- [ ] Dodałem informacje o pochodzeniu i formacie do metadanych.
- [ ] Wyraźnie oznaczyłem warianty renowacji jako „pochodne AI”.