Zyski:
- Możliwość wyodrębniania wzorców z dużych zbiorów tekstu przy użyciu technik takich jak NER, ekstrakcja relacji, analiza osi czasu i sieci
- Umiejętność postrzegania wzorca jako hipotezy, a nie dowodu, łączenia jednostek ze źródłem i normalizowania ich za zgodą człowieka
- Umiejętność zrozumienia, w jaki sposób liczby mogą wprowadzać w błąd z powodu brakujących danych i błędu próbkowania, a także unikania wymyślonych relacji i chronologii.
Badania historyczne to nie tylko czytanie pojedynczych dokumentów; często szukając wzorców w dużych zbiorach dokumentów. W jakich kontekstach dane imię pojawia się na przestrzeni lat? Jakie osoby są powiązane z osadą? Jak temat zmienia się w czasie? Kto z kim koresponduje? Takie pytania wymagają spojrzenia nie na pojedynczy dokument, ale na setki dokumentów łącznie. Nazywa się to często humanistyką cyfrową — zastosowaniem metod obliczeniowych w takich dziedzinach, jak historia i literatura.
Sztuczna inteligencja ma potężną moc w wydobywaniu uporządkowanych informacji z dużych zbiorów tekstu. W tej części nauczysz się NER (rozpoznawanie jednostek nazwanych), wydobywania wzorców i relacji, logiki modelowania tematów i tworzenia osi czasu; ale omówimy także najniebezpieczniejszą pułapkę tych technik – sztuczną inteligencję udającą, że „znalazła” wzorzec, który nie istnieje.
Podstawowe techniki
- NER (Rozpoznawanie nazwanej jednostki): Automatyczne wyodrębnianie z tekstu jednostek takich jak osoba, miejsce, instytucja, data. W ciągu kilku minut tworzy listę typu „Wszystkie nazwy miejscowości wymienione w tych 500 dokumentach”.
- Wnioskowanie o relacjach: Zaznaczanie powiązań między bytami („Osoba X na miejscu Y”, „A odpowiada B”).
- Modelowanie tematów: statystyczne znajdowanie grup powtarzających się tematów w dużym zestawie tekstu. Pokazuje, które tematy koncentrują się w jakim okresie.
- Wnioskowanie na osi czasu: Układanie datowanych wydarzeń w dokumentach w porządku chronologicznym.
- Analiza sieci: Wizualizacja relacji międzyludzkich/instytucjonalnych jako sieci (kto jest centrum, kto jest punktem połączenia).
Ich wspólnym celem jest ukazanie struktur, które nie pojawiają się w jednym dokumencie, ale pojawiają się w całej kolekcji. Techniki te tworzą widoczne wzorce, które nigdy nie byłyby widoczne przy samym czytaniu. Ale każdy z nich jest „znakiem”, a nie „dowodem”; Konieczne jest sprawdzenie, co znajduje się w oryginalnym dokumencie.
Często stosowaną koncepcją w tej dziedzinie jest rozróżnienie pomiędzy czytaniem bliskim (dogłębne czytanie tekstu, wiersz po wierszu) i czytaniem na odległość (analizowanie setek/tysięcy tekstów łącznie, statystycznie). Sztuczna inteligencja umożliwia zdalne czytanie: widzisz wzorce w korpusie wystarczająco dużym, aby wystarczyło na całe życie człowieka. Kiedy jednak czytanie odległe wskazuje na pewien wzór, należy powrócić do czytania bliskiego, to znaczy do dokumentu oryginalnego, aby nadać mu sens. Te dwie metody nie są zamienne; Jeden pokazuje wzór, drugi nadaje jego znaczenie. Najbardziej rzetelne badania wykorzystują oba razem.
Wskazówka: Użyj analizy wzorców jako generatora hipotez: „AI dostrzegła tutaj wzór, czy to prawda?” Następnie sprawdź ten wzór w dokumentach jeden po drugim. Wzorzec jest punktem wyjścia Twoich badań, a nie ich rezultatem.
Przebieg pracy: krok po kroku
1. Wyjaśnij pytanie. „Które osoby pojawiają się najczęściej razem w tej kolekcji?” Pytanie o jasny wzór, np.
2. Przygotuj i oznacz dane. Uporządkuj tekst za pomocą odniesień do źródeł, aby wszelkie znalezione zasoby można było powiązać z dokumentem.
3. Pojawia się obiekt/wzorzec. Wygeneruj NER, relację lub zarys osi czasu za pomocą sztucznej inteligencji.
4. Normalizuj. Połącz różne pisownie tej samej osoby/miejsca („Stambuł / Stambuł / Kostantiniyye” w tym samym miejscu?). Ten krok jest krytyczny; Jeśli zostanie pominięty, wzór się rozpadnie.
5. Sprawdź w dokumencie. Sprawdź rzeczywiste dokumenty pod kątem wszelkich oznaczonych znaczących wzorców. Upewnij się, że sztuczna inteligencja nie doda wymyślonego linku.
6. Komentarz. Znaczenie tego wzoru jest oceną historyka; AI po prostu zaznacza wzór.
Pułapka liczbowa i statystyczna
Analiza wzorców często daje liczby: „nazwa X występuje 47 razy”, „ten motyw występuje w 30% dokumentów”. Liczby te wydają się obiektywne, ale mogą wprowadzać w błąd:
- Brakujące dane: Jeżeli zbiór jest już niekompletny (dokumenty zaginęły, grupa nie została spisana), liczba ta odzwierciedla zachowane dokumenty, a nie rzeczywistość.
- Błąd normalizacji: Jeśli ta sama osoba zostanie zapisana inaczej i policzona osobno, liczba będzie niepoprawna.
- Utrata kontekstu: „występuje 47 razy” nic nie mówi; Ważny jest sposób przekazania (pozytywny/negatywny, temat/przedmiot).
wyjście wzoru
pozorne znaczenie
realne ryzyko
„X występuje 47 razy”
ważna osoba
Zbiór niekompletny, różnice w pisowni
„Temat 30%”
temat dominujący
stronniczość próbkowania
„A-B często razem”
intymny związek
Zbieg okoliczności, brak kontekstu
„oś czasu”
dokładna chronologia
Dokumenty niedatowane, zamówienie sfabrykowane
trzy mini etui
Przypadek 1 — Analiza sieci ujawniła ukrytego pośrednika. Badacz zbadał zbiór korespondencji liczący 800 listów. Ustalono, kto do kogo pisze, i utworzono sieć. Sieć pokazała, że na pierwszy rzut oka pozornie nieistotna osoba była w rzeczywistości kluczowym punktem styku obu grup. Badacz skupił się na listach tej osoby i osiągnął nowe odkrycie. Ale najpierw sprawdź wszystkie linki w dokumentach.
Przypadek 2 — Błąd normalizacji spowodował uszkodzenie liczby. Jeden z uczniów kazał im policzyć, ile razy dane miejsce pojawiło się w dokumentach. Ponieważ sztuczna inteligencja policzyła osobno trzy różne pisownie tego samego miejsca, liczba ta okazała się jedną trzecią liczby rzeczywistej. Po połączeniu pisowni miejsce znajdowało się faktycznie na trzeciej najczęściej występującej pozycji. Lekcja: bez normalizacji nie można ufać liczbie.
Przypadek 3 – Wymyślony harmonogram. Badacz stworzył oś czasu na podstawie niedatowanych dokumentów. AI ułożyła nieznane wydarzenia w „logiczny” porządek i przedstawiła dokładną chronologię. Jednak tej sekwencji nie było w dokumentach, sztuczna inteligencja ją wymyśliła. Lekcja: oś czasu budowana jest wyłącznie ze zdarzeń, które mają datę w dokumencie; reszta pozostaje „bez daty”.
Cztery szablony do kopiowania
1) NER (wnioskowanie o jednostce):
Osoby, miejsca, instytucje i daty wymienione w poniższych dokumentach występują jako ODDZIELNE zestawienia. Wskaż, w którym dokumencie (odnośniku) wspomniano o każdym podmiocie. Weź tylko to, co jest WYRAŹNIE stwierdzone w tekście; dodaj według domysłu. Zaznacz [?], jeśli nie jesteś pewien wymowy. Dokumenty: [tutaj]
2) Normalizacja jednostki:
Na poniższej liście podmiotów pogrupuj różne pisownie, które mogą dotyczyć tej samej osoby/miejsca (np. „Stambuł / Kostantiniyye”). Zaproponuj możliwy wspólny format dla każdej grupy, ALE nie narzucaj dokładnej kombinacji; Dodaj notatkę „może to samo, pozwól innym zweryfikować”. Zostaw to w spokoju, jeśli nie jesteś pewien. Lista: [tutaj]
3) Zarys relacji/sieci:
Wyodrębnij linki „kto jest z kim powiązany” z poniższego zestawu korespondencji/dokumentów. Przy każdym linku wskaż, na jakim dokumencie (odniesieniu) się opiera. UWZGLĘDNIŁ relację, która nie jest JASNA w dokumencie. Zaznacz niejednoznaczne linki [niewyraźne]. Dokumentacja: [tutaj]
4) Datowany harmonogram:
Wymień w porządku chronologicznym tylko wydarzenia WYRAŹNIE opisane w poniższych dokumentach; Połącz każde wydarzenie z jego źródłem. Wydarzenia z niepewnymi datami wypisz osobno pod nagłówkiem „bez daty”, NIE porządkuj ich. NIE zmyślaj szacunkowej daty. Dokumentacja: [tutaj]
Słaba zachęta/silna zachęta
Słabe:
Przeanalizuj te dokumenty i wyodrębnij ważne wzorce, relacje i ramy czasowe.
„Wyodrębnij ważne wzorce” zmusza sztuczną inteligencję do wymyślania nieistniejących powiązań i precyzyjnych chronologii, przedstawiania liczb bez normalizacji.
Mocny:
Wyodrębnia jednostki/miejsca/instytucje z następujących dokumentów, łącząc je z odniesieniami do dokumentu. Zaznacz inną pisownię, która może być taka sama jak „można połączyć”, ale nie łącz. Związki, które nie są jasno określone w dokumencie oraz zdarzenia o niepewnych datach NIE FAŁSZYWĄ; trzymaj te bez dat osobno. Dokumentacja: [tutaj]
Różnica: przypisanie źródła, pozostawienie normalizacji ludziom, zakaz fikcyjnych powiązań/historii i oddzielenie niedatowanych wydarzeń sprawiają, że wzorzec jest możliwy do obrony.
Typowe błędy
- Mylenie wzoru z dowodem. Wzór jest hipotezą; jest potwierdzony w dokumencie.
- Pomijanie normalizacji. Różne pisownie tego samego podmiotu zniekształcają liczbę i sieć.
- Ślepa wiara w liczby. Niekompletny zbiór i błąd w próbkowaniu powodują, że liczba jest myląca.
- Zmyślona oś czasu. Wydarzenia niedatowane nie są uwzględniane w chronologii.
- Ignorowanie kontekstu. Ważne jest nie „ile razy zostało to zdane”, ale „jak to zostało zdane”.
Podsumowując
Analiza treści i odkrywanie wzorców to potężna dziedzina, w której sztuczna inteligencja tworzy widoczne struktury, które nie byłyby widoczne przy samym czytaniu: ekstrakcja jednostek, sieci relacji, klastry tematyczne, osie czasu. Ale każdy wzór jest hipotezą, a nie dowodem. Połącz zasoby ze źródłem, ostrożnie normalizuj i sprawdzaj je przez człowieka, sprawdzaj numery pod kątem brakujących danych i uprzedzeń, unikaj wymyślonych relacji i chronologii. AI zaznacza wzór; Co to oznacza i czy jest prawdziwe, to ocena historyka.
Zadanie aplikacji
Zbierz co najmniej 15 dokumentów (wraz z referencjami). Wyodrębnij osobę i umieść jednostki za pomocą szablonu „NER”. Następnie pogrupuj różne pisownie za pomocą „normalizacji jednostek” i samodzielnie zweryfikuj grupy. Na koniec uruchom szablon „datowanej osi czasu” i zobacz, ile wydarzeń pozostaje „niedatowanych”. Porównaj, ile wymyślonych linków lub chronologii wygenerowałaby sztuczna inteligencja przy słabych podpowiedziach.
lista kontrolna
- [ ] Jasno określiłem moje pytanie dotyczące wzoru.
- [ ] Mam każdy element powiązany z odnośnikiem do dokumentu.
- [ ] Znormalizowałem pisanie przez jednostki i połączyłem je z aprobatą człowieka.
- [ ] Kwestionowałem liczby pod kątem brakujących danych i uprzedzeń.
- [ ] Niedatowanych wydarzeń nie umieściłem w chronologii, trzymałem je osobno.