소스 검색, 검색 및 요약 — 역사와 아카이빙 분야의 인공지능

이득:

인공 지능으로 대량의 문서 더미를 스캔하고 관련 내용을 제거 및 요약하여 발견을 가속화하는 기능
요약은 증거가 아닌 발견의 지도라는 점을 이해하고 각 중요 사항을 연결하고 원본 문서에 인용할 수 있습니다.
인공지능이 결과/설명을 생성하지 않고도 케이스를 스캔하고 샘플로 제거를 확인하는 기능

역사 연구에서 가장 큰 병목 현상 중 하나는 방대한 자료 더미에서 "효과가 있는 것"을 찾는 것입니다. 연구자는 논문이나 기사를 위해 수백 개의 문서, 신문, 등록부 또는 서신 파일을 스캔해야 할 수도 있습니다. 이 리소스 검토 작업은 일반적으로 페이지별로 읽어야 하며 몇 주가 걸릴 수 있습니다. AI는 많은 양의 텍스트를 빠르게 스캔 및 요약하고 관련 장소를 표시함으로써 이러한 병목 현상을 해소합니다. 그러나 여기서도 위험은 분명합니다. AI 요약은 소스를 대체하지 않습니다. 그것은 단지 실제 소스로 안내하는 지도일 뿐입니다.

이 단원에서는 대규모 역사적 자료를 AI로 스캔하고, 신뢰할 수 있는 요약을 생성하고, 관련 구절을 찾고, 시놉시스의 가장 위험한 함정인 "출처에 가지 않고 시놉시스를 신뢰하는 것"을 피하는 방법을 배웁니다. 목표는 정확성을 결코 희생하지 않으면서 속도를 위해 AI를 사용하는 것입니다. 잘 사용하면 이 두 가지 목표는 충돌하지 않고 오히려 서로 영양을 공급합니다.

요약은 소스를 대체하지 않습니다.

처음부터 기본 원칙을 세우자. AI 브리핑은 증거가 아닌 발견 도구이다. 역사가가 자신의 연구에 사건, 인용문 또는 데이터 조각을 포함시키려면 AI의 요약이 아닌 원본 문서에서 이를 가져와야 합니다. 요약에는 "이 문서에 이와 같은 내용이 있습니다. 가서 살펴보세요"라고 되어 있습니다. 그는 "이것이 문서에 정확히 나와 있다"고 말하지 않습니다. 요약 과정은 전혀 존재하지 않는 것을 압축하고, 선택하고, 때로는 왜곡하고, 때로는 추가하기 때문입니다.

스캔 시 세 가지 강력한 작업에 AI를 사용할 수 있습니다.

스캔 및 선별: 주제와 관련된 수백 개의 문서 중에서 빠르게 표시합니다.
요약: 긴 문서의 개요, 사람, 주제에 대한 개요를 설명합니다.
구절 찾기: 문서에 "이 주제에 대해 이야기하는 장소는 어디에 있습니까?"라는 질문을 표시합니다.

세 가지 모두에서 출력은 "리디렉션"입니다. 증거는 원본 문서에서 가져옵니다.

여기서 간과되는 위험은 AI의 컨텍스트 창(모델이 한 번에 처리할 수 있는 텍스트의 양)의 한계입니다. 한 번에 매우 많은 양의 문서를 제공하면 AI가 중간 부분을 "잊거나" 훑어볼 수 있습니다. 처음과 끝에서 일어나는 일을 강조하는 경향이 있습니다. 따라서 수백 개의 문서를 단일 요청에 맞추는 대신 이를 논리적 그룹으로 나누고 각 그룹을 별도로 스캔하면 보다 안정적인 결과를 얻을 수 있습니다. 또한, AI가 "절대 언급하지 않는" 문서가 정말 관련이 없거나 누락된 문서인지 구별하기 위해서는 샘플 검사가 필수적입니다.

작업 흐름: 단계별

1. 연구 질문을 명확히 합니다. 막연한 “요약해 주세요”가 아닌 명확한 질문: “이 40개 문서에서 물 권리 분쟁을 언급한 곳은 어디입니까?”

2. 재료를 준비합니다. 스캔할 텍스트를 편집합니다(녹화 또는 OCR 출력). 요약이 출처에 연결될 수 있도록 출처의 이름/참조를 각 부분에 첨부하세요.

3. 스캔/요약 지침을 제공합니다. AI에게 귀하가 제공한 텍스트에만 의존하고 각 주장을 출처(문서/페이지)에 연결하고 존재하지 않는 내용을 추가하지 않도록 요청하세요.

4. 요약을 다시 소스에 연결합니다. 요약에 표시된 모든 중요한 사항을 원본 문서에서 찾아서 확인하십시오. 문서에서 그대로 인용문을 가져옵니다.

5. 질문의 격차와 편견. AI가 무엇을 놓쳤을까요? 그는 단지 명백한 점을 강조했는가? 그는 귀하의 질문에 맞는 것을 선택하고 그 반대를 숨겼습니까?

주의: 요약을 생성할 때 AI는 "논리적으로 보인다"는 이유로 문서에 없는 링크나 결과를 추가할 수 있습니다. 특히 "이 문서에서 어떤 결론을 내릴 수 있습니까?" 이와 같은 질문은 AI가 해석과 추론을 하도록 유도합니다. 요약 요청을 사실대로 유지하세요. 그 의견을 혼자만 간직하세요.

테이블을 사용하여 작업 스캔

퀘스트

AI의 투고

위험

확인

세 개의 미니 케이스

사례 1 - 300개의 문서를 2일로 단축했습니다. 한 연구원이 한 마을의 1900~1920년 수자원 권리 분쟁을 연구하고 있었습니다. 300개의 문서를 손으로 스캔하는 데는 몇 주가 걸립니다. AI는 각 문서에 “물 권리와 관련이 있는가”라고 표시했습니다. 300개의 문서 중 42개의 문서가 관련성이 있는 것으로 나타났습니다. 연구자는 이 42개 항목만 깊이 있게 읽었습니다. 그러나 그는 또한 샘플과 관련이 없는 것으로 표시된 258개의 문서 중 20개를 확인했습니다. 2개가 실제로 관련되어 있음을 발견하고 수정했습니다. 교훈: 제거 속도는 빨라지지만 표본에 따라 제어되어야 합니다.

사례 2 - 가짜 결과. 한 학생이 YZ에게 15개의 문서를 요약하고 "이 문서의 결론"을 요청했습니다. AI는 문서에 없는 인과관계를 유창한 언어로 '결과'로 적었다. 학생이 문서를 검토했을 때 어떤 문서에서도 그러한 결론이 뒷받침되지 않는다는 것을 알았습니다. 교훈: AI가 해석과 결론을 내리도록 하지 마세요. 케이스 스캔을 받고 결과를 결정하세요.

사례 3 - 수정된 견적. 저자는 AI 초록의 “인용문”을 자신의 논문에 넣을 것입니다. 문서와 비교해보니 AI가 문장을 단순화하고 단어 몇 개를 바꾼 것을 발견했다. 그 인용문은 더 이상 문서에 쓰여진 것과 정확히 동일하지 않았습니다. 교훈: 각 인용문은 초록이 아닌 문서에서 그대로 가져왔습니다.

복사 가능한 템플릿 4개

1) 소스 의존적 스캐닝:

다음은 문서의 일부이며 각 부분에는 참조 라벨이 붙어 있습니다. 내 연구 질문: [질문]. 각 문서에 대해 "관련 있음/관련 없음/불확실함"을 표시하고 관련이 있는 경우 관련 문장/구절 및 문서 참조를 표시합니다. 의견을 추가하고 결론을 도출합니다. 문서: [여기]

2) 충실한 요약:

아래 문서를 요약해 보세요. 규칙: (1) 본문에 있는 내용만 작성하고 추론/의견/결론을 추가하지 마십시오. (2) 각 중요 사항을 문서 내 해당 위치(단락/페이지)에 연결합니다. (3) 인용해야 할 경우에는 한 단어씩 인용하고 변경하지 마십시오. (4) 본문에 없는 '불특정' 정보를 기재합니다. 문서: [여기]

3) 통로 찾기:

아래 텍스트에서 이 주제에 대한 모든 언급을 찾아보세요: [주제]. 각각에 대해 간략한 인용문(축어적)과 위치를 제공합니다. 주제를 포함하지 않는 장소를 추가합니다. 확실하지 않은 일치 항목을 [불분명]으로 표시하세요. 텍스트: [여기]

4) 비교 사례 검토:

아래에는 2~3개의 문서가 있습니다. 이 주제[주제]에 관해 각 문서에서 말하는 내용을 출처와 함께 별도로 나열하세요. 문서 간의 "결론" 또는 "전체 평가" 작성 각 문서에 자체 진술을 사실로 제공하십시오. 문서: [여기]

약한 프롬프트 / 강한 프롬프트

약함:

이 문서를 읽고 주제, 결과 및 중요성에 대해 나에게 말하는 내용을 요약하십시오.

"결과"와 "의미"를 원하기 때문에 AI는 사실에서 벗어나 해석과 연결을 만들어냅니다. 소스에도 연결되지 않습니다.

강한:

다음 문서의 [주제]에 대한 사실을 나열하고 각 문서를 문서 참조에 연결합니다. 의견, 결론 또는 중요도 등급을 추가하세요. 단어별로 인용문을 제공하세요. 해당 주제가 문서에 언급되지 않은 경우 "언급되지 않음"이라고 기재합니다. 문서: [여기]

차이점: 사실에 대한 충실성, 출처 연결, 해석 금지, 축어적 인용은 요약을 신뢰할 수 있는 발견 지도로 변환합니다.

일반적인 실수

요약을 증거로 착각합니다. 요약 리드; 증거는 원본 문서에서 가져옵니다.
AI에게 "결론을 도출"하라고 지시합니다. 해석과 원인과 결과는 역사가의 일입니다. AI가 사례를 스캔합니다.
초록에서 인용문을 가져옵니다. AI는 인용문을 단순화/대체합니다. 각 인용문은 문서에서 그대로 가져왔습니다.
제거를 전혀 감독하지 않습니다. "관련 없음"으로 표시된 항목을 샘플과 비교하여 확인하지 않으면 중요한 문서가 누락됩니다.
공백을 요구하지 않습니다. AI가 무엇을 생략하고, 무엇을 편향하는지 질문할 필요가 있다.

요약하면

원본 스캐닝 및 요약은 AI가 역사 연구에서 가장 많은 시간을 절약하는 영역 중 하나입니다. AI는 수백 개의 문서를 선별하여 요약하고 관련 구절을 표시합니다. 그러나 요약은 증거가 아닌 발견의 지도입니다. 각 핵심 사항을 원본 문서에 다시 연결하고, 문서에서 그대로 인용하고, AI가 결론과 해석을 생성하지 못하게 하고, 샘플링을 통해 제거를 제어하고, AI가 생략한 내용에 대해 질문합니다. AI가 올바른 페이지로 이동합니다. 그 페이지를 읽고 이해하는 것이 당신의 임무입니다.

응용과제

귀하의 주제와 관련된 문서를 10개 이상 수집하고 각 문서에 참고 자료를 첨부하세요. "소스 기반 스캔" 패턴과 관련된 항목을 제거합니다. 그런 다음 "관련 없음"으로 표시된 항목 중 일부를 샘플로 직접 확인하세요. 관련 결과 중 하나를 "충실한 요약"으로 요약하고 문서 요약의 각 핵심 사항을 찾아 확인하도록 하세요. AI가 얼마나 많은 포인트를 추가하거나 왜곡하는지 확인하세요.

체크리스트

[ ] 나는 명확한 연구 질문으로 시작했습니다.
[ ] 각 문서에 대한 소스 참조를 첨부했습니다.
[ ] 요약의 각 항목을 원본 문서에 다시 연결했습니다.
[ ] 문서에서 인용문을 그대로 가져왔습니다.
[ ] 나는 샘플링을 통해 제거를 감사하고 격차에 대해 의문을 제기했습니다.