Literaturrecherche, Quellenüberprüfung und Bekämpfung von Halluzinationen

Gewinne:

• Möglichkeit, künstliche Intelligenz zu nutzen, um reale Quellen zusammenzufassen und zu vergleichen, wodurch die Grundlage für eine erfundene Zuschreibung mit der Einschränkung „nur basierend auf der angegebenen Quelle“ entfällt
• Fähigkeit, die Disziplin anzuwenden, jedes Zitat im aktuellen Katalog zu überprüfen, jede Zusammenfassung auf die Quelle zu überprüfen und DOI-/Impressum-Halluzinationen zu erkennen
• Verstehen können, wie Aktualität, Mehrsprachigkeit und graue Literatur die Grenzen des Wissens der künstlichen Intelligenz bestimmen und warum originelles Schreiben erforderlich ist.

Archäologie und kulturelles Erbe sind eine kumulative Wissenschaft: Jede neue Studie baut auf früheren Veröffentlichungen aus Jahrhunderten auf. Das Durchsuchen der Literatur (die Gesamtheit der zu diesem Thema veröffentlichten Artikel, Bücher, Berichte und Thesen) einer Region, einer Fundart oder eines Zeitraums ist der erste und anstrengendste Schritt jeder wissenschaftlichen Untersuchung. In dieser Einheit werden wir uns eingehend damit befassen, wie KI die Literaturrecherche beschleunigt, aber auch, warum die Quellenverifizierung in diesem Bereich von größter Bedeutung ist und wie man den gefährlichsten Fehler der KI bekämpft: Halluzinationen (fabrizierte Quellen, Zitate und Informationen).

Grundprinzip: KI hilft, die Literatur zusammenzufassen, zu vergleichen und zu organisieren; Aber kein Zitat kann ohne Bestätigung in einem echten Katalog verwendet werden, und keine Zusammenfassung kann zu einer wissenschaftlichen Behauptung werden, ohne die Quelle selbst zu lesen. In den Geisteswissenschaften zerstört eine einzige falsche Quelle die Glaubwürdigkeit des gesamten Werks.

Warum ist Halluzination in diesem Bereich so wichtig?

Der häufigste Fehler öffentlicher Chat-Tools besteht darin, akademische Ressourcen zu produzieren, die nicht existieren, aber sehr realistisch erscheinen. Die KI kann ein „perfekt“ aussehendes Zitat erstellen, indem sie den Namen eines echten Autors, den Namen einer echten Zeitschrift und einen plausiblen Titel kombiniert. Wovon?

• KI erzeugt das „nächstwahrscheinlichste Wort“; Es wird nicht auf eine tatsächliche Datenbank geschaut (es sei denn, ein spezielles Tool ist angeschlossen).
• Da wissenschaftliche Zitate Muster aufweisen, ist KI sehr „gut“ darin, ein Zitat zu erstellen, das dem Muster entspricht, dessen Inhalt jedoch erfunden ist.
• In den Geisteswissenschaften prüft der Leser oft nicht sofort die Quelle; Dadurch kann die gefälschte Namensnennung unbemerkt weitergegeben werden.

Fazit: Für einen Archäologen sollte jedes Trio aus Autor, Jahr und Titel in der KI-Ausgabe als verdächtig angesehen werden, bis das Gegenteil bewiesen ist.

Tipp: Nutzen Sie KI nicht als „Ressourcenfinder“, sondern als Assistent, der „die realen Ressourcen, die Sie haben, verarbeitet“. Suchen Sie selbst nach den eigentlichen Artikeln, geben Sie die PDFs an die KI weiter und sagen Sie dann: „Verlassen Sie sich einfach auf diese Texte, die ich Ihnen gegeben habe.“ Damit ist die Grundlage für Halluzinationen weitgehend beseitigt.

Schritte der Literaturrecherche

1. Umfang und Frage. Wonach suchst du? Klären Sie Themen-, Zeit-, Regions- und Sprachgrenzen.
2. Sammlung realer Ressourcen. Finden Sie authentische Veröffentlichungen aus Bibliothekskatalogen, institutionellen Datenbanken und vertrauenswürdigen Verzeichnissen. Es ist riskant, in diesem Schritt Ressourcen für die KI zu „finden“.
3. Zusammenfassen und Zuordnen. Geben Sie die tatsächlich gesammelten Texte an die KI weiter, um Themen und Diskussionen zusammenzufassen und abzubilden.
4. Vergleich und Lückenanalyse. Vergleichen Sie die Ansichten verschiedener Autoren, finden Sie Widersprüche und unerforschte Lücken.
5. Rechtschreibung und Namensnennung. Schreiben Sie Ihre eigene Argumentation mit überprüften Zitaten. KI gibt Entwurf; Sie schreiben mit Ihrer Analyse und tatsächlichen Zitaten neu.

Disziplin der Quellenüberprüfung

Überprüfen Sie für jedes Zitat:

• Gibt es? Befinden sich Autor, Jahr, Titel, Zeitschrift/Verlag in einem tatsächlichen Katalog (Bibliothek, DOI, Index)?
• Sagt er, was er sagt? Sagt die Quelle wirklich, was die KI behauptet? Öffnen Sie die Quelle und lesen Sie den entsprechenden Abschnitt.
• Stimmt der Kontext? Entspricht das Zitat der Absicht des Autors? Wird die gegenteilige Meinung dem Autor zugeschrieben?
• Ist es aktuell und zuverlässig? Ist die Veröffentlichung peer-reviewed, aktuell oder spiegelt sie eine veraltete Sichtweise wider?

Achtung: Nur weil ein von AI bereitgestellter DOI oder eine Inventarnummer im „richtigen Format“ erscheint, heißt das nicht, dass dieser Datensatz existiert. Suchen Sie nach der Nummer im realen System. Ein nicht vorhandener DOI ist eines der häufigsten Anzeichen für Halluzinationen.

drei Mini-Koffer

Fall 1 – Zusammenfassung sparte Zeit. Ein Doktorand übergab 60 echte Artikel (die er alle gefunden und heruntergeladen hatte) an AI und erstellte eine Themenkarte; Er entwarf eine Tabelle, in der die Ansichten verschiedener Autoren zu einem Fundtyp in zwei Tagen statt in Wochen verglichen wurden. Jede Zusammenfassung wurde beschafft und überprüft.

Fall 2 – Scheinschweißkatastrophe abgewendet. Ein Doktorand bat AI, „Quellen zu diesem Thema vorzuschlagen“ und erhielt eine nette Liste mit 15 Zitaten. Als er es in der Bibliothek überprüfte, stellte er fest, dass neun der Listen nie existierten – echte Autoren, erfundene Titel. Würde diese Liste in die Bibliographie der Dissertation aufgenommen, würde die Glaubwürdigkeit der Verteidigung einbrechen und es könnte sogar als wissenschaftliches Fehlverhalten gewertet werden.

Fall 3 – Falsche Zuordnung korrigiert. Ein Team würde berichten, dass die KI einem Schriftsteller sagte, „er datierte diese Stätte in die Römerzeit“; Als wir uns der Quelle zuwandten, stellten wir fest, dass der Autor das Gegenteil behauptete, dass die Stätte vorrömisch sei. KI hatte die Ansicht umgekehrt. Das Lesen der Quelle verhinderte einen schwerwiegenden Fehler.

Vier kopierbare Vorlagen

1) Verlassen Sie sich ausschließlich auf die angegebene Quelle:

Ihre Rolle: Assistent für Literaturzusammenfassung. Verlassen Sie sich NUR auf die Texte, die ich unten einfügen werde. FÜGEN SIE KEINE Informationen, Quellen oder Verweise von außerhalb dieser Texte hinzu. Schreiben Sie jede Ihrer Behauptungen auf und geben Sie an, auf welchem ​​Teil des Textes, den ich Ihnen gegeben habe, sie basiert. Wenn Sie nach etwas gefragt werden, das nicht im Text steht, sagen Sie: „Es steht nicht in den angegebenen Quellen.“

2) Themenkarte und Vergleich:

Ich werde unten Zusammenfassungen von [N] Quellen bereitstellen. Gruppieren Sie sie nach Themen und erstellen Sie eine Vergleichstabelle: Welche Autoren sagen zu jedem Thema was, wo stimmen sie zu, wo widersprechen sie. Benutzen Sie nur die Ansichten in den von mir gegebenen Texten; Kommentare hinzufügen.

3) Checkliste zur Zitierverifizierung:

Wenn ich die Zitationsliste unten überprüfe, berücksichtige ich die Schritte, die ich jeweils überprüfen muss (Suche im Katalog, DOI-Bestätigung, Lesen der entsprechenden Seite, Kontextprüfung). Sie bestätigen NICHT die Richtigkeit der Zuschreibungen; Sag mir, was ich überprüfen soll. Quellenherstellung.

4) Lückenanalyse:

Listen Sie auf der Grundlage der von mir bereitgestellten Literaturzusammenfassungen Fragen/Lücken auf, die zu diesem Thema offenbar noch nicht ausreichend erforscht sind. Zeigen Sie für jede Lücke an, welche Quelle sie offen gelassen hat. Verlassen Sie sich nur auf die Texte, die ich Ihnen gegeben habe; Spekulieren Sie nicht.

Schwache Eingabeaufforderung / Starke Eingabeaufforderung

Schwache Eingabeaufforderung:

Nennen Sie die 15 wichtigsten wissenschaftlichen Quellen zu diesem Thema und deren Zusammenfassungen.

Die KI erstellt eine realistische, aber wahrscheinlich teilweise erfundene Liste, ohne einen Blick auf eine echte Datenbank zu werfen; Dies ist die Falle der falschen Zuschreibung selbst.

Kraftvolle Aufforderung:

Unten füge ich die vollständigen Zitate und Zusammenfassungen der 12 echten Artikel ein, die ich gefunden habe. NUR auf dieser Grundlage entsteht eine Themenkarte und Vergleichstabelle. Neue Ressource HINZUFÜGEN. Geben Sie an, aus welchem ​​Artikel jede Zeile stammt. Markieren Sie fehlende Themen als „in diesem Ressourcenset nicht behandelt“.

Der Unterschied: Ersteres birgt das Risiko gefälschter Quellen; Letzterer geht zuverlässig mit realen Ressourcen um.

Aktualität, Sprache und graue Literatur

Drei Merkmale der archäologischen Literatur machen den Einsatz von KI besonders riskant. Das erste ist die Aktualität: Das Wissen über ein Modell ist zu einem bestimmten Datum eingefroren, Ausgrabungen, Neudatierungen und Korrekturen nach diesem Datum fehlen darin. KI kann eine überholte Ansicht als noch gültig darstellen; Deshalb sollten Sie aktuelle Publikationen scannen. Zweitens die Mehrsprachigkeit: Archäologie wird auf Deutsch, Französisch, Italienisch, Türkisch und vielen anderen Landessprachen als Englisch verfasst. Ein wichtiger Ausgrabungsbericht wurde möglicherweise nur in einer Sprache veröffentlicht. Sich ausschließlich auf englischsprachige Quellen zu verlassen, bedeutet, dass ein großer Teil der Literatur fehlt. KI hilft beim Scannen dieser fremdsprachigen Quellen, aber auch hier müssen Sie die tatsächliche Quelle zur Hand haben.

Drittens graue Literatur: Der überwiegende Teil des archäologischen Wissens liegt in Dokumenten, die nicht in offiziellen Fachzeitschriften erscheinen, wie etwa kommerziellen Ausgrabungsberichten, institutionellen Archiven und unveröffentlichten Thesen. Graue Literatur (in kommerziellen oder Unternehmenskanälen erstellte Berichte, die in herkömmlichen Publikationsverzeichnissen nicht ohne weiteres verfügbar sind) ist in KI-Trainingsdaten entweder nicht vorhanden oder rar; Daher kennt die KI diese Informationen entweder nicht oder erfindet sie. Die wahre archäologische Geschichte einer Region liegt oft in dieser grauen Literatur, und man kann sie nur mit der echten Hand aus den institutionellen Archiven erreichen.

Tipp: Die Aussage „KI konnte nichts finden“ oder „es gibt nur wenige Ressourcen“ zu einem Thema bedeutet nicht, dass es wenig Arbeit zu diesem Thema gibt; Oft liegt die Quelle in grauer Literatur, in einer Fremdsprache oder hinter dem Informationsteil des Modells. Fragen Sie das echte Archiv nach dem Mangel an Ressourcen, nicht die KI.

Literaturaufgabentabelle

Suche

Rolle der KI

menschliche Entscheidung

Überprüfung

Beschaffung

Schwach/gefährdet

Auswahl aus echtem Katalog

Katalogbestätigung

zusammenfassend

Stark (zu gegebenem Text)

Genauigkeit, Auswahl

Lesen Sie die Quelle

Vergleich

Themen-/Widerspruchskarte

Kommentar, Gewicht

Quellkontext

Zitatschreiben

Formatgliederung

Inhalt, Genauigkeit

Gibt es/sagt es

Lückenanalyse

Kandidatenfragen

Forschungswert

Domänenwissen

Häufige Fehler

• Die KI dazu bringen, Ressourcen zu „finden“. Erzeugt eine falsche Zuschreibung; Finden Sie die Ressourcen selbst.
• Verlassen Sie sich auf das DOI/Imprint-Format. Auch wenn das Format korrekt erscheint, ist die Aufzeichnung möglicherweise gefälscht. Suchen Sie im System.
• Verwendung der Zusammenfassung, ohne die Quelle zu lesen. KI kann die Sichtweise des Autors umkehren.
• Veröffentlichen Sie den KI-Text unverändert. Originalität und Plagiatsgefahr; Schreiben Sie mit Ihrer eigenen Analyse.
• Die Einschränkung „Nur angegebene Ressource“ wird nicht gesetzt. Ohne Einschränkungen fügt KI extern fabrizierte Informationen hinzu.

Zusammenfassend

Bei der Literaturrecherche spart KI viel Zeit beim Zusammenfassen, Vergleichen und Analysieren von Sachquellen. Aber in den Geisteswissenschaften ist die Quellenüberprüfung nicht verhandelbar: Finden Sie die Quellen selbst, überprüfen Sie jedes Zitat im tatsächlichen Katalog, überprüfen Sie jede Zusammenfassung noch einmal, legen Sie die Einschränkung „Nur zitierte Quelle“ fest und schreiben Sie den endgültigen Text mit Ihrer eigenen Originalanalyse. Eine gefälschte Quelle wird Ihre Arbeit zerstören.

Anwendungsaufgabe

Wählen Sie ein Thema, suchen Sie 8–10 echte Veröffentlichungen in der Bibliothek/im Index und sammeln Sie deren Zitate. Erstellen Sie eine Vergleichstabelle mit den Vorlagen „Nur auf Quelle basierend“ und „Themenkarte“. Weisen Sie die KI in einem separaten Experiment an, „eine Quelle vorzuschlagen“ (ohne Einschränkungen) und überprüfen Sie die von ihr vorgeschlagenen Zitate einzeln im Katalog und notieren Sie, wie viele echt sind.

Checkliste

• [ ] Die Quellen habe ich selbst aus echten Katalogen gefunden.
• [ ] Ich habe der KI die Einschränkung „Verlassen Sie sich nur auf die angegebene Quelle“ auferlegt.
• [ ] Ich habe jede Zitierung mit dem Katalog/DOI bestätigt.
• [ ] Ich habe jede Zusammenfassung überprüft, indem ich zur Quelle zurückgekehrt bin.
• [ ] Ich habe den endgültigen Text mit meiner eigenen Originalanalyse und bestätigten Referenzen verfasst.