Gewinne:
- Fähigkeit zu verstehen, dass Halluzinationen dem Sprachmodell inhärent sind, und die geeignete Verifizierungsmethode für jeden Ausgabetyp auszuwählen.
- Überprüfen Sie kritische Werte auf zwei unabhängige Arten mit Triangulation und verwechseln Sie Flüssigkeit nicht mit Genauigkeit
- Fähigkeit, Transparenz, Nachvollziehbarkeit, Datenintegrität und menschliche Verantwortung als Grundlage wissenschaftlicher Integrität anzuwenden
Ein einzelner Satz, der in diesem Modul immer wieder auftaucht: „KI produziert, Menschen überprüfen.“ In dieser Einheit verwandeln wir diesen Satz in ein System. Ziel ist es, Halluzinationen (die Erzeugung falscher/erfundener Informationen in einer sicheren Sprache) zu erkennen, die das gefährlichste Verhalten der KI darstellen, eine konkrete Verifizierungsmethode für jede Art von Ausgabe zu etablieren und all dies in den Rahmen wissenschaftlicher Integrität (Ehrlichkeit, Transparenz, Rückverfolgbarkeit) einzuordnen. Ein ungeprüfter KI-Output in der Chemie ist nicht nur ein Fehler; Es könnte sein, dass ein Experiment explodiert, eine Person vergiftet wird oder ein Papier zurückgezogen wird.
Warum ist eine Halluzination unvermeidlich?
Das große Sprachmodell erzeugt das „nächstwahrscheinlichste Wort“; Es zielt auf das Mögliche ab, nicht auf das Wahre. So kann er ein Molekulargewicht, einen DOI oder einen Siedepunkt mit einem Wert eingeben, der „vernünftig erscheint“ – ohne zu prüfen, ob er real ist. Die Halluzination ist keine Fehlfunktion, sondern eine Folge der Natur dieser Technologie. Die Lösung besteht nicht darin, das Modell zu „reparieren“, sondern darin, eine Validierungshülle um jede Ausgabe herum aufzubauen.
Der heimtückischste Aspekt der Halluzination ist ihre selbstbewusste Sprache. Ein falsches Molekulargewicht wird mit der gleichen Sicherheit dargestellt wie ein korrektes. „Sieht zuversichtlich aus“ bedeutet also niemals „richtig“.
Achtung: Wie flüssig und sicher die KI zu einem Thema spricht, hängt nicht von der Genauigkeit dieser Informationen ab. Sprachgewandtheit überzeugt; Nur die unabhängige Quelle bestimmt die Genauigkeit.
Validierung nach Ausgabetyp in der Chemie
Jeder Ausgabetyp verfügt über eine eigene Überprüfungsmethode. Anstatt sich eine einzelne Regel zu merken, verwenden Sie für die Ausgabe das entsprechende Tool:
Ausgabetyp
Überprüfungsmethode
Fahrzeug
Molekulargewicht, Formel
Nach Formel neu berechnen
RDKit / manuell
LÄCHELN/Struktur
Analysieren + kanonisieren
RDKit
Zitat/DOI
In der Datenbank lösen
doi.org, Crossref
Physikalische Konstante (kn, pKa)
Referenzdatenbank
PubChem, Handbuch
numerische Berechnung
Code schreiben und ausführen
Python
Reaktion/Zustand
Literaturbestätigung
Reaxys, Artikel
Sicherheitsanspruch
Sicherheitsdatenblatt/GHS
Offizielles Sicherheitsdatenblatt
Spektrumzuordnung
Multitechnisch + menschlich
Experimentelles Spektrum
Diese Tabelle ist eigentlich eine Zusammenfassung dieses Moduls: Jede Einheit ist eine Zeile.
Triangulation: drei unabhängige Pfade
Die leistungsstärkste Verifizierungstechnik ist die „Triangulation“: Man gelangt auf drei unabhängigen Wegen zur gleichen Schlussfolgerung. Zum Beispiel für ein Molekulargewicht: (1) was YZ sagt, (2) RDKits Berechnung, (3) manuelle Berechnung anhand der Formel. Wenn sich die drei überschneiden, ist das Vertrauen hoch; Wenn jemand vom Weg abkommt, halten Sie an und untersuchen Sie die Situation. Verlassen Sie sich niemals auf eine einzige Quelle in der Chemie; Suchen Sie nach mindestens zwei unabhängigen Pfaden.
Schritt für Schritt: Verifizierungsworkflow
- Klassifizieren Sie die Ausgabe: Handelt es sich um eine Zahl, eine Struktur, eine Zuordnung oder eine Sicherheitsaussage?
- Wählen Sie das entsprechende Tool aus: Den entsprechenden Verifizierungspfad für den Ausgabetyp finden Sie in der Tabelle oben.
- Unabhängig berechnen/suchen: Fahren Sie das Fahrzeug unabhängig von der KI; Vergleichen Sie das Ergebnis.
- Wenn es eine Abweichung gibt, stoppen Sie: Wenn die Werte nicht übereinstimmen, fahren Sie nicht fort, ohne zu prüfen, welcher Wert richtig ist.
- Hinterlassen Sie Ihre Spuren: Halten Sie fest, was Sie wie überprüft haben (wissenschaftliche Integrität).
- Unsicherheit angeben: Markieren Sie etwas, das nicht überprüft werden kann, als „unbestätigt“, verstecken Sie es nicht.
Vier kopierbare Vorlagen
1) Selbstverifizierung:
Sie haben gerade die folgende Ausgabe ausgegeben: [OUTPUT]. Aufgabe: Listen Sie jede numerische/sachliche Aussage dieser Ausgabe in einer separaten Zeile auf. Für jede Behauptung: „Wie kann man sie unabhängig überprüfen?“ Schreibmethode (welches Tool/welche Datenbank). Behaupten Sie nicht, dass die Behauptung wahr ist; Geben Sie einfach eine Möglichkeit, es zu überprüfen.
2) Triangulationskontrolle:
Ich möchte das Gewicht des folgenden Moleküls auf drei Arten überprüfen: [LÄCHELT]. Aufgabe: 1) Leiten Sie die Summenformel ab. 2) Zeigen Sie die Molekulargewichtsberechnung Atom für Atom an (Beitrag jedes Elements). Hinweis: Ich werde es auch in RDKit berechnen und drittens mit dem von Ihnen angegebenen vergleichen. Wenn sich die drei nicht überschneiden, warnen Sie.
3) Mehrdeutigkeitsmarkierung:
Der folgende Text enthält mehrere Tatsachenbehauptungen:[TEXT]Aufgabe: Bringen Sie neben jeder Behauptung ein Konfidenzniveau an: [VERIFIED] / [VERIFIED] / [UNCERTAIN]. Markieren Sie nichts mit [VERIFIED], wenn Sie sich nicht sicher sind.
4) Konsistenzübergreifende Abfrage:
Ich werde dieselbe Frage auf zwei verschiedene Arten stellen; Überprüfen Sie, ob Ihre Antworten konsistent sind. Frage A: Wie lautet die Summenformel der Verbindung?
Schwache Eingabeaufforderung / Starke Eingabeaufforderung
Schwach:
Schreiben Sie alles auf, was Sie über diese Verbindung wissen.
KI vermischt wahllos überprüfbare und erfundene Informationen; Es ist unklar, welches davon echt ist.
Stark:
Geben Sie Informationen zu dieser Verbindung an, kennzeichnen Sie jede Aussage jedoch als: [DETERMINISTISCH – durch Instrument überprüft], z. B. Summenformel,[EXPERIMENTAL - Quellenangabe erforderlich] z.B. Schmelzpunkt,[UNSICHER – nicht sicher].Schreiben Sie keine unbeschrifteten Behauptungen.
Unterschied: Wir haben die KI gezwungen, ihre eigene Unsicherheit zu markieren; Wir haben die Überprüfungsarbeiten planbar gemacht.
Wissenschaftliche Integrität: Ehrlichkeit und Nachvollziehbarkeit
Die Verifizierung ist nicht nur ein technischer Schritt, sie ist eine ethische Frage. Wissenschaftliche Integrität erfordert:
- Transparenz: Verheimlichen Sie nicht, dass Sie KI verwenden. Geben Sie dies entsprechend Ihrer Veröffentlichungs-/Berichtsrichtlinie an.
- Rückverfolgbarkeit: Zeichnen Sie auf, welche Ergebnisse von der KI kamen und wie sie überprüft wurden.
- Datenintegrität: Ergebnisse mit KI zu „verschönern“ und Ausreißer ohne Begründung zu verwerfen, ist Betrug.
- Verantwortung: Sie sind für das Endergebnis verantwortlich; „Die KI hat es gesagt“ ist keine Entschuldigung.
Tipp: Akzeptieren Sie von Anfang an, dass Sie in einem Bericht oder einer Verteidigung niemals die Formulierung „Die KI hat es gesagt“ verwenden dürfen. Diese Akzeptanz bringt automatisch die Gewohnheit mit sich, jede Ausgabe zu überprüfen.
Mini-Hüllen
Fall 1 – Bei der Triangulation ist ein Fehler aufgetreten. Ein Student überprüfte ein Molekulargewicht auf drei Arten: YZ sagte 178,2, die manuelle Berechnung ergab 180,16, RDKit ergab 180,16. Zwei unabhängige Pfade überschnitten sich und eliminierten die KI. Lektion: Zwei unabhängige Überprüfungen besiegen stillschweigend eine falsche Ausgabe.
Fall 2 – Sichere Sprache, falsche Informationen. AI schrieb sehr selbstbewusst, dass eine Reaktion „bei Raumtemperatur spontan abläuft“. Die Literatur zeigte, dass hierfür Heizung und Katalysator erforderlich waren. Der Student vertraute der Quelle, nicht der sicheren Sprache. Lektion: Geläufigkeit ist nicht gleichbedeutend mit Genauigkeit.
Fall 3 – Transparenz gewonnen. Im Methodenteil seiner Arbeit stellte ein Forscher klar dar, in welchen Schritten er KI einsetzte (Textbearbeitung, Code-Entwurf) und schrieb, dass er alle numerischen Ergebnisse unabhängig verifizierte. Der Schiedsrichterprozess verlief reibungslos. Lektion: Transparenz schafft Vertrauen, Verschleierung schafft Risiko.
Häufige Fehler
- Der sicheren Sprache vertrauen. Der selbstbewusste Ton der KI ist kein Hinweis auf Genauigkeit.
- Verlassen Sie sich auf eine einzige Quelle. Akzeptieren einer einzelnen Ausgabe ohne Triangulation.
- Der Ausgabetyp wird nicht getrennt. Ich denke, dass ich die Nummer, die Zuordnung und die Sicherheitsaussage mit der gleichen Methode „überprüft“ habe.
- Unsicherheit verbergen. Etwas melden, das nicht verifiziert werden kann, als ob es sicher wäre.
- Den Einsatz von KI verbergen. Mangelnde Transparenz untergräbt die wissenschaftliche Integrität.
- Verantwortung delegieren. Die „KI hat es gesagt“-Ausrede ist ungültig; Die Verantwortung liegt bei der Person.
Zusammenfassend
- Halluzinationen sind dem Sprachmodell inhärent; Die Lösung besteht darin, um jede Ausgabe herum eine Validierungshülle zu erstellen.
- Jeder Ausgabetyp verfügt über eine eigene Überprüfungsmethode. Klassifizieren Sie die Ausgabe und verwenden Sie das entsprechende Tool.
- Triangulation (zwei unabhängige Pfade) ist die stärkste Kontrolle; Vertrauen Sie keiner einzigen Quelle.
- Fließende und sichere Sprache haben nichts mit Genauigkeit zu tun.
- Wissenschaftliche Integrität erfordert Transparenz, Nachvollziehbarkeit, Datenintegrität und menschliche Verantwortung.
Anwendungsaufgabe
Erzeugen Sie in einer KI-Sitzung absichtlich verschiedene Ausgaben: ein Molekulargewicht, eine Referenz, eine physikalische Konstante, einen Sicherheitsanspruch, eine numerische Berechnung. Überprüfen Sie jedes einzeln mit der richtigen Methode (siehe Tabelle). Versuchen Sie, mindestens eine Halluzination zu bekommen. Bereiten Sie dann eine „Validierungsmatrix“ vor: Zeilen, Ausgaben, Spalten (AI-Wert/unabhängiger Wert/hat es sich überlappt/wie habe ich es überprüft). Wie würden Sie diese Sitzung im Hinblick auf die wissenschaftliche Integrität berichten?
Checkliste
- [ ] Ich verstehe, warum Halluzinationen unvermeidlich sind.
- [ ] Ich klassifiziere jede Ausgabe nach ihrem Typ und verifiziere sie mit der entsprechenden Methode.
- [ ] Ich mache eine Triangulation (zwei unabhängige Pfade) für kritische Werte.
- [ ] Ich vertraue der Quelle, nicht der sicheren Sprache.
- [ ] Was nicht bestätigt werden kann, markiere ich als „unsicher“.
- [ ] Ich bin bei der Nutzung von KI transparent und übernehme die Verantwortung für das Ergebnis.