Zyski:
- Umiejętność zrozumienia, że halucynacje są nieodłączną częścią modelu językowego i wybrania odpowiedniej metody weryfikacji dla każdego rodzaju wyników.
- Weryfikuj wartości krytyczne na dwa niezależne sposoby za pomocą triangulacji i nie myl płynności z dokładnością
- Umiejętność stosowania przejrzystości, identyfikowalności, integralności danych i odpowiedzialności ludzkiej jako podstawy rzetelności naukowej
W tym module wielokrotnie pojawiało się jedno zdanie: „AI produkuje, ludzie weryfikują”. W tej jednostce zamieniamy to zdanie w system. Celem jest rozpoznanie halucynacji (generowanie fałszywych/sfabrykowanych informacji pewnym siebie językiem), które jest najniebezpieczniejszym zachowaniem sztucznej inteligencji, ustalenie konkretnej metody weryfikacji dla każdego rodzaju wyników i umieszczenie ich wszystkich w ramach rzetelności naukowej (uczciwość, przejrzystość, identyfikowalność). Niezweryfikowany wynik sztucznej inteligencji w chemii to nie tylko błąd; Może to być eksplozja eksperymentu, otrucie osoby lub wycofanie papieru.
Dlaczego halucynacje są nieuniknione?
Duży model językowy generuje „następne najbardziej prawdopodobne słowo”; Ma na celu to, co możliwe, a nie to, co jest prawdą. Może więc wpisać masę cząsteczkową, DOI lub temperaturę wrzenia wartością, która „wydaje się rozsądna” – bez sprawdzania, czy jest ona prawdziwa. Halucynacje nie są awarią, ale konsekwencją natury tej technologii. Rozwiązaniem nie jest „próba naprawienia” modelu, ale zbudowanie powłoki walidacyjnej wokół każdego wyniku.
Najbardziej podstępnym aspektem halucynacji jest jej pewny język. Nieprawidłową masę cząsteczkową podaje się z dokładnie taką samą pewnością, jak prawidłową. Zatem „wygląda pewnie” nigdy nie oznacza „poprawnie”.
Uwaga: to, jak płynnie i pewnie wypowiada się sztuczna inteligencja na dany temat, nie ma związku z dokładnością tych informacji. Płynność przekonuje; Tylko niezależne źródło określa dokładność.
Walidacja według rodzaju wyników w chemii
Każdy typ danych wyjściowych ma własną metodę weryfikacji. Zamiast zapamiętywać pojedynczą regułę, użyj odpowiedniego narzędzia do uzyskania wyniku:
Typ wyjścia
Metoda weryfikacji
pojazd
Masa cząsteczkowa, wzór
Przelicz ponownie ze wzoru
RDKit / ręcznie
UŚMIECH/struktura
Analizuj + kanonizuj
RDKit
Cytat/DOI
Rozwiąż w bazie danych
doi.org, Crossref
Stała fizyczna (kn, pKa)
Referencyjna baza danych
PubChem, podręcznik
obliczenia numeryczne
Napisz i uruchom kod
Pyton
reakcja/stan
Potwierdzenie literaturowe
Reaxys, artykuł
roszczenie o zabezpieczenie
SDS/GHS
Oficjalne SD
Przypisanie widma
Wielotechniczny + ludzki
Spektrum eksperymentalne
Ta tabela jest właściwie podsumowaniem tego modułu: każda jednostka to jeden wiersz.
Triangulacja: trzy niezależne ścieżki
Najpotężniejszą techniką weryfikacji jest „triangulacja”: dochodzenie do tego samego wniosku na trzy niezależne sposoby. Na przykład dla masy cząsteczkowej: (1) to, co mówi YZ, (2) obliczenie RDKit, (3) obliczenie ręczne ze wzoru. Jeśli te trzy elementy się pokrywają, zaufanie jest wysokie; Jeśli ktoś się błąka, zatrzymaj się i zbadaj sprawę. Nigdy nie polegaj na jednym źródle chemii; Poszukaj co najmniej dwóch niezależnych ścieżek.
Krok po kroku: przebieg weryfikacji
- Klasyfikuj wynik: Czy jest to liczba, struktura, przypisanie, zapewnienie bezpieczeństwa?
- Wybierz odpowiednie narzędzie: Uzyskaj odpowiednią ścieżkę weryfikacji dla typu danych wyjściowych z powyższej tabeli.
- Oblicz/wyszukaj niezależnie: Uruchom pojazd niezależnie od AI; porównaj wynik.
- Jeśli występuje odchylenie, zatrzymaj się: Jeśli wartości się nie zgadzają, nie kontynuuj bez sprawdzenia, która z nich jest prawidłowa.
- Zostaw swój ślad: Zapisz, co i w jaki sposób zweryfikowałeś (uczciwość naukowa).
- Określ niepewność: Oznacz coś, czego nie da się zweryfikować, jako „niepotwierdzone”, nie ukrywaj tego.
Cztery szablony do kopiowania
1) Samoweryfikacja:
Właśnie podałeś następujące dane wyjściowe: [WYJŚCIE]. Zadanie: Wypisz każde stwierdzenie liczbowe/faktyczne tego wyniku w osobnym wierszu. Do każdego twierdzenia: „jak to samodzielnie zweryfikować?” metoda zapisu (które narzędzie/baza danych). NIE TWIERDŹ, że twierdzenie jest prawdziwe; po prostu daj sposób, aby to zweryfikować.
2) Sterowanie triangulacyjne:
Chcę sprawdzić masę następującej cząsteczki na trzy sposoby: [SMILES]. Zadanie: 1) Wyprowadź wzór cząsteczkowy.2) Pokaż obliczenie masy cząsteczkowej atom po atomie (udział każdego pierwiastka). Uwaga: Obliczę to również w RDKit i po trzecie porównam z podanym. Jeżeli te trzy elementy nie pokrywają się, ostrzeż.
3) Oznaczenie niejednoznaczności:
W następującym tekście znajduje się wiele twierdzeń opartych na faktach:[TEKST]Zadanie: Umieść etykietę poziomu pewności obok każdego twierdzenia:[ZWERYFIKOWANE] / [ZWERYFIKOWANE] / [NIEPEWNE]. Nie zaznaczaj niczego [ZWERYFIKOWANE], jeśli nie jesteś pewien.
4) Zapytanie krzyżowe dotyczące spójności:
Zadam to samo pytanie na dwa różne sposoby; Sprawdź, czy Twoje odpowiedzi są spójne. Pytanie A: Jaki jest wzór cząsteczkowy związku
Słaba zachęta/silna zachęta
Słabe:
Zapisz wszystko, co wiesz o tym związku.
Sztuczna inteligencja bezkrytycznie miesza sprawdzalne i sfabrykowane informacje; Nie jest jasne, który z nich jest prawdziwy.
Mocny:
Podaj informacje o tym związku, ale oznacz każde stwierdzenie jako: [DETERMINISTYCZNE - zweryfikowane przez instrument] np. wzór cząsteczkowy, [EKSPERYMENTALNE - potrzebne źródło] np. temperatura topnienia, [NIEPEWNE - nie jestem pewien]. Nie pisz żadnych nieoznakowanych informacji.
Różnica: Zmusiliśmy sztuczną inteligencję do zaznaczenia własnej niepewności; Dzięki temu prace weryfikacyjne stały się możliwe do zaplanowania.
Uczciwość naukowa: uczciwość i identyfikowalność
Weryfikacja to nie tylko krok techniczny, to kwestia etyczna. Uczciwość naukowa wymaga:
- Przejrzystość: nie ukrywaj, że korzystasz ze sztucznej inteligencji; Określ zgodnie z zasadami publikacji/raportów.
- Identyfikowalność: zapisz, jakie dane wyjściowe pochodzą od sztucznej inteligencji i w jaki sposób zostały zweryfikowane.
- Integralność danych: „Upiększanie” wyników za pomocą sztucznej inteligencji, odrzucanie wartości odstających bez uzasadnienia jest oszustwem.
- Odpowiedzialność: Jesteś odpowiedzialny za końcowy wynik; „AI tak powiedziała” nie jest wymówką.
Wskazówka: od razu zaakceptuj, że nigdy nie możesz użyć zwrotu „AI tak powiedziała” w raporcie lub obronie. Ta akceptacja automatycznie wprowadza nawyk sprawdzania każdego wyjścia.
mini etui
Przypadek 1 — Triangulacja wykryła błąd. Uczeń sprawdził masę cząsteczkową na trzy sposoby: YZ podał 178,2, ręczne obliczenia dały 180,16, RDKit dał 180,16. Dwie niezależne ścieżki nałożyły się na siebie i wyeliminowały sztuczną inteligencję. Lekcja: dwie niezależne weryfikacje po cichu pokonują jedno fałszywe wyjście.
Przypadek 2 – Bezpieczny język, błędne informacje. AI napisała z dużą pewnością, że reakcja „zachodzi samoistnie w temperaturze pokojowej”. Literatura wykazała, że wymaga to ogrzewania i katalizatora. Uczeń ufał źródłu, a nie bezpiecznemu językowi. Lekcja: płynność nie jest dokładnością.
Przypadek 3 – Większa przejrzystość. W części poświęconej metodzie swojego artykułu jeden z badaczy wyraźnie określił, w jakich etapach wykorzystał sztuczną inteligencję (edycja tekstu, pisanie kodu) i napisał, że niezależnie zweryfikował wszystkie wyniki numeryczne. Proces sędziowski przebiegł sprawnie. Lekcja: przejrzystość buduje zaufanie, ukrywanie stwarza ryzyko.
Typowe błędy
- Zaufanie bezpiecznemu językowi. Pewny ton sztucznej inteligencji nie jest oznaką dokładności.
- Opieranie się na jednym źródle. Akceptacja pojedynczego wyjścia bez triangulacji.
- Nie oddzielanie typu wyjścia. Myśląc, że „sprawdziłem” numer, przypisanie i potwierdzenie bezpieczeństwa tą samą metodą.
- Ukrywanie niepewności. Zgłaszanie czegoś, czego nie można zweryfikować, tak jakby było pewne.
- Ukrywanie wykorzystania AI. Brak przejrzystości podważa uczciwość naukową.
- Delegowanie odpowiedzialności. Wymówka „AI tak powiedziała” jest nieprawidłowa; Odpowiedzialność leży po stronie człowieka.
Podsumowując
- Halucynacje są nieodłącznym elementem modelu językowego; Rozwiązaniem jest zbudowanie powłoki walidacyjnej wokół każdego wyjścia.
- Każdy typ wyników ma swoją własną metodę weryfikacji; sklasyfikować wyniki i użyć odpowiedniego narzędzia.
- Triangulacja (dwie niezależne ścieżki) jest najsilniejszą kontrolą; Nie ufaj jednemu źródłu.
- Płynność i pewność języka nie są powiązane z dokładnością.
- Uczciwość naukowa wymaga przejrzystości, identyfikowalności, integralności danych i odpowiedzialności ludzkiej.
Zadanie aplikacji
Celowo twórz różne wyniki w sesji AI: masę cząsteczkową, odniesienie, stałą fizyczną, oświadczenie bezpieczeństwa, obliczenia numeryczne. Sprawdź każdy niezależnie, stosując odpowiednią metodę (patrz tabela). Spróbuj złapać przynajmniej jedną halucynację. Następnie przygotuj „macierz walidacyjną”: wiersze, wyniki, kolumny (wartość AI / wartość niezależna / czy się pokrywała / jak to zweryfikowałem). Jak zrelacjonowałbyś tę sesję pod względem rzetelności naukowej?
lista kontrolna
- [ ] Rozumiem, dlaczego halucynacje są nieuniknione.
- [ ] Klasyfikuję każde wyjście według jego rodzaju i weryfikuję je odpowiednią metodą.
- [ ] Wykonuję triangulację (dwie niezależne ścieżki) na wartościach krytycznych.
- [ ] Ufam źródłu, a nie bezpiecznemu językowi.
- [ ] To, czego nie da się potwierdzić, oznaczam jako „niepewne”.
- [ ] Jestem przejrzysty w korzystaniu ze sztucznej inteligencji i ponoszę odpowiedzialność za wyniki.