Winst:
- Vermogen om te begrijpen dat hallucinatie inherent is aan het taalmodel en de juiste verificatiemethode te kiezen voor elk type output.
- Controleer kritische waarden op twee onafhankelijke manieren met triangulatie en verwar vloeiendheid niet met nauwkeurigheid
- Vermogen om transparantie, traceerbaarheid, data-integriteit en menselijke verantwoordelijkheid toe te passen als basis voor wetenschappelijke integriteit
Eén zin kwam steeds weer terug in deze module: “AI produceert, mensen verifiëren.” In deze unit maken we van die zin een systeem. Het doel is om hallucinaties (het produceren van valse/verzonnen informatie met een zelfverzekerde taal), wat het gevaarlijkste gedrag van AI is, te herkennen, om voor elk type output een concrete verificatiemethode vast te stellen, en om deze allemaal binnen het raamwerk van wetenschappelijke integriteit (eerlijkheid, transparantie, traceerbaarheid) te plaatsen. Een niet-geverifieerde AI-output in de chemie is niet alleen maar een vergissing; Het kan gaan om een experiment dat ontploft, een persoon die wordt vergiftigd, of een papier dat wordt ingetrokken.
Waarom is hallucinatie onvermijdelijk?
Het grote taalmodel produceert het “volgende meest waarschijnlijke woord”; Het richt zich op wat mogelijk is, niet op wat waar is. Hij kan dus een molecuulgewicht, een DOI of een kookpunt invullen met een waarde die ‘redelijk lijkt’ – zonder te controleren of deze reëel is. De hallucinatie is geen storing, maar een gevolg van de aard van deze technologie. De oplossing is niet om het model te "proberen te repareren", maar om een validatieshell rond elke uitvoer te bouwen.
Het meest verraderlijke aspect van de hallucinatie is de zelfverzekerde taal. Een onjuist molecuulgewicht wordt met precies hetzelfde vertrouwen gepresenteerd als een correct molecuulgewicht. Dus 'klinkt zelfverzekerd' betekent nooit 'correct'.
Let op: Hoe vloeiend en zelfverzekerd de AI over een onderwerp spreekt, heeft niets te maken met de nauwkeurigheid van die informatie. Vloeiendheid overtuigt; Alleen de onafhankelijke bron bepaalt de nauwkeurigheid.
Validatie per outputtype in de chemie
Elk uitvoertype heeft zijn eigen verificatiemethode. In plaats van één enkele regel te onthouden, gebruikt u het juiste hulpmiddel voor de uitvoer:
Uitvoertype
Verificatiemethode
voertuig
Molecuulgewicht, formule
Herbereken vanuit de formule
RDKit / handmatig
GLIMLACHT/structuur
Parseren + canonicaliseren
RDKit
Citaat/DOI
Oplossen in database
doi.org, kruisref
Fysische constante (kn, pKa)
Referentiedatabase
PubChem, handboek
numerieke berekening
Code schrijven + uitvoeren
Python
reactie/conditie
Literatuurbevestiging
Reaxys, artikel
veiligheidsclaim
SDS/GHS
Officieel veiligheidsinformatieblad
Spectrumtoewijzing
Multitechnisch + menselijk
Experimenteel spectrum
Deze tabel is eigenlijk een samenvatting van deze module: elke eenheid is één rij.
Triangulatie: drie onafhankelijke paden
De krachtigste verificatietechniek is ‘triangulatie’: op drie onafhankelijke manieren tot dezelfde conclusie komen. Voor een molecuulgewicht bijvoorbeeld: (1) wat YZ zegt, (2) de berekening van RDKit, (3) een handmatige berekening op basis van de formule. Als de drie elkaar overlappen, is het vertrouwen groot; Als iemand afdwaalt, stop dan en onderzoek. Vertrouw nooit op één enkele bron in de chemie; Zoek naar ten minste twee onafhankelijke paden.
Stap voor stap: verificatieworkflow
- Classificeer de uitvoer: is het een getal, structuur, attributie, beveiligingsverklaring?
- Selecteer het juiste hulpmiddel: Haal het juiste verificatiepad op voor het uitvoertype uit de bovenstaande tabel.
- Zelfstandig berekenen/zoeken: Bestuur het voertuig onafhankelijk van de AI; vergelijk het resultaat.
- Als er een afwijking is, stop dan: Als de waarden niet overeenkomen, ga dan niet verder zonder te onderzoeken welke juist is.
- Laat je stempel achter: Leg vast wat je hebt geverifieerd en hoe (wetenschappelijke integriteit).
- Specificeer onzekerheid: Markeer iets dat niet kan worden geverifieerd als "onbevestigd", verberg het niet.
Vier kopieerbare sjablonen
1) Zelfverificatie:
Je hebt zojuist de volgende uitvoer gegeven: [OUTPUT]. Taak: Zet elke numerieke/feitelijke bewering van deze output op een aparte regel. Voor elke bewering: "hoe kan ik deze onafhankelijk verifiëren?" schrijfmethode (welke tool/database). BEWEER NIET dat de bewering waar is; geef gewoon een manier om het te verifiëren.
2) Triangulatiecontrole:
Ik wil het gewicht van het volgende molecuul op drie manieren controleren: [SMILES]. Taak: 1) Leid de molecuulformule af. 2) Toon de berekening van het molecuulgewicht atoom voor atoom (bijdrage van elk element). Opmerking: ik zal het ook berekenen in RDKit en ten derde vergelijken met degene die je gaf. Als de drie elkaar niet overlappen, waarschuw dan.
3) Markering van onduidelijkheid:
Er zijn meerdere feitelijke beweringen in de volgende tekst:[TEXT]Taak: Plaats een betrouwbaarheidsniveaulabel naast elke bewering:[VERIFIED] / [VERIFIED] / [ONZEKER]. Markeer niets als [VERIFIED] als je het niet zeker weet.
4) Consistentie-kruisquery:
Ik zal dezelfde vraag op twee verschillende manieren stellen; Kijk of uw antwoorden consistent zijn. Vraag A: Wat is de molecuulformule van de verbinding
Zwakke prompt/sterke prompt
Zwak:
Schrijf alles op wat je weet over deze verbinding.
AI combineert zonder onderscheid verifieerbare en verzonnen informatie; Het is onduidelijk welke echt is.
Sterk:
Geef informatie over deze verbinding, maar label elke claim als: [DETERMINISTISCH - geverifieerd door instrument], b.v. molecuulformule, [EXPERIMENTEEL - citaat nodig] b.v. smeltpunt,[ONZEKER - niet zeker]. Schrijf geen ongelabelde claims.
Verschil: we hebben de AI gedwongen zijn eigen onzekerheid te markeren; We hebben de verificatiewerkzaamheden planbaar gemaakt.
Wetenschappelijke integriteit: eerlijkheid en traceerbaarheid
Verificatie is niet alleen een technische stap, het is een ethische kwestie. Wetenschappelijke integriteit vereist:
- Transparantie: verberg niet dat u AI gebruikt; Specificeer volgens uw publicatie-/rapportbeleid.
- Traceerbaarheid: Leg vast welke output uit de AI kwam en hoe deze werd geverifieerd.
- Gegevensintegriteit: resultaten ‘verfraaien’ met AI en uitschieters zonder rechtvaardiging negeren is fraude.
- Verantwoordelijkheid: Je bent verantwoordelijk voor het eindresultaat; “De AI zei het” is geen excuus.
Tip: Accepteer van begin af aan dat je de zinsnede ‘De AI zei het’ nooit mag gebruiken in een rapport of verdediging. Deze acceptatie brengt automatisch de gewoonte met zich mee om elke output te verifiëren.
mini-gevallen
Geval 1 — Triangulatie heeft een fout ontdekt. Een student controleerde het molecuulgewicht op drie manieren: YZ zei 178,2, handmatige berekening gaf 180,16, RDKit gaf 180,16. Twee onafhankelijke paden overlappen elkaar en elimineren AI. Les: twee onafhankelijke verificaties ondermijnen stilletjes één valse output.
Geval 2 — Veilig taalgebruik, verkeerde informatie. AI schreef vol vertrouwen dat een reactie ‘spontaan verloopt bij kamertemperatuur’. Uit de literatuur bleek dat hiervoor verwarming en katalysator nodig waren. De student vertrouwde op de bron, niet op de veilige taal. Les: vloeiendheid is geen nauwkeurigheid.
Casus 3 — Transparantie verkregen. In het methodegedeelte van zijn artikel vermeldde een onderzoeker duidelijk in welke stappen hij AI gebruikte (tekstbewerking, code opstellen) en schreef dat hij alle numerieke resultaten onafhankelijk had geverifieerd. Het scheidsrechtersproces verliep vlot. Les: transparantie schept vertrouwen, verhulling creëert risico's.
Veel voorkomende fouten
- Vertrouwen op de veilige taal. De zelfverzekerde toon van de AI is geen indicatie van nauwkeurigheid.
- Vertrouwend op één enkele bron. Een enkele output accepteren zonder triangulatie.
- Het uitvoertype wordt niet gescheiden. Ik dacht dat ik het nummer, de toeschrijving en de beveiligingsbewering met dezelfde methode had "gecontroleerd".
- Het verbergen van onzekerheid. Iets melden dat niet kan worden geverifieerd alsof het zeker is.
- Het gebruik van AI verbergen. Gebrek aan transparantie ondermijnt de wetenschappelijke integriteit.
- Verantwoordelijkheid delegeren. Het excuus ‘AI zei het’ is ongeldig; De verantwoordelijkheid ligt bij de persoon.
Samengevat
- Hallucinatie is inherent aan het taalmodel; De oplossing is om rond elke uitvoer een validatieshell te bouwen.
- Elk uitvoertype heeft zijn eigen verificatiemethode; classificeer de uitvoer en gebruik het juiste hulpmiddel.
- Triangulatie (twee onafhankelijke paden) is de sterkste controle; Vertrouw geen enkele bron.
- Vloeiend en zelfverzekerd taalgebruik hebben niets te maken met nauwkeurigheid.
- Wetenschappelijke integriteit vereist transparantie, traceerbaarheid, data-integriteit en menselijke verantwoordelijkheid.
Applicatie taak
Tijdens een AI-sessie opzettelijk verschillende resultaten produceren: een molecuulgewicht, een referentie, een fysieke constante, een veiligheidsclaim, een numerieke berekening. Controleer elk afzonderlijk met de juiste methode (zie tabel). Probeer minstens één hallucinatie op te vangen. Bereid vervolgens een "validatiematrix" voor: rijenuitvoer, kolommen (AI-waarde / onafhankelijke waarde / overlapte het / hoe heb ik het geverifieerd). Hoe zou u deze sessie rapporteren in termen van wetenschappelijke integriteit?
controlelijst
- [ ] Ik begrijp waarom hallucinaties onvermijdelijk zijn.
- [ ] Ik classificeer elke output op basis van het type en verifieer deze met de juiste methode.
- [ ] Ik doe triangulatie (twee onafhankelijke paden) op kritische waarden.
- [ ] Ik vertrouw de bron, niet de veilige taal.
- [ ] Wat niet kan worden bevestigd, markeer ik als "onzeker".
- [ ] Ik ben transparant in mijn gebruik van AI en houd mezelf verantwoordelijk voor de uitkomst.