Enhet 9 / 10

Regulatorisk forskning og verifikasjon

Gevinster:

  • Evne til å gjenkjenne hierarkiet av miljølovgivning (lov, forskrift, kommuniké) og grenseverdikilder
  • Evne til å bruke AI for lovskanning og spørsmålsgenerering og dirigering til offisiell tekst
  • Evne til å verifisere stoffnummeret og grensene gitt av AI fra Offisiell Gazette/offisiell kilde

Hos et miljøkonsulentfirma utarbeider du utslippstillatelse for avløpsvann for nytt fargerianlegg. Kunden spør "hva er grenseverdiene for farge og COD, på hvilket stoff er det basert?" spør han og tiden er begrenset. Din første impuls er å spørre en språkmodell: "Hva er tekstilindustriens utslippsgrenser i henhold til vannforurensningsforskriften?" LLM gir tabellgrenser, varenumre og datoer i sekunder; Det hele ser veldig formelt og overbevisende ut. Men her er fellen: Språkmodellen produserer teksten statistisk; Han kan gjøre opp et ikke-eksisterende artikkelnummer, en opphevet forskrift eller en feil grenseverdi med fullkommen seriøsitet. I denne enheten dekker vi å kjenne lovgivningen i de riktige lagene, bruke AI på en sikker måte i lovgivningsforskning, og disiplinen med å bekrefte hvert problem fra Offisiell Gazette.

Lovgivende hierarki

Miljølovgivningen opererer innenfor et hierarki; Det nedre trinnet kan ikke motsi det øvre trinnet. Å vite hvor en grenseverdi kommer fra gjør at du kan lete etter den i riktig kilde.

trinn

Hvem tar den av?

bindende

miljøeksempel

lov

Lovgivende (parlamentet)

topp, ramme

Miljørett

regulering

Departement/ministerråd

Gjelder og detaljerer loven

Forskrift om vannforurensning

varsling

departement

Teknisk detalj, måle-/grensetabeller

Måle- og analysekommunikéer

Rundskriv/Instruksjon

administrasjon

Intern applikasjonsomadressering

Søknadsrundskriv

Grenseverdier (utslippsgrenser, utslippsgrenser) finnes ofte i forskriftsvedlegg (tabeller) eller kommunikéer. Så "hvilket dokument skal jeg se på?" Spørsmålet er "hva er nummeret?" kommer foran spørsmålet.

Risiko for opphevelse og håndheving

Lovverket lever: regelverk endres, artikler oppheves (oppheves), nye daterte tekster opphever gamle.

Historiske situasjoner å sjekke: - Ikrafttredelsesdato: Når trådte teksten i kraft? - Endre dato: Har den aktuelle artikkelen blitt endret i ettertid? - Opphevelsesstatus: Er artikkelen/forskriften opphevet? - Overgangsbestemmelser: Er det unntak/utsettelser for eksisterende anlegg?

OBS: LLMs opplæringsdata er opp til en bestemt dato og kjenner ikke lovverket som er endret etter den datoen. I tillegg kan treningsdataene inneholde en gammel forskrift som har blitt foreldet; modellen kan presentere dette som om det var oppdatert. Før du bruker en grenseverdi, må du bekrefte fra Lovtidende / offisiell lovgivningsportal at teksten den er basert på er i kraft i dag.

Risiko for at AI lager falske varenumre

Den farligste oppførselen til språkmodellen er at den produserer referanser som er formelt korrekte, men som ikke eksisterer i innhold. Fraser som "i henhold til artikkel 26" eller "i vedleggstabell 19" kan være rent hallusinatoriske.

SVAK SPØRSMÅL: «Gi utslippsgrenser for tekstilavløpsvann med varenumre.»-> Modellen produserer varenumre og tall som virker presise, men som ikke er verifisert. STERK SPØRSMÅL: "Forklar hvilket lovverk og hvilken type vedlegg/tabell jeg bør undersøke for utslippstillatelse for avløpsvann for et tekstil-/fargerianlegg. Din oppgave:1) Identifiser MULIGE TYPER for forskrifter og kommunikéer om emnet og i hvilket avsnitt (vedlegg/tabell). "Fortell meg at det kan finnes sektorgrenser. 2) IKKE lag et konkret artikkelnummer eller numerisk grense; legg inn en plassholder 'Skal verifiseres i Offisiell Gazette' i stedet. 3) List opp hvilke nøkkeltermer (sektornavn, parameter) jeg bør bruke når jeg søker i den offisielle teksten. 4) Minn meg på historiske risikoer (opphevelse, endring, overgangsbestemmelse) som jeg bør sjekke."

Den kraftige ledetekstmodellen bruker den som et søke- og navigasjonsverktøy - "hvilket dokument skal jeg se på, med hvilket begrep?" — ikke som kilden til nummeret.

Tips: Den sikreste måten å bruke LLM på i regulatorisk forskning er å plassere den som et "forskningskompass" i stedet for en "svarmaskin". La modellen generere spørsmål: "Hvilke tillatelser, hvilke parametere, hvilke mulige forskrifter er gjeldende for dette anlegget?" Finn deretter svarene på disse spørsmålene fra den offisielle teksten. Modellen regisserer; Offisiell Tidende bestemmer.

Arbeidsflyt for verifisering: Bekreftelse fra Offisiell Gazette

Kjeden som skal følges for hver utgave og varenummer:

1) Hent emne/dokumenttype/nøkkelterm fra LLM (ikke stol på artikkelnummer).2) Åpne den GJELDENDE teksten til forskriften på den offisielle lovportalen.3) Bekreft at teksten ikke er opphevet og dens ikrafttredelsesdato.4) SØK i teksten etter den aktuelle artikkelen/tillegget; Se artikkelnummer og limit med egne øyne. 5) Sjekk overgangsbestemmelsene og siste endringer. 6) Skriv kilden i rapporten med fullstendig henvisning: [Forskriftsnavn], [Artikkel/vedleggsnummer], [Dato og nummer].

Eksempel: Testing av LLM-utgang

# Oversettelse av LLMs referanser til en "som skal verifiseres" checklistllm_iddialari = [ {"source": "SKKY", "item": "Anneks tabell 10.7", "parameter": "COD", "limit_mgL": 300, "status": "NOT VERIFIED"}, {"Artikel":ic "SKK": "SKK parameter", "SKK": " "pH", "limit": "6-9", "status": "IKKE VERIFISERT"},]for k i llm_claims: # Ingen kan gå inn i rapporten uten 'VERIFIED' fra Official Gazette assert k["status"] == "IKKE VERIFISERT" print(f"KREV BEKREFTELSE: {k['source['}']} /k['kilde]'#']} /k['source]'#artic} /} {le' linje må finnes manuelt i den offisielle Gazette-teksten og statusen må oppdateres.

Denne tilnærmingen behandler modellutgangen som en liste over påstander som skal bekreftes, snarere enn en "sannhet" som skal aksepteres direkte.

mini koffert

En miljøansvarlig skrev røykgassgrenseverdien i luftutslippsrapporten med henvisning til «relevant forskrift artikkel 18», som han mottok fra LLM. Da rapporten ble presentert for administrasjonen, åpnet revisor artikkelen; Artikkel 18 handlet om et helt annet problem (overvåkingsplikten) og den numeriske grensen gitt av modellen fantes ikke i den gjeldende teksten i det hele tatt — verdien tilhørte en melding som var opphevet for to år siden. Rapporten ble returnert, prosessen ble forsinket i flere uker og selskapet mistet tilliten. Ved nærmere undersøkelser ble grensen funnet med et annet nummer i vedlegget til gjeldende rundskriv. En enkelt Offisiell Gazette-kontroll kunne ha forhindret alt dette tapet. Leksjon: Modellen kan "gjøre opp" referanse, og når den gjør det, er den ekstremt overbevisende.

Vanlige feil

  • Bruk av stoffnummer og grenseverdi gitt av LLM uten å bekrefte det i Offisiell Gazette.
  • Tar feil av en opphevet forskrift som gjeldende.
  • Ser bort fra at modellen ikke kjenner lovverket som er endret etter opplæringsdatoen.
  • Søker etter grenseverdien i feil lag (lov); mens verdien er i vedlegget/meldingen til forordningen.
  • Omgå overgangsbestemmelser og eksisterende anleggsunntak.
  • Ikke dokumenterer kilden med fullstendig henvisning (forskriftsnavn, artikkel/vedlegg, RG-dato og nummer).
  • Ikke bruk modellen som «svarmaskin» og bruk den som forskningskompass.

Oppsummert

  • Miljølovgivning opererer i lov-regulering-varsling-sirkulær hierarkiet; Grenseverdier er vanligvis i vedlegget til forskriften eller i meldingen.
  • Lovverket lever; Opphevelse, endring og ikrafttredelsesdato påvirker gyldigheten av hver sak.
  • LLM kan produsere troverdige, men ikke-eksisterende varenumre, opphevet tekst og falske grenser (hallusinasjoner).
  • Den sikre måten å bruke modellen på er å bruke den ikke som en kilde til svar, men heller som et "hvilket dokument skal jeg se på, med hvilke vilkår?" er å lage et kompass.
  • Hver artikkel og utgave må bekreftes visuelt fra gjeldende offisielle tidsskrift/lovgivningsportaltekst, og kilden må være skrevet med hele forlaget.
  • AI-utgangen er et foreløpig forskningsutkast; Ingen lovhenvisning kan brukes som grunnlag for en rapport eller beslutning uten bekreftelse av den offisielle teksten.

Søknadsoppgave

Velg et konkret scenario (f.eks. grenseverdistudie for utslipp av avløpsvann eller røykgassutslipp fra et anlegg). Skriv først en sterk melding og bruk LLM kun for veiledning: lag hvilken type forskrift/melding, hvilket vedlegg/tabell og med hvilke nøkkeltermer du må se; Skriv ned alle varenumre og numre gitt av modellen i en kravliste merket "IKKE VERIFISERT". Finn deretter den aktuelle gjeldende teksten fra den virkelige offisielle kilden (Offisiell Gazette / offisiell lovgivningsportal); bekrefte at den er i kraft og ikke opphevet; Bekreft visuelt relevant stoff/tilskudd og grenseverdi. Skriv hele sitatet (forskriftsnavn, artikkel-/vedleggsnummer, OG-dato og nummer) for hvert verifisert element. Til slutt, "Hvilken referanse gitt av LLM viste seg å være feil/ufullstendig/fabrikert?" Vurder spørsmålet med et avsnitt.