Enhed 9 / 10

Regulatorisk forskning og verifikation

Gevinster:

  • Evne til at anerkende hierarkiet af miljølovgivning (lov, regulering, kommuniké) og grænseværdikilder
  • Evne til at bruge AI til lovgivningsscanning og spørgsmålsgenerering og dirigering til officiel tekst
  • Evne til at verificere stofnummeret og grænserne givet af AI fra Den Officielle Gazette/officielle kilde

Hos et miljørådgivningsfirma er du ved at udarbejde spildevandsudledningstilladelse til et nyt farverianlæg. Kunden spørger "hvad er grænseværdierne for farve og COD, hvilket stof er det baseret på?" spørger han og tiden er begrænset. Din første impuls er at spørge en sprogmodel: "Hvad er tekstilindustriens udledningsgrænser i henhold til vandforureningsregulativet?" LLM giver tabelgrænser, varenumre og datoer i sekunder; Det hele ser meget formelt og overbevisende ud. Men her er fælden: Sprogmodellen producerer teksten statistisk; Han kan finde på et ikke-eksisterende artikelnummer, en ophævet forordning eller en forkert grænseværdi med fuldkommen seriøsitet. I denne enhed dækker vi kendskab til lovgivningen i dens korrekte lag, sikker brug af AI i lovgivningsforskning og disciplinen med at bekræfte hvert problem fra den officielle Gazette.

Lovgivningshierarki

Miljølovgivningen opererer inden for et hierarki; Det nederste trin kan ikke modsige det øverste trin. Ved at vide, hvor en grænseværdi kommer fra, kan du lede efter den i den rigtige kilde.

trin

Hvem tager den af?

bindende

miljøeksempel

lov

Lovgivende (parlamentet)

top, ramme

Miljøret

forordning

Ministerium/Ministerrådet

Anvender og detaljerer loven

Forordningen om bekæmpelse af vandforurening

underretning

ministerium

Tekniske detaljer, måle-/grænsetabeller

Måle- og analysekommunikéer

Cirkulære/instruktion

administration

Intern applikationsomdirigering

Ansøgningscirkulærer

Grænseværdier (udledningsgrænser, emissionsgrænser) findes ofte i regulativbilag (tabeller) eller kommunikéer. Så "hvilket dokument skal jeg se på?" Spørgsmålet er "hvad er nummeret?" kommer før spørgsmålet.

Risiko for ophævelse og håndhævelse

Lovgivningen lever: Forskrifter ændres, artikler ophæves (ophæves), nye daterede tekster ophæver gamle.

Historiske situationer at kontrollere: - Ikrafttrædelsesdato: Hvornår trådte teksten i kraft? - Ændringsdato: Er den relevante artikel blevet ændret efterfølgende? - Ophævelsesstatus: Er artiklen/forordningen ophævet? - Overgangsbestemmelser: Er der undtagelser/udsættelser for eksisterende anlæg?

Bemærk: LLM's uddannelsesdata er op til en bestemt dato og kender ikke den lovgivning, der er ændret efter denne dato. Derudover kan træningsdataene indeholde en gammel forskrift, der er blevet forældet; modellen kan præsentere dette, som om det var up to date. Inden du bruger en grænseværdi, skal du bekræfte fra Lovtidende / Lovgivningsportalen, at den tekst, den er baseret på, er gældende i dag.

Risiko for, at AI laver falske varenumre

Den farligste adfærd ved sprogmodellen er, at den producerer referencer, der er formelt korrekte, men som ikke eksisterer i indhold. Sætninger som "ifølge artikel 26" eller "i bilagstabel 19" kan være rent hallucinatoriske.

SVAG SPØRGSMÅL: "Giv tekstilspildevandsudledningsgrænser med varenumre."-> Modellen producerer varenumre og numre, der virker præcise, men som ikke er verificerede. STÆRK SPØRGSMÅL: "Forklar hvilken lovgivning og hvilken type bilag/tabel jeg skal undersøge for spildevandsudledningstilladelsen for et tekstil-/farverianlæg. Din opgave:1) Identificer de MULIGE TYPER af regulativer og kommunikéer om emnet, og i hvilket afsnit (bilag/tabel). "Fortæl mig, at der kan være sektorgrænser. 2) Lav IKKE et konkret artikelnummer eller numerisk grænse; indsæt en pladsholder 'Skal verificeres i Lovtidende' i stedet for. 3) Liste hvilke nøgleord (sektornavn, parameter) jeg skal bruge, når jeg søger i den officielle tekst. 4) Mind mig om historiske risici (ophævelse, ændring, overgangsbestemmelse), som jeg bør kontrollere."

Den kraftfulde promptmodel bruger den som et søge- og navigationsværktøj - "hvilket dokument skal jeg se på, med hvilket udtryk?" — ikke som kilden til nummeret.

Tip: Den sikreste måde at bruge LLM i lovgivningsforskning er at placere den som et "forskningskompas" snarere end en "svarmaskine". Lad modellen generere spørgsmål: "Hvilke tilladelser, hvilke parametre, hvilke mulige regler er gældende for denne facilitet?" Find derefter svarene på disse spørgsmål fra den officielle tekst. Modellen instruerer; Lovtidende bestemmer.

Verifikationsarbejdsgang: Bekræftelse fra Lovtidende

Den kæde, der skal følges for hver udgave og varenummer:

1) Hent emne/dokumenttype/nøgleudtryk fra LLM (stol ikke på artikelnummer).2) Åbn den AKTUELLE tekst af forordningen på den officielle lovgivningsportal.3) Bekræft at teksten ikke er ophævet og dens ikrafttrædelsesdato.4) SØG i teksten efter den relevante artikel/tilføjelse; Se artikelnummer og begræns med egne øjne. 5) Tjek overgangsbestemmelserne og seneste ændringer. 6) Skriv kilden i rapporten med fuld henvisning: [Forskriftsnavn], [Artikel/bilagsnummer], [Statstidendes dato og nummer].

Eksempel: Test af LLM-output

# Oversættelse af LLM's referencer til en "skal verificeres" checklistllm_iddialari = [ {"source": "SKKY", "item": "Bilagstabel 10.7", "parameter": "COD", "limit_mgL": 300, "status": "NOT VERIFIED"}, "Artikel": "SKK": "SKK": "SKK": " "pH", "limit": "6-9", "status": "NOT VERIFIED"},]for k i llm_claims: # Ingen kan indtaste rapporten uden 'VERIFIED' fra Officiel Gazette assert k["status"] == "IKKE VERIFIEDET" print(f"KRÆV BEKRÆVELSE: {k['source['}']artic) /k['source['}#']} /} {k['source['}#']} /}} linje skal manuelt findes i Lovtidende teksten, og status skal opdateres.

Denne tilgang behandler modellens output som en liste over påstande, der skal bekræftes, snarere end en "sandhed", der skal accepteres direkte.

mini etui

En miljømedarbejder skrev røggasgrænseværdien i luftemissionsrapporten med henvisning til "relevant forordning artikel 18", som han modtog fra LLM. Da beretningen blev forelagt for administrationen, åbnede revisor artiklen; Artikel 18 omhandlede et helt andet spørgsmål (overvågningspligten), og den numeriske grænse, som modellen giver, fandtes slet ikke i den nuværende tekst - værdien tilhørte en anmeldelse, der var blevet ophævet for to år siden. Rapporten blev returneret, processen blev forsinket i uger, og virksomheden mistede tilliden. Ved nærmere undersøgelse blev grænsen fundet med et andet nummer i bilaget til det nuværende cirkulære. En enkelt officiel Tidende kontrol kunne have forhindret alt dette tab. Lektion: Modellen kan "opgøre" reference, og når den gør det, er den ekstremt overbevisende.

Almindelige fejl

  • Brug af stofnummer og grænseværdi givet af LLM uden at bekræfte det i Lovtidende.
  • Forveksler en ophævet forordning som gældende.
  • Ser bort fra, at modellen ikke kender den lovgivning, der er ændret efter uddannelsesdatoen.
  • Søgning efter grænseværdien i det forkerte lag (lov); hvorimod værdien er i bilaget/meddelelsen til forordningen.
  • Omgåelse af overgangsbestemmelser og eksisterende facilitetsundtagelser.
  • Ikke at dokumentere kilden med fuld citat (forskriftsnavn, artikel/bilag, RG-dato og nummer).
  • Brug ikke modellen som "svarmaskine" og brug den som forskningskompas.

Sammenfattende

  • Miljølovgivningen opererer i lov-regulering-meddelelse-cirkulært hierarki; Grænseværdier er generelt i bilaget til forordningen eller i meddelelsen.
  • Lovgivningen er levende; Ophævelse, ændring og ikrafttrædelsesdato påvirker gyldigheden af ​​hvert enkelt spørgsmål.
  • LLM kan producere troværdige, men ikke-eksisterende varenumre, ophævet tekst og falske grænser (hallucinationer).
  • Den sikre måde at bruge modellen på er at bruge den ikke som en kilde til svar, men snarere som et "hvilket dokument skal jeg se på, med hvilke udtryk?" er at lave et kompas.
  • Hver artikel og problemstilling skal bekræftes visuelt fra den aktuelle Officielle Gazette/lovgivningsportaltekst, og dens kilde skal skrives med det fulde forlag.
  • AI-outputtet er et foreløbigt forskningsudkast; Ingen lovhenvisning kan bruges som grundlag for en rapport eller beslutning uden bekræftelse af den officielle tekst.

Ansøgningsopgave

Vælg et konkret scenarie (f.eks. grænseværdiundersøgelse for spildevandsudledning eller røggasemissioner fra et anlæg). Skriv først en stærk prompt og brug kun LLM til vejledning: lav hvilken type forordning/meddelelse, hvilket bilag/tabel og med hvilke nøgletermer du skal kigge; Skriv alle varenumre og numre fra modellen ned i en kravliste mærket "IKKE VERIFIEDERT". Find derefter den relevante aktuelle tekst fra den rigtige officielle kilde (Officiel Gazette / officiel lovgivningsportal); kontrollere, at den er i kraft og ikke ophæves; Bekræft visuelt det relevante stof/tilskud og grænseværdi. Skriv det fulde citat (forskriftsnavn, artikel/bilagsnummer, OG-dato og nummer) for hver verificeret vare. Til sidst, "Hvilken reference givet af LLM viste sig at være forkert/ufuldstændig/fabrikeret?" Vurder spørgsmålet med et afsnit.