Eenheid 9 / 10

Regelgevend onderzoek en verificatie

Winst:

  • Vermogen om de hiërarchie van de milieuwetgeving (wet, regelgeving, communiqué) te herkennen en waardebronnen te beperken
  • Mogelijkheid om AI te gebruiken voor het scannen van wetgeving, het genereren van vragen en het doorverwijzen naar officiële tekst
  • Mogelijkheid om het door AI opgegeven stofnummer en de limieten te verifiëren vanuit de Staatscourant/officiële bron

Bij een milieuadviesbureau bereid je de lozingsvergunning voor afvalwater voor een nieuwe ververij voor. De klant vraagt ​​“wat zijn de grenswaarden voor kleur en CZV, op welke stof is dit gebaseerd?” vraagt ​​hij en de tijd is beperkt. Uw eerste impuls is om een ​​taalmodel te vragen: "Wat zijn de lozingslimieten van de textielindustrie volgens de Water Pollution Control Regulations?" LLM biedt tabellarische limieten, artikelnummers en datums in seconden; Het ziet er allemaal heel formeel en overtuigend uit. Maar hier zit de valkuil: het taalmodel produceert de tekst op statistische wijze; Een niet bestaand artikelnummer, een ingetrokken regeling of een onjuiste grenswaarde kan hij met alle ernst verzinnen. In deze unit behandelen we het kennen van de wetgeving in de juiste lagen, het veilig gebruiken van AI bij wetgevingsonderzoek en de discipline om elk onderwerp uit de Staatscourant te bevestigen.

Wetgevende hiërarchie

Het milieurecht functioneert binnen een hiërarchie; De onderste trede kan de bovenste trede niet tegenspreken. Als je weet waar een grenswaarde vandaan komt, kun je deze in de juiste bron zoeken.

stap

Wie haalt het af?

bindend

milieu voorbeeld

wet

Wetgevend (parlement)

bovenkant, kader

Milieurecht

Verordening

Ministerie/Raad van Ministers

Past de wet toe en detailleert deze

Verordening ter beheersing van waterverontreiniging

kennisgeving

ministerie

Technische details, maat-/limiettabellen

Meet- en analysecommuniqués

Circulaire/Instructie

administratie

Interne applicatie-omleiding

Toepassingscirculaires

Grenswaarden (lozingslimieten, emissielimieten) zijn vaak te vinden in regelgevingsbijlagen (tabellen) of communiqués. Dus "welk document moet ik bekijken?" De vraag is: "wat is het nummer?" komt vóór de vraag.

Risico van intrekking en handhaving

Wetgeving leeft: regelgeving verandert, artikelen worden ingetrokken (ingetrokken), nieuwe gedateerde teksten trekken oude in.

Historische situaties om te controleren: - Inwerkingtreding: Wanneer is de tekst in werking getreden? - Wijzigingsdatum: Is het betreffende artikel naderhand gewijzigd? - Intrekkingsstatus: Is het artikel/de regeling ingetrokken? - Overgangsbepalingen: Zijn er uitzonderingen/uitstel voor bestaande faciliteiten?

Let op: de opleidingsgegevens van LLM zijn actueel tot een bepaalde datum en kent niet de wetgeving die na die datum is gewijzigd. Daarnaast kunnen de trainingsgegevens een oude regeling bevatten die verouderd is; het model kan dit presenteren alsof het actueel is. Voordat u een grenswaarde gebruikt, moet u in het Staatsblad/officieel wetgevingsportaal bevestigen dat de tekst waarop deze is gebaseerd vandaag van kracht is.

Risico dat AI valse artikelnummers maakt

Het gevaarlijkste gedrag van het taalmodel is dat het verwijzingen produceert die formeel correct zijn, maar inhoudelijk niet bestaan. Zinnen als "volgens artikel 26" of "in bijlagetabel 19" kunnen louter hallucinant zijn.

ZWAKKE VRAAG: "Geef limieten voor de lozing van textielafvalwater met artikelnummers." -> Het model produceert artikelnummers en cijfers die nauwkeurig lijken, maar niet zijn geverifieerd. STERKE VRAAG: "Leg uit welke wetgeving en welk type bijlage/tabel ik moet onderzoeken voor de afvalwaterlozingsvergunning van een textiel-/ververijfaciliteit. Jouw taak: 1) Identificeer de MOGELIJKE SOORTEN regelgeving en communiqués over dit onderwerp en in welke sectie (bijlage/tabel). "Vertel me dat er sectorale limieten kunnen worden gevonden. 2) Verzin GEEN concreet artikelnummer of numerieke limiet; plaats in plaats daarvan een tijdelijke aanduiding 'Te verifiëren in de Staatscourant'. 3) Maak een lijst van de belangrijkste termen (sectornaam, parameter) die ik moet gebruiken bij het zoeken in de officiële tekst. 4) Herinner mij aan historische risico's (intrekking, wijziging, overgangsbepaling) die ik moet controleren."

Het krachtige promptmodel gebruikt het als zoek- en navigatiehulpmiddel: “welk document moet ik bekijken, met welke term?” – niet als de bron van het nummer.

Tip: De veiligste manier om de LLM te gebruiken bij onderzoek op het gebied van regelgeving is door deze te positioneren als een ‘onderzoekskompas’ in plaats van als een ‘antwoordapparaat’. Laat het model vragen genereren: “Welke vergunningen, welke parameters, welke mogelijke regelgeving zijn van kracht voor deze faciliteit?” Zoek vervolgens de antwoorden op deze vragen in de officiële tekst. Het model regisseert; De Staatscourant beslist.

Verificatieworkflow: Bevestiging uit de Staatscourant

De te volgen keten per uitgave en artikelnummer:

1) Vraag onderwerp/documenttype/sleutelterm op bij LLM (vertrouw niet op artikelnummer).2) Open de HUIDIGE tekst van de verordening op het officiële wetgevingsportaal.3) Controleer of de tekst niet is ingetrokken en wat de ingangsdatum ervan is.4) ZOEK in de tekst naar het relevante artikel/aanvulling; Bekijk het artikelnummer en de limiet met eigen ogen. 5) Controleer de overgangsbepalingen en laatste wijzigingen. 6) Vermeld de bron in het rapport met volledige bronvermelding: [Naam verordening], [Artikel-/bijlagenummer], [Staatscourant datum en nummer].

Voorbeeld: LLM-uitvoer testen

# De referenties van LLM vertalen naar een "te verifiëren" checklistllm_iddialari = [ {"source": "SKKY", "item": "Bijlage tabel 10.7", "parameter": "COD", "limit_mgL": 300, "status": "NOT GEVERIFIED"}, {"source": "SKKY", "item": "Artikel 26", "parameter": "pH", "limit": "6-9", "status": "NOT VERIFIED"},]for k in llm_claims: # Niemand kan het rapport invoeren zonder 'VERIFIED' uit de Staatscourant assert k["status"] == "NOT VERIFIED" print(f"VEREIS BEVESTIGING: {k['source']} / {k['article']} / {k['parameter']}")# Elke regel moet handmatig worden gevonden in de tekst van de Staatscourant en de status moet worden bijgewerkt.

Deze benadering behandelt de modeluitvoer als een lijst met beweringen die bevestigd moeten worden, in plaats van als een ‘waarheid’ die direct geaccepteerd moet worden.

mini-hoesje

Een milieufunctionaris schreef de rookgasgrenswaarde in het luchtemissierapport met verwijzing naar "relevante regeling artikel 18", dat hij van LLM ontving. Toen het rapport aan de administratie werd aangeboden, opende de accountant het artikel; Artikel 18 behandelde een heel ander onderwerp (de verplichting om te monitoren) en de numerieke limiet die door het model werd gegeven bestond in de huidige tekst helemaal niet; de waarde hoorde bij een kennisgeving die twee jaar geleden was ingetrokken. Het rapport kwam terug, het proces liep weken vertraging op en het bedrijf verloor het vertrouwen. Bij nader onderzoek werd de grens gevonden met een ander nummer in de bijlage van de huidige circulaire. Eén enkele controle in de Staatscourant had al dit verlies kunnen voorkomen. Les: Het model kan referenties ‘verzinnen’, en als dat het geval is, is het uiterst overtuigend.

Veel voorkomende fouten

  • Het gebruiken van het stofnummer en de grenswaarde die door LLM zijn opgegeven zonder deze in de Staatscourant te bevestigen.
  • Een ingetrokken verordening als actueel beschouwen.
  • Negerend dat het model niet op de hoogte is van de wetgeving die na de trainingsdatum is veranderd.
  • Zoeken naar de grenswaarde in de verkeerde laag (wet); terwijl de waarde in de bijlage/kennisgeving van de verordening staat.
  • Het omzeilen van overgangsbepalingen en bestaande faciliteitsuitzonderingen.
  • Het niet documenteren van de bron met volledige bronvermelding (regelnaam, artikel/bijlage, RG-datum en -nummer).
  • Gebruik het model niet als ‘antwoordapparaat’ en gebruik het als onderzoekskompas.

Samengevat

  • De milieuwetgeving opereert in de hiërarchie van wet-regelgeving-kennisgeving-circulaire; Grenswaarden staan ​​doorgaans in de bijlage bij de regeling of in de kennisgeving.
  • De wetgeving leeft; Intrekking, wijziging en ingangsdatum beïnvloeden de geldigheid van elke uitgifte.
  • LLM kan geloofwaardige maar niet-bestaande artikelnummers, ingetrokken tekst en valse limieten (hallucinaties) opleveren.
  • De veilige manier om het model te gebruiken is door het niet als een bron van antwoorden te gebruiken, maar eerder als een "welk document moet ik bekijken, met welke termen?" is het maken van een kompas.
  • Elk artikel en elke uitgave moet visueel worden bevestigd aan de hand van de huidige Staatscourant/wetgevingsportaaltekst en de bron ervan moet met het volledige impressum worden geschreven.
  • De AI-output is een voorlopig onderzoeksontwerp; Geen enkele verwijzing naar wetgeving kan worden gebruikt als basis voor een rapport of besluit zonder verificatie door de officiële tekst.

Applicatie taak

Kies een concreet scenario (bijvoorbeeld grenswaardeonderzoek voor afvalwaterlozing of rookgasemissies van een inrichting). Schrijf eerst een krachtige prompt en gebruik de LLM alleen als leidraad: maak duidelijk welk type regeling/kennisgeving, welke bijlage/tabel en met welke sleuteltermen u moet zoeken; Noteer alle artikelnummers en nummers gegeven door het model in een claimlijst met het label "NIET GEVERIFIED". Zoek vervolgens de relevante actuele tekst uit de echte officiële bron (Staatscourant / officieel wetgevingsportaal); verifiëren dat het van kracht is en niet is ingetrokken; Bevestig visueel de betreffende stof/supplement en grenswaarde. Schrijf de volledige bronvermelding (naam van de regelgeving, artikel-/bijlagenummer, OG-datum en -nummer) voor elk geverifieerd item. Tot slot: "Welke referentie gegeven door LLM bleek verkeerd/onvolledig/verzonnen te zijn?" Evalueer de vraag met een paragraaf.