Jedinica 9 / 10

Istraživanje i provjera propisa

Dobici:

  • Sposobnost prepoznavanja hijerarhije okolišnog zakonodavstva (zakon, propis, priopćenje) i izvora ograničenja vrijednosti
  • Sposobnost korištenja umjetne inteligencije za skeniranje zakonodavstva i generiranje pitanja te usmjeravanje na službeni tekst
  • Sposobnost provjere broja tvari i ograničenja koje daje AI iz Narodnih novina/službenog izvora

U konzultantskoj tvrtki za zaštitu okoliša pripremate dozvolu za ispuštanje otpadnih voda za novu bojaonicu. Kupac pita "koje su granične vrijednosti za boju i COD, na kojoj se tvari to temelji?" pita on i vrijeme je ograničeno. Vaš prvi poticaj je da upitate jezični model: "Koja su ograničenja ispuštanja tekstilne industrije prema Uredbama o kontroli onečišćenja vode?" LLM pruža tablična ograničenja, brojeve stavki i datume u sekundama; Sve to izgleda vrlo formalno i uvjerljivo. Ali ovdje je zamka: jezični model proizvodi tekst statistički; On može savršeno ozbiljno izmisliti nepostojeći broj artikla, ukinuti propis ili netočnu graničnu vrijednost. U ovoj jedinici pokrivamo poznavanje zakonodavstva u njegovim ispravnim slojevima, sigurnu upotrebu umjetne inteligencije u istraživanju zakonodavstva i disciplinu potvrđivanja svakog pitanja iz Narodnih novina.

Zakonodavna hijerarhija

Zakon o okolišu djeluje unutar hijerarhije; Donja stepenica ne može proturječiti gornjoj stepenici. Poznavanje odakle dolazi granična vrijednost omogućuje vam da je potražite u pravom izvoru.

korak

Tko ga skida?

vezanje

ekološki primjer

pravo

zakonodavstvo (parlament)

vrh, okvir

Zakon o zaštiti okoliša

Regulacija

Ministarstvo/Vijeće ministara

Primjenjuje i detaljno opisuje zakon

Uredba o kontroli onečišćenja voda

obavijest

ministarstvo

Tehnički detalji, mjerne/granične tablice

Priopćenja o mjerenju i analizi

Okružnica/Uputa

uprave

Interno preusmjeravanje aplikacije

Prijavne okružnice

Granične vrijednosti (granične količine ispuštanja, granične vrijednosti emisija) često se nalaze u prilozima propisa (tablice) ili priopćenjima. Dakle, "koji dokument trebam pogledati?" Pitanje je "koji je broj?" dolazi prije pitanja.

Rizik od ukidanja i ovrhe

Zakonodavstvo živi: propisi se mijenjaju, članci se ukidaju (ukidaju), novi datirani tekstovi ukidaju stare.

Povijesne situacije koje treba provjeriti: - Datum stupanja na snagu: Kada je tekst stupio na snagu? - Datum izmjene: Je li relevantni članak naknadno promijenjen? - Status opoziva: Je li članak/propis stavljen izvan snage? - Prijelazne odredbe: postoje li iznimke/odgode za postojeće objekte?

Pažnja: podaci o obuci LLM-a važe do određenog datuma i ne poznaju zakone koji su se promijenili nakon tog datuma. Osim toga, podaci o obuci mogu sadržavati stari propis koji je zastario; model to može prikazati kao da je ažuriran. Prije korištenja granične vrijednosti morate potvrditi u Narodnim novinama/službenom zakonodavnom portalu da je tekst na kojem se ona temelji danas na snazi.

Rizik da umjetna inteligencija napravi lažne brojeve stavki

Najopasnije ponašanje jezičnog modela je da proizvodi reference koje su formalno točne, ali ne postoje u sadržaju. Fraze kao što su "prema članku 26" ili "u Dodatku Tablica 19" mogu biti čisto halucinantne.

WEAK PROMPT: "Dajte granice ispuštanja tekstilnih otpadnih voda s brojevima stavki."-> Model proizvodi brojeve stavki i brojeve koji izgledaju precizni, ali nisu provjereni. SNAŽAN POMOĆ: "Objasnite koje zakone i koju vrstu priloga/tablice trebam ispitati za dozvolu za ispuštanje otpadnih voda pogona za tekstil/bojaonicu. Vaš zadatak:1) Identificirajte MOGUĆE VRSTE propisa i priopćenja na tu temu i u kojem odjeljku (prilog/tablica). "Recite mi da se mogu pronaći sektorska ograničenja. 2) NE izmišljajte konkretan broj artikla ili brojčano ograničenje; umjesto toga stavite rezervirano mjesto 'Ovjeriti u Narodnim novinama'. 3) Navedite koje ključne pojmove (naziv sektora, parametar) trebam koristiti prilikom pretraživanja u službenom tekstu. 4) Podsjeti me na povijesne rizike (ukidanje, izmjena, prijelazna odredba) koje bih trebao provjeriti."

Snažni model upita koristi ga kao alat za pretraživanje i navigaciju — "koji dokument trebam pogledati, s kojim izrazom?" — ne kao izvor broja.

Savjet: najsigurniji način za korištenje LLM-a u regulatornom istraživanju jest da ga postavite kao "istraživački kompas", a ne kao "automatsku sekretaricu". Neka model generira pitanja: "Koje su dozvole, koji parametri, koji su mogući propisi na snazi ​​za ovaj objekt?" Zatim pronađite odgovore na ova pitanja u službenom tekstu. Model usmjerava; Narodne novine odlučuju.

Tijek provjere: Potvrda iz Narodnih novina

Lanac koji treba slijediti za svako izdanje i broj stavke:

1) Dobijte temu/vrstu dokumenta/ključni pojam od LLM-a (ne oslanjajte se na broj članka).2) Otvorite TRENUTNI tekst uredbe na službenom zakonodavnom portalu.3) Provjerite nije li tekst ukinut i datum stupanja na snagu.4) POTRAŽITE u tekstu relevantni članak/dodatak; Pogledajte broj artikla i limit vlastitim očima. 5) Provjerite prijelazne odredbe i najnovije izmjene i dopune. 6) U izvješću navesti izvor s punim citatom: [naziv propisa], [članak/prilog broj], [Narodne novine datum i broj].

Primjer: Testiranje LLM izlaza

# Prevođenje referenci LLM-a u kontrolni popis "za provjeru"llm_iddialari = [ {"izvor": "SKKY", "item": "Aneks tablica 10.7", "parameter": "COD", "limit_mgL": 300, "status": "NIJE VERIFICIRANO"}, {"izvor": "SKKY", "item": "Članak 26", "parameter": "pH", "limit": "6-9", "status": "NOT VERIFIED"},]for k in llm_claims: # Nitko ne može unijeti izvješće bez 'VERIFIED' iz Narodnih novina assert k["status"] == "NOT VERIFIED" print(f"ZAHTJEVA POTVRDU: {k['source']} / {k['article']} / {k['parameter']}")# Svaki redak mora se ručno pronaći u tekstu Narodnih novina i mora se ažurirati status.

Ovaj pristup izlaz modela tretira kao popis tvrdnji koje treba potvrditi, a ne kao "istinu" koju treba izravno prihvatiti.

mini slučaj

Službenik za zaštitu okoliša napisao je graničnu vrijednost dimnih plinova u izvješću o emisiji u zrak s referencom na "relevantnu uredbu Članak 18", koju je dobio od LLM-a. Kad je izvješće predstavljeno upravi, revizor je otvorio članak; Članak 18. bavio se sasvim drugim pitanjem (obvezom praćenja) i brojčano ograničenje dano modelom uopće nije postojalo u postojećem tekstu — vrijednost je pripadala obavijesti koja je stavljena izvan snage prije dvije godine. Izvješće je vraćeno, proces je odgođen tjednima i tvrtka je izgubila povjerenje. Nakon daljnje istrage, ograničenje je pronađeno s drugim brojem u prilogu trenutne okružnice. Jedna kontrola Narodnih novina mogla je spriječiti sav ovaj gubitak. Pouka: Model može "šminkati" referencu, a kada to učini, izuzetno je uvjerljiv.

Uobičajene greške

  • Korištenje broja tvari i granične vrijednosti koje je dao LLM bez potvrde u Narodnim novinama.
  • Zamjena ukinutog propisa kao važećeg.
  • Zanemarujući da model ne poznaje zakone koji su se promijenili nakon datuma obuke.
  • Traženje granične vrijednosti u pogrešnom sloju (zakon); dok je vrijednost navedena u prilogu/obavijesti uredbe.
  • Zaobilaženje prijelaznih odredbi i postojećih iznimaka objekata.
  • Nedokumentiranje izvora s punim citatom (naziv propisa, članak/prilog, datum i broj RG).
  • Nemojte koristiti model kao "automatsku sekretaricu" i koristite ga kao istraživački kompas.

Ukratko

  • Zakonodavstvo o okolišu djeluje u hijerarhiji zakon-propis-obavijest-kružna; Granične vrijednosti su općenito u prilogu uredbe ili u obavijesti.
  • Zakonodavstvo je živo; Opoziv, izmjena i datum stupanja na snagu utječu na valjanost svakog izdanja.
  • LLM može proizvesti uvjerljive, ali nepostojeće brojeve stavki, ukinuti tekst i lažna ograničenja (halucinacije).
  • Siguran način korištenja modela je da ga ne koristite kao izvor odgovora, već kao "koji dokument trebam pogledati, s kojim uvjetima?" je napraviti kompas.
  • Svaki članak i izdanje mora biti vizualno potvrđeno iz aktualnog teksta Narodnih novina / zakonodavnog portala, a izvor mora biti napisan punim impresumom.
  • AI rezultat je preliminarni nacrt istraživanja; Nijedna zakonska referenca ne može se koristiti kao osnova za izvješće ili odluku bez provjere službenim tekstom.

Zadatak aplikacije

Odaberite konkretan scenarij (npr. studija graničnih vrijednosti za ispuštanje otpadnih voda ili emisije dimnih plinova iz postrojenja). Prvo, napišite snažan prompt i koristite LLM samo kao smjernice: navedite koju vrstu propisa/obavijesti, koji dodatak/tablicu i s kojim ključnim pojmovima trebate pogledati; Zapišite sve brojeve stavki i brojeve koje je dao model u popis zahtjeva s oznakom "NIJE PROVJERENO". Zatim pronađite relevantni aktualni tekst iz stvarnog službenog izvora (Narodne novine / portal službenog zakonodavstva); potvrditi da je na snazi ​​i da nije ukinut; Vizualno potvrdite relevantnu tvar/dodatak i graničnu vrijednost. Napišite puni citat (naziv propisa, broj članka/dodatka, datum i broj NN) za svaku provjerenu stavku. Konačno, "Koja se referenca LLM-a pokazala pogrešnom/nepotpunom/izmišljenom?" Ocijenite pitanje odlomkom.