Yunit 9 / 10

Regulatoryong Pananaliksik at Pagpapatunay

Mga nadagdag:

  • Kakayahang kilalanin ang hierarchy ng environmental legislation (batas, regulasyon, communiqué) at limitahan ang mga mapagkukunan ng halaga
  • Kakayahang gumamit ng AI para sa pag-scan ng batas at pagbuo ng tanong at pagdidirekta sa opisyal na teksto
  • Kakayahang i-verify ang substance number at mga limitasyon na ibinigay ng AI mula sa Official Gazette/opisyal na pinagmulan

Sa isang environmental consulting firm, inihahanda mo ang permiso sa paglabas ng wastewater para sa isang bagong pasilidad ng dyehouse. Ang customer ay nagtanong "ano ang mga halaga ng limitasyon para sa kulay at COD, sa anong sangkap ito batay?" tanong niya at limitado ang oras. Ang iyong unang udyok ay magtanong sa isang modelo ng wika: "Ano ang mga limitasyon sa paglabas ng industriya ng tela ayon sa Mga Regulasyon sa Pagkontrol ng Polusyon sa Tubig?" Nagbibigay ang LLM ng mga tabular na limitasyon, numero ng item at petsa sa ilang segundo; Ang lahat ay mukhang napaka-pormal at kapani-paniwala. Ngunit narito ang bitag: Ang modelo ng wika ay gumagawa ng teksto ayon sa istatistika; Maaari siyang bumuo ng isang hindi umiiral na numero ng artikulo, isang pinawalang-bisang regulasyon o isang maling halaga ng limitasyon na may perpektong kabigatan. Sa yunit na ito, sinasaklaw namin ang pag-alam sa batas sa mga tamang layer nito, paggamit ng AI nang ligtas sa pagsasaliksik ng batas, at ang disiplina sa pagkumpirma sa bawat isyu mula sa Opisyal na Gazette.

Legislative hierarchy

Ang batas sa kapaligiran ay gumagana sa loob ng isang hierarchy; Ang mas mababang hakbang ay hindi maaaring sumalungat sa itaas na hakbang. Ang pag-alam kung saan nagmumula ang halaga ng limitasyon ay nagbibigay-daan sa iyong hanapin ito sa tamang pinagmulan.

hakbang

Sino ang nagtanggal nito?

nagbubuklod

halimbawa ng kapaligiran

batas

Legislative (Parlamento)

tuktok, frame

Batas Pangkapaligiran

Regulasyon

Ministeryo/Konseho ng mga Ministro

Inilalapat at idinetalye ang batas

Regulasyon sa Pagkontrol ng Polusyon sa Tubig

abiso

ministeryo

Teknikal na detalye, mga talahanayan ng pagsukat/limitasyon

Mga communiqués sa pagsukat at pagsusuri

Pabilog/Pagtuturo

pangangasiwa

Pag-redirect ng panloob na application

Mga sirkular ng aplikasyon

Ang mga halaga ng limitasyon (mga limitasyon sa paglabas, mga limitasyon sa paglabas) ay madalas na matatagpuan sa mga annexes ng regulasyon (mga talahanayan) o mga communiqués. Kaya "aling dokumento ang dapat kong tingnan?" Ang tanong ay "ano ang numero?" nauna sa tanong.

Panganib ng pagpapawalang-bisa at pagpapatupad

Buhay ang batas: nagbabago ang mga regulasyon, ang mga artikulo ay pinawawalang-bisa (pinawalang-bisa), ang mga bagong may petsang teksto ay nagpapawalang-bisa sa mga luma.

Mga makasaysayang sitwasyon na dapat suriin: - Petsa ng bisa: Kailan nagkaroon ng bisa ang teksto? - Petsa ng pagbabago: Nabago ba ang nauugnay na artikulo pagkatapos? - Katayuan ng pagpapawalang-bisa: Na-repeal na ba ang artikulo/regulasyon? - Mga transisyonal na probisyon: Mayroon bang mga pagbubukod/pagpapaliban para sa mga kasalukuyang pasilidad?

Pansin: Ang data ng pagsasanay ng LLM ay hanggang sa isang tiyak na petsa at hindi alam ang batas na nagbago pagkatapos ng petsang iyon. Bilang karagdagan, ang data ng pagsasanay ay maaaring maglaman ng isang lumang regulasyon na naging lipas na; maipapakita ito ng modelo na parang napapanahon. Bago gumamit ng limitasyong halaga, dapat mong kumpirmahin mula sa Opisyal na Gazette / opisyal na portal ng batas na ang teksto kung saan ito nakabatay ay may bisa ngayon.

Panganib ng AI na gumawa ng mga pekeng numero ng item

Ang pinaka-mapanganib na pag-uugali ng modelo ng wika ay ang paggawa nito ng mga sanggunian na pormal na tama ngunit wala sa nilalaman. Ang mga parirala tulad ng "ayon sa Artikulo 26" o "sa Annex Table 19" ay maaaring puro guni-guni.

WEAK PROMPT: "Bigyan ng textile wastewater discharge limits na may mga numero ng item."-> Ang modelo ay gumagawa ng mga numero at numero ng item na mukhang tumpak ngunit hindi na-verify. MALAKAS NA PROMPT: "Ipaliwanag kung aling batas at kung anong uri ng annex/table ang dapat kong suriin para sa wastewater discharge permit ng isang textile/dyehouse facility. Iyong Gawain:1) Tukuyin ang mga POSIBLENG URI ng mga regulasyon at communiqués sa paksa at sa aling seksyon (annex/table). "Sabihin mo sa akin na makikita ang mga limitasyon sa sektor. 2) HUWAG gumawa ng konkretong numero ng artikulo o limitasyon sa numero; maglagay na lang ng placeholder na 'Para ma-verify sa Opisyal na Gazette'. 3) Ilista kung aling mga pangunahing termino (pangalan ng sektor, parameter) ang dapat kong gamitin kapag naghahanap sa opisyal na teksto. 4) Paalalahanan ako ng mga makasaysayang panganib (pagpapawalang-bisa, pag-amyenda, probisyon ng transisyon) na dapat kong suriin."

Ginagamit ito ng makapangyarihang modelo ng prompt bilang tool sa paghahanap at pag-navigate — “aling dokumento ang dapat kong tingnan, gamit ang aling termino?” — hindi bilang pinagmulan ng numero.

Tip: Ang pinakaligtas na paraan ng paggamit ng LLM sa pagsasaliksik ng regulasyon ay ang pagpoposisyon nito bilang isang "research compass" sa halip na isang "answer machine". Hayaang bumuo ng mga tanong ang modelo: "Anong mga permit, anong mga parameter, anong mga posibleng regulasyon ang may bisa para sa pasilidad na ito?" Pagkatapos ay hanapin ang mga sagot sa mga tanong na ito mula sa opisyal na teksto. Ang modelo ay nagdidirekta; Ang Opisyal na Gazette ang nagpapasya.

Daloy ng trabaho sa pag-verify: Kumpirmasyon mula sa Opisyal na Gazette

Ang chain na susundan para sa bawat isyu at numero ng item:

1) Kumuha ng paksa/uri ng dokumento/pangunahing termino mula sa LLM (huwag umasa sa numero ng artikulo).2) Buksan ang KASALUKUYANG teksto ng regulasyon sa opisyal na portal ng batas.3) I-verify na ang teksto ay hindi pinawalang-bisa at ang petsa ng bisa nito.4) HANAPIN sa teksto ang nauugnay na artikulo/dagdag; Tingnan ang numero ng artikulo at limitahan gamit ang iyong sariling mga mata. 5) Suriin ang transisyonal na mga probisyon at pinakabagong mga pagbabago. 6) Isulat ang pinagmulan sa ulat na may buong pagsipi: [Pangalan ng regulasyon], [Numero ng Artikulo/Annex], [Petsa at numero ng Opisyal na Gazette].

Halimbawa: Pagsubok sa LLM na output

# Pagsasalin ng mga sanggunian ng LLM sa isang checklistllm_iddialari na "upang ma-verify" = [ {"source": "SKKY", "item": "Annex Table 10.7", "parameter": "COD", "limit_mgL": 300, "status": "NOT VERIFIED"}", {"source": "SKKY", "source": "parameter": "pH", "limit": "6-9", "status": "NOT VERIFIED"},]for k in llm_claims: # Walang makakapasok sa ulat nang walang 'VERIFIED' mula sa Official Gazette assert k["status"] == "NOT VERIFIED" print(f"REQUIRE /['source']'}'article {k['parameter']}")# Ang bawat linya ay dapat na manu-manong mahanap sa teksto ng Opisyal na Gazette at dapat na ma-update ang katayuan.

Itinuturing ng diskarteng ito ang output ng modelo bilang isang listahan ng mga claim na kumpirmahin, sa halip na isang "katotohanan" na direktang tatanggapin.

mini case

Isinulat ng isang environmental officer ang halaga ng limitasyon ng flue gas sa ulat ng paglabas ng hangin na may pagtukoy sa "kaugnay na regulasyon Artikulo 18", na natanggap niya mula sa LLM. Nang iharap ang ulat sa administrasyon, binuksan ng auditor ang artikulo; Ang Artikulo 18 ay humarap sa isang ganap na naiibang isyu (ang obligasyong subaybayan) at ang limitasyon ng numero na ibinigay ng modelo ay hindi umiiral sa kasalukuyang teksto - ang halaga ay kabilang sa isang abiso na pinawalang-bisa dalawang taon na ang nakakaraan. Ibinalik ang ulat, naantala ang proseso ng ilang linggo at nawalan ng tiwala ang kumpanya. Sa karagdagang pagsisiyasat, natagpuan ang limitasyon na may ibang numero sa annex ng kasalukuyang circular. Ang nag-iisang kontrol ng Opisyal na Gazette ay maaaring pumigil sa lahat ng pagkawalang ito. Aralin: Ang modelo ay maaaring "bumubuo" ng sanggunian, at kapag nangyari ito, ito ay lubos na nakakumbinsi.

Mga karaniwang pagkakamali

  • Gamit ang substance number at limit value na ibinigay ng LLM nang hindi ito kinukumpirma sa Official Gazette.
  • Napagkakamalang napapanahon ang isang inalis na regulasyon.
  • Hindi pinapansin na hindi alam ng modelo ang batas na nagbago pagkatapos ng petsa ng pagsasanay.
  • Paghahanap para sa halaga ng limitasyon sa maling layer (batas); samantalang ang halaga ay nasa annex/notification ng regulasyon.
  • Pag-bypass sa mga transisyonal na probisyon at umiiral na mga pagbubukod sa pasilidad.
  • Hindi pagdodokumento ng pinagmulan na may buong pagsipi (pangalan ng regulasyon, artikulo/annex, petsa at numero ng RG).
  • Huwag gamitin ang modelo bilang isang "answer machine" at gamitin ito bilang isang research compass.

Sa buod

  • Ang batas sa kapaligiran ay gumagana sa hierarchy ng batas-regulasyon-notification-circular; Ang mga halaga ng limitasyon ay karaniwang nasa annex ng regulasyon o sa abiso.
  • Ang batas ay buhay; Ang pagpapawalang-bisa, pag-amyenda at petsa ng pagkakabisa ay nakakaapekto sa bisa ng bawat isyu.
  • Maaaring gumawa ang LLM ng mga kapani-paniwala ngunit hindi umiiral na mga numero ng item, pinawalang-bisa na teksto, at mga maling limitasyon (mga guni-guni).
  • Ang ligtas na paraan ng paggamit ng modelo ay ang paggamit nito hindi bilang isang mapagkukunan ng mga sagot kundi bilang isang "aling dokumento ang dapat kong tingnan, kung saan ang mga termino?" ay gumawa ng compass.
  • Ang bawat artikulo at isyu ay dapat biswal na kumpirmahin mula sa kasalukuyang Opisyal na Gazette / lehislasyon portal na teksto at ang pinagmulan nito ay dapat na nakasulat na may buong imprint.
  • Ang output ng AI ay isang paunang draft ng pananaliksik; Walang sangguniang pambatas ang maaaring gamitin bilang batayan para sa isang ulat o desisyon nang walang pagpapatunay ng opisyal na teksto.

Gawain ng aplikasyon

Pumili ng konkretong senaryo (hal. pag-aaral sa halaga ng limitasyon para sa paglabas ng wastewater o paglabas ng flue gas ng isang pasilidad). Una, magsulat ng isang malakas na prompt at gamitin ang LLM para lamang sa gabay: gumawa kung anong uri ng regulasyon/paunawa, kung aling annex/talahanayan at kung aling mga pangunahing termino ang kailangan mong tingnan; Isulat ang lahat ng numero at numero ng item na ibinigay ng modelo sa isang listahan ng paghahabol na may label na "HINDI VERIFIED". Pagkatapos ay hanapin ang nauugnay na kasalukuyang teksto mula sa tunay na opisyal na pinagmulan (Opisyal na Gazette / opisyal na portal ng batas); patunayan na ito ay may bisa at hindi pinawalang-bisa; Biswal na kumpirmahin ang nauugnay na substance/suplement at limit na halaga. Isulat ang buong pagsipi (pangalan ng regulasyon, numero ng artikulo/annex, petsa at numero ng OG) para sa bawat na-verify na item. Sa wakas, "Aling sanggunian na ibinigay ng LLM ang naging mali/hindi kumpleto/ginawa?" Suriin ang tanong gamit ang isang talata.