이득:
- 환경 법규(법률, 규정, 성명)의 계층 구조를 인식하고 가치 소스를 제한하는 능력
- 법안 스캔, 질문 생성 및 공식 텍스트 전달에 AI를 사용하는 능력
- 관보/공식 출처에서 AI가 부여한 물질 번호 및 한계를 확인하는 기능
환경 컨설팅 회사에서 새로운 염색공장 시설에 대한 폐수 배출 허가를 준비하고 있습니다. 고객이 "색상과 COD의 한계치는 무엇이며, 어떤 물질을 기준으로 합니까?"라고 질문합니다. 그는 묻고 시간은 제한되어 있습니다. 첫 번째 충동은 언어 모델에게 "수질 오염 관리 규정에 따른 섬유 산업 배출 제한은 무엇입니까?"라고 묻는 것입니다. LLM은 표 형식의 제한, 항목 번호 및 날짜를 초 단위로 제공합니다. 그것은 모두 매우 형식적이고 설득력있게 보입니다. 하지만 여기에 함정이 있습니다. 언어 모델은 통계적으로 텍스트를 생성합니다. 그는 존재하지 않는 품목 번호, 폐지된 규정 또는 잘못된 제한 값을 아주 진지하게 꾸며낼 수 있습니다. 본 단원에서는 올바른 계층의 법률 파악, 법률 연구에 AI를 안전하게 활용하는 방법, 관보에서 각 문제를 확인하는 방법 등을 다룹니다.
입법 계층
환경법은 계층 구조 내에서 운영됩니다. 낮은 단계는 높은 단계와 모순될 수 없습니다. 한계값의 출처를 알면 올바른 소스에서 해당 값을 찾을 수 있습니다.
단계
누가 벗나요?
바인딩
환경 사례
법
입법부(의회)
상단, 프레임
환경법
규제
사역/장관회의
법률을 적용하고 자세히 설명합니다.
수질오염방지규정
알림
사역
기술 세부 사항, 측정/한계 표
측정 및 분석 성명
회람/지침
행정
내부 애플리케이션 리디렉션
신청서 회람
한계값(배출 한계, 배출 한계)은 규정 부속서(표)나 성명에서 흔히 찾아볼 수 있습니다. 그럼 "어떤 문서를 봐야 할까요?" 문제는 "숫자는 무엇입니까?"입니다. 질문 앞에 온다.
폐지 및 집행의 위험
법률은 살아있습니다. 규정이 변경되고, 조항이 폐지되고, 날짜가 오래된 새로운 텍스트가 오래된 텍스트를 폐지합니다.
확인해야 할 역사적 상황: - 발효 날짜: 본문이 언제 발효되었습니까? - 변경일자 : 이후 해당 글이 변경되었나요? - 폐지 상태: 해당 조항/규정이 폐지되었습니까? - 경과 조항: 기존 시설에 대한 예외/연기가 있습니까?
주의: LLM의 교육 데이터는 특정 날짜까지이며 해당 날짜 이후에 변경된 법률을 알 수 없습니다. 또한 훈련 데이터에는 더 이상 사용되지 않는 오래된 규정이 포함될 수 있습니다. 모델은 이를 최신인 것처럼 제시할 수 있습니다. 한계 값을 사용하기 전에 해당 값의 기반이 되는 텍스트가 현재 유효한지 관보/공식 입법 포털에서 확인해야 합니다.
AI가 가짜 품목 번호를 만드는 위험
언어 모델의 가장 위험한 동작은 형식적으로는 정확하지만 내용에는 존재하지 않는 참조를 생성한다는 것입니다. "제26조에 따라" 또는 "부속서 표 19에 따라"와 같은 문구는 순전히 환각적일 수 있습니다.
약한 프롬프트: "항목 번호로 직물 폐수 배출 제한을 제공합니다." -> 모델은 정확해 보이지만 검증되지 않은 항목 번호와 숫자를 생성합니다. 강력한 프롬프트: "섬유/염색 공장의 폐수 배출 허가를 위해 어떤 법률과 어떤 유형의 부속서/표를 조사해야 하는지 설명하십시오. 귀하의 임무:1) 해당 주제와 어떤 섹션(부속서/표)에 대해 가능한 규정 및 성명 유형을 식별하십시오. "부문별 제한을 찾을 수 있다고 말해주세요. 2) 구체적인 품목 번호나 수치 제한을 설정하지 마십시오. 대신 '관보에서 확인됨'이라는 자리 표시자를 넣으세요. 3) 공식 텍스트에서 검색할 때 어떤 핵심 용어(섹터 이름, 매개변수)를 사용해야 하는지 나열합니다. 4) 확인해야 할 역사적 위험(폐지, 개정, 경과조항)을 상기시켜주세요."
강력한 프롬프트 모델은 이를 검색 및 탐색 도구로 사용합니다. "어떤 문서를 어떤 용어로 보아야 할까요?" — 번호의 출처가 아닙니다.
팁: 규제 연구에서 LLM을 사용하는 가장 안전한 방법은 LLM을 "답변기"가 아닌 "연구 나침반"으로 배치하는 것입니다. 모델이 다음과 같은 질문을 생성하도록 합니다. "이 시설에 대해 어떤 허가, 어떤 매개변수, 어떤 규정이 적용됩니까?" 그런 다음 공식 텍스트에서 이러한 질문에 대한 답을 찾으십시오. 모델이 지시합니다. 관보가 결정합니다.
검증 워크플로: 관보에서 확인
각 이슈 및 항목 번호에 대해 따라야 할 체인은 다음과 같습니다.
1) LLM에서 주제/문서 유형/핵심 용어를 가져옵니다(문서 번호에 의존하지 마십시오).2) 공식 입법 포털에서 규정의 현재 텍스트를 엽니다.3) 해당 텍스트가 폐지되지 않았는지와 그 발효일을 확인합니다.4) 텍스트에서 관련 기사/추가 사항을 검색합니다. 품번과 한도를 직접 눈으로 확인해보세요. 5) 경과규정 및 최신 개정사항을 확인하세요. 6) 보고서에는 [규정명], [논문/부속서 번호], [관보 날짜 및 번호]와 같이 전체 인용과 함께 출처를 기재합니다.
예: LLM 출력 테스트
# LLM의 참조를 "확인할" 체크리스트로 번역llm_iddialari = [ {"source": "SKKY", "item": "Annex Table 10.7", "parameter": "COD", "limit_mgL": 300, "status": "NOT VERIFIED"}, {"source": "SKKY", "item": "Article 26", "parameter": "pH", "limit": "6-9", "status": "NOT VERIFIED"},]for k in llm_claims: # 관보에서 'VERIFIED' 없이는 보고서를 입력할 수 없습니다.assert k["status"] == "NOT VERIFIED" print(f"REQUIRE CONFIRMATION: {k['source']} / {k['article']} / {k['parameter']}")# 각 행은 관보 텍스트에서 수동으로 찾아야 하며 상태를 업데이트해야 합니다.
이 접근 방식은 모델 출력을 직접 받아들여야 하는 "진실"이 아니라 확인해야 할 주장 목록으로 취급합니다.
미니 케이스
환경 담당관은 LLM으로부터 받은 "관련 규정 제18조"를 참조하여 대기 배출 보고서에 배가스 한계값을 기재했습니다. 보고서가 행정부에 제출되었을 때 감사인은 기사를 열었습니다. 제18조는 완전히 다른 문제(모니터링 의무)를 다루었고 모델이 제시한 수치 제한은 현행 텍스트에는 전혀 존재하지 않았습니다. 그 값은 2년 전에 폐지된 고시에 속했습니다. 보고서가 반송되었고 프로세스가 몇 주 동안 지연되었으며 회사는 신뢰를 잃었습니다. 추가 조사 결과 현재 회보의 부록에서 다른 번호로 한도가 발견되었습니다. 단 하나의 관보 통제만으로도 이 모든 손실을 예방할 수 있었습니다. 교훈: 모델은 참조를 "구성"할 수 있으며, 그렇게 하면 매우 설득력이 있습니다.
일반적인 실수
- 관보에서 확인하지 않고 LLM에서 부여한 물질 번호와 한계값을 사용합니다.
- 폐지된 규정을 현행 규정으로 착각함.
- 모델이 훈련 날짜 이후에 변경된 법률을 알지 못한다는 점을 무시합니다.
- 잘못된 레이어(법률)에서 한계값을 검색하는 단계; 값은 규정의 부속서/고시에 나와 있습니다.
- 과도기 조항 및 기존 시설 예외를 우회합니다.
- 전체 인용(규정 이름, 기사/부속서, RG 날짜 및 번호)과 함께 출처를 문서화하지 않습니다.
- 모델을 "응답기"로 사용하지 말고 연구 나침반으로 사용하십시오.
요약하면
- 환경법은 법률-규정-고시-순환 계층으로 운영됩니다. 한계값은 일반적으로 규정의 부록이나 고시에 나와 있습니다.
- 입법은 살아있습니다. 폐지, 개정 및 발효일은 각 문제의 유효성에 영향을 미칩니다.
- LLM은 믿을 수 있지만 존재하지 않는 항목 번호, 폐지된 텍스트 및 잘못된 제한(환각)을 생성할 수 있습니다.
- 모델을 안전하게 사용하는 방법은 답변의 소스로 사용하는 것이 아니라 "어떤 문서를 어떤 용어로 보아야 할까요?"로 사용하는 것입니다. 나침반을 만드는 것입니다.
- 각 기사 및 이슈는 현행 관보/법령 포털 텍스트를 통해 시각적으로 확인되어야 하며, 해당 출처는 전체 각인으로 작성되어야 합니다.
- AI 결과물은 예비 연구 초안이다. 공식 텍스트에 의한 확인 없이는 어떠한 입법 참조도 보고 또는 결정의 근거로 사용될 수 없습니다.
응용과제
구체적인 시나리오를 선택합니다(예: 시설의 폐수 배출 또는 배가스 배출에 대한 한계값 연구). 먼저, 강력한 프롬프트를 작성하고 지침용으로만 LLM을 사용하십시오. 어떤 유형의 규정/고지, 어떤 부속서/표 및 어떤 주요 용어를 살펴보아야 하는지 생성하십시오. "확인되지 않음"이라고 표시된 청구 목록에 모델에서 제공한 모든 품목 번호와 번호를 적어 두십시오. 그런 다음 실제 공식 출처(공보/공식 입법 포털)에서 관련 최신 텍스트를 찾으세요. 그것이 유효하고 폐지되지 않았는지 확인하십시오. 관련 물질/보충제 및 한계값을 육안으로 확인하십시오. 검증된 각 항목에 대한 전체 인용(규정 이름, 기사/부속서 번호, OG 날짜 및 번호)을 작성합니다. 마지막으로, "LLM이 제공한 참고문헌 중 어느 것이 잘못/불완전/조작된 것으로 밝혀졌습니까?" 문단으로 질문을 평가하세요.