출력 검증 및 사람의 검사

이득:

• 스키마 및 규칙 기반 출력 유효성 검사 계층을 설정하는 기능
• 영향력이 큰 의사 결정에서 인간 참여를 의미 있게 요구하는 능력
• 두 번째 모델을 사용하여 검증 및 신뢰 임계값 기반 라우팅을 설계하는 기능

언어 모델은 유연하고 설득력이 있으며 종종 정확합니다. 그러나 "설득력"은 "올바른"과 동일하지 않습니다. 모델은 금액, 날짜 또는 JSON 필드를 자동으로 맞출 수 있습니다. 이를 환각이라고 합니다(모델은 현실에 존재하지 않는 정보를 자신있게 생성합니다). 엔터프라이즈 시스템에서 해당 출력이 결제, 이메일, 데이터베이스 쓰기 등 다음 단계로 흘러가면 오류가 현실 세계로 퍼집니다. 이 단원에서는 출력이 시스템에 입력되기 전에 검증 레이어로 필터링하는 방법과 영향력이 큰 결정에서 인간 참여를 요구하는 방법을 배웁니다.

출력 검증이 필요한 이유는 무엇입니까?

모델 출력은 형식(예상 JSON 스키마를 준수하지 않음, 필드가 누락/초과) 및 콘텐츠(형식은 정확하지만 값이 잘못됨 - 존재하지 않는 제품 코드, 비논리적인 날짜)라는 두 가지 주요 방식으로 손상될 수 있습니다. 보안 측면에서는 세 번째 차원이 있습니다. 즉, 악성 출력(주입 또는 유출의 결과로 생성된 악성 명령)입니다. 견고한 시스템은 세 가지 모두를 문 앞에서 멈춥니다.

주의: "일반적으로 정확한 모델"은 생산 기준이 아닙니다. 검증되지 않은 시스템에서는 1,000분의 1 오류라도 하루 100,000건의 요청 중 100건의 잘못된 거래를 의미합니다.

인증 계층: 단계별

1. 스키마 유효성 검사. 출력이 예상 구조와 일치하는지 기계를 통해 확인하십시오. 필드가 있는지, 해당 유형이 올바른지, 필수 필드가 채워졌는지?
2. 규칙/비즈니스 로직 검증. 값이 비즈니스 규칙과 일치합니까? (금액 > 0, 날짜가 미래가 아니며 제품 코드가 카탈로그에 속합니다.)
3. 참조/소스 제어. 모델이 어설션을 생성하면 소스에 연결할 수 있나요? (RAG 인용문이 실제로 문서에 있나요?)
4. 두 번째 모델(LLM-as-judge)을 사용한 검증. 독립 모델은 출력을 "올바름/불완전/위험"으로 평가합니다.
5. 신뢰 임계값 및 방향. 모델이나 검증자가 낮은 신뢰도를 보고하면 출력이 자동으로 통과되지 않습니다. 인간을 대상으로 합니다.
6. 인간의 통제. 효능이 높거나 안전하지 않은 결과는 전문가의 승인에 따라 달라집니다.

복사 가능한 템플릿 4개

구성표 + "모르면 구성해 보세요"를 함께 사용:

다음 JSON 스키마로만 응답을 반환합니다. "low"를 쓰세요. 절대로 정확한 것처럼 견적을 작성하지 마십시오.

두 번째 모델을 통한 검증(판단 프롬프트):

당신은 독립적인 검증자입니다. 아래는 <source> 텍스트와 <claim>입니다. 청구서의 모든 숫자와 날짜가 소스에 그대로 나타나는지 확인하세요. 각각에 대해 "확인됨 | 소스에 없음 | 소스와 모순됨"이라고 말합니다. 그 중 하나라도 '부재/충돌'인 경우 결과를 "사람의 검토 필요"로 표시합니다.<source>{{ text }}</source><claim>{{ model_output }}</claim>

신뢰 임계값 라우팅 규칙:

라우팅 규칙:- emin_misin = "높음" AND 금액 < 10,000 TL -> 자동 처리- emin_misin = "중간" OR 금액 10,000-100,000 TL -> 두 번째 모델 검증- emin_misin = "낮음" OR 금액 > 100,000 TL -> 인간 승인 필요

인적 감사 요약 카드(검토 속도 향상):

어떤 사람에게 결정을 제시할 때 다음 카드를 제시하십시오. - 제안되는 내용은 무엇입니까? (한 문장) - 어떤 출처를 바탕으로 쓴 건가요? (기사/문서 참조) - 가장 취약한 2가지 가정은 무엇인가요? - 승인되면 되돌릴 수 있나요? (예/아니요)

약한 프롬프트 / 강한 프롬프트

접근 방식이 좋지 않음

강력한 접근 방식

"인보이스에서 금액 차감"(자유 텍스트)

엄격한 JSON 스키마 + null + 신뢰 필드

결제 시스템에 직접 출력 쓰기

스키마 → 규칙 → 사람 승인(필요한 경우)

모델에게 "확실히"라고 말하면 됩니다.

두 번째 모델을 사용한 숫자/날짜 검증

모든 출력을 동일한 신뢰도로 처리

영향력과 신뢰에 기반한 라우팅

강력한 접근 방식은 모델이 정확하기를 바라지 않습니다. 그것은 당신이 틀렸을 때 당신을 붙잡을 문을 만듭니다.

미니 케이스 3개

사례 1 - 계획만으로는 충분하지 않았습니다. 회계 자동화가 송장에서 JSON으로 금액을 추출하고 있었습니다. 구성표는 정확했지만 모델은 송장에 "1,250.00" 대신 "125,000"을 표시했습니다(소수점 이동). 이 계획은 이를 포착하지 못했습니다. 룰검증('송장항목 총액과 ±1% 일치해야 한다')을 잡아 112,500TL의 오기록을 방지했습니다.

사례 2 — 두 번째 모델은 환각을 포착했습니다. 법률 지원 보조원은 계약 요약에서 “해지 30일 통지”라고 말했습니다. 그런데 계약서에는 90일로 되어 있었습니다. 독립 판사가 모델에 "소스와 충돌"한다고 표시하면 출력이 사람에게 전달되어 수정되었습니다. 자동이라면 고객은 잘못된 날짜를 기준으로 취소를 통보하게 됩니다.

사례 3 - 라우팅을 통해 부하가 70% 감소했습니다. 보험금 청구 시스템은 소액, 고담보의 청구를 자동으로 승인하고 기준치 이상/저담보의 청구만 전문가에게 보냈습니다. 일일 요구량 3,200개 중 950개만이 인간에게 떨어졌습니다. 전문가들은 실제로 위험한 30%에 시간을 투자했으며 평균 거래 시간은 4시간에서 40분으로 단축되었습니다.

팁: "사람들이 모든 것을 볼 수 있도록" 인간의 통제를 설정하지 마십시오. 이렇게 하면 사람들이 지치게 되고 승인이 고무 도장이 될 것입니다. 대신에 영향력이 크고 신뢰도가 낮은 출력만 인간에게 전달하십시오. 이는 정말로 중요한 것에 관심을 집중시킵니다.

인간의 통제를 의미있게 만들기

Human-in-the-loop는 체크박스를 종이 위에 놓는 것이 아닙니다. 검토자는 (1) 결정을 이해할 수 있는 맥락, (2) 출처에 대한 접근, (3) "아니오"라고 말할 수 있는 권한을 가지고 있어야 합니다. 그렇지 않으면 컨트롤은 외관상 그대로 유지됩니다. 리뷰 카드(위의 네 번째 템플릿)는 바로 그러한 맥락을 제공하기 위한 것입니다.

일반적인 실수

• 스키마 유효성 검사를 수행하고 콘텐츠/값 오류를 건너뜁니다.
• 모델에게 "확인하세요"라고 말하는 것이 실제 검증을 수행하는 것이라고 생각합니다.
• 영향력이 크고 되돌릴 수 없는 결정을 자동으로 구현합니다.
• 모든 출력을 인간이 통제하고 승인을 무의미한 도장으로 바꾸는 것입니다.
• 출처와 맥락을 밝히지 않고 리뷰어에게 "승인"이라고 말합니다.
• 신뢰 임계값 설정 및 라우팅 없이 동일한 위험이 있는 모든 출력을 처리합니다.

요약하면

• 출력은 형식, 내용, 악의적 의도의 세 가지 방식으로 손상됩니다. 견고한 시스템은 세 가지 모두를 문 앞에서 멈춥니다.
• 레이어: 스키마 검증, 규칙/비즈니스 로직, 소스 제어, 두 번째 모델(LLM-판사) 및 신뢰 임계값 라우팅.
• 인간 참여 루프(Human-In-The-Loop)는 영향이 크고 안전성이 낮은 출력에 필수입니다.
• 인적 검토는 의미가 있어야 합니다. 검토자는 상황, 리소스 액세스 및 "아니오"라고 말할 수 있는 권한을 가지고 있어야 합니다.
• 모든 출력이 아닌 위험한 부분만 인간에게 지시함으로써 안전성과 효율성을 모두 얻을 수 있습니다.

응용과제

자신의 AI 출력에서 예를 들어보세요. 먼저 JSON 스키마를 정의하고 출력을 강제로 적용합니다. 그런 다음 비즈니스 규칙을 두 개 이상 작성합니다(예: "항목의 총계와 일치하는 금액"). 마지막으로 라우팅 테이블을 설정합니다. 어떤 신뢰/영향 조합이 자동으로 가고, 두 번째 모델로 가고, 어느 것이 인간에게 가나요? 결함이 있는 샘플을 생성하고 각 레이어가 이를 캡처하는 위치를 관찰합니다.

체크리스트

• [ ] 출력에 대한 엄격한 스키마를 정의하고 이를 기계로 검증합니다.
• [ ] 하나 이상의 비즈니스/규칙 유효성 검사(가치 논리)를 추가했습니다.
• [ ] 주장을 소스에 연결하여 확인할 수 있습니다.
• [ ] 높은 영향/낮은 안전성 결과에 대해 두 번째 모델 또는 인간 검증이 가능합니다.
• [ ] 신뢰와 영향력을 바탕으로 정의된 라우팅 규칙입니다.
• [ ] 리뷰어에게 문맥, 출처, 거부 권한을 제공합니다.