이득:
- 편견이 데이터(역사적, 표현적, 측정, 집계)에서 비롯된다는 것을 이해하고 하위 그룹을 기반으로 모델을 평가함으로써 숨겨진 차별을 탐지하는 능력
- 모델 카드를 사용하여 영향력이 큰 결정 및 문서 투명성에 대한 설명 가능성, 사람의 감독 및 책임을 제공하는 기능
- 가장 작은 적정 모델, 신속한 단축, 캐시 및 배치로 품질 저하 없이 재정 및 환경 비용을 관리할 수 있는 능력
모델은 기술적으로 완벽하게 작동하지만 여전히 잘못될 수 있습니다. 즉, 일부 사람들에게 불공평하거나, 설명할 수 없거나, 지속 불가능한 비용을 발생시키는 경우입니다. 이 단원에서는 ML 엔지니어링의 '눈에 보이지 않지만' 결정적인 세 가지 차원인 편견과 공정성, 윤리와 투명성, 비용과 지속 가능성을 다룹니다. 이것은 나중에 추가되는 장식품이 아니라 엔지니어링 품질의 필수적인 부분입니다.
편견은 어디서 오는가?
모델 편향(모델이 특정 그룹을 다르게/불공정하게 체계적으로 처리하는 것)은 일반적으로 모델이 아닌 데이터에서 비롯됩니다. 출처:
- 역사적 편향: 데이터는 과거의 불의를 반영합니다. 특정 그룹이 과거에 낮은 신뢰를 받았다면 해당 데이터로 훈련된 모델은 이러한 차별을 학습하고 영속시킬 것입니다.
- 표현 편향: 일부 그룹은 데이터에서 과소 대표됩니다. 모델 성능이 좋지 않습니다(예: 소규모 표본 인구 통계에서 정확도가 낮음).
- 측정 편향: 라벨 자체가 편향되어 있습니다(예: "좋은 직원"의 정의가 과거 승진 결정을 기반으로 하는 경우).
- 집계 편향: 데이터가 특정 채널에서 나오므로 우주를 대표하지 않습니다.
모델은 이러한 편향만 학습하는 것이 아닙니다. 자동화하여 확장합니다. 한 사람의 편향된 결정은 다른 사람에게 영향을 미칩니다. 편향된 모델의 평결은 수백만 달러입니다.
주의: "모델은 단지 수학이기 때문에 중립적입니다."라고 말하는 실수에 빠지지 마십시오. 이 모델은 데이터에서 인간의 편견을 학습하고 자동화합니다. 중립성은 기본이 아니라 측정하고 보장해야 하는 결과입니다.
정의를 측정하다
정의를 관리하려면 먼저 측정이 필요합니다. 이를 위해 하위 그룹을 기준으로 모델을 평가합니다. 정확도, 재현율, 거짓양성률과 같은 측정항목이 여러 인구통계 그룹에 걸쳐 동일합니까? 정의의 몇 가지 개념:
- 그룹 공정성: 모델이 비슷한 비율로 다양한 그룹을 올바르게/부정확하게 처리합니까?
- 기회의 평등: 모델이 모든 그룹에서 진정으로 긍정적인 요소를 동등하게 포착합니까(균등 회상)?
중요한 사실: 정의에 대한 서로 다른 정의가 동시에 충족되지 않을 수 있습니다(이것은 수학적 결과입니다). 이러한 맥락에서 정의에 대한 어떤 정의가 우선시되는지는 기술적인 결정이 아닌 윤리적이고 사업적인 결정이며 이해관계자들과 함께 내려집니다.
약한 접근 / 강력한 접근
나쁨: "모델의 전체 정확도는 88%로 공평합니다."
Güçlü: "전체 정확도는 88%였지만 하위 그룹으로 나누었을 때 재현율은 한 그룹에서는 91%, 다른 그룹에서는 67%였습니다. 모델에서 체계적으로 해당 그룹이 누락되었습니다. 우리는 이유(표현 부족)를 문서화하고 해당 그룹에 대한 데이터를 수집한 후 동일 재현 목표로 재평가했습니다. 우리는 이해관계자들과 함께 어떤 공정성 정의에 우선순위를 둘지 결정했습니다."
차이점: 강력한 접근 방식은 일반적인 측정 기준 뒤에 숨지 않고 하위 그룹을 분리하고 공정성을 공개 결정으로 취급합니다.
윤리와 투명성
책임 있는 AI의 핵심 원칙은 다음과 같습니다.
- 설명 가능성(Explainability): 모델이 이러한 결정을 내린 이유를 설명할 수 있습니까? 영향력이 큰 결정(신용, 채용, 의료)에 있어서 사람은 설명을 들을 권리가 있습니다. 설명되지 않은 모델은 이러한 영역에서 사용되어서는 안 되며, 설명 가능한 방법으로 지원되어야 합니다.
- 인간의 감독: 영향력이 큰 결정은 자동으로 내려져서는 안 됩니다. 모델은 제안하고 인간은 확인합니다.
- 책임: 모델이 오류를 범할 경우 책임이 누구에게 있는지 명확해야 합니다. “모델이 결정됐다”는 것은 변명이 아니다.
- 투명성: 사용자는 AI와 상호 작용하고 있으며 데이터가 어떻게 사용되는지 알아야 합니다.
많은 국가와 부문에서 이러한 원칙은 법률(고위험 AI 시스템에 대한 투명성, 감사 및 인간 감독 의무)에도 포함되어 있습니다. 엔지니어는 해당 분야의 규정을 알아야 할 책임이 있습니다.
팁: 영향력이 큰 각 모델에 대해 "모델 카드"를 보관하세요. 모델이 수행하는 작업, 모델이 훈련된 데이터, 어느 그룹에서 얼마나 잘 작동하는지, 알려진 한계는 무엇인지 등이 있습니다. 이 문서는 투명성과 책임성 도구입니다.
비용과 지속 가능성
AI는 저렴하지 않습니다. 비용은 두 가지 차원으로 관리됩니다.
재정적 비용:
- 토큰 비용(LLM): 각 요청 및 응답에는 토큰 비용이 듭니다. 양이 늘어나면 청구서도 늘어납니다. 불필요하게 긴 프롬프트, 지나치게 큰 모델 선택 및 제어되지 않은 에이전트 루프(단위 5)로 인해 비용이 부풀려집니다.
- 교육 및 호스팅: 미세 조정 및 모델 프레젠테이션에는 하드웨어 비용이 발생합니다.
- 최적화: 작은 모델로 충분하다면 큰 모델을 사용하지 마십시오. 자주 묻는 질문을 캐시하세요. 프롬프트를 줄이십시오. 처리할 수 있는 항목을 일괄 처리합니다.
환경 비용: 대규모 모델 훈련 및 추론은 상당한 에너지를 소비합니다. 지속 가능성은 불필요한 계산(올바른 크기 모델, 효율적인 아키텍처)을 피하는 것을 전문적인 책임으로 만듭니다.
팁: 비용 최적화의 첫 번째 규칙: "이 작업에 가장 적합한 모델은 무엇입니까?" 가장 강력한 모델을 어디에나 두는 것은 큰 망치로 못을 박는 것과 같아서 비용이 많이 들고 불필요합니다.
세 개의 미니 케이스
사례 1 - 숨겨진 차별. 채용전형 모델은 전반적으로 괜찮아 보였습니다. 하위 그룹 분석에 따르면 과거 데이터가 남성 중심이었기 때문에 모델이 체계적으로 여성 후보자를 강조했습니다. 즉, 역사적 편견을 학습했기 때문입니다. 모델이 중지되고 데이터 균형이 조정되었으며 공정성 지표가 모니터링되었습니다. 일반적인 정의는 숨겨진 차별을 덮었습니다.
사례 2 - 설명할 수 없는 거부. 신용 모델이 신청을 거부했지만 누구도 그 이유를 설명할 수 없었습니다. 고객이 법적 설명을 요청했을 때 팀에서는 응답할 수 없었습니다. 설명 가능한 방법이 추가되고 각 거부에 대한 정당성이 생성될 때까지 모델은 영향력이 큰 결정에 사용되지 않도록 철회되었습니다. 교훈: 설명 가능성은 영향력이 큰 의사 결정에 필수적입니다.
사례 3 - 빌 쇼크. 한 팀은 각 요청에 대해 가장 큰 LLM과 매우 긴 프롬프트를 사용하고 있었습니다. 월 청구서가 예기치 않게 늘어났습니다. 사후 분석: 대부분의 요청은 작은 모델로 해결될 수 있었고, 프롬프트 중 절반은 중복되었으며 자주 묻는 질문은 캐시될 수 있었습니다. 이 세 가지 최적화를 통해 품질 저하 없이 비용이 크게 절감되었습니다. 교훈: 가장 강력한 모델이 모든 곳에서 필요한 것은 아닙니다.
복사 가능한 템플릿
이 모델의 편견/공정성을 평가하는 데 도움을 주세요. 어떤 하위 그룹(인구통계/세그먼트)을 나누고 측정해야 합니까? 어떤 지표(정확도, 재현율, 그룹별 오탐지율)를 비교해야 합니까? 공정성에 대한 서로 다른 정의가 충돌할 수 있습니까? 이 맥락에서 우선순위를 두어야 하는 것과 그 이유는 무엇입니까? 모델/의사결정 맥락: [설명]
이 영향력 있는 모델에 대한 초안 모델 카드를 생성합니다. 포함해야 할 사항: 목적, 훈련 데이터 및 날짜, 하위 그룹의 성과, 알려진 한계, 적절/부적절한 사용, 설명 가능 상태, 사람의 감독 지점. 모델: [설명]
품질 저하 없이 이 LLM 구현 비용을 줄일 수 있도록 도와주세요.사용 가능: 모델 크기, 평균 프롬프트 길이, 요청 양, 캐시가 있습니까?평가:1) 더 작은 모델이 어떤 작업에 충분한가요?2) 프롬프트를 줄일 수 있습니까?3) 자주 요청을 캐시할 수 있습니까?4) 일괄 처리에 사용할 수 있는 작업이 있습니까?각 제안의 예상 영향을 기록해 둡니다.
이 영향력이 큰 의사결정 시스템에 대한 윤리/책임 체크리스트를 생성합니다.- 설명성: 결정의 정당성이 생성될 수 있습니까?- 인간의 감독: 영향력이 큰 결정이 승인을 받아야 합니까?- 책임: 오류 발생 시 책임은 누구에게 있습니까?- 투명성: AI가 사용되고 있음을 사용자가 알고 있습니까?- 규제: 관련된 법적 의무는 무엇입니까?시스템: [설명]
바이어스 소스 테이블
소스
증상
예방 조치
역사적 편견
과거 차별은 계속된다
데이터 감사 + 공정성 지표
표현편향
소규모 샘플 그룹에서 정확도가 낮음
하위 그룹 분석 + 균형 조정
측정 편향
편향된 라벨
라벨 프로세스 검토
집계 편향
우주는 표현되지 않는다
자원다양화
일반적인 실수
- 전반적인 지표에 의존합니다. 하위 집단 분석 없이는 숨겨진 차별을 볼 수 없습니다.
- "모델 중립"을 가정합니다. 모델은 데이터의 편향을 학습하고 증폭합니다.
- 설명할 수 없는 모델에 큰 영향을 미치는 결정을 맡깁니다. 법적, 윤리적 위험.
- 인간의 감독을 우회합니다. "모델이 결정되었습니다"는 변명의 여지가 없습니다.
- 가장 큰 모델을 어디에나 배치합니다. 불필요한 비용과 에너지.
- 비용을 추적하지 않습니다. 지폐가 조용히 부풀어 오른다.
요약하면
기술적으로 올바른 모델이라도 공정하고 설명 가능하며 지속 가능하지 않다면 여전히 실패입니다. 편향은 대부분 데이터에서 비롯되며 모델은 이를 대규모로 확대합니다. 하위 그룹별로 공정성을 측정하고 우선순위를 정할 공정성 정의에 대해 이해관계자와 합의합니다. 설명 가능성, 사람의 감독 및 책임은 영향력이 큰 결정에 필수적입니다. 모델 카드를 사용한 문서 투명성. 비용 및 에너지 관리: 가장 작은 적절한 모델을 선택하고 프롬프트를 단축하며 캐시 및 배치를 사용합니다. 이러한 치수는 나중에 추가되는 장식이 아니라 엔지니어링 품질의 필수적인 부분입니다.
응용과제
모델을 두 개 이상의 하위 그룹으로 나누고 그룹별로 재현율과 거짓양성률을 비교합니다. 큰 차이가 있는 경우 그 이유와 주의사항을 기재합니다. 영향력이 큰 모델(목적, 데이터, 하위 그룹 성능, 경계, 설명 가능성)에 대한 간략한 모델 카드 초안을 작성합니다. LLM 구현 비용을 줄이고 예상되는 영향을 기록하기 위해 최소 두 가지 구체적인 최적화(최소/즉시 자르기/캐시/배치)를 식별합니다.
체크리스트
- [ ] 하위 그룹을 기반으로 모델을 평가했으며 일반적인 측정 항목에 의존하지 않았습니다.
- [ ] 나는 이해관계자들과 함께 어떤 정의의 정의에 우선순위를 둘지 결정했습니다.
- [ ] 영향력이 큰 결정은 설명 가능하며 사람의 승인을 받아야 합니다.
- [ ] 패턴 카드로 투명도와 경계선을 기록했습니다.
- [ ] 나는 가장 작은 적절한 모델을 선택했습니다. 프롬프트/캐시/배치를 최적화했습니다.
- [ ] 비용과 에너지 영향을 모니터링합니다.