MLOps 재단, 윤리, 개인 정보 보호 및 책임 있는 분석

이득:

• MLOps 단계(릴리스, 배포, 모니터링, 재교육, 롤백) 및 모델 드리프트를 이해하고 모니터링되는 배포를 계획하는 능력
• 모델의 공정성, 투명성, 책임성 원칙을 적용하고 통계적 정확성과 윤리적 수용성을 구별하는 능력
• KVKK/GDPR 원칙에 따라 개인 데이터를 보호하고 영향력이 큰 결정을 내릴 때 최종 책임을 인간에게 할당하는 능력

모델을 훈련하고 높은 점수를 얻는 것은 끝이 아니라 중간입니다. 실제 가치는 모델이 생산에 투입되어 안정적으로 작동하고, 시간이 지나도 품질 저하 없이 모니터링되며, 전체 프로세스가 윤리적, 법적 경계 내에서 수행될 때 발생합니다. 이 마무리 단위는 MLOps(모델 모니터링 및 유지 관리 분야), 윤리(공정성, 투명성, 악의 없음) 및 개인 정보 보호(개인 데이터 보호)의 세 가지 주제를 결합합니다. AI는 이러한 영역에서 코드, 체크리스트 및 청사진을 생성합니다. 그러나 모델의 실행 여부, 영향을 받을 사람, 사용할 수 있는 데이터는 인간이 결정합니다. 이러한 결정은 기술적 결정이 아니라 책임 결정입니다.

MLOps: 모델이 제품처럼 살아있습니다.

MLOps(기계 학습 운영 - 프로덕션에서 기계 학습 모델을 실행, 모니터링 및 업데이트하는 방식)는 소프트웨어 개발에서 DevOps를 데이터 과학에 적용한 것입니다. 기본 아이디어: 모델은 한 번 학습하고 잊어버리는 파일이 아니라 지속적인 유지 관리가 필요한 살아있는 제품입니다. 주요 단계:

1. 버전 관리: 코드(Git), 데이터 및 모델이 함께 버전 관리됩니다. 어떤 모델이 어떤 데이터와 코드로 제작되었는지 기록됩니다.

2. 배포: 모델이 API 또는 배치 작업으로 실시간 배치됩니다. 일반적으로 소규모 청중에게 먼저 제공됩니다(그늘/카나리아 배포).

3. 모니터링: 모델의 성능과 입력 데이터를 지속적으로 모니터링합니다.

4. 재교육: 성능이 떨어지면 업데이트된 데이터로 모델을 재교육합니다.

패턴 변화: 조용한 왜곡

프로덕션에서 가장 큰 위험은 모델 드리프트(모델 드리프트/데이터 드리프트)입니다. 세상은 변합니다. 모델을 학습한 조건(고객 행동, 가격, 계절, 법률)은 시간이 지남에 따라 바뀌고 모델은 더 이상 사용되지 않게 됩니다. 예를 들어, 팬데믹 이전에 훈련된 수요 모델은 팬데믹 기간 동안 완전히 잘못된 것입니다. 드리프트는 데이터 드리프트(입력 데이터 변경의 분포)와 개념 드리프트(입력과 대상 변경 간의 관계)의 두 가지 형태로 발생합니다. 이를 포착하는 방법은 모니터링입니다. 입력 분포, 예측 분포 및 (가능한 경우) 실제 결과와 비교한 성능을 지속적으로 추적합니다.

주의: 생산에 들어간 모델은 저절로 품질이 저하됩니다. '만약'이 아니라 '언제'의 문제입니다. 모니터링을 설정하지 않고 모델을 배포하는 것은 엔진을 제어하지 않고 자동차를 운전하는 것과 같습니다. 어느 날 그것은 조용히 거기 앉아 있고 당신은 눈치 채지 못합니다.

MLOps 요소

목적

방치한 경우

버전 관리

무엇이 생산되는지 아는 것

재현 불가능, 추적 불가능

모니터링

슬립을 일찍 보니

모델이 조용히 분해됩니다.

재교육

최신 정보를 유지하세요

예측은 오래됐다

롤백

나쁜 모델로 돌아가다

결함이 있는 모델은 계속 살아있습니다.

문서

투명성, 회전율

정보가 한 사람에게 갇히게 됩니다.

윤리: 모델 결정이 사람들에게 영향을 미칩니다

신용, 고용, 보험, 정의 등 사람들의 삶에 영향을 미치는 결정에 데이터 모델이 점점 더 많이 사용되고 있습니다. 이 힘에는 책임이 따릅니다. 주요 윤리적 위험:

편견과 차별: 모델은 과거 데이터의 불의를 학습하고 영속시킬 수 있습니다. 특정 그룹이 과거에 낮은 평가를 받은 경우 모델은 이를 "규칙"으로 가정하고 차별을 자동화합니다. 그렇기 때문에 모델이 다양한 그룹(성별, 연령, 지역)에 대해 유사하게 작동하는지 확인하는 공정성 분석이 필수적입니다.

투명성 및 설명 가능성: 모델이 사람을 거부한 이유를 설명할 수 있어야 합니다. “블랙박스에 그렇게 되어 있다”는 말은 윤리적으로나 법적으로나 받아들일 수 없는 경우가 많습니다. 이것이 바로 설명 도구(기능 중요도, SHAP 값)가 중요한 이유입니다.

책임: 모델이 잘못된 결정을 내린 경우 책임은 누구에게 있습니까? 대답은 항상 모델이 아닌 사람/기관입니다. 영향력이 큰 결정에서는 인간의 감독(인간 참여형, 최종 결정을 승인하는 인간)이 유지되어야 합니다.

주의: 모델은 통계적으로는 "정확"하지만 윤리적으로는 허용되지 않을 수 있습니다. 한 그룹에 체계적으로 불이익을 주는 매우 정확한 모델은 좋은 모델이 아닙니다. 정직은 정의를 대신할 수 없습니다.

개인 정보 보호: 개인 데이터는 신중하게 보호됩니다.

데이터 과학의 원재료는 개인 데이터인 경우가 많으며 이 데이터는 법률(터키예의 KVKK, 유럽의 GDPR)로 보호됩니다. 기본 원칙은 다음과 같습니다: 목적 제한(데이터는 수집된 목적 이외의 목적으로 사용되지 않음), 데이터 최소화(필요한 것보다 더 많은 데이터가 수집/보유되지 않음), 익명화(식별 정보 제거) 및 보안(데이터는 암호화된 상태로 유지되고 액세스가 제한됨)입니다. AI 도구 작업 시 중요한 규칙: 실제 개인 데이터를 공용 AI 도구에 붙여넣지 마십시오. 대부분의 경우 다이어그램과 익명/합성 샘플이면 분석에 충분합니다.

정보 보안의 맥락에서 추가 강조 사항: 방어적이고 합법적인 분석 목적으로 권한이 있는 데이터 및 시스템에만 데이터 과학 도구 및 기술을 사용하십시오. 다른 사람의 데이터에 대한 무단 액세스, 개인 재식별(익명 데이터에서 신원 추출) 또는 무단 프로파일링은 모두 불법이며 비윤리적입니다.

세 개의 미니 케이스

사례 1 - 추적되지 않은 붕괴. 한 전자상거래 회사는 추천 모델을 출시했지만 추적을 설정하지 않았습니다. 4개월 후 제품 카탈로그가 크게 변경되었습니다. 모델은 계속해서 오래된 제품을 추천했고, 전환율은 조용히 30% 감소했습니다. 몇 달 동안 아무도 눈치 채지 못했습니다. 교훈: 모니터링 없는 배포는 맹목적입니다.

사례 2 - 숨겨진 차별. 채용 심사 모델은 과거 데이터의 성별 불균형과 체계적으로 여성 후보자를 과소평가한 사실을 학습했습니다. 공정성 분석이 이루어지지 않아 주목받지 못했습니다. 이는 감사를 통해 밝혀졌으며 해당 기관은 심각한 평판/법적 위험에 직면했습니다. 교훈: 영향력이 큰 모델에서는 그룹 기반 공정성 제어가 필수적입니다.

사례 3 - 기밀성 위반. 한 분석가는 실제 고객 이메일과 구매 내역이 포함된 파일을 공용 AI 도구에 로드하고 "세그먼트를 요약합니다"라고 말했습니다. 개인 데이터가 기관을 떠났습니다. KVKK 프로세스가 시작되었습니다. 올바른 방법은 ID 필드를 제거하고 익명 속성만 공유하는 것이었습니다. 교훈: 실제 개인 데이터는 공개 도구에 입력되지 않습니다.

복사 가능한 템플릿 4개

1) 배포 전 체크리스트:

귀하의 역할: MLOps 컨설턴트. 버전 관리, 지표 모니터링, 롤백 계획, 성능 임계값, 데이터 드리프트 경고, 책임자 등 모델을 프로덕션에 적용하기 전에 확인해야 할 사항을 나열하세요. 각 항목에 대해 "중요한 이유"라는 한 문장의 설명을 추가합니다. 내가 결정할 것이다.

2) 모델 이동 추적 설계:

프로덕션의 분류 모델에 대한 드리프트 모니터링 계획을 제안합니다. (1) 어떤 입력 분포를 모니터링해야 하는지, (2) 예측 분포에 대한 경보는 무엇인지, (3) 실제 결과가 도착할 때 성능을 비교하는 방법, (4) 어떤 임계값 재훈련이 트리거되어야 하는지를 나타냅니다. 또한 코드 뼈대를 제공하십시오.

3) 공정성 관리:

다양한 그룹(예: 연령대, 지역)에 대한 모델 성능을 비교하는 코드를 작성합니다(각 그룹에 대한 재현율/정밀도 및 긍정적인 결정 비율). 그룹 간에 상당한 차이가 있는 경우 경고합니다. 인과적/정치적 해석을 하기; 차이점을 보여주시면 결정을 고려해 보겠습니다.

4) 개인정보 사전 확인:

AI 도구에 데이터를 제공하기 전에 다음을 확인하십시오. 아래 열 목록에 개인/신원 데이터(이름, 이메일, ID, 전화, 주소, IP)가 있습니까? 그렇다면 어떤 항목을 제거하거나 익명화해야 하는지 나열하세요. 열: [목록]. 목적: 익명 스키마만 공유합니다.

약한 프롬프트 / 강한 프롬프트

약한 프롬프트:

내 모델이 준비되었습니다. 라이브로 전환하세요.

배포는 단일 단계가 아닙니다. 모니터링, 롤백, 공정성 및 개인 정보 보호 제어 없이 라이브를 진행하는 것은 재앙을 불러오는 소리 없는 초대입니다.

강력한 프롬프트:

귀하의 역할: 책임 있는 MLOps 컨설턴트. 내 모델이 훈련되었습니다. 실제로 실행하기 전에 완전한 준비를 하고 싶습니다. 생성: (1) 배포 전 체크리스트, (2) 드리프트 모니터링 계획, (3) 그룹 기반 공정성 확인 코드, (4) 개인 정보 확인(개인 데이터가 있는지). 또한 영향력이 큰 결정에서 인간의 동의를 보호하는 방법을 제안합니다. 최종 결정은 내가 결정합니다.

여기에서는 배포, 모니터링, 공정성 및 개인 정보 보호가 하나의 책임 있는 프로세스로 처리됩니다.

일반적인 실수

• 모니터링을 설정하지 않고 모델 배포 모델은 조용히 미끄러지고 왜곡됩니다. 알아차리는 데 몇 달이 걸릴 수 있습니다.
• 정의 점검을 우회합니다. 충실도가 높은 모델은 체계적으로 그룹에 불이익을 줄 수 있습니다.
• 설명할 수 없는 블랙박스 결정을 내립니다. 영향력이 큰 결정은 설명 가능해야 합니다. "모델이 그렇게 말했다"만으로는 충분하지 않습니다.
• 개방형 AI 도구에 실제 개인 데이터를 제공합니다. KVKK/GDPR 위반; 다이어그램과 익명의 예시로 충분합니다.
• 결정을 모델에 위임합니다. 책임은 항상 사람에게 있습니다. 큰 영향을 미치는 인간 감시가 유지됩니다.

팁: 각 모델을 실행하기 전에 큰 소리로 한 가지 질문을 하십시오. "이 모델이 내일 조용히 중단되거나 부당하게 그룹에 불이익을 가한다면 어떻게 이를 알아차리고 되돌릴 수 있습니까?" 이 질문에 대한 명확한 답이 없다면 해당 모델은 아직 생산 준비가 되지 않은 것입니다.

요약하면

모델의 임무는 높은 점수로 끝나는 것이 아니라 생산 과정에서 안정적이고 책임감 있게 일하는 것으로 끝나게 됩니다. MLOps는 실시간 가동, 드리프트 모니터링, 재교육 및 모델 롤백을 수행하는 분야입니다. 추적 없는 배포는 자동 축소입니다. 윤리에는 모델의 공정성, 투명성 및 책임이 필요합니다. 통계적 정확성은 윤리적 수용을 대체할 수 없습니다. 개인 정보 보호는 KVKK/GDPR 원칙에 따라 개인 데이터를 보호하고 공개 도구에서 실제 데이터를 멀리하는 것을 의미합니다. 이 모든 결정은 기술적 결정이 아니라 책임 결정이며 항상 인간의 몫입니다.

응용과제

구축한(또는 가상의) 모델을 프로덕션에 적용하고 (1) 배포 전 체크리스트, (2) 추적할 드리프트 지표, (3) 그룹 기반 공정성 제어 계획, (4) 개인 정보 보호 제어의 네 가지 목록을 작성하는 것처럼 생각하십시오. 그런 다음 "내일 조용히 깨지면 어떻게 알아차리고 돌려받을 수 있나요?"라는 질문에 대한 구체적인 답변을 작성하세요.

체크리스트

• [ ] 모니터링(슬립 경고) 및 롤백 계획을 사용하여 모델을 배포하고 있습니까?
• [ ] 그룹별 공정성/성과 격차를 확인했습니까?
• [ ] 영향력이 큰 결정에 대해 인간 참여형(Human-In-The-Loop)을 유지했습니까?
• [ ] KVKK/GDPR 원칙에 따라 개인 데이터를 보호하고 공개 도구로부터 멀리했습니까?
• [ ] 모델이 아닌 인간에게 궁극적인 책임을 맡겼습니까?

모듈 시험

1. 데이터 과학자가 인공지능에게 "이 데이터에 대한 랜덤 포레스트의 정확도는 얼마나 되나요?"라고 묻습니다. 모델을 전혀 훈련하지 않고 "89%"라는 답을 프레젠테이션에 직접 넣습니다. 이 접근 방식의 근본적인 실수는 무엇입니까?

• A) 인공 지능에 데이터와 모델을 제공하지 않고 측정 항목을 기다리는 중입니다. 생성된 숫자가 가짜이고 실제 측정항목은 훈련과 테스트를 통해서만 찾을 수 있다는 점을 무시함 ✔
• B) 랜덤 포레스트 대신 로지스틱 회귀를 사용해야 합니다.
• 다) 정확도는 항상 90% 이상이어야 합니다.
• D) 프레젠테이션에 지표를 포함하는 것은 엄격히 금지되어 있습니다.

설명: 인공 지능은 모델과 데이터에 액세스하지 않고는 지표를 생성할 수 없습니다. 그가 제시한 숫자는 환각(조작)이다. 측정항목은 모델이 실제로 훈련되고 테스트된 후에만 데이터 과학자가 직접 계산하여 얻습니다. 확인되지 않은 출력은 서명되지 않은 보고서와 같습니다.

2. 이탈 예측 데이터 수집 시 '계정 폐쇄 사유' 항목이 포함됩니다. 이 열은 고객이 떠난 후에만 채워집니다. 모델은 테스트 세트에서 97%를 제공하지만 프로덕션에서는 작동하지 않습니다. 이 상태의 이름과 원인은 무엇입니까?

• A) 과잉 학습; 모델이 너무 복잡함
• B) 데이터 유출; ✔ 예측 당시에는 알 수 없으나 타겟의 결과인 정보를 특징으로 활용
• C) 학습이 부족합니다. 모델이 너무 단순해요
• D) 선택 편향; 작은 표본 크기

설명: 이는 전형적인 데이터 유출입니다. '종료 이유'는 대상의 결과이며 예측 당시에는 여전히 비어 있습니다. 모델은 이러한 미래 지식을 사용하여 트릭을 수행합니다. 테스트 세트에서는 훌륭해 보이지만 해당 열이 비어 있기 때문에 프로덕션에서는 충돌이 발생합니다. '예측 시점에 가지고 있는가'라는 질문을 각 열에 물어야 합니다.

3. 분석가는 수익 열의 누락된 값을 평균으로 채웁니다. 그러나 실종자는 실제로 소득을 신고한 적이 없는 저소득층에 속한다(체계적 실종). 이 채우기가 잘못된 이유는 무엇입니까?

• A) 평균은 항상 중앙값보다 크므로 올바르지 않습니다.
• B) 누락된 값은 절대로 채워서는 안 되며, 항상 삭제해야 합니다.
• C) 체계적인 격차를 평균으로 채우는 것은 해당 그룹을 인위적으로 대표함으로써 데이터를 왜곡합니다. '왜 비어있지?'라는 질문도 없이 채움이 이루어졌습니다. ✔
• D) 평균을 계산하면 속도가 너무 느려 성능 문제가 발생합니다.

설명: 결핍의 원인에 따라 해결책이 결정됩니다. 체계적 결측(특정 집단에 집중된 격차)을 평균으로 채우면 그 집단은 인위적으로 '평균소득'이 되어 데이터가 왜곡된다. 채우기 전에 '왜 비어 있는가'라는 질문을 던져야 합니다. 체계적/중요한 누락 평균을 채워서는 안 됩니다.

4. 팀은 '광고비'와 '매출액' 사이의 상관관계가 0.78임을 찾아 예산을 두 배로 늘립니다. 그러나 실제로 두 가지 모두를 유발하는 것은 계절별 캠페인입니다. 통계의 어떤 원리가 이 오류를 설명합니까?

• A) 상관관계는 인과관계가 아닙니다. 숨겨진 세 번째 변수가 두 변수 모두에 영향을 미칠 수 있습니다. ✔
• 나) 상관관계가 0.78로 너무 낮기 때문에 무시해야 한다.
• C) 상관관계는 항상 인과관계를 증명하며, 팀은 이를 옳게 했습니다.
• 라) 광고와 매출의 상관관계는 수학적으로 계산할 수 없다.

설명: 상관관계는 인과관계가 아닙니다. 숨겨진 세 번째 변수(여기서는 계절 캠페인)가 두 변수 모두에 영향을 미치기 때문에 두 변수가 함께 작용할 수 있습니다. 하나가 다른 하나를 유발한다는 결론은 실험과 현장 지식을 통해서만 확립될 수 있습니다. 상관관계의 수만으로는 인과관계의 증거가 되지 않습니다.

5. 사기 탐지 모델은 99.2%의 정확도를 보여 팀에서는 축하합니다. 그러나 데이터 속 가짜 거래율은 0.8%에 불과하고 모델의 재현율은 6%에 불과하다. 이 표는 무엇을 보여줍니까?

• A) 정확도가 99% 이상이라 모델이 완벽합니다.
• B) 불균형 데이터로 인해 정확성이 오해를 불러일으킵니다. 모델은 거의 모든 가짜를 놓칩니다(낮은 재현율). 적절한 측정항목을 살펴봐야 합니다 ✔
• 다) 모델의 회상률이 높기 때문에 문제가 없습니다.
• D) 가짜 비율이 낮기 때문에 모델을 구축할 필요가 없었습니다.

설명: '정확도'는 불균형 데이터에서 오해의 소지가 있습니다. 모델이 거의 모든 거래를 'clean'이라고 호출할 경우 가짜가 거의 없기 때문에 높은 정확도를 얻지만, 주요 목적인 가짜를 포착하지 못합니다(재현율 6%). 따라서 불균형 문제에서는 정확도가 아닌 재현율/정밀도 등 업무 목적에 적합한 혼동행렬 및 지표에 중점을 둡니다.

6. 수요 예측 프로젝트에서 시간 종속 데이터는 훈련/테스트로 무작위로 분할됩니다. 이 모델은 93%의 정확도를 제공하지만 생산 시 충돌이 발생합니다. 올바른 분할 접근 방식은 무엇입니까?

• A) 테스트 세트 확대. 50%/50% 분할
• B) 더 복잡한 모델 사용
• C) 파티션을 완전히 제거하고 모든 데이터로 학습시킵니다.
• D) 연대순 분할: 이전 기간으로 훈련하고 새 기간으로 테스트하여 모델이 미래를 볼 수 없도록 방지 ✔

설명: 시계열 데이터에서 무작위 분할이 수행되면 모델은 훈련을 통해 미래를 보고 과거를 예측합니다. 이는 누출이며 실제로 존재하지 않는 성공을 가져옵니다. 올바른 접근 방식은 연대순 분할입니다. 즉, 이전 기간으로 훈련하고 새 기간으로 테스트하여 생산의 실제 상황을 모방합니다(과거에서 미래까지 예측).

7. 기능 엔지니어링에서는 어떤 데이터로부터 스케일링(StandardScaler) 매개변수를 계산해야 하며 어떻게 적용해야 합니까?

• A) 모든 데이터(훈련+테스트를 함께)로 계산해야 더 정확해진다.
• B) 해당 행의 자체 값으로부터 각 행에 대해 별도로 계산해야 합니다.
• 다) 테스트 데이터로만 계산해야 한다.
• D) 훈련 데이터에서만 계산해야 하며, 테스트 데이터에도 동일한 매개변수를 적용해야 합니다. 그렇지 않으면 누출됩니다 ✔

설명: 스케일링, 인코딩, 패딩 등 모든 변환(평균, 표준편차 등)의 매개변수는 훈련 데이터에서만 학습해야 하며, 테스트 데이터에도 동일하게 적용해야 합니다. 테스트 데이터를 고려하면 테스트 정보가 훈련을 방해하는 현상, 즉 누출이 발생하고 모델이 실제보다 더 좋아 보이게 됩니다. 파이프라인을 사용하면 이를 보장할 수 있습니다.

8. 모델은 훈련 세트에서 98%의 정확도를 제공하고 테스트 세트에서 72%의 정확도를 제공합니다. 이 증상은 무엇을 나타내며 어떻게 해야 합니까?

• A) 학습이 부족합니다. 모델을 더 복잡하게 만들어야 한다
• B) 데이터 유출; 테스트 세트를 변경해야 합니다
• C) 과적합; 모델을 단순화하고 정규화 및 교차 검증을 적용해야 합니다 ✔
• D) 정상적인 상황; 어차피 교육점수는 항상 높아 예방 조치는 불필요

설명: 훈련 점수가 매우 높고 테스트 점수가 현저히 낮은 것은 과적합의 전형적인 증상입니다. 모델은 실제 패턴이 아닌 훈련 데이터의 노이즈를 기억했습니다. 솔루션에는 모델 단순화, 더 많은 데이터, 정규화, 교차 검증을 통한 상태 확인이 포함됩니다. 교육 점수에만 의존하면 이러한 함정이 숨겨집니다.

9. 경영 프레젠테이션에서 매출이 1,000에서 1,020으로 증가하는 막대 차트의 y축은 980에서 시작하여 증가폭이 크게 나타나도록 합니다. 실제 증가율은 2%이다. 이것이 왜 윤리적인 문제인가?

• A) 잘린 y축은 시각적으로 작은 차이를 과장하여 보는 사람을 오해하게 합니다. 공정성을 위해 비교 막대의 축은 0부터 시작해야 합니다. ✔
• B) 막대 차트는 판매 데이터에 절대 사용할 수 없습니다.
• C) 문제 없습니다. 차트를 인상적으로 보이게 만드는 것은 항상 좋습니다.
• D) Y축은 항상 데이터의 가장 큰 값부터 시작해야 합니다.

설명: 비교 목적의 막대형 차트에서 y축은 일반적으로 0에서 시작해야 합니다. 축을 자르고 980에서 시작하면 2%의 작은 차이가 시각적으로 크게 보이고 보는 사람에게 오해를 불러일으킬 수 있습니다. 데이터 전문가의 윤리적 책임은 데이터를 과대평가하거나 과소평가하지 않는 정직한 그래프를 그리는 것입니다.

10. 분석가는 제품 테이블에 주문을 결합한 후 총 매출액을 3번 찾았습니다. 회선 수가 24만 개에서 69만 개로 늘어났습니다. 이 조용한 오류를 방지하려면 어떻게 해야 합니까?

• A) 총 매출액을 3으로 나눕니다.
• B) JOIN 대신 항상 별도의 쿼리를 사용하십시오.
• 다) 상품 테이블 전체 삭제
• D) 병합/JOIN 후 행 수를 확인하고 올바른 키를 통해 결합되었는지 확인합니다. 복제를 조기에 포착 ✔

설명: 제품 테이블에 각 제품(예: 다른 색상)에 대한 여러 행이 있는 경우 잘못된 키를 통한 JOIN은 각 주문을 복제하고 총계를 부풀립니다. 코드는 오류 없이 실행되지만 결과가 잘못되었습니다. 이를 방지하는 방법은 각 병합/JOIN 후 행 수를 확인하고 올바른 키로 병합하는 것입니다.

11. 채용 심사 모델은 과거 데이터와 여성 후보자의 점수에 따라 체계적으로 성별 불균형에 대해 학습하지만 전체적인 정확도는 높습니다. 이것은 무엇을 의미합니까?

• A) 모델의 정확도가 높기 때문에 문제가 없습니다.
• B) 통계적 정확성은 윤리적 수용을 대체할 수 없습니다. 모델이 과거 차별에 대해 학습한 경우, 그룹 기반 공정성 점검 필요 ✔
• C) 모델의 정확도를 더욱 높이면 문제가 해결됩니다.
• D) 공정성은 데이터 과학의 범위를 벗어납니다.

설명: 모델이 통계적으로 정확하더라도 윤리적으로 받아들여지지 않을 수 있습니다. 모델은 과거 데이터의 불의를 학습하고 차별을 자동화합니다. 높은 성실성은 정의를 대신할 수 없습니다. 영향력이 큰 모델에서는 다양한 그룹의 성과/의사결정 차이를 측정하는 공정성 제어가 필수적이며 궁극적인 책임은 인간에게 있습니다.

12. 직원이 실제 고객 이메일과 구매 내역이 포함된 파일을 공용 AI 도구에 업로드하고 '세그먼트 요약'이라고 말합니다. 이것이 왜 심각한 실수이며 올바른 방법은 무엇입니까?

• A) 문제 없습니다. AI 도구는 데이터를 저장하지 않습니다.
• B) 오류는 파일이 너무 크다는 것입니다. 줄여야 했어
• C) 공개 도구에 실제 개인 데이터를 제공하는 것은 KVKK/GDPR을 위반하는 것입니다. ID 필드를 제거하고 익명 스키마/속성만 공유해야 합니다. ✔
• D) 엑셀만 사용하지 않고 CSV를 사용했어야 함

설명: 실제 개인 데이터(예: 이메일, 이름 등)가 공개적으로 사용 가능한 인공 지능 도구에 제공되면 KVKK/GDPR 범위 내에서 개인정보 침해가 발생합니다. 데이터가 조직을 떠납니다. 대부분의 경우 다이어그램과 익명/합성 샘플이면 분석에 충분합니다. 올바른 방법은 ID 필드를 제거하고 익명 속성만 공유하는 것입니다.

13. 추천 모델이 생산에 투입되었지만 추적이 설정되지 않았습니다. 4개월 후 제품 카탈로그가 변경되면 모델은 계속해서 오래된 제품을 추천하고 전환율은 소리 없이 30% 감소합니다. 이 현상의 이름은 무엇입니까?

• A) 과잉 학습; 모델은 훈련 세트를 기억합니다.
• B) 모델 드리프트; 세상이 변하면서 모니터링이 확립되지 않아 모델은 조용히, 눈에 띄지 않게 낡아지게 됩니다 ✔
• C) 선택 편향; 표본편향
• D) 데이터 최소화 위반

설명: 이것이 모델 드리프트(모델/데이터 드리프트)입니다. 세상이 변하면(카탈로그, 행동, 계절) 모델이 훈련된 조건이 바뀌고 모델은 조용히 무너집니다. 생산에 들어간 모델은 저절로 품질이 저하됩니다. '언제'가 문제다. 모니터링(입력 및 성능 추적) 없이 배포하면 성능 저하를 감지할 수 없습니다.

14. 단일 훈련/테스트 분할에서 88% 정확도를 얻은 모델의 5겹 교차 검증 점수는 88%, 71%, 83%, 64%, 79%입니다. 이는 무엇을 나타내며 교차 검증이 중요한 이유는 무엇입니까?

• A) 모델이 안정적입니다. 88%가 실제 성능입니다
• B) 교차 검증은 불필요합니다. 한 칸이면 충분해요
• C) 점수의 큰 변동성은 모델이 불안정하다는 것을 나타냅니다. 교차 검증은 단일 행운 상자가 아닌 여러 상자의 평균 및 분포에 기반한 성능을 제공합니다. ✔
• 라) 가장 높은 점수(88%)를 보고하는 것이 가장 좋다

설명: 단일 구획에는 행운이 있을 수도 있고 불운이 있을 수도 있습니다. 88%는 그 쉬운 분할의 결과였습니다. 교차 검증은 데이터를 여러 번 분할하여 평균(여기서는 ~77%)을 기준으로 성능을 기반으로 하고 점수의 변동성을 표시합니다. 여기서 높은 변동성은 모델이 불안정하다는 것을 의미합니다. 단일 구획에만 의존하는 것은 오해의 소지가 있습니다.