MLOps Foundation, etikk, personvern og ansvarlig analyse

Gevinster:

• Evne til å forstå MLOps-faser (utgivelse, distribusjon, overvåking, omskolering, tilbakerulling) og modelldrift og planlegge en overvåket distribusjon
• Evne til å anvende prinsippene om modellrettferdighet, åpenhet og ansvarlighet og skille statistisk nøyaktighet fra etisk akseptabilitet
• Evne til å beskytte personopplysninger med KVKK/GDPR-prinsipper og tildele endelig ansvar til et menneske i beslutninger med stor innvirkning

Å trene en modell og få en høy score er ikke slutten, men midten. Den reelle verdien kommer når modellen settes i produksjon og fungerer pålitelig, overvåkes over tid uten forringelse, og hele prosessen gjennomføres innenfor etiske og juridiske rammer. Denne avsluttende enheten kombinerer tre emner: MLOps (disiplinen å gå live, overvåke og vedlikeholde modeller), etikk (rettferdighet, åpenhet, ikke-maleficence) og personvern (beskyttelse av personopplysninger). AI produserer kode, sjekklister og tegninger i disse områdene; Men mennesker bestemmer om en modell går live, hvem som vil bli berørt, og hvilke data som kan brukes. Disse beslutningene er ikke tekniske, men ansvarsbeslutninger.

MLOps: modellen lever som et produkt

MLOps (Machine Learning Operations - praksisen med å kjøre, overvåke og oppdatere maskinlæringsmodeller i produksjon) er tilpasningen av DevOps i programvareutvikling til datavitenskap. Grunnideen: en modell er ikke en fil som trenes en gang og glemmes, men et levende produkt som krever konstant vedlikehold. Hovedstadier:

1. Versjon: Kode (Git), data og modell er versjonert sammen; Det registreres hvilken modell som ble produsert med hvilke data og kode.

2. Implementering: Modellen settes live som en API eller batchjobb. Det gis vanligvis til et lite publikum først (skygge/kanarifuglfordeling).

3. Overvåking: Ytelsen til modellen og inngangsdata overvåkes kontinuerlig.

4. Omskolering: Når ytelsen faller, omskoleres modellen med oppdaterte data.

Mønsterskift: stille forvrengning

Den største faren i produksjonen er modelldrift (modelldrift / datadrift). Verden forandrer seg; Betingelsene du trente modellen på (kundeadferd, priser, sesong, lovverk) endres over tid og modellen begynner å bli foreldet. For eksempel er en etterspørselsmodell trent før pandemien helt feil under pandemien. Drift oppstår i to former: datadrift (fordelingen av inputdataendringer) og konseptdrift (forholdet mellom input- og målendringer). Måten å fange opp disse er overvåking: Spor konstant inputdistribusjonen, prediksjonsfordelingen og (hvis mulig) ytelsen sammenlignet med det faktiske resultatet.

Forsiktig: En modell som settes i produksjon vil forringes av seg selv; Det er ikke et spørsmål om "hvis", men "når". Å distribuere modeller uten å sette opp overvåking er som å kjøre en bil uten noen gang å kontrollere motoren; En dag sitter den bare stille og du legger ikke merke til det.

MLOps-element

Formål

Hvis neglisjert

Versjonskontroll

Å vite hva som produseres

Ikke-reproduserbar, ikke-sporbar

Overvåking

Ser lappen tidlig

Modellen bryter stille sammen

omskolering

hold deg oppdatert

Spådommer blir gamle

Tilbakestill

gå tilbake til dårlig modell

Defekt modell forblir aktiv

Dokumentasjon

åpenhet, omsetning

Informasjon blir sittende fast i én person

Etikk: modellbeslutninger påvirker mennesker

Datamodeller brukes i økende grad i beslutninger som påvirker folks liv: kreditt, ansettelse, forsikring, rettferdighet. Med denne makten følger ansvar. Store etiske risikoer:

Skjevhet og diskriminering: Modellen kan lære og opprettholde urettferdigheter i historiske data. Hvis en bestemt gruppe har fått mindre kreditt tidligere, antar modellen at dette er en «regel» og automatiserer diskriminering. Det er derfor rettferdighetsanalyse – å sjekke om modellen fungerer likt for ulike grupper (kjønn, alder, region) – avgjørende.

Åpenhet og forklarbarhet: Du skal kunne forklare hvorfor en modell avviste en person. "Den svarte boksen sa det" er etisk og ofte juridisk uakseptabelt. Det er derfor forklaringsverktøy (viktighet for funksjoner, SHAP-verdier) er verdifulle.

Ansvarlighet: Hvem er ansvarlig hvis modellen tar feil avgjørelse? Svaret er alltid en person/institusjon, ikke en modell. Menneskelig tilsyn (human-in-the-loop - et menneske som godkjenner den endelige avgjørelsen) bør bevares i beslutninger med stor effekt.

Forsiktig: En modell kan være statistisk "korrekt", men etisk uakseptabel. En svært nøyaktig modell som systematisk ufordrer én gruppe er ikke en god modell. Ærlighet er ingen erstatning for rettferdighet.

Personvern: personopplysninger er nøye beskyttet

Råmaterialet til datavitenskap er ofte personopplysninger, og disse dataene er beskyttet av lov: KVKK i Türkiye, GDPR i Europa. De grunnleggende prinsippene er: formålsbegrensning (data brukes ikke til andre formål enn det de ble samlet inn for), dataminimering (ikke mer data samles inn/beholdes enn nødvendig), anonymisering (identifikasjonsinformasjon fjernes) og sikkerhet (data holdes kryptert og tilgangsbegrenset). Kritisk regel når du arbeider med AI-verktøy: lim aldri inn ekte personlige data i et offentlig AI-verktøy. Som oftest er et diagram og en anonym/syntetisk prøve tilstrekkelig for analyse.

En ekstra vektlegging i sammenheng med informasjonssikkerhet: bruk datavitenskapelige verktøy og teknikker kun på data og systemer som du har autoritet for, for forsvarlige og legitime analyseformål. Uautorisert tilgang til andres data, re-identifikasjon av enkeltpersoner (uthenting av identitet fra anonyme data) eller uautorisert profilering er både ulovlig og uetisk.

tre minisaker

Tilfelle 1 - Usporet kollaps. Et e-handelsselskap gikk live med sin anbefalingsmodell og satte ikke opp sporing. Etter 4 måneder har produktkatalogen endret seg kraftig; modellen fortsatte å anbefale utdaterte produkter, og konverteringsraten falt rolig med 30 %. Ingen la merke til det på flere måneder. Leksjon: utplassering uten overvåking blir blind.

Sak 2 — Skjult diskriminering. En ansettelsesscreeningsmodell lærte om kjønnsubalanse i historiske data og systematisk undervurderte kvinnelige kandidater. Det ble ikke lagt merke til fordi det ikke var noen rettferdighetsanalyse; Det ble avslørt i en revisjon og institusjonen sto overfor alvorlig omdømme-/juridisk risiko. Leksjon: gruppebasert rettferdighetskontroll er viktig i modeller med høy effekt.

Sak 3 – Brudd på taushetsplikt. En analytiker lastet inn en fil som inneholdt ekte kunde-e-poster og kjøpshistorikk i et offentlig AI-verktøy og sa: «oppsummer segmenter». Personopplysninger har forlatt institusjonen; KVKK-prosessen har startet. Den riktige måten var å fjerne identitetsfelt og dele kun anonyme egenskaper. Leksjon: ekte personopplysninger kommer ikke inn i det åpne verktøyet.

Fire kopierbare maler

1) Sjekkliste før distribusjon:

Din rolle: MLOps-konsulent. List opp tingene jeg må sjekke før jeg setter en modell i produksjon: versjonskontroll, overvåkingsmålinger, tilbakeføringsplan, ytelsesterskel, datadriftvarsel, ansvarlig person. Legg til en forklaring med én setning "hvorfor det betyr noe" for hvert element. Jeg bestemmer meg.

2) Modellskiftesporingsdesign:

Foreslå en driftovervåkingsplan for en klassifiseringsmodell i produksjon: (1) hvilke inputfordelinger skal jeg overvåke, (2) hvilken alarm for prediksjonsfordelingen, (3) hvordan man sammenligner ytelsen når det virkelige resultatet kommer, (4) ved hvilken terskel omtrening skal utløses. Oppgi også et kodeskjelett.

3) Rettferdighetskontroll:

Skriv kode som sammenligner modellens ytelse for forskjellige grupper (f.eks. aldersgruppe, region): tilbakekalling/presisjon og positiv beslutningsrate for hver gruppe. Advar hvis det er en betydelig forskjell mellom gruppene. Å gjøre kausale/politiske tolkninger; Bare vis meg forskjellene, så vil jeg vurdere avgjørelsen.

4) Forhåndssjekk av personvern:

Før du gir data til et AI-verktøy, sjekk: er det person-/identitetsdata (navn, e-post, ID, telefon, adresse, IP) i kolonnelisten nedenfor? Hvis ja, skriv hvilke som skal fjernes eller anonymiseres. Kolonner: [liste]. Formål: kun å dele anonymt skjema.

Svak forespørsel / Sterk forespørsel

Svak melding:

Modellen min er klar, gå live.

Utrulling er ikke et enkelt trinn; Å gå live uten overvåking, tilbakeføring, rettferdighet og personvernkontroll er en stille invitasjon til katastrofe.

Kraftig ledetekst:

Din rolle: ansvarlig MLOps-konsulent. Modellen min er opplært, jeg vil ha full forberedelse før jeg går live. Generer: (1) sjekkliste før utrulling, (2) plan for driftovervåking, (3) gruppebasert rettferdighetssjekkkode, (4) personvernsjekk (finnes det personlige data). Foreslå også hvordan man kan beskytte menneskelig samtykke i beslutninger med stor innvirkning. De endelige avgjørelsene er mine.

Her behandles distribusjon, overvåking, rettferdighet og personvern som en enkelt ansvarlig prosess.

Vanlige feil

• Distribuere en modell uten å sette opp overvåking. Modellen glir lydløst og forvrenger; Det kan ta måneder å merke det.
• Omgå justissjekken. En high-fidelity-modell kan systematisk sette en gruppe dårligere.
• Å ta en uforklarlig svart boks-avgjørelse. Beslutninger med stor effekt må kunne forklares; «Modellen sa det» er ikke nok.
• Gi ekte personlige data til å åpne AI-verktøyet. KVKK/GDPR-brudd; Diagrammet og det anonyme eksemplet er tilstrekkelig.
• Delegere avgjørelsen til modellen. Ansvaret ligger alltid hos en person; Menneskelig overvåking med høy effekt opprettholdes.

Tips: Før du går live med hver modell, still ett spørsmål høyt: "Hvis denne modellen stille går i stykker i morgen eller urettferdig straffer en gruppe, hvordan skal jeg legge merke til det og rulle den tilbake?" Hvis du ikke har et klart svar på dette spørsmålet, er ikke modellen klar for produksjon ennå.

Oppsummert

En modells jobb ender ikke med høy score, men med å jobbe pålitelig og ansvarlig i produksjonen. MLOps er disiplinen med å gå live, overvåke drift, omskolere og rulle tilbake modellen; Utrulling uten sporing er stille kollaps. Etikk krever rettferdighet, åpenhet og ansvarlighet for modellen; statistisk nøyaktighet er ingen erstatning for etisk aksept. Personvern betyr å beskytte personopplysninger med KVKK/GDPR-prinsipper og holde ekte data unna åpne verktøy. Alle disse beslutningene er ikke tekniske, men ansvarsbeslutninger og tilhører alltid et menneske.

Søknadsoppgave

Tenk på det som om du skulle sette en modell du har bygget (eller hypotetisk) i produksjon og fyll ut fire lister: (1) sjekkliste før distribusjon, (2) driftberegninger du vil spore, (3) gruppebasert rettferdighetskontrollplan, (4) personvernkontroll. Skriv så et konkret svar på spørsmålet "Hvordan vil jeg merke om det stille går i stykker i morgen og få det tilbake?"

sjekkliste

• [ ] Distribuerer jeg modellen med en overvåking (slip-alarm) og tilbakeføringsplan?
• [ ] Har jeg sjekket rettferdighets-/ytelsesgapet for ulike grupper?
• [ ] Har jeg opprettholdt menneskelig-i-løkken på beslutninger med stor innvirkning?
• [ ] Har jeg beskyttet personopplysninger med KVKK/GDPR-prinsipper og holdt dem borte fra åpne verktøy?
• [ ] Har jeg lagt det endelige ansvaret på et menneske, ikke modellen?

Moduleksamen

1. En dataforsker spør den kunstige intelligensen: "Hvor nøyaktig er tilfeldig skog på disse dataene?" uten å trene modellen i det hele tatt, og legger direkte svaret på "89%" inn i presentasjonen. Hva er den grunnleggende feilen i denne tilnærmingen?

• A) Vente på beregninger uten å gi data og modeller til kunstig intelligens; Å ignorere at tallet det produserer er falskt og at den virkelige beregningen bare kan finnes gjennom trening og testing ✔
• B) Må bruke logistisk regresjon i stedet for tilfeldig skog
• C) Nøyaktighetsgraden må alltid være over 90 %.
• D) Det er strengt forbudt å inkludere beregninger i presentasjonen

Forklaring: Kunstig intelligens kan ikke produsere en metrikk uten å ha tilgang til modellen og dataene; Tallet han gir er en hallusinasjon (fabrikert). Metrikken innhentes av dataforskerens egen beregning først etter at modellen faktisk er trent og testet. Ubekreftet utdata er som en usignert rapport.

2. Kolonnen 'årsak til kontoavslutning' er inkludert når du samler inn data for en churn-prognose; Denne kolonnen fylles først etter at kunden forlater. Modellen gir 97% på testsettet, men fungerer ikke i produksjon. Hva er navnet og årsaken til denne tilstanden?

• A) Overlæring; Modellen er for kompleks
• B) Datalekkasje; ✔ Bruk av informasjon som ikke vil være tilgjengelig på prediksjonstidspunktet, men som er resultatet av målet, som en funksjon
• C) Utilstrekkelig læring; Modellen er for enkel
• D) Seleksjonsskjevhet; liten prøvestørrelse

Forklaring: Dette er en klassisk datalekkasje: 'avslutningsårsaken' er et resultat av målet og er fortsatt tom på prediksjonstidspunktet. Modellen gjør susen med denne fremtidskunnskapen, den ser bra ut på testsettet, men krasjer i produksjon fordi den kolonnen er tom. Spørsmålet "har jeg det på prediksjonstidspunktet" bør stilles til hver kolonne.

3. En analytiker fyller inn manglende verdier i inntektskolonnen med gjennomsnittet; men de savnede tilhører faktisk lavinntektssegmentet som aldri har oppgitt inntekt (systematisk mangler). Hvorfor er denne fyllingen feil?

• A) Gjennomsnittet er alltid større enn medianen, så det er feil
• B) Manglende verdier skal aldri fylles ut, de skal alltid slettes
• C) Å fylle det systematiske gapet med gjennomsnittet forvrenger dataene ved å kunstig representere den gruppen; Fyllingen ble gjort uten å stille spørsmålet "hvorfor er det tomt?" ✔
• D) Å beregne gjennomsnittet skaper et ytelsesproblem fordi det går for sakte

Forklaring: Årsaken til mangelen bestemmer løsningen. Når det systematiske mangler (gapet konsentrert i en bestemt gruppe) fylles med gjennomsnittet, blir den gruppen kunstig "gjennomsnittlig inntekt", og dataene blir forvrengt. Før du fyller den, bør spørsmålet "hvorfor er den tom" stilles; systematisk/betydelig manglende gjennomsnitt skal ikke fylles ut.

4. Et team finner en korrelasjon på 0,78 mellom 'annonseforbruk' og 'salg' og dobler budsjettet; Det som imidlertid utløser begge er sesongbaserte kampanjer. Hvilket prinsipp i statistikk forklarer denne feilen?

• A) Korrelasjon er ikke årsakssammenheng; En skjult tredje variabel kan påvirke begge variablene ✔
• B) Siden korrelasjonen på 0,78 er for lav, bør sammenhengen ignoreres
• C) Korrelasjon beviser alltid årsakssammenheng, laget har rett
• D) Sammenhengen mellom reklame og salg kan ikke beregnes matematisk.

Forklaring: Korrelasjon er ikke årsakssammenheng. De to variablene kan virke sammen fordi en skjult tredje variabel (her sesongbaserte kampanjer) påvirker dem begge. Konklusjonen om at det ene forårsaker det andre kan bare etableres gjennom eksperiment og feltkunnskap; Antall korrelasjoner alene er ikke bevis på årsakssammenheng.

5. En svindeldeteksjonsmodell viser 99,2 % nøyaktighet og teamet feirer; Imidlertid er den falske transaksjonsraten i dataene bare 0,8 % og modellens tilbakekalling er 6 %. Hva viser denne tabellen?

• A) Modellen er perfekt fordi nøyaktigheten er over 99 %
• B) Nøyaktighet er misvisende med ubalanserte data; Modellen savner nesten alle forfalskninger (lav tilbakekalling), den aktuelle metrikken bør ses på ✔
• C) Det er ikke noe problem siden tilbakekallingen av modellen er høy
• D) Det var ikke nødvendig å bygge en modell fordi den falske prisen var lav

Forklaring: 'Nøyaktighet' er misvisende i ubalanserte data. Når modellen kaller nesten hver transaksjon "ren", får den høy nøyaktighet fordi forfalskninger er svært få, men den klarer ikke å fange opp forfalskninger, som er hovedformålet (tilbakekalling 6%). Derfor, i ubalanserte problemer, fokuseres ikke på nøyaktighet, men på forvirringsmatrisen og beregninger som er egnet for formålet med jobben, for eksempel tilbakekalling/presisjon.

6. I et etterspørselsprognoseprosjekt blir tidsavhengige data tilfeldig delt inn i trening/testing. Modellen gir 93 % nøyaktighet, men krasjer i produksjonen. Hva bør være den riktige delingstilnærmingen?

• A) Forstørre testsettet, f.eks. deling 50%/50%
• B) Bruke en mer kompleks modell
• C) Fjern partisjonen fullstendig og tren med alle data
• D) Kronologisk splitting: trening med den gamle perioden og testing med den nye perioden, og forhindrer dermed modellen i å se fremtiden ✔

Forklaring: Hvis tilfeldig deling gjøres i tidsseriedata, ser modellen fremtiden og forutsier fortiden i trening; det er en lekkasje og produserer suksess som faktisk ikke eksisterer. Den riktige tilnærmingen er kronologisk splitting: trening med den gamle perioden og testing med den nye perioden, etterligning av den virkelige situasjonen i produksjonen (forutsi fra fortid til fremtid).

7. Fra hvilke data skal skaleringsparametere (StandardScaler) beregnes i funksjonsteknikk og hvordan skal de brukes?

• A) Det bør beregnes ut fra alle data (trening + testing sammen) slik at det blir mer nøyaktig
• B) Det skal beregnes separat for hver rad, fra den radens egen verdi
• C) Skal kun beregnes fra testdata
• D) Det skal bare beregnes ut fra treningsdataene, deretter bør de samme parameterne brukes på testdataene; ellers vil det lekke ✔

Forklaring: Parametrene for alle transformasjoner (gjennomsnitt, standardavvik, etc.) som skalering, koding og utfylling bør kun læres fra treningsdataene, deretter bør det samme brukes på testdataene. Å ta testdata i betraktning fører også til at testinformasjon forstyrrer treningen, det vil si lekkasje, og får modellen til å se bedre ut enn den er. Bruk av Pipeline sikrer dette.

8. En modell gir 98 % nøyaktighet på treningssettet og 72 % nøyaktighet på testsettet. Hva indikerer dette symptomet og hva bør gjøres?

• A) Utilstrekkelig læring; modellen bør gjøres mer kompleks
• B) Datalekkasje; testsettet må endres
• C) Overmontering; modellen bør forenkles, regularisering og kryssvalidering bør brukes ✔
• D) En normal situasjon; Utdanningsskåren er uansett alltid høyere, forholdsregler er unødvendige

Forklaring: En svært høy score i trening og en betydelig lav score i testing er et klassisk symptom på overfitting: Modellen har husket støyen til treningsdataene i stedet for det virkelige mønsteret. Løsningene inkluderer forenkling av modellen, mer data, regularisering og verifisering av tilstanden med kryssvalidering. Å stole utelukkende på utdanningsresultatet skjuler denne fallgruven.

9. I en ledelsespresentasjon startes y-aksen til et stolpediagram der salget øker fra 1000 til 1020 ved 980 for å få økningen til å virke enorm. Den faktiske økningen er 2 %. Hvorfor er dette et etisk spørsmål?

• A) En avkortet y-akse overdriver visuelt en liten forskjell og villeder betrakteren; For rettferdighets skyld bør aksen i sammenligningslinjer starte fra 0 ✔
• B) Stolpediagram kan aldri brukes til salgsdata
• C) Det er ikke noe problem; Det er alltid godt å få diagrammet til å se imponerende ut
• D) Y-aksen skal alltid starte fra den største verdien av dataene

Forklaring: I søylediagrammer for komparative formål bør y-aksen vanligvis starte på 0. Å kutte aksen og starte ved 980 gjør at en liten forskjell på 2 % virker visuelt stor og villeder seeren. Dataekspertens etiske ansvar er å tegne ærlige grafer som ikke overvurderer eller undervurderer dataene.

10. En analytiker finner den totale omsetningen 3 ganger etter at han har slått sammen bestillingene med produkttabellen; Antall linjer økte fra 240 tusen til 690 tusen. Hva burde vært gjort for å forhindre denne stille feilen?

• A) Del den totale omsetningen med 3
• B) Bruk alltid separate søk i stedet for JOIN
• C) Sletting av produkttabellen fullstendig
• D) Kontrollere antall rader etter sammenslåing/JOIN og verifisere at de er sammenføyd med riktig nøkkel; Fanger replikering tidlig ✔

Forklaring: Når det er flere rader for hvert produkt (ulik farge, for eksempel) i produkttabellen, vil JOIN via feil nøkkel duplisere hver ordre og øke summene. Koden kjører uten feil, men resultatet er feil. Måten å unngå dette på er å sjekke antall rader etter hver sammenslåing/JOIN og slå sammen med riktig nøkkel.

11. En ansettelsesscreeningsmodell lærer om kjønnsubalanse i historiske data og underskårer systematisk kvinnelige kandidater, men dens generelle nøyaktighet er høy. Hva betyr dette?

• A) Det er ikke noe problem fordi modellen har høy nøyaktighet
• B) Statistisk nøyaktighet er ikke en erstatning for etisk aksept; modellen har lært om tidligere diskriminering, gruppebasert rettferdighetssjekk er nødvendig ✔
• C) Ytterligere økning av nøyaktigheten til modellen løser problemet
• D) Rettferdighet er utenfor rammen av datavitenskap

Forklaring: Selv om en modell er statistisk korrekt, kan den være etisk uakseptabel. Modellen lærer urettferdigheten i tidligere data og automatiserer diskriminering. Høy integritet er ingen erstatning for rettferdighet; I modeller med høy effekt er rettferdighetskontroll, som måler ytelse/beslutningsforskjell for ulike grupper, essensielt, og det endelige ansvaret ligger hos mennesket.

12. En ansatt laster opp en fil som inneholder ekte kunde-e-poster og kjøpshistorikk til et offentlig AI-verktøy og sier «oppsummer segmenter». Hvorfor er dette en alvorlig feil, og hva er riktig måte?

• A) Det er ikke noe problem; AI-verktøy lagrer aldri data
• B) Feilen er at filen er for stor; burde vært redusert
• C) Å gi ekte personopplysninger til et åpent verktøy er et brudd på KVKK/GDPR; identitetsfelt skal ha blitt fjernet og kun anonymt skjema/egenskap delt ✔
• D) CSV burde vært brukt i stedet for bare Excel

Forklaring: Når ekte personopplysninger (som e-post, navn osv.) gis til et offentlig tilgjengelig kunstig intelligensverktøy, vil det være et brudd på personvernet innenfor rammen av KVKK / GDPR; data forlater organisasjonen. Som oftest er et diagram og en anonym/syntetisk prøve tilstrekkelig for analyse. Den riktige måten er å fjerne identitetsfelt og dele kun anonyme egenskaper.

13. En anbefalingsmodell settes i produksjon, men sporing er ikke etablert; Når produktkatalogen endres etter 4 måneder, fortsetter modellen å anbefale gamle produkter og konverteringsraten synker stille med 30 %. Hva er navnet på dette fenomenet?

• A) Overlæring; Modellen husker treningssettet
• B) Modelldrift; Når verden endrer seg, blir modellen foreldet stille, ubemerket fordi overvåking ikke er etablert ✔
• C) Seleksjonsskjevhet; prøveskjevhet
• D) Dataminimeringsbrudd

Forklaring: Dette er modelldrift (modell/datadrift): når verden endrer seg (katalog, oppførsel, sesong) skifter forholdene som modellen ble trent under, og modellen brytes stille sammen. En modell satt i produksjon forringes av seg selv; Det er et spørsmål om "når". Utplassering uten overvåking (sporing av input og ytelse) gjør det umulig å oppdage degradering.

14. En modell som får 88 % nøyaktighet i en enkelt trenings-/testdeling har 5-doble kryssvalideringsskårer på 88 %, 71 %, 83 %, 64 %, 79 %. Hva indikerer dette og hvorfor er kryssvalidering viktig?

• A) Modellen er stabil; 88 % er reell ytelse
• B) Kryssvalidering er unødvendig; Ett rom er nok
• C) Stor volatilitet av skårer indikerer at modellen er ustabil; kryssvalidering baserer ytelsen på gjennomsnittet og fordelingen av flere søppelkasser, ikke en eneste heldig søppel ✔
• D) Det er best å rapportere den høyeste poengsummen (88 %)

Forklaring: En enkelt avdeling kan være heldig eller uheldig; 88 % var bare resultatet av den enkle divisjonen. Kryssvalidering deler dataene flere ganger, basert ytelsen på gjennomsnittet (her ~77%) og viser volatiliteten til poengsummene. Høy volatilitet her tyder på at modellen er ustabil; Å stole på ett enkelt rom er misvisende.