Câștiguri:
- Abilitatea de a recunoaște tipurile de date lipsă (MCAR/MAR/MNAR), valorile aberante și erorile de codare și de a utiliza AI cu datele corecte pentru a produce codul de curățare și diagnosticare
- Capacitatea de a vedea modul în care fiecare pas de curățare (ștergere, atribuire, transformare) sugerat de inteligența artificială va afecta rezultatul analizei și va stabili un flux de lucru reversibil și documentat
- Menținerea faptului că deciziile de curățare se bazează pe cunoașterea procesului care generează date și că inteligența artificială este un asistent supravegheat, nu un automat orb
Fiecare analist experimentat cunoaște un adevăr: de cele mai multe ori un proiect empiric nu este modelarea, ci curățarea datelor (lucrarea de a corecta erorile, omisiunile și inconsecvențele din date și de a le pregăti pentru analiză). Ca regulă generală, aproximativ 70-80% din timp este dedicat înțelegerii, curățării și transformării datelor; doar 20-30% mai sunt pentru analiza propriu-zisă. În această unitate, vom vedea pas cu pas cum inteligența artificială (AI) ușurează această povară grea, dar ce decizii ar trebui să rămână în continuare cu tine și de ce.
Să punem mai întâi două fapte de bază. În primul rând, deciziile de curățare se bazează pe cunoștințele tale despre procesul care produce datele: doar tu știi de ce lipsește o valoare, de ce un număr este prea mare. AI nu vede datele, nu cunoaște contextul; Scrie cod, nu ia decizii. În al doilea rând, fiecare pas de curățare poate modifica rezultatul analizei. Ștergerea unei valori aberante poate inversa coeficientul; Completarea lipsei cu media poate reduce artificial varianța. Deci, curățarea ar trebui să fie reversibilă și documentată: nu atingeți niciodată datele brute, faceți fiecare pas în cod, înregistrați impactul fiecărui pas.
Flux de lucru de curățare pas cu pas
1. Cunoașteți datele. Vedeți mai întâi structura: numărul de rânduri (observații) și coloane (variabile), tipul fiecărei variabile (numerică, categorială, dată), statistici rezumative, numărul de lipsă. Puteți cere AI pentru acest cod de „profil de date”; Dar citiți rezultatul și puneți întrebări precum „de ce această variabilă a venit ca text?”
2. Înțelegeți și clasificați datele lipsă. Datele lipsă sunt împărțite în trei tipuri. MCAR (Missing Completely At Random): lipsa nu se datorează nimic, de exemplu, un senzor s-a defectat aleatoriu. MAR (Lipsă la întâmplare): lipsa depinde de alte variabile observate, de exemplu persoanele mai în vârstă lasă o întrebare goală mai des, dar știi vârsta. MNAR (Missing Not At Random): lipsa depinde de valoarea neobservată în sine, de exemplu, cei cu venituri mari nu își raportează veniturile. Această distincție este critică deoarece determină metoda de soluție și AI nu poate decide acest lucru pentru tine.
3. Faceți față deficienței. Opțiuni: ștergere listwise, imputare medie/mediană, imputare multiplă bazată pe model. Ștergerea în MCAR este relativ sigură, dar reduce dimensiunea eșantionului. Atribuirea multiplă este mai potrivită în MAR. Nicio metodă simplă nu garantează imparțialitatea în MNAR; Ar trebui modelat mecanismul deficienței sau cel puțin ar trebui efectuată o analiză de sensibilitate. Umplerea medie este ușoară, dar periculoasă: reduce varianța, slăbește relațiile și ascunde incertitudinea.
4. Examinați valorile aberante. Un outlier este o observație care se află foarte departe de celelalte. Separați cele două întrebări: Este aceasta o eroare (în introducerea datelor a fost scrisă vârsta de 999) sau este o valoare reală, dar anormală (venitul unui miliardar)? Remediați erori; Nu ștergeți valorile abere, deoarece reprezintă date. Ștergerea valorii aberante „pentru că deranjează” vă obligă datele spre rezultat.
5. Codificare și consecvență. Standardizați categoriile („Bărbat”, „Bărbat”, „E” într-un singur cod), aduceți datele într-un singur format, unitățile într-o singură scară, detectați rândurile duplicate. Aceasta este faza cel mai puțin riscantă în care AI ajută cel mai bine.
6. Documentați și înghețați. Înregistrați fiecare pas cu cod și o linie de comentariu, păstrând separat datele brute și cele curățate. Deci, când un arbitru întreabă „de ce au fost renunțate la aceste observații?” ai raspunsul gata.
Atenție: Nu luați decizii de curățare pe baza rezultatelor. Ștergerea unei linii care spune „Când ștergeți această linie, coeficientul devine semnificativ” este cea mai insidioasă formă de p-hacking, pe care o vom vedea în unitatea următoare.
Tabel de comparație: metode de date lipsă
Metoda
Când este potrivit?
risc
Rolul AI
Ștergeți un rând
MCAR, rata lipsă scăzută
Eșantionul devine mai mic, părtinire în MAR/MNAR
Scrie codul; tu decizi
Atribuire medie/mediană
Analiză preliminară rapidă
Reduce varianța, ascunde relația
Este ușor, dar nu îl recomandă; ar trebui să avertizeze
Atribuire multiplă (MI)
MAR, variabile importante
Dacă nu este instalat corect, va induce în eroare
Recomanda codul si pachetul (soareci)
Modelarea mecanismelor
MNAR
Complex, intensiv în presupuneri
Doar draft; este necesar un expert
Patru solicitări copiabile
1. Profilarea datelor:
Rolul tău: asistent de curățare a datelor. Nu împărtășesc datele, vreau codul R. Am un data.frame numit „digit”; variabile: id, vârstă (numeric), venit (numeric), educație (categoric), regiune (categoric), data (data). Sarcină: scrieți codul care produce tipul, numărul lipsă și rata pentru fiecare variabilă, statistici rezumative pentru cele numerice și tabel de frecvență pentru cele categorice. Adăugați o linie de comentarii.
2. Diagnosticarea datelor lipsă:
Scrieți codul care examinează modelul lipsă pentru datele „cifre” de mai sus: - rata lipsă a fiecărei variabile, - un tabel/grafic simplu care arată relația dintre lipsă și alte variabile. Mă voi uita la rezultatul codului și voi face distincția MCAR/MAR/MNAR; Doar produceți instrumentul de diagnosticare, NU vă decideți asupra metodei de atribuire.
3. Inspecție abere (nu ștergere):
Scrieți codul pentru variabila „venit” care examinează valorile aberante FĂRĂ ȘTERGERE: diagramă cu casete, limite bazate pe IQR și tabel care listează observațiile + valorile aberante. Voi vedea dacă acestea sunt greșeli sau reale. Adăugați ștergere automată.
4. Standardizarea codurilor:
În variabila „educație” valorile sunt scrise mixt: „Școala primară","școala primară","PRIMAR","Liceu","liceu","Universitate","univ". Scrieți codul R care le codifică în categorii consistente; Afișați clar tabelul de cartografiere, astfel încât să pot confirma fiecare conversie. Setați valoarea pe care nu o recunoașteți la „NECUNOSCUT”.
Prompt slab / Prompt puternic
Prompt slab:
Curățați datele, completați golurile, eliminați valorile aberante.
Această cerere este periculoasă: dă autoritate oarbă AI. Ce tip de lipsă, ce fel de umplere, ce adevăr contradictoriu - nimic nu este clar. Rezultatul poate fi un set de date părtinitor în secret.
Solicitare puternică:
Rolul tau: asistent de curatenie, nu esti cel care ia decizii. Mergeți pas cu pas și scrieți codul care raportează impactul FIECĂRUI pas: 1) afișați modelul lipsă (NU ștergeți/completați), 2) enumerați candidații cu valori aberante (NU ștergeți), 3) remediați inconsecvențele categoriei cu tabelul de mapare. Tipăriți numărul de rânduri și statisticile rezumative după fiecare pas, astfel încât să pot vedea și confirma modificarea. Inserare automată de atribuire/ștergere.
Diferența este clară: voința puternică poziționează AI ca asistent supravegheat, producând pași reversibile și documentați.
trei mini cutii
Cazul 1 — Capcană de atribuire medie. Datele unui analist privind veniturile pentru 5.000 de persoane lipseau 18%. I-a spus AI să „umple golurile”; AI le-a făcut media tuturor. Rezultat: varianța veniturilor a scăzut cu 22%, iar coeficientul relației educație-venit s-a dovedit a fi mai slab decât era. Mod corect: deficiența a fost MAR (datorită educației), trebuia completată cu atribuții multiple (șoareci). Lecție: metoda de umplere depinde de mecanism.
Cazul 2 – Curățarea valorii aberante inversează constatarea. Au existat 3 firme foarte mari (0,6% din totalul observației) într-o singură firmă de date. Acestea au fost șterse prin sugestia de „curățare” a AI; Coeficientul economiilor de scară a trecut de la pozitiv la negativ. Cu toate acestea, acele 3 companii erau reale și o parte importantă a industriei. Modul corect a fost să raportezi atât cu o estimare completă, cât și cu o estimare robustă, în loc să ștergi. Lecție: valorile aberante sunt date, nu zgomot.
Cazul 3 — Eroare de codare silențioasă. Într-un singur panou, variabila dată a venit în două formate diferite ("2020-03-01" și "01/03/2020"). Când codul de combinație produs de AI le-a confundat cu valori diferite, 1.400 de observații au fost nepotrivite, iar ratele de creștere au devenit ridicole. Nu ar conta dacă analistul nu ar verifica numărul de rânduri. Lecție: numărul de observații și verificările de sănătate după fiecare pas sunt obligatorii.
Greșeli comune
- Umplerea orbește golul cu media. Reduce varianța, ascunde incertitudinea și creează părtinire în MAR/MNAR. Mai întâi clasificați mecanismul.
- Ștergerea valorii aberante „pentru că deranjează”. Valorile abere adevărate reprezintă datele; ștergerea înseamnă îndoirea rezultatului. Corectează ceea ce este greșit, păstrează ceea ce este real.
- Atingerea datelor brute. Nu modificați niciodată datele brute; Faceți toată curățarea cu codul într-o copie separată, astfel încât să poată fi revenit la el.
- Nu se măsoară impactul pașilor. Dacă numărul de rânduri și statisticile rezumate nu sunt verificate după fiecare pas, se vor acumula erori silențioase.
- Curățarea ca rezultat. Logica „Când adăugați această linie, rezultatul devine mai bun” este p-hacking; Curățarea trebuie planificată înainte și independent de rezultatul analizei.
Sfat: Păstrați un tabel „înainte/după” care să pună una lângă alta aceleași statistici de bază (medie, mediană, număr de observații, câteva corelații) înainte și după curățare. Un salt neașteptat este cel mai bun prevestitor al unei erori ascunse.
Pe scurt
Curățarea datelor este cea mai consumatoare de timp și cea mai necesară luare de decizii a muncii empirice. Inteligența artificială este un generator de cod puternic în acest sens, dar nu poate să înceapă: clasificăți tipul de date lipsă (MCAR/MAR/MNAR), determinați dacă valoarea aberantă este o eroare sau reală, mențineți fiecare pas reversibil și documentat. În loc să acordați AI o autoritate „clară” oarbă, stabiliți un flux de lucru pas cu pas al cărui impact este măsurat și validat. Verificarea numărului de observații și a rezumatului statisticilor după fiecare pas este cel mai bun antidot împotriva erorilor silențioase.
Sarcina de aplicare
Selectați cel puțin două variabile care conțin lipsă și valori aberante într-un set de date (propriile dvs. date sau un set de mostre). Solicitați un cod de diagnosticare de la AI prin promptul „pas cu pas, nu ștergeți/completați” de mai sus și rulați-l. Clasificați deficiența ca MCAR/MAR/MNAR și scrieți justificarea într-o singură propoziție. Examinați candidații contradictori unul câte unul și decideți care dintre ele este o greșeală și care este real. În cele din urmă, creați un tabel „înainte-după” înainte/după curățare și raportați dacă există modificări neașteptate.
lista de verificare
- [ ] Am curățat datele brute într-o copie separată fără a le schimba.
- [ ] Am clasificat deficiența ca MCAR/MAR/MNAR și am ales metoda în consecință.
- [ ] Am examinat valorile aberante unul câte unul, indiferent dacă erau erori sau reale; Nu l-am șters orbește.
- [ ] Am verificat numărul de observații și rezumatul statisticilor după fiecare pas de curățare.
- [ ] Am documentat toți pașii cu cod și o linie de comentariu; reversibil.
- [ ] Am bazat curățarea pe cunoașterea procesului care produce datele, nu pe rezultatul analizei.