Qligħ:
- Kapaċità li tagħraf sorsi tad-dejta differenti (database, API, fajl, web scraping) u l-iżvantaġġi ta 'kull wieħed u tifhem l-iskema b'mod korrett
- Kapaċità li twettaq kampjunar ripetibbli billi tevalwa jekk il-kampjun jirrappreżentax il-popolarizzazzjoni u l-għażla tal-popolazzjoni
- Kapaċità li telimina t-tnixxija tad-dejta fl-istadju tal-ġbir u tosserva l-konfini legali/etiki billi tistaqsi l-mistoqsija 'Se jkolliha fil-ħin tat-tbassir' f'kull kolonna?
Kull analiżi hija tajba daqs il-kwalità tad-dejta li tiġbor. Anke l-aktar mudell avvanzat fid-dinja jipproduċi riżultati mhux affidabbli jekk jaħdem b'dejta li tinġabar b'mod żbaljat, kampjun b'mod preġudikat, jew ikun fiha informazzjoni dwar il-futur. Fix-xjenza tal-kompjuter, dan il-prinċipju huwa miġbur fil-qosor bħala "żibel in, garbage out" (żibel in, garbage out). F'din l-unità, aħna ser ikopru l-fażi tal-ġbir tad-dejta: nifhmu s-sors, teħid ta' kampjuni, nistaqsu mistoqsijiet dwar il-kwalità, u nkunu attenti għar-riskju ta 'tnixxija tad-dejta mill-ewwel jum. L-intelliġenza artifiċjali hija għajnuna qawwija f'dan l-istadju; Jikteb mistoqsija SQL, jiġbor fil-qosor dokument API, abbozzi kuntratt tad-data. Iżda huwa l-bniedem li jiddeċiedi liema data tiġbor u jekk dik id-data tirrappreżentakx.
Insiru nafu sorsi tad-dejta
Id-dejta ġejja minn postijiet differenti, u kull sors għandu l-iżvantaġġi tiegħu. Database (data strutturata maħżuna f'tabelli, normalment mistoqsija bl-SQL) hija l-aktar sors komuni; Huwa affidabbli, iżda huwa meħtieġ li tifhem sew l-iskema tagħha. L-API (Application Programming Interface) tipprovdi dejta diretta iżda ġġorr ir-riskju ta' limiti ta' veloċità u bidliet fil-format. Fajls (CSV, Excel, JSON) huma flessibbli iżda suxxettibbli għal inkonsistenza tal-format. Il-brix tal-web huwa qawwi, iżda għandu limiti legali u etiċi; Mhux kull sit jista 'jiġi mibrux.
Attenzjoni: Għall-web scraping u l-ġbir awtomatiku tad-dejta, ikkonforma mat-termini tal-użu tas-sit, il-fajl robots.txt u KVKK/GDPR. Il-ġbir tad-dejta mhux awtorizzat joħloq responsabbiltà legali. Fil-kuntest tas-sigurtà tal-informazzjoni, uża għodod tal-ġbir tad-dejta biss fuq sistemi li għalihom tkun awtorizzat u għal skopijiet ta’ difiża/analiżi; Aċċess jew brix mhux awtorizzat huwa pprojbit.
Nifhmu l-iskema: jiffamiljarizzaw ruħhom mad-dejta
Qabel ma tiġbor sett tad-dejta, trid tifhem l-iskema tiegħu (l-ismijiet tal-kolonni, it-tipi tad-dejta tagħhom, it-tifsiriet tagħhom, u r-relazzjonijiet tagħhom ma 'xulxin). L-AI hija utli ħafna hawnhekk fil-ħolqien ta' "dizzjunarju tad-dejta" — tabella li tispjega xi tfisser kull kolonna. Iżda l-ispjegazzjonijiet li tipproduċi l-AI huma tbassir; Ikkonferma t-tifsira vera ta' kull kolonna mat-tim li pproduċa d-dejta. Pereżempju, kolonna bl-isem "status" jista' jkun fiha 0/1/2; It-tim tal-oriġini biss jaf jekk dawn humiex "pendenti/approvati/ikkanċellati" jew xi ħaġa oħra.
It-tabella li ġejja tiġbor fil-qosor it-tipi ta’ riżorsi bażiċi u l-kawżi:
Sors
punt qawwi
nassa
Kif tgħin l-AI
database SQL
Strutturali, affidabbli
JOINs kumplessi
Jikteb abbozz ta' mistoqsija
API
data diretta
Limitu tal-veloċità, bidla fil-forma
Sommarji tad-dokumenti, pull code
CSV/Excel
Flessibbli, veloċi
Inkonsistenza tal-format
Aqra/parse kodiċi
brix tal-web
Wide reach
Limitu legali/etiku
Analiżi ta' abbozz (fi ħdan l-awtorità)
Dejta ta' log/avveniment
dettaljati
volum kbir
Mistoqsija ta' filtrazzjoni
Illustrazzjoni: il-parti tirrappreżenta t-totalità?
Ħafna mill-ħin, inti taħdem ma 'kampjun (sottosett magħżul mill-popolazzjoni) aktar milli d-dejta kollha. Il-mistoqsija kritika hija: dan il-kampjun jirrappreżenta l-popolazzjoni? Il-preġudizzju tal-għażla huwa l-aktar nassa komuni. Pereżempju, jekk tieħu kampjun ta' utenti biss mill-app mobbli, ma tarax utenti tal-web u r-riżultati tiegħek ikunu qarrieqa. It-teħid ta' kampjuni bl-addoċċ (kull rekord għandu ċans ugwali li jintgħażel) huwa l-aktar sigur fil-biċċa l-kbira tal-każijiet; iżda fid-dejta tas-serje taż-żmien, il-qsim isir b'mod kronoloġiku aktar milli b'mod każwali (se naraw dan fl-Unitajiet 7 u 10).
Tnixxija ta' għarfien mill-ewwel jum
It-tnixxija tad-dejta hija s-sors tal-biċċa l-kbira tad-diżastri u ġeneralment iqum matul il-fażi tal-ġbir tad-dejta. Eżempju: meta tbassar "kien ikkanċellat", jekk iżżid il-kolonna "data tal-kanċellazzjoni" mad-dejta, il-mudell iħares lejn il-futur. Matul il-fażi tal-ġbir, staqsi mistoqsija waħda għal kull kolonna: "Se jkolli din l-informazzjoni fil-ħin li nagħmel it-tbassir?" Jekk it-tweġiba hija le, dik il-kolonna qed tnixxi. Dan is-suġġett se nkopru fil-fond f’Unità 10; Iżda l-għarfien għandu jibda mill-ewwel jum.
tliet każijiet żgħar
Każ 1 — Il-problema tar-rappreżentanza. Bank wieħed ġabar data biss dwar self approvat għall-mudell tiegħu tar-riskju tal-kreditu (18,500 rekord). Ir-rifjuti ma kinux fid-dejta. Il-mudell kien żbaljat fid-dinja reali għax qatt ma ra kif se jġibu ruħhom ir-rifjuti. Lezzjoni: il-kampjun għandu jkun rappreżentattiv tal-popolazzjoni kollha li minnha qed tieħu d-deċiżjoni tiegħek.
Każ 2 — Bidla fil-forma siekta. Tim kien qed jiġbed data tal-prezzijiet minn API kuljum. Ġurnata waħda, il-fornitur tal-API biddel il-munita minn USD għal EUR, iżda l-isem tad-dominju baqa 'l-istess. Id-dejta nġabret fl-unità ħażina għal 12-il jum; 3,200 linja ġew korrotta. Lezzjoni: Iċċekkja regolarment il-volum u l-konsistenza tal-format fid-dejta tal-API.
Każ 3 — Tnixxija bikrija. Analista inkluda l-kolonna "raġuni għall-għeluq tal-kont" meta ġabar dejta għal stima ta '"churn". Din il-kolonna kienet mimlija biss wara li l-klijent telaq. Il-mudell ta preċiżjoni ta '97% fuq is-sett tat-test; Ma ħadimx fil-produzzjoni għax dik il-kolonna kienet vojta fil-ħin tat-tbassir. Lezzjoni: staqsi lil kull kolonna l-mistoqsija "għandiha fil-ħin tat-tbassir?"
Erba' mudelli li jistgħu jiġu kkupjati
1) Estrazzjoni tad-dizzjunarju tad-dejta:
Ir-rwol tiegħek: assistent xjenzat tad-dejta. Hawn taħt jinsabu l-ismijiet tal-kolonni u l-valuri tal-kampjun (anonimi) ta 'tabella. Għal kull kolonna, elenka t-tifsira stmata tagħha, it-tip tad-dejta, u r-riskji potenzjali tal-kwalità f'tabella. Immarka l-kolonni li m'intix ċert bihom bħala "konferma meħtieġa"; tifsira teħid.Kolonni: [pejst hawn]
2) Kodiċi tat-teħid tal-kampjuni (addoċċ, ripetibbli):
Għandi pandas df. Ikteb kodiċi li estratti kampjun każwali rappreżentattiv ta '5% minn 200,000 ringiela. Uża random_state=42 (għal riproduċibbiltà). Żid il-kodiċi biex tivverifika li d-distribuzzjoni tal-klassi tal-kampjun hija simili għall-popolazzjoni.
3) Mistoqsija tal-iskannjar tat-tnixxija:
Nagħtikom din il-lista ta' kolonni. L-għan tiegħi huwa li nbassar "huwa kkanċellat" (0/1). Għal kull kolonna, evalwa jekk fil-fatt hux ser ikolliha fil-ħin tat-tbassir u mmarkaha bħala "sikura / suspettuża / tnixxija". Ikteb ir-raġunament tiegħek f'sentenza waħda. Kolonni: [lista]
4) Abbozz ta' query SQL pull:
Għandi tabelli "ordnijiet" u "klijenti" f'PostgreSQL. Ikteb mistoqsija JOIN li tgħaqqad l-ordnijiet ta 'l-aħħar 90 jum mal-belt tal-klijent u tirritorna l-ammont totali u n-numru ta' ordnijiet għal kull belt. Spjega l-filtru tad-data u kif jiġu ttrattati l-ibliet NULL. Se nmexxi l-mistoqsija u nivverifikaha.
Pront dgħajjef / Pront qawwi
Pront dgħajjef:
Iġbedni kampjun ta' data tajba minn din id-database.
"Tajjeb" hija ambigwa; Liema pittura, liema perjodu, liema daqs, liema skop mhuwiex ċar. L-AI se tipproduċi biss mistoqsija ġenerika, possibilment ħażina.
Pront qawwi:
Ir-rwol tiegħek: assistent SQL. Għandi tabella "transazzjonijiet": id-kolonni, id-klijent, id-data (timbru tal-ħin), l-ammont (numeriku), il-kanal (test: 'web'/'mobile'). Kompitu: Ikteb mistoqsija ripetuta (deterministika b'ORDER BY) li tirritorna 10,000 ringiela rappreżentattiva minn kull kanal għas-sena 2024. Għan: analiżi komparattiva tal-kanali. Elenka s-suppożizzjonijiet tal-mistoqsija tiegħek.
Hawnhekk it-tabella, l-iskop, id-daqs u r-ripetibbiltà huma ċari.
Żbalji komuni
- Ma jiddubitax ir-rappreżentattività tal-kampjun. Data aċċessibbli faċilment mhijiex data preċiża; preġudizzju tal-għażla jgħawweġ ir-riżultat.
- Adattament tat-tifsiriet tal-kolonna għal AI. It-tim tas-sors jaf it-tifsira; Tużax il-previżjoni AI mingħajr ma tikkonfermaha.
- Mhux traċċar tal-format API/bidla tal-unità. Il-bidla siekta tiġbor data korrotta għal jiem.
- Injora t-tnixxija fl-istadju tal-ġbir. Jekk il-mistoqsija "Għandi fil-ħin tat-tbassir" ma ssirx kmieni, il-mudell jagħti suċċess falz.
- Ġbir ta' data mhux awtorizzata jew illegali. Il-ksur ta' robots.txt, it-termini tal-użu u KVKK huwa riskju serju.
Tip: Żomm “karta tad-dejta” ta’ paġna waħda għal kull sors ta’ dejta ġdid: sors, data tal-ġibda, numru ta’ ringieli, konfini magħrufa, u kolonni f’riskju ta’ tnixxija. Din il-karta ssalva l-mistoqsija "x'kienet din id-dejta" u r-riproduċibilità xhur wara.
Fil-qosor
Il-kwalità tal-analiżi hija limitata mill-kwalità tad-dejta miġbura. Kun af is-sors (database, API, file, scrape) u skema sew; kun żgur li l-kampjun huwa rappreżentattiv tal-popolazzjoni; Elimina t-tnixxija mill-ewwel jum billi staqsi lil kull kolonna "għandiha fil-ħin tat-tbassir?" L-AI hija aċċeleratur kbir għax-xogħol ta' mistoqsijiet u dokumenti, iżda l-bnedmin jiddeċiedu liema data għandhom jiġbru u r-rappreżentattività tagħha. Il-limiti tal-awtorità, il-liġi u l-kunfidenzjalità dejjem jiġu l-ewwel.
Kompitu ta' applikazzjoni
Agħżel sors tad-dejta (minn-negozju tiegħek stess jew ipotetiku). Ikseb abbozz ta’ dizzjunarju tad-dejta mill-AI bil-mudell ta’ “estrazzjoni tad-dizzjunarju tad-dejta” hawn fuq; Imbagħad evalwa manwalment kull kolonna biex tara jekk ġietx leaked. Ipprova sib mill-inqas kolonna waħda suspettuża/tnixxija u ikteb f'sentenza waħda għaliex hija riskjuża.
lista ta' kontroll
- [ ] Ikkonfermajt is-sors tad-dejta u l-iskema mat-tim tas-sors?
- [ ] Ivverifikajt li l-kampjun huwa rappreżentattiv tal-popolazzjoni?
- [ ] Staqsejt lil kull kolonna l-mistoqsija "se jkolliha fil-ħin tal-istima?"
- [ ] Għamilt it-teħid tal-kampjuni ripetibbli (żerriegħa fissa)?
- [ ] Iċċekkjajt il-limiti legali/etiki (awtorità, robots.txt, KVKK) tal-ġbir?