Qligħ:
- Kapaċità li tiddistingwi l-fluss tax-xogħol f'sitt stadji tax-xjenza tad-dejta (definizzjoni tal-problema, ġbir, tindif, skoperta, immudellar, komunikazzjoni) u l-awtorità li taħtha taħdem l-intelliġenza artifiċjali f'kull stadju, skont il-livell tar-riskju tal-kompitu
- Kapaċità li tapplika dixxiplina li tivverifika kull output ta 'intelliġenza artifiċjali billi tikkonnettjaha mas-sors, taħdem u tqabbel, u tgħaddiha permezz ta' filtrazzjoni esperta.
- Kapaċità li ddawwar il-prinċipji tar-riproduċibbiltà u tal-privatezza (kitba f’kodiċi, anonimizzazzjoni) fi drawwiet ta’ analiżi mill-ewwel jum
Data mhux ipproċessata, diżordinata, u ta’ spiss “gideb” tinżel fuq l-iskrivanija ta’ xjenzat tad-dejta kuljum. Fit-tabella tal-bejgħ, il-kolonna tad-data hija miktuba fi tliet formati differenti; in-numri tal-klijenti huma vojta f'xi linji; L-isem ta 'kolonna huwa "dħul", iżda fih kemm TL kif ukoll valuri USD. Ix-xogħol tax-xjenza tad-dejta huwa li tieħu deċiżjoni affidabbli minn dan il-kaos: iġbor id-dejta, naddafha, tesploraha, tibni mudell, tivvalida r-riżultat, u dawwarha fi storja. L-intelliġenza artifiċjali (AI, jew AI fil-qosor—sistemi tal-kompjuter li jistgħu jiġġeneraw test u kodiċi, jirrikonoxxu mudelli, jiġbru fil-qosor, u jagħmlu tbassir) jistgħu jmissu kull ħolqa f'din il-katina: kitba ta 'kodiċi ta' tindif f'minuti, tirrakkomanda graffs għal analiżi esploratorja, interpretazzjoni ta 'metrika ta' mudell, tikkoreġi mistoqsija SQL. Iżda l-istess AI tista 'wkoll tagħtik fabbrikazzjoni kunfidenti bħal "korrelazzjoni 0.72" għal data li qatt ma rat.
Din l-ewwel unità mhix introduzzjoni tal-librerija. L-iskop tiegħu huwa li jiċċara fejn għandha tpoġġi l-AI fil-fluss tax-xogħol tax-xjenza tad-dejta u fejn qatt ma tpoġġiha. Ejja nfasslu l-prinċipju bażiku mill-bidu: AI hija assistent, mhux xjenzat tad-dejta. Id-deċiżjoni dwar liema dejta tiġbor, liema metrika tiddeċiedi, jekk għandux jitqiegħed mudell fil-produzzjoni, u fejn jitfasslu l-konfini etiċi hija tal-espert kompetenti. Produzzjoni ta' AI mhux verifikata hija riskjuża, bħalma huwa rapport ta' analiżi mhux iffirmat.
Fluss tax-xogħol tax-xjenza tad-dejta: mappa minn tarf sa tarf
Biex tifhem proġett tad-dejta, huwa utli li jinqasmu f'sitt fażijiet. Dan il-modulu kollu jsegwi din il-mappa.
1. Definizzjoni tal-problema: X'nkejlu, għaliex, biex nappoġġaw liema deċiżjoni? Din il-fażi mhix delegata lill-AI; Hija l-persuna li tiddefinixxi l-impjieg.
2. Ġbir ta 'dejta: Sorsi ta' identifikazzjoni, estrazzjoni ta 'dejta, teħid ta' kampjuni. (Unità 2)
3. Tindif u pproċessar minn qabel tad-dejta: Valur nieqes, outlier, konverżjoni tat-tip. (Unità 3)
4. Analiżi tad-dejta esploratorja (EDA - Analiżi tad-Data Esploratorja, l-istadju tar-rikonoxximent tad-distribuzzjoni u r-relazzjonijiet tad-dejta "bil-għajn"): (Unità 4)
5. Inġinerija u mmudellar tal-karatteristiċi: Ġenerazzjoni varjabbli, għażla ta 'algoritmu, taħriġ, evalwazzjoni. (Unità 5, 6, 7)
6. Komunikazzjoni u produzzjoni: Viżwalizzazzjoni, storja, MLOps (dixxiplina tat-teħid tal-mudell ħajjin u l-monitoraġġ tiegħu). (Unità 8, 11)
L-AI topera b'awtorità differenti f'kull wieħed minn dawn is-sitt stadji. It-tabella hawn taħt tiġbor fil-qosor din id-distribuzzjoni tal-awtorità; Din hija t-tabella waħda l-aktar importanti tal-modulu.
Stadju
Rwol tal-AI
Livell tar-riskju
Min japprova
Definizzjoni tal-problema
sieħeb tal-brainstorming
baxx
Xjentist tad-dejta + parti interessata
Ikteb kodiċi tat-tindif
Ġeneratur ta' skeċċ tal-kodiċi
medju
Xjentist tad-dejta (jaqra l-kodiċi)
Kumment EDA
suġġertur tal-mudell
medju
xjenzat tad-data
Ġenerazzjoni tal-karatteristiċi
Idea u ġeneratur tal-kodiċi
medju-għoli
Il-kontroll tat-tnixxija huwa meħtieġ
Għażla tal-mudell/metrika
konsulent
għolja
xjenzat tad-data
Deċiżjoni li titqiegħed fil-produzzjoni
input awżiljarju
għolja ħafna
Tim + sid in-negozju
Approvazzjoni tal-etika/privatezza
stimulant
għolja ħafna
bniedem, dejjem
Żomm f'moħħok is-sentenza waħda minn din it-tabella: hekk kif l-ishma jiżdiedu, ir-rwol tal-AI jiċkien u l-approvazzjoni tal-bniedem tikber.
Għaliex il-verifika hija l-qalba ta 'dan in-negozju
Il-mudelli tal-lingwa AI jidhru ċerti, iżda jistgħu ma jkunux ċerti. Fil-lingwaġġ tekniku, din tissejjaħ alluċinazzjoni: hija l-fabbrikazzjoni tal-mudell ta 'informazzjoni ineżistenti f'sentenza fluwenti bħallikieku kienet vera. Fix-xjenza tad-dejta, dan jiġi fi tliet forom. L-ewwel huwa numru falz: jekk tistaqsi lill-mudell "x'inhu l-ammont medju tal-ordni" mingħajr ma tagħti l-ebda dejta, b'fiduċja jgħidlek numru, minkejja li qatt ma ra d-dejta tiegħek. It-tieni hija funzjoni li ma teżistix: il-mudell jista 'jissuġġerixxi funzjoni li ma teżisti xejn, bħal pandas.read_excel_fast(). It-tielet, interpretazzjoni statistika mhux korretta: il-mudell jista 'jirrepeti bla xkiel żball statistiku klassiku bħal "p-value huwa 0.04, għalhekk l-ipoteżi hija 96% korretta".
Id-dixxiplina tal-verifika tikkonsisti fi tliet passi:
- Rabta mas-sors: Kull numru, rata u tendenza għandhom jiġu mid-dejta tiegħek, mhux mill-memorja tal-AI. Uża l-AI għal kodiċi li jopera fuq id-dejta, mhux biex tiftakar id-dejta.
- Mexxi u qabbel: Mexxi kull biċċa ta 'kodiċi mogħtija mill-AI int stess; Qabbel kull metrika li tipproduċi ma' linja bażi indipendenti.
- Filtru espert: Ittestja għalik innifsek jekk l-output jikkontradixxix l-istatistika u l-għarfien tad-dominju.
Attenzjoni: Li tpoġġi analiżi miktuba mill-AI fi preżentazzjoni mingħajr ma tmexxiha u taqraha hija bħal tippreżenta rapport mhux iffirmat. Sempliċement għax il-kodiċi jaħdem ma jfissirx li huwa korrett; Kodiċi li jiġbor il-kolonna ħażina jaħdem ukoll mingħajr żbalji.
Riproduċibbiltà: li tkun kapaċi tipproduċi l-istess riżultat darbtejn
Il-prinċipju sieket iżda kritiku tax-xjenza tad-dejta huwa r-riproduċibbiltà: meta terġa’ tmexxi analiżi sitt xhur wara jew fuq kompjuter differenti, ikollok l-istess riżultat. Dan ir-riskju jiżdied meta taħdem bl-AI, għaliex meta tgħid lill-AI biex "tagħmel dan il-graff" u tilgħabha manwalment, il-passi jisparixxu. Regola: kull pass għandu jkun irreġistrat fil-kodiċi u l-kontroll tal-verżjoni (bħal Git); F'passi li jinvolvu każwali, iż-żerriegħa bl-addoċċ (il-valur inizjali tal-ġeneratur tan-numru każwali; jekk iffissat, ir-riżultat ikun ripetibbli) għandha tiġi ffissata. Se napprofondixxu dan is-suġġett f’Unità 10; Għalissa, tidħol f'dan il-vizzju: "Tikklikkjax bl-idejn, ikteb bil-kodiċi."
tliet każijiet żgħar
Każ 1 — Aċċelerazzjoni sigura. Analista tal-kummerċ elettroniku normalment iqatta 'nofs ġurnata jikklerja tabella ta' ordnijiet ta '240 elf ringiela. Huwa ta l-ismijiet tal-kolonni u l-ewwel 5 ringieli (mingħajr data personali) lill-AI u talab għall-kodiċi tat-tindif tal-pandas. AI pproduċiet abbozz fi 8 sekondi; L-analista qara l-kodiċi linja b'linja, iffissa żball fl-analiżi tad-data, u dam. Tul: 35 minuta minflok 4 sigħat. AI ipprovdiet kodiċi, il-verifika baqgħet mal-bniedem.
Każ 2 — In-nassa metrika magħmula. Intern staqsa lill-AI, "Kemm hija preċiża l-foresta każwali fuq din id-dejta?" mingħajr ma jitħarreġ il-mudell xejn. "Madwar 89%," qal AI. L-intern poġġa dan fil-preżentazzjoni; Meta l-mudell reali kien imħarreġ, l-eżattezza kienet 71%. Żball: Tistenna l-metriċi mingħajr ma tagħti data u mudelli lill-AI.
Każ 3 — Tnixxija siekta. Tim wieħed implimenta l-idea ssuġġerita mill-AI ta '"żid il-medja tal-varjabbli fil-mira bħala karatteristika" mingħajr ma dubitaha. Il-mudell wettaq 98% fuq is-sett tat-test iżda ġġarraf fil-produzzjoni minħabba li l-karatteristika kienet qed tnixxi informazzjoni futura (tnixxija tad-dejta, Unità 10). Żball: Mhux iffiltrat statistikament ir-rakkomandazzjoni tal-AI.
Pront dgħajjef / Pront qawwi
Pront dgħajjef:
Analizza din id-dejta tal-bejgħ u għidli d-dħul medju.
Din it-talba hija difettuża: l-AI ma ngħatatx dejta, għalhekk id-"dħul medju" jista 'jinkiseb biss. La l-kolonni, la l-perjodu, u lanqas il-munita huma ċari.
Pront qawwi:
Ir-rwol tiegħek: assistent li jgħin xjenzat tad-dejta. Għandi Pandas DataFrame: df. Kolonni:- order_date (test, fil-format "2024-03-01")- ammont_tl (deċimali, NaN f'xi ringieli)- customer_id (integer)Kompitu: (1) ikteb kodiċi pandas li tikkalkula l-ammont medju,(2) spjega kif timmaniġġja l-valuri NaN,(3) elenka s-suppożizzjonijiet li jagħmel il-kodiċi. M'għandekx tagħmel il-kontenut tad-dejta; Iġġenera biss kodiċi u jien se nmexxi u nivverifika r-riżultat.
F'din it-talba, l-iskema, l-aspettattiva u l-"projbizzjoni tal-fabbrikazzjoni" huma ċari. Inti xorta tmexxi u tivverifika l-output lilek innifsek.
Il-bidu tal-etika u l-privatezza
Ix-xjenza tad-dejta ħafna drabi taħdem b'dejta personali: rekords tal-klijenti, tal-pazjenti, tal-impjegati. Il-KVKK (Liġi dwar il-Protezzjoni tad-Dejta Personali) fit-Türkiye u l-GDPR fl-Ewropa jipproteġu din id-dejta. It-twaħħil ta' l-isem reali, l-ID, l-email jew l-indirizz tiegħek f'għodda pubblika ta' l-AI hija vjolazzjoni. Regola: anonimizza d-dejta qabel taqsam, ipprovdi biss skema (ismijiet ta’ kolonni, tipi) u ringiela ta’ eżempju finta jekk meħtieġ. Se napprofondixxu t-tema tal-etika f’Unità 11; Ejja npoġġu l-prinċipju mill-bidu: Biex tifhem id-dejta, il-qsim tal-istruttura tagħha, mhux il-kontenut tagħha, spiss ikun biżżejjed.
Żbalji komuni
- Tistenna numri/metriċi mingħajr ma tagħti data lill-AI. Il-mudell ma jistax jaċċessa d-dejta; In-numru li jagħti huwa falz. Dejjem għandek ir-riżultat ikkalkulat u run.
- Taħseb li l-kodiċi tax-xogħol huwa korrett. Il-kodiċi li jimmanipula l-kolonna ħażina wkoll taħdem mingħajr żbalji; Tafdax mingħajr ma taqra l-loġika.
- Twaħħal data personali reali fl-għodda miftuħa. L-isem, in-numru tal-ID, l-e-mail qatt ma huma kondiviżi; Id-dijagramma hija biżżejjed.
- Tagħmel il-passi manwalment u ma tiktebhom fil-kodiċi. Analiżi li mhix riproduċibbli mhijiex affidabbli.
- Jaċċettaw l-interpretazzjoni tal-AI tal-istatistika mingħajr dubju. L-AI tista' tirrepeti żbalji klassiċi f'kunċetti bħall-valur p u l-korrelazzjoni.
Tip: Inkludi "linja ta' regola" qasira f'kull waħda mis-sessjonijiet tal-AI tiegħek: "Tagħmelx il-kontenut tad-dejta; iġġenera biss kodiċi/analiżi u niġri u nivverifika r-riżultat; indika 'm'intix ċert' fejn m'intix ċert." Din is-sentenza waħda tnaqqas b'mod sinifikanti r-riskju ta 'alluċinazzjonijiet.
Fil-qosor
L-AI hija assistent qawwi fix-xjenza tad-dejta: taċċellera l-kodiċi tat-tindif, l-interpretazzjoni tal-EDA, ir-rakkomandazzjoni tal-mudell u l-viżwalizzazzjoni. Iżda d-definizzjoni tal-problema, l-għażla metrika, id-deċiżjoni tal-produzzjoni u l-konfini etiċi jappartjenu għall-bnedmin. Il-fluss tax-xogħol għandu sitt stadji, u r-rwol tal-AI isir iżgħar hekk kif ir-riskju jiżdied. Tliet drawwiet huma l-pedament ta 'kollox: rabta tas-sors (validazzjoni), riproduċibbiltà (kodifikazzjoni), u anonimizzazzjoni (kunfidenzjalità). Ladarba tinternalizza dawn it-tlieta, kull għodda fil-bqija tal-modulu ssir aċċeleratur sikur għalik.
Kompitu ta' applikazzjoni
Agħmel skema ta' tabella żgħira li għandek (jew waħda ipotetika): ismijiet ta' kolonni, tipi, u 2-3 ringieli ta' eżempju finta (mingħajr data personali reali). Staqsi lill-AI għal kodiċi tal-istatistiċi fil-qosor billi tuża l-mudell "Pront qawwija" hawn fuq. Mexxi l-kodiċi, qabbel l-output ma 'valur manwali, iċċekkja għal xi suppożizzjonijiet falzi, u nnota s-sejbiet tiegħek f'5 punti bullet.
lista ta' kontroll
- [ ] Għadt lill-AI skema u kampjun falz minflok dejta personali reali?
- [ ] Qrajt u ħadt il-kodiċi li pproduċiet linja b'linja?
- [ ] Ivverifikajt b'mod indipendenti kull numru fl-output?
- [ ] Ktibt kull pass tal-analiżi fil-kodiċi u għamiltu ripetibbli?
- [ ] Iddeterminajt il-livell tar-riskju tal-missjoni u assenejt id-deċiżjoni finali lil bniedem?