Hagnaður:
- Geta til að þekkja mismunandi gagnagjafa (gagnagrunn, API, skrá, vefskrap) og gildrur hvers og eins og skilja stefið rétt
- Hæfni til að framkvæma endurtekna sýnatöku með því að meta hvort úrtakið táknar þýðið og valskekkju
- Geta til að útrýma gagnaleka á söfnunarstigi og fylgjast með lagalegum/siðferðilegum mörkum með því að spyrja spurningarinnar „Mun ég hafa það á þeim tíma sem spáð er“ í hverjum dálki?
Sérhver greining er jafn góð og gæði gagna sem þú safnar. Jafnvel fullkomnasta líkan í heimi mun gefa óáreiðanlegar niðurstöður ef það vinnur með gögnum sem er safnað rangt, sýni hlutdrægt eða inniheldur upplýsingar um framtíðina. Í tölvunarfræði er þessi regla tekin saman sem "sorp inn, sorp út" (sorp inn, sorp út). Í þessari einingu munum við fara yfir gagnasöfnunarstigið: skilja upprunann, sýnatöku, spyrja gæðaspurninga og vera vakandi fyrir hættunni á gagnaleka frá fyrsta degi. Gervigreind er öflugt hjálpartæki á þessu stigi; Skrifar SQL fyrirspurn, dregur saman API skjal, semur gagnasamning. En það er manneskjan sem ákveður hvaða gögnum þú safnar og hvort þessi gögn tákni þig.
Að kynnast gagnaveitum
Gögn koma frá mismunandi stöðum og hver heimild hefur sínar gildrur. Gagnagrunnur (skipulögð gögn geymd í töflum, venjulega fyrirspurn með SQL) er algengasta uppspretta; Það er áreiðanlegt, en það er nauðsynlegt að skilja kerfi þess vel. API (Application Programming Interface) veitir lifandi gögn en felur í sér hættu á hraðatakmörkunum og sniðbreytingum. Skrár (CSV, Excel, JSON) eru sveigjanlegar en hætta á ósamræmi í sniði. Vefskrap er öflugt, en það hefur lagaleg og siðferðileg takmörk; Ekki er hægt að skafa hverja síðu.
Athugið: Fyrir vefskrapun og sjálfvirka gagnasöfnun skaltu fara eftir notkunarskilmálum síðunnar, robots.txt skrá og KVKK/GDPR. Óheimil gagnasöfnun skapar lagalega ábyrgð. Í tengslum við upplýsingaöryggi, notaðu aðeins gagnasöfnunarverkfæri á kerfum sem þú hefur leyfi fyrir og í varnar-/greiningartilgangi; Óviðkomandi aðgangur eða skafa er bannaður.
Að skilja stefið: kynnast gögnunum
Áður en gagnasafn er safnað verður þú að skilja skema þess (nöfn dálkanna, gagnategundir þeirra, merkingu þeirra og tengsl þeirra við hvert annað). AI er mjög gagnlegt hér til að búa til „gagnaorðabók“ — tafla sem útskýrir hvað hver dálkur þýðir. En skýringarnar sem gervigreind framleiðir eru spár; Staðfestu sanna merkingu hvers dálks með teyminu sem framleiddi gögnin. Til dæmis gæti dálkur sem heitir "staða" innihaldið 0/1/2; Aðeins upphafshópurinn veit hvort þetta er "í bið/samþykkt/hætt við" eða eitthvað annað.
Eftirfarandi tafla tekur saman helstu auðlindagerðir og varúðarreglur:
Heimild
sterkur punktur
gildru
Hvernig gervigreind hjálpar
SQL gagnagrunnur
Uppbygging, áreiðanleg
Flókin JOIN
Skrifar uppkast að fyrirspurn
API
lifandi gögn
Hraðatakmörkun, formbreyting
Skjalayfirlit, dragkóði
CSV/Excel
Sveigjanlegt, hratt
Ósamræmi í sniði
Lesa/þátta kóða
vefskrapun
Breitt ná
Lagaleg/siðferðileg mörk
Að flokka uppkast (innan heimildar)
Skrá/atburðargögn
ítarleg
mikið magn
Síunarfyrirspurn
Myndskreyting: táknar hluturinn heildina?
Oftast er unnið með úrtak (undirmengi valið úr þýðinu) frekar en öll gögnin. Mikilvæga spurningin er: táknar þetta úrtak þýðið? Valhlutdrægni er algengasta gildran. Til dæmis, ef þú tekur aðeins sýnishorn af notendum úr farsímaforritinu muntu ekki sjá netnotendur og niðurstöður þínar verða villandi. Slembiúrtak (hver skrá hefur jafna möguleika á að vera valin) er öruggust í flestum tilfellum; en í tímaraðagögnum er skipting gert í tímaröð frekar en af handahófi (við munum sjá þetta í einingar 7 og 10).
Lekavitund frá fyrsta degi
Gagnaleki er uppspretta flestra hamfara og kemur venjulega upp á meðan á gagnaöflun stendur. Dæmi: þegar spáð er „var það aflýst“, ef þú bætir „afpöntunardagsetning“ dálknum við gögnin, lítur líkanið inn í framtíðina. Á meðan á söfnunarferlinu stendur skaltu spyrja einnar spurningar fyrir hvern dálk: „Mun ég raunverulega hafa þessar upplýsingar á þeim tíma sem ég spái? Ef svarið er nei, þá lekur sá dálkur. Við munum fjalla ítarlega um þetta efni í deild 10; En vitund ætti að byrja frá fyrsta degi.
þrjú smámál
Mál 1 - Vandamál fulltrúa. Einn banki safnaði aðeins gögnum um samþykkt lán fyrir útlánaáhættulíkan sitt (18.500 færslur). Synjun var ekki í gögnunum. Líkanið var rangt í hinum raunverulega heimi því það sá aldrei hvernig höfnunarmenn myndu haga sér. Lexía: úrtakið ætti að vera dæmigert fyrir allt þýðið sem þú tekur ákvörðun þína úr.
Mál 2 — Þögul formbreyting. Teymi var að draga verðgögn úr API á hverjum degi. Einn daginn breytti API-veitan gjaldmiðlinum úr USD í EUR, en lénið var það sama. Gögnum var safnað í rangri einingu í 12 daga; 3.200 línur skemmdust. Lexía: Athugaðu reglulega magn og snið samræmis í API gögnum.
Mál 3 - Snemma leki. Sérfræðingur setti dálkinn „ástæður fyrir lokun reiknings“ með þegar hann safnaði gögnum fyrir mat á „hringi“. Þessi dálkur var fylltur aðeins eftir að viðskiptavinurinn fór. Líkanið skilaði 97% nákvæmni á prófunarsettinu; Það virkaði ekki í framleiðslu vegna þess að sá dálkur var tómur á spátíma. Lexía: Spyrðu hvern dálk spurningarinnar "er ég með hann þegar spáin er gerð?"
Fjögur afritanleg sniðmát
1) Gagnaorðabókarútdráttur:
Hlutverk þitt: aðstoðarmaður gagnafræðings. Hér að neðan eru dálknöfn og sýnishorn (nafnlaus) gildi töflu. Fyrir hvern dálk skaltu skrá áætlaða merkingu hans, gagnagerð og hugsanlega gæðaáhættu í töflu. Merktu dálkana sem þú ert ekki viss um sem "staðfestingar krafist"; merkir gerð.Dálkar: [líma hér]
2) Úrtakskóði (tilviljunarkenndur, endurtekinn):
Ég á pöndur df. Skrifaðu kóða sem dregur út dæmigert 5% slembiúrtak úr 200.000 línum. Notaðu random_state=42 (fyrir endurgerðanleika). Bættu við kóða til að athuga hvort flokkadreifing úrtaksins sé svipuð og þýðið.
3) Lekaskönnun spurning:
Ég skal gefa þér þennan dálkalista. Markmið mitt er að spá fyrir um „er það aflýst“ (0/1). Fyrir hvern dálk, metið hvort ég muni raunverulega hafa hann þegar spáin er gerð og merktu hann sem "öruggur / grunsamlegur / leki". Skrifaðu rökin þín í einni setningu. Dálkar: [listi]
4) Uppkast að SQL pull fyrirspurn:
Ég er með "pantanir" og "viðskiptavinir" töflur í PostgreSQL. Skrifaðu JOIN fyrirspurn sem sameinar pantanir síðustu 90 daga við borg viðskiptavinarins og skilar heildarupphæð og fjölda pantana á hverja borg. Útskýrðu dagsetningarsíuna og hvernig NULL borgir eru meðhöndlaðar. Ég mun keyra fyrirspurnina og sannreyna hana.
Veik kvaðning / Sterk kvaðning
Veik kvaðning:
Dragðu mér góð sýnishorn úr þessum gagnagrunni.
„Gott“ er óljóst; Hvaða málverk, hvaða tímabil, hvaða stærð, hvaða tilgangur er ekki ljóst. AI mun aðeins framleiða almenna, hugsanlega ranga fyrirspurn.
Öflug tilvitnun:
Hlutverk þitt: SQL aðstoðarmaður. Ég er með "færslur" töflu: dálkaauðkenni, viðskiptamannsauðkenni, dagsetning (tímastimpill), upphæð (töluleg), rás (texti: 'vefur'/'farsími'). Verkefni: Skrifaðu endurtekna (ákveðna með ORDER BY) fyrirspurn sem skilar 10.000 dæmigerðum línum úr hverri rás fyrir árið 2024. Tilgangur: rásarsamanburðargreining. Skráðu forsendur fyrirspurnar þinnar.
Hér eru taflan, tilgangur, stærð og endurtekningarnákvæmni skýr.
Algeng mistök
- Ekki efast um að úrtakið sé dæmigert. Auðvelt aðgengileg gögn eru ekki nákvæm gögn; valhlutdrægni skekkir niðurstöðuna.
- Aðlaga merkingu dálka að gervigreind. Heimildarliðið veit merkinguna; Ekki nota gervigreindarspána án þess að staðfesta hana.
- Ekki rekja API snið/einingu breytingu. Þögla breytingin safnar spilltum gögnum í marga daga.
- Hunsa lekann á söfnunarstigi. Ef spurningin „Á ég það þegar spáð er“ er ekki spurt snemma mun líkanið gefa rangan árangur.
- Söfnun óleyfilegra eða ólöglegra gagna. Brot á robots.txt, notkunarskilmálum og KVKK er alvarleg hætta.
Ábending: Haltu einni síðu „gagnakorti“ fyrir hvern nýjan gagnagjafa: uppruna, dráttardagsetningu, fjölda raða, þekkt mörk og dálkar í hættu á leka. Þetta kort vistar spurninguna „hver voru þessi gögn“ og endurgerðanleika mánuðum síðar.
Í stuttu máli
Gæði greiningarinnar takmarkast af gæðum gagna sem safnað er. Þekkja upprunann (gagnagrunn, API, skrá, skafa) og skema vel; ganga úr skugga um að úrtakið sé dæmigert fyrir þýðið; Útrýmdu leka frá fyrsta degi með því að spyrja hvern dálk „er ég með hann þegar spáð er? Gervigreind er frábær hraðall fyrir fyrirspurna- og skjalavinnu, en menn ákveða hvaða gögnum á að safna og umboðsgildi þeirra. Takmörk valds, lög og trúnaður eru alltaf í fyrirrúmi.
Umsóknarverkefni
Veldu gagnagjafa (frá þínu eigin fyrirtæki eða tilgátu). Fáðu drög að gagnaorðabók frá gervigreind með sniðmátinu „gagnaorðabókarútdráttur“ hér að ofan; Metið síðan hvern dálk handvirkt til að sjá hvort hann hafi lekið. Reyndu að finna að minnsta kosti einn grunsamlegan/leka dálk og skrifaðu í einni setningu hvers vegna það er áhættusamt.
gátlisti
- [ ] Hef ég staðfest gagnauppsprettu og skema með heimildateyminu?
- [ ] Hef ég athugað hvort úrtakið sé dæmigert fyrir þýðið?
- [ ] Hef ég spurt hvern dálk spurningarinnar "mun ég hafa hann á þeim tíma sem matið er?"
- [ ] Hef ég gert sýnatökuna endurtekanlega (fast fræ)?
- [ ] Hef ég athugað lagaleg/siðferðileg (yfirvald, robots.txt, KVKK) mörk innheimtu?