Awọn anfani:
- Agbara lati ṣe idanimọ awọn orisun data oriṣiriṣi (database, API, file, scraping wẹẹbu) ati awọn ọfin ti ọkọọkan ati loye ero naa ni deede
- Agbara lati ṣe ayẹwo atunwi nipasẹ iṣiro boya ayẹwo naa duro fun olugbe ati ojuṣaayan yiyan
- Agbara lati yọkuro jijo data ni ipele gbigba ati ṣe akiyesi awọn aala ofin / iṣe nipa bibeere ibeere naa 'Ṣe Emi yoo ni ni akoko asọtẹlẹ' ni iwe kọọkan?
Gbogbo itupalẹ dara bi didara data ti o gba. Paapaa awoṣe to ti ni ilọsiwaju julọ ni agbaye yoo gbejade awọn abajade ti ko ni igbẹkẹle ti o ba ṣiṣẹ pẹlu data ti a gba ni aṣiṣe, ti a ṣe ayẹwo ni aiṣedeede, tabi ni alaye nipa ọjọ iwaju. Ninu imọ-ẹrọ kọnputa, ilana yii jẹ akopọ bi “idoti sinu, idoti jade” (idoti sinu, idoti jade). Ninu ẹyọ yii, a yoo bo ipele ikojọpọ data: ni oye orisun, iṣapẹẹrẹ, bibeere awọn ibeere didara, ati jimọra si eewu jijo data lati ọjọ kini. Imọran artificial jẹ iranlọwọ ti o lagbara ni ipele yii; Kọ ibeere SQL, ṣe akopọ iwe API, ṣe adehun adehun data. Ṣugbọn eniyan ni o pinnu iru data ti o gba ati boya data yẹn duro fun ọ.
Ngba lati mọ awọn orisun data
Data wa lati orisirisi awọn ibiti, ati kọọkan orisun ni o ni awọn oniwe-ara pitfalls. Aaye data (data ti a ṣeto ti a fipamọ sinu awọn tabili, nigbagbogbo ti a beere pẹlu SQL) jẹ orisun ti o wọpọ julọ; O jẹ igbẹkẹle, ṣugbọn o jẹ dandan lati ni oye ero rẹ daradara. API (Ojúṣe Iṣeto Ohun elo) n pese data laaye ṣugbọn o gbe eewu awọn opin iyara ati awọn iyipada ọna kika. Awọn faili (CSV, Excel, JSON) rọ ṣugbọn o ni itara si aiṣedeede kika. Ṣiṣan oju-iwe ayelujara jẹ alagbara, ṣugbọn o ni awọn idiwọn ofin ati ilana; Ko gbogbo ojula le ti wa ni scraped.
Ifarabalẹ: Fun fifa wẹẹbu ati ikojọpọ data aifọwọyi, tẹle awọn ofin lilo aaye naa, faili robots.txt ati KVKK/GDPR. Gbigba data laigba aṣẹ ṣẹda layabiliti ofin. Ni aaye ti aabo alaye, lo awọn irinṣẹ ikojọpọ data nikan lori awọn ọna ṣiṣe eyiti o fun ni aṣẹ ati fun aabo / awọn idi itupalẹ; Wiwọle laigba aṣẹ tabi fifa jẹ eewọ.
Agbọye ero naa: acquainted pẹlu data naa
Ṣaaju ki o to gba eto data kan, o gbọdọ ni oye ero rẹ (awọn orukọ ti awọn ọwọn, awọn oriṣi data wọn, awọn itumọ wọn, ati awọn ibatan wọn pẹlu ara wọn). AI wulo pupọ nibi ni ṣiṣẹda “itumọ data” - tabili ti n ṣalaye kini iwe-iwe kọọkan tumọ si. Ṣugbọn awọn alaye AI ṣe awọn asọtẹlẹ; Jẹrisi itumọ otitọ ti iwe kọọkan pẹlu ẹgbẹ ti o ṣe agbejade data naa. Fun apẹẹrẹ, iwe kan ti a npè ni "ipo" le ni 0/1/2; Ẹgbẹ ipilẹṣẹ nikan ni o mọ boya iwọnyi jẹ “ni isunmọtosi/fọwọsi / fagile” tabi nkan miiran.
Tabili ti o tẹle ṣe akopọ awọn oriṣi orisun ati awọn iṣọra:
Orisun
lagbara ojuami
pakute
Bawo ni AI ṣe iranlọwọ
SQL database
Igbekale, gbẹkẹle
Eka JOINs
O kọ iwe ibeere kan
API
ifiwe data
Iwọn iyara, iyipada apẹrẹ
Awọn akojọpọ iwe, fa koodu
CSV/Tayo
Rọ, yara
Aiṣedeede kika
Ka/tu koodu
ayelujara scraping
Gigun arọwọto
Ofin / asa iye to
Itumọ ilana (laarin aṣẹ)
Wọle / data iṣẹlẹ
alaye
iwọn didun nla
Sisẹ ibeere
Apejuwe: Ṣe apakan naa ṣe aṣoju gbogbo rẹ bi?
Ni ọpọlọpọ igba, o ṣiṣẹ pẹlu apẹẹrẹ (apapọ ti a yan lati inu olugbe) ju gbogbo data lọ. Ibeere to ṣe pataki ni: Ṣe ayẹwo yii ṣe aṣoju awọn olugbe bi? Iyatọ yiyan jẹ ẹgẹ ti o wọpọ julọ. Fun apẹẹrẹ, ti o ba ṣe ayẹwo awọn olumulo nikan lati inu ohun elo alagbeka, iwọ kii yoo rii awọn olumulo wẹẹbu ati awọn abajade rẹ yoo jẹ ṣina. Iṣapẹẹrẹ laileto (igbasilẹ kọọkan ni aye dogba ti yiyan) jẹ ailewu julọ ni ọpọlọpọ awọn ọran; sugbon ni akoko jara data, pipin ti wa ni ṣe chronologically ju laileto (a yoo ri yi ni Units 7 ati 10).
Imọye jo lati ọjọ kini
Jijo data jẹ orisun ti ọpọlọpọ awọn ajalu ati nigbagbogbo dide lakoko ipele ikojọpọ data. Apeere: nigbati o ba n sọ asọtẹlẹ “a ti fagilee”, ti o ba ṣafikun iwe “ọjọ ifagile” si data naa, awoṣe naa n wo ọjọ iwaju. Lakoko ipele apejọ, beere ibeere kan fun iwe kọọkan: “Ṣe Emi yoo ni alaye yii nitootọ ni akoko ti MO ṣe asọtẹlẹ?” Ti idahun ba jẹ bẹẹkọ, ọwọn yẹn n jo. A yoo bo koko yii ni ijinle ni Unit 10; Ṣugbọn imọ yẹ ki o bẹrẹ lati ọjọ kini.
mẹta mini igba
Ọran 1 - Iṣoro ti aṣoju. Ile-ifowopamọ kan gba data nikan lori awọn awin ti a fọwọsi fun awoṣe eewu kirẹditi rẹ (awọn igbasilẹ 18,500). Awọn ijusile ko si ninu data naa. Awoṣe naa jẹ aṣiṣe ni agbaye gidi nitori ko rii bi awọn ti o kọ yoo ṣe huwa. Ẹkọ: ayẹwo yẹ ki o jẹ aṣoju ti gbogbo olugbe lati eyiti o n ṣe ipinnu rẹ.
Ọran 2 - ipalọlọ fọọmu ayipada. Ẹgbẹ kan n fa data idiyele lati API lojoojumọ. Ni ọjọ kan, olupese API yi owo pada lati USD si EUR, ṣugbọn orukọ ìkápá naa wa kanna. A gba data ni ẹyọ ti ko tọ fun awọn ọjọ 12; Awọn ila 3,200 ti bajẹ. Ẹkọ: Nigbagbogbo ṣayẹwo iwọn didun ati aitasera ọna kika ni data API.
Ọran 3 - Tete jijo. Oluyanju kan pẹlu iwe “idi fun pipade akọọlẹ” nigba ti o n gba data fun iṣiro “churn”. Iwe yii ti kun nikan lẹhin ti alabara ti lọ. Awọn awoṣe ti nso 97% išedede lori igbeyewo ṣeto; Ko ṣiṣẹ ni iṣelọpọ nitori ọwọn yẹn ṣofo ni akoko asọtẹlẹ. Ẹkọ: beere lọwọ iwe kọọkan ibeere naa "Ṣe Mo ni ni akoko asọtẹlẹ naa?"
Mẹrin daakọ awọn awoṣe
1) Yiyọ iwe-itumọ data:
Rẹ ipa: data onimọ ijinle sayensi Iranlọwọ. Ni isalẹ wa awọn orukọ ọwọn ati apẹẹrẹ (ailorukọ) awọn iye ti tabili kan. Fun iwe kọọkan, ṣe atokọ itumọ ifoju rẹ, datatype, ati awọn ewu didara ti o pọju ninu tabili kan. Samisi awọn ọwọn ti o ko ni idaniloju bi "ìmúdájú beere"; itumo ṣiṣe. Awọn ọwọn: [lẹẹ mọ nibi]
2) koodu iṣapẹẹrẹ (ID, tun ṣe):
Mo ni pandas df. Kọ koodu ti o yọ aṣoju 5% ayẹwo laileto lati awọn ori ila 200,000. Lo random_state=42 (fun atunse). Ṣafikun koodu lati ṣayẹwo pe pinpin kilasi ti ayẹwo jẹ iru si olugbe.
3) Ibeere ayẹwo Leak:
Emi yoo fun ọ ni atokọ ti awọn ọwọn. Ibi-afẹde mi ni lati sọtẹlẹ “Ṣe o ti fagilee” (0/1). Fun iwe kọọkan, ṣe iṣiro boya Emi yoo ni gangan ni akoko asọtẹlẹ naa ki o samisi bi “ailewu / ifura / jo”. Kọ idi rẹ ni gbolohun kan. Awọn ọwọn: [akojọ]
4) Akọsilẹ ibeere SQL:
Mo ni awọn tabili "awọn ibere" ati "awọn onibara" ni PostgreSQL. Kọ ibeere JOIN kan ti o ṣajọpọ awọn aṣẹ ti awọn ọjọ 90 kẹhin pẹlu ilu alabara ti o da iye lapapọ ati nọmba awọn aṣẹ pada fun ilu kan. Ṣe alaye àlẹmọ ọjọ ati bii a ṣe n ṣakoso awọn ilu NULL. Emi yoo ṣiṣẹ ibeere naa ati rii daju.
Ailagbara kiakia / Alagbara kiakia
Ibere ailagbara:
Fa mi kan ti o dara ayẹwo data lati yi database.
"O dara" jẹ aibikita; Aworan wo, akoko wo, iwọn wo, idi wo ko ṣe kedere. AI yoo ṣe agbejade jeneriki nikan, o ṣee ṣe ibeere aṣiṣe.
Ibere ti o lagbara:
Rẹ ipa: SQL Iranlọwọ. Mo ni tabili "awọn iṣowo": id awọn ọwọn, onibara_id, ọjọ (timestamp), iye (nọmba), ikanni (ọrọ: 'web'/'mobile'). Iṣẹ-ṣiṣe: Kọ ibeere ti o tun le ṣe (ipinnu pẹlu ORDER BY) ti o da awọn ila aṣoju 10,000 pada lati ikanni kọọkan fun ọdun 2024. Idi: itupalẹ afiwe ikanni. Ṣe atokọ awọn arosinu ti ibeere rẹ.
Nibi tabili, idi, iwọn ati atunwi jẹ kedere.
Awọn aṣiṣe ti o wọpọ
- Ko lere awọn asoju ti awọn ayẹwo. Ni irọrun wiwọle data kii ṣe data deede; ojúsàájú yíyan ń da àbájáde náà po.
- Iyipada awọn itumọ ọwọn si AI. Ẹgbẹ orisun mọ itumọ; Maṣe lo asọtẹlẹ AI laisi ifẹsẹmulẹ.
- Kii ṣe ipasẹ ọna kika API/ayipada ẹyọkan. Iyipada ipalọlọ n gba data ibajẹ fun awọn ọjọ.
- Aibikita awọn jo ni ipele gbigba. Ti ibeere naa "Ṣe Mo ni ni akoko asọtẹlẹ" ko beere ni kutukutu, awoṣe yoo fun aṣeyọri eke.
- Gbigba data laigba aṣẹ tabi arufin. O ṣẹ ti robots.txt, awọn ofin lilo ati KVKK jẹ eewu to ṣe pataki.
Imọran: Tọju “kaadi data” oju-iwe kan kan fun orisun data tuntun kọọkan: orisun, ọjọ fa, nọmba awọn ori ila, awọn aala ti a mọ, ati awọn ọwọn ni ewu jijo. Kaadi yii ṣafipamọ ibeere "kini data yii" ati atunṣe ni awọn oṣu nigbamii.
Ni akojọpọ
Didara onínọmbà jẹ opin nipasẹ didara data ti a gba. Mọ orisun (database, API, file, scrape) ati apẹrẹ daradara; rii daju pe apẹẹrẹ jẹ aṣoju ti olugbe; Imukuro jijo lati ọjọ kini nipa bibeere iwe kọọkan “Ṣe Mo ni ni akoko asọtẹlẹ?” AI jẹ ohun imuyara nla fun ibeere ati iṣẹ iwe, ṣugbọn awọn eniyan pinnu kini data lati gba ati aṣoju rẹ. Awọn ifilelẹ ti aṣẹ, ofin ati asiri nigbagbogbo wa akọkọ.
Ohun elo iṣẹ-ṣiṣe
Yan orisun data kan (lati iṣowo tirẹ tabi arosọ). Gba apẹrẹ iwe-itumọ data lati AI pẹlu awoṣe “isediwon iwe-itumọ data” loke; Lẹhinna ṣe ayẹwo ọwọ kọọkan lati rii boya o ti jo. Gbiyanju lati wa o kere ju iwe ifura kan / jo ki o kọ sinu gbolohun kan idi ti o fi lewu.
akojọ ayẹwo
- [] Njẹ Mo ti jẹrisi orisun data ati eto pẹlu ẹgbẹ orisun?
- [] Njẹ Mo ti ṣayẹwo pe ayẹwo jẹ aṣoju ti olugbe?
- [] Njẹ Mo ti beere lọwọ iwe kọọkan ibeere naa "Ṣe Emi yoo ni ni akoko iṣiro naa?"
- [] Njẹ Mo ti jẹ ki iṣapẹẹrẹ naa le tun ṣe (irugbin ti o wa titi)?
- [] Njẹ Mo ti ṣayẹwo awọn opin ofin / iṣe (aṣẹ, robots.txt, KVKK) ti gbigba bi?