Hagnaður:
- Hæfni til að greina sex þrepa vinnuflæði gagnavísinda (skilgreining vandamála, söfnun, hreinsun, uppgötvun, líkanagerð, samskipti) og heimildina sem gervigreind vinnur undir á hverju stigi, í samræmi við áhættustig verkefnisins
- Geta til að beita fræðigrein sem sannreynir hvert gervigreindarúttak með því að tengja það við upprunann, keyra og bera það saman og fara í gegnum síun sérfræðinga.
- Hæfni til að breyta fjölbreytni og persónuverndarreglum (skrifa í kóða, nafnleynd) í greiningarvenjur frá fyrsta degi
Hrá, sóðaleg og oft „lygandi“ gögn lenda á skrifborði gagnafræðings á hverjum degi. Í sölutöflunni er dagsetningardálkurinn skrifaður á þremur mismunandi sniðum; viðskiptavinanúmer eru auð í sumum línum; Heiti dálks er "tekjur", en hann inniheldur bæði TL og USD gildi. Hlutverk gagnavísinda er að taka áreiðanlega ákvörðun út úr þessum glundroða: safna gögnunum, hreinsa þau, kanna þau, byggja líkan, sannreyna niðurstöðuna og breyta þeim í sögu. Gervigreind (AI, eða AI í stuttu máli – tölvukerfi sem geta búið til texta og kóða, þekkt mynstur, dregið saman og gert spár) getur snert alla hlekki í þessari keðju: að skrifa hreinsunarkóða á nokkrum mínútum, mæla með línuritum til könnunargreiningar, túlka mæligildi líkans, leiðrétta SQL fyrirspurn. En sama gervigreind getur líka gefið þér öruggan tilbúning eins og „fylgni 0,72“ fyrir gögn sem hún hefur aldrei séð.
Þessi fyrsta eining er ekki bókasafnskynning. Tilgangur þess er að skýra hvar eigi að setja gervigreind í verkflæði gagnavísinda og hvar eigi að setja það. Við skulum leggja fram grundvallarregluna frá upphafi: gervigreind er aðstoðarmaður, ekki gagnafræðingur. Ákvörðun um hvaða gögnum á að safna, hvaða mælikvarða á að ákveða, hvort setja eigi líkan í framleiðslu og hvar eigi að draga siðferðileg mörk hvílir á þar til bærum sérfræðingi. Óstaðfest gervigreind er áhættusöm, eins og óundirrituð greiningarskýrsla.
Gagnafræði vinnuflæði: kort frá enda til enda
Til að skilja gagnaverkefni er gagnlegt að skipta því niður í sex áfanga. Öll einingin fylgir þessu korti.
1. Skilgreining vandamála: Hvað mælum við, hvers vegna, til að styðja hvaða ákvörðun? Þessi áfangi er ekki framseldur til gervigreindar; Það er manneskjan sem skilgreinir starfið.
2. Gagnasöfnun: Að bera kennsl á heimildir, útdráttur gagna, sýnatöku. (Eining 2)
3. Gagnahreinsun og forvinnsla: Gildi vantar, frávik, tegundabreyting. (Eining 3)
4. Rannsóknargagnagreining (EDA - Exploratory Data Analysis, stigið til að þekkja dreifingu og tengsl gagnanna "með auga"): (Eining 4)
5. Eiginleikaverkfræði og líkanagerð: Breytileg kynslóð, val á reiknirit, þjálfun, mat. (Eining 5, 6, 7)
6. Samskipti og framleiðsla: Visualization, saga, MLOps (agi að taka líkanið í beinni og fylgjast með því). (Eining 8, 11)
AI starfar með mismunandi vald í hverju þessara sex stiga. Taflan hér að neðan tekur saman þessa dreifingu valds; Þetta er mikilvægasta tafla einingarinnar.
Sviði
Hlutverk gervigreindar
Áhættustig
Hver samþykkir
Skilgreining vandamála
hugmyndaflugfélagi
lágt
Gagnafræðingur + hagsmunaaðili
Skrifaðu hreinsunarkóða
Kóða skissu rafall
miðlungs
Gagnafræðingur (les kóða)
Athugasemd EDA
uppástunga um mynstur
miðlungs
gagnafræðingur
Eiginleika kynslóð
Hugmynda- og kóðarafall
meðalhár
Lekaeftirlit er nauðsynlegt
Gerð val/mæling
ráðgjafi
hátt
gagnafræðingur
Ákvörðun um að setja í framleiðslu
aukainntak
mjög hátt
Teymi + eigandi fyrirtækis
Siðfræði/persónuverndarsamþykki
örvandi efni
mjög hátt
mannlegur, alltaf
Hafðu í huga eina setninguna úr þessari töflu: eftir því sem veðin eykst minnkar hlutverk gervigreindar og samþykki manna vex.
Hvers vegna sannprófun er hjarta þessa viðskipta
Gervigreind tungumálalíkön virðast viss, en þau eru kannski ekki viss. Á tæknimáli er þetta kallað ofskynjanir: þetta er tilbúningur líkansins á upplýsingum sem ekki eru til í reiprennandi setningu eins og þær séu sannar. Í gagnafræði kemur þetta í þrennt form. Sú fyrsta er fölsuð númer: ef þú spyrð líkanið „hver er meðalpöntunarupphæð“ án þess að gefa upp nein gögn, mun hún segja þér númer með öryggi, jafnvel þó hún hafi aldrei séð gögnin þín. Annað er fall sem er ekki til: líkanið gæti stungið upp á falli sem er alls ekki til, eins og pandas.read_excel_fast(). Í þriðja lagi, röng tölfræðileg túlkun: líkanið getur auðveldlega endurtekið klassíska tölfræðilega villu eins og „p-gildi er 0,04, þannig að tilgátan er 96% rétt“.
Sannprófunargreinin samanstendur af þremur skrefum:
- Tengill við uppruna: Sérhver tala, hlutfall og þróun ætti að koma frá gögnunum þínum, ekki minni gervigreindarinnar. Notaðu gervigreind fyrir kóða sem virkar á gögnum, ekki til að muna gögn.
- Hlaupa og bera saman: Keyrðu hvern kóða sem gefinn er af gervigreindinni sjálfur; Berðu saman hverja mælikvarða sem það framleiðir við sjálfstæða grunnlínu.
- Sérfræðingasía: Prófaðu sjálfur hvort framleiðslan stangist á við tölfræði og lénsþekkingu.
Varúð: Að setja greiningu skrifuð af gervigreindinni í kynningu án þess að keyra og lesa hana er eins og að setja fram óundirritaða skýrslu. Þó að kóðinn virki þýðir það ekki að hann sé réttur; Kóði sem leggur saman rangan dálk virkar líka án villna.
Endurgerðanleiki: að geta framleitt sömu niðurstöðuna tvisvar
Hin þögla en mikilvæga meginregla gagnavísinda er endurgerðanleiki: þegar þú keyrir greiningu aftur sex mánuðum síðar eða á annarri tölvu færðu sömu niðurstöðu. Þessi áhætta eykst þegar unnið er með gervigreind, því þegar þú segir gervigreindinni að „búa til þetta graf“ og spila það handvirkt, hverfa skrefin. Regla: hvert skref verður að vera skráð í kóðanum og útgáfustýringunni (eins og Git); Í skrefum sem fela í sér handahófi, ætti að laga slembifræið (upphafsgildi slembitöluframleiðandans; ef það er fast, verður niðurstaðan endurtekin). Við munum dýpka þetta efni í deild 10; Í bili, farðu í þennan vana: "Ekki smella með hendi, skrifaðu í kóða."
þrjú smámál
Tilvik 1 - Örugg hröðun. Sérfræðingur í rafrænum viðskiptum myndi venjulega eyða hálfum degi í að hreinsa pöntunartöflu með 240 þúsund línum. Hann gaf gervigreindinni nöfnin og fyrstu 5 línurnar (án persónulegra gagna) og bað um hreinsunarkóðann fyrir pöndur. AI framleiddi drög á 8 sekúndum; Sérfræðingur las kóðann línu fyrir línu, lagaði villu í dagsetningarþáttun og keyrði hann. Lengd: 35 mínútur í stað 4 klukkustunda. AI gaf upp kóða, staðfesting var áfram hjá manneskjunni.
Tilvik 2 — Tilbúna mæligildran. Nemandi spurði gervigreindina: "Hversu nákvæmur er tilviljunarkenndur skógur á þessum gögnum?" án þess að þjálfa líkanið yfirleitt. „Um 89%,“ sagði AI. Nemandi setti þetta inn í kynninguna; Þegar raunverulegt líkan var þjálfað var nákvæmnin 71%. Mistök: Að bíða eftir mælingum án þess að gefa gögn og líkön til gervigreindar.
Mál 3 - Hljóðlátur leki. Eitt teymi útfærði hugmyndina sem gervigreind var ráðlögð um að „bæta við meðaltali markbreytunnar sem eiginleika“ án þess að efast um það. Líkanið stóð sig 98% á prófunarsettinu en hrundi í framleiðslu vegna þess að eiginleikinn lekur framtíðarupplýsingum (gagnaleki, eining 10). Mistök: Að sía ekki AI tilmælin tölfræðilega.
Veik kvaðning / Sterk kvaðning
Veik kvaðning:
Greindu þessi sölugögn og segðu mér meðaltekjurnar.
Þessi fullyrðing er gölluð: gervigreindinni voru ekki gefin gögn, þannig að aðeins er hægt að gera upp „meðaltekjur“. Hvorki dálkarnir né tímabilið né gjaldmiðillinn eru skýr.
Öflug tilvitnun:
Hlutverk þitt: aðstoðarmaður að hjálpa gagnafræðingi. Ég á Panda DataFrame: df. Dálkar:- order_date (texti, á sniði "2024-03-01")- magn_tl (tugabrot, NaN í sumum röðum)- viðskiptamannsauðkenni (heiltala) Verkefni: (1) skrifaðu pandaskóða sem reiknar meðalupphæðina,(2) útskýrðu hvernig hann meðhöndlar NaN gildi,(3) skráðu forsendurnar sem kóðinn gerir. Ekki búa til gagnainnihaldið; búðu bara til kóða og ég mun keyra og sannreyna niðurstöðuna.
Í þessari beiðni er fyrirkomulagið, eftirvæntingin og "bannið við tilbúningi" skýrt. Þú keyrir samt og staðfestir úttakið sjálfur.
Upphaf siðfræði og friðhelgi einkalífs
Gagnafræði vinnur oft með persónuleg gögn: viðskiptavinur, sjúklingur, starfsmannaskrár. KVKK (Persónuverndarlög) í Türkiye og GDPR í Evrópu vernda þessi gögn. Að líma raunverulegt nafn þitt, auðkenni, netfang eða heimilisfang í opinbert gervigreindarverkfæri er brot. Regla: nafnlaus gögn áður en þeim er deilt, gefðu aðeins upp skema (dálknöfn, gerðir) og dummy dæmi röð ef þörf krefur. Við munum dýpka efnið siðfræði í deild 11; Við skulum setja meginregluna frá upphafi: Til að skilja gögnin er oft nóg að deila uppbyggingu þeirra, ekki innihaldi.
Algeng mistök
- Bíða eftir tölum/mælingum án þess að gefa gögn til gervigreindar. Líkanið getur ekki nálgast gögnin; Númerið sem hann gefur upp er fölsk. Láttu alltaf reikna niðurstöðuna og keyra hana.
- Held að vinnukóði sé réttur. Kóðinn sem vinnur með rangan dálk keyrir líka án villna; Ekki treysta án þess að lesa rökfræðina.
- Að líma raunveruleg persónuleg gögn inn í opna tólið. Nafni, kennitölu, tölvupósti er aldrei deilt; Skýringarmyndin er nóg.
- Að gera skrefin handvirkt og ekki skrifa þau inn í kóðann. Greining sem er ekki hægt að endurtaka er óáreiðanleg.
- Samþykkja túlkun gervigreindar á tölfræði án efa. AI getur endurtekið klassísk mistök í hugtökum eins og p-gildi og fylgni.
Ábending: Settu stutta "reglulínu" inn í hverja gervigreindarlotu þína: "Ekki búa til gagnainnihaldið; búðu bara til kóða/greiningu og ég mun keyra og sannreyna niðurstöðuna; gefðu til kynna 'ekki viss' þar sem þú ert ekki viss." Þessi eina setning dregur verulega úr hættu á ofskynjunum.
Í stuttu máli
Gervigreind er öflugur aðstoðarmaður í gagnavísindum: það flýtir fyrir hreinsunarkóða, EDA túlkun, líkanaráðgjöf og sjónrænni. En skilgreining vandamála, val á mælikvarða, framleiðsluákvörðun og siðferðileg mörk tilheyra mönnum. Verkflæðið hefur sex stig og hlutverk gervigreindar verður minna eftir því sem áhættan eykst. Þrjár venjur eru undirstaða alls: upprunatenging (staðfesting), endurgerð (kóðun) og nafnleynd (trúnaður). Þegar þú innbyrðir þetta þrennt verður hvert verkfæri í restinni af einingunni öruggur hraðall fyrir þig.
Umsóknarverkefni
Gerðu bara skema af lítilli töflu sem þú ert með (eða tilgátu): dálknöfn, gerðir og 2-3 dummy dæmi raðir (án raunverulegra persónulegra gagna). Biddu gervigreindina um samantektartölfræðikóða með því að nota „Öflug hvetja“ sniðmátið hér að ofan. Keyrðu kóðann, berðu saman úttakið við handvirkt gildi, athugaðu hvort einhverjar rangar forsendur séu og taktu eftir niðurstöðum þínum í 5 punktum.
gátlisti
- [ ] Gaf ég gervigreindinni bara skema og falsað sýnishorn í stað raunverulegra persónulegra gagna?
- [ ] Las ég og keyrði kóðann sem hann framleiddi línu fyrir línu?
- [ ] Hef ég sjálfstætt sannreynt hverja tölu í úttakinu?
- [ ] Hef ég skrifað hvert skref greiningarinnar inn í kóðann og gert það endurtekið?
- [ ] Hef ég ákveðið áhættustig verkefnisins og úthlutað endanlega ákvörðun á mann?