Gnóthachain:
- Cumas idirdhealú a dhéanamh ar shreabhadh oibre sé chéim na heolaíochta sonraí (sainmhíniú fadhb, bailiú, glanadh, fionnachtain, samhaltú, cumarsáid) agus an t-údarás faoina n-oibríonn hintleachta saorga ag gach céim, de réir leibhéal riosca an tasc.
- Cumas disciplín a chur i bhfeidhm a fhíoraíonn gach aschur hintleachta saorga trína nascadh leis an bhfoinse, é a rith agus a chur i gcomparáid, agus é a chur trí scagadh saineolaithe.
- Cumas prionsabail in-atáirgtheachta agus príobháideachais (scríobh i gcód, anaithnidiú) a iompú ina nósanna anailíse ón gcéad lá
Tuirlingíonn sonraí amha, messy, agus go minic “suite” ar dheasc eolaí sonraí gach lá. Sa tábla díolacháin, tá an colún dáta scríofa i dtrí fhormáid éagsúla; tá líon na gcustaiméirí bán i roinnt línte; Is é ainm colún ná "ioncam", ach tá luachanna TL agus USD araon ann. Is é post na heolaíochta sonraí ná cinneadh iontaofa a dhéanamh as an chaos seo: na sonraí a bhailiú, a ghlanadh, a iniúchadh, múnla a thógáil, an toradh a bhailíochtú, agus é a iompú ina scéal. Is féidir le hintleacht shaorga (AI, nó AI do chórais ríomhaireachta gearra ar féidir leo téacs agus cód a ghiniúint, patrúin a aithint, achoimre a dhéanamh, agus tuar a dhéanamh) teagmháil a dhéanamh le gach nasc sa slabhra seo: cód glanta a scríobh i nóiméid, graif a mholadh le haghaidh anailíse taiscéalaíoch, léirmhíniú méadrach múnla, ceist SQL a cheartú. Ach is féidir leis an AI céanna déantúsaíocht muiníneach a thabhairt duit freisin mar "comhghaol 0.72" le haghaidh sonraí nach bhfaca sé riamh.
Ní réamhrá leabharlainne é an chéad aonad seo. Is é an cuspóir atá leis soiléiriú a dhéanamh ar cá háit ar cheart AI a chur sa sreabhadh oibre eolaíocht sonraí agus cá háit nach gcuirfidh sé riamh é. Leagfaimid amach an bunphrionsabal ón tús: Is cúntóir é AI, ní eolaí sonraí. Is ar an saineolaí inniúil a bheidh an cinneadh cad iad na sonraí atá le bailiú, cén méadrach ar cheart cinneadh a dhéanamh ina leith, cibé acu ar cheart samhail a chur i dtáirgeadh, agus cén áit ar cheart teorainneacha eiticiúla a tharraingt. Tá riosca ag baint le haschur AI neamhfhíoraithe, mar atá i dtuarascáil anailíse gan síniú.
Sreabhadh oibre eolaíocht sonraí: léarscáil ceann go ceann
Chun tionscadal sonraí a thuiscint, tá sé ina chuidiú é a bhriseadh síos i sé chéim. Leanann an modúl iomlán seo an léarscáil seo.
1. Sainiú na faidhbe: Cad a thomhaisimid, cén fáth, chun tacú leis an gcinneadh? Níl an chéim seo tarmligthe chuig an AI; Is é an duine a shainíonn an post.
2. Bailiú sonraí: Foinsí a aithint, sonraí a bhaint, sampláil. (Aonad 2)
3. Glanadh sonraí agus réamhphróiseáil: Luach in easnamh, asluiteach, comhshó cineál. (Aonad 3)
4. Anailís sonraí taiscéalaíoch (EDA - Anailís ar Shonraí Taiscéalaíoch, an chéim ina n-aithnítear dáileadh agus gaolmhaireachtaí na sonraí "de réir súl"): (Aonad 4)
5. Innealtóireacht agus samhaltú gné: Giniúint athraitheach, roghnú algartam, oiliúint, meastóireacht. (Aonad 5, 6, 7)
6. Cumarsáid agus táirgeadh: Amharcléiriú, scéalaíocht, MLOps (smacht ar an tsamhail a ghlacadh beo agus monatóireacht a dhéanamh air). (Aonad 8, 11)
Feidhmíonn AI le húdarás difriúil i ngach ceann de na sé chéim seo. Tugann an tábla thíos achoimre ar an dáileadh údaráis seo; Is é seo an tábla aonair is tábhachtaí den mhodúl.
Céim
Ról AI
Leibhéal riosca
Cé a cheadaíonn
Sainmhíniú faidhbe
comhpháirtí ransú smaointe
íseal
Eolaí sonraí + geallsealbhóir
Scríobh cód glantacháin
Gineadóir sceitse cód
meánach
Eolaí sonraí (léann sé an cód)
Trácht an EDA
moltar patrún
meánach
eolaí sonraí
Giniúint gné
Gineadóir smaointe agus cód
meán-ard
Tá rialú sceite riachtanach
Roghnú múnla/méadrach
comhairleoir
ard
eolaí sonraí
Cinneadh a chur i dtáirgeadh
ionchur cúnta
an-ard
Foireann + úinéir gnó
Faomhadh eitice/príobháideachais
spreagthach
an-ard
daonna, i gcónaí
Coinnigh an abairt amháin ón gcairt seo i gcuimhne: de réir mar a thagann ardú ar na geallta, laghdaíonn ról an AI agus formheas an duine.
Cén fáth a bhfuil fíorú i gcroílár an ghnó seo
Breathnaíonn samhlacha teanga AI cinnte, ach b'fhéidir nach bhfuil siad cinnte. I dteanga theicniúil, tugtar siabhránacht air seo: is éard atá i gceist leis an tsamhail a dhéantar ar fhaisnéis nach bhfuil ann in abairt líofa amhail is dá mbeadh sé fíor. In eolaíocht sonraí, tagann sé seo i dtrí fhoirm. Is uimhir bhréige é an chéad cheann: má iarrann tú ar an tsamhail "cad é an meánmhéid ordú" gan aon sonraí a thabhairt, inseoidh sé uimhir duit go muiníneach, cé nach bhfaca sé do shonraí riamh. Feidhm nach ann don dara ceann: d'fhéadfadh an tsamhail feidhm nach bhfuil ann ar chor ar bith a mholadh, mar shampla pandas.read_excel_fast(). Ar an tríú dul síos, léirmhíniú staidrimh mícheart: is féidir leis an tsamhail earráid staitistiúil clasaiceach a dhéanamh arís go réidh ar nós “p-value is 0.04, mar sin tá an hipitéis 96% ceart”.
Tá trí chéim sa disciplín fíoraithe:
- Nasc leis an bhfoinse: Ba cheart go dtiocfadh gach uimhir, ráta agus treocht ó do shonraí, ní ó chuimhne an AI. Úsáid AI le haghaidh cód a fheidhmíonn ar shonraí, ní chun sonraí a mheabhrú.
- Rith agus déan comparáid: Rith gach píosa cód a thugann an AI duit féin; Déan comparáid idir gach méadrach a tháirgeann sé agus bonnlíne neamhspleách.
- Scagaire saineolaí: Déan tástáil duit féin an dtagann an t-aschur salach ar staitisticí agus eolas fearainn.
Aire: Má chuirtear anailís a scríobh an AI isteach i gcur i láthair gan é a rith agus a léamh, tá sé cosúil le tuairisc gan síniú a chur i láthair. Ní hionann sin is a rá go bhfuil an cód ceart; Oibríonn cód a thugann suim sa cholún mícheart gan earráidí freisin.
In-atáirgtheacht: a bheith in ann an toradh céanna a tháirgeadh faoi dhó
Is é prionsabal ciúin ach ríthábhachtach na heolaíochta sonraí ná in-atáirgtheacht: nuair a ritheann tú anailís arís sé mhí ina dhiaidh sin nó ar ríomhaire eile, gheobhaidh tú an toradh céanna. Méadaíonn an riosca seo agus tú ag obair le AI, mar nuair a insíonn tú don AI "an graf seo" a dhéanamh agus é a imirt de láimh, imíonn na céimeanna. Riail: ní mór gach céim a chlárú sa chód agus rialú leagan (cosúil le Git); I gcéimeanna a bhaineann le randamacht, ba cheart an síol randamach (luach tosaigh an ghineadóra uimhreacha randamacha; má tá sé socraithe, beidh an toradh in-athdhéanta). Déanfaimid an topaic seo a dhoimhniú in Aonad 10; Faoi láthair, téigh isteach sa nós seo: "Ná cliceáil de láimh, scríobh i gcód."
trí chás mion
Cás 1 — Luasghéarú sábháilte. Is gnách go gcaithfeadh anailísí ríomhthráchtála leath lá ag glanadh tábla ordaithe de 240 míle sraith. Thug sé ainmneacha na gcolún agus na chéad 5 shraith (gan sonraí pearsanta) don AI agus d'iarr sé cód glantacháin na pandas. Tháirg AI dréacht i 8 soicind; Léigh an anailísí an cód líne ar líne, shocraigh sé earráid i bparsáil dáta, agus rith sé é. Fad: 35 nóiméad in ionad 4 uair an chloig. Chuir AI cód ar fáil, d'fhan an fíorú leis an duine.
Cás 2 - An gaiste méadrach comhdhéanta. D'fhiafraigh intéirneach den AI, "Cé chomh cruinn is atá foraoise randamach ar na sonraí seo?" gan an tsamhail a oiliúint ar chor ar bith. “Thart ar 89%,” a dúirt AI. Chuir an t-intéirneach é seo isteach sa chur i láthair; Nuair a bhí oiliúint ar an múnla fíor, bhí an cruinneas 71%. Botún: Ag fanacht le méadracht gan sonraí agus samhlacha a thabhairt do AI.
Cás 3 - Sceitheadh adh. Chuir foireann amháin an smaoineamh a mhol AI i bhfeidhm “cuir meán na sprice athróg mar ghné” i bhfeidhm gan é a cheistiú. D'fheidhmigh an tsamhail 98% ar an tacar tástála ach tháinig tuairteáil i dtáirgeadh toisc go raibh an ghné ag sceitheadh faisnéise amach anseo (sileadh sonraí, Aonad 10). Botún: Gan scagadh staidrimh a dhéanamh ar an moladh AI.
Leid lag / Pras láidir
Leid lag:
Déan anailís ar na sonraí díolacháin seo agus inis dom an meánioncam.
Tá an t-éileamh seo lochtach: níor tugadh sonraí don AI, mar sin ní féidir ach an “meánioncam” a dhéanamh suas. Níl na colúin, ná an tréimhse, ná an t-airgeadra soiléir.
Leid chumhachtach:
Do ról: cúntóir ag cabhrú le heolaí sonraí. Tá pandas agam DataFrame: df. Colúin:- order_date (téacs, i bhformáid "2024-03-01") - méid_tl (deachúil, NaN i roinnt sraitheanna) - customer_id (slánuimhir)Tasc: (1) scríobh cód pandas a ríomhann an meánmhéid, (2) mínigh conas a láimhseálann sé luachanna NAN,(3) liostaigh na boinn tuisceana a dhéanann an cód. Ná déan suas an t-ábhar sonraí; ach cód a ghiniúint agus beidh mé ag rith agus a fhíorú an toradh.
San iarraidh seo, tá an scéim, an t-ionchas agus an "toirmeasc ar dhéantúsaíocht" soiléir. Is tú féin a ritheann agus a fhíoraíonn an t-aschur fós.
Tús na heitice agus na príobháideachta
Is minic a oibríonn eolaíocht sonraí le sonraí pearsanta: taifid chustaiméirí, othair, fostaithe. Cosnaíonn KVKK (Dlí um Chosaint Sonraí Pearsanta) i Türkiye agus GDPR san Eoraip na sonraí seo. Is sárú é do fhíorainm, ID, ríomhphost nó seoladh a ghreamú isteach in uirlis phoiblí AI. Riail: sonraí a anaithnidiú roimh chomhroinnt, ná tabhair scéimre (ainmneacha colúin, cineálacha) agus as a chéile mar shampla caol más gá. Déanfaimid ábhar na heitice a dhoimhniú in Aonad 11; Cuirimis an prionsabal ón tús: Chun na sonraí a thuiscint, is minic go leor a struchtúr a roinnt, ní a ábhar.
Botúin choitianta
- Ag fanacht le huimhreacha/méadracht gan sonraí a thabhairt don AI. Ní féidir leis an tsamhail rochtain a fháil ar na sonraí; Tá an uimhir a thugann sé falsa. Déan an toradh a ríomh agus a rith i gcónaí.
- Ag smaoineamh go bhfuil an cód oibre ceart. Ritheann an cód a ionramhálann an colún mícheart freisin gan earráidí; Ná muinín gan an loighic a léamh.
- Fíorshonraí pearsanta a ghreamú isteach san uirlis oscailte. Ní roinntear ainm, uimhir aitheantais, r-phost; Is leor an léaráid.
- Na céimeanna a dhéanamh de láimh agus gan iad a scríobh isteach sa chód. Tá anailís nach bhfuil in-atáirgthe neamhiontaofa.
- Ag glacadh le léiriú AI ar staitisticí gan cheist. Is féidir le AI botúin clasaiceacha a dhéanamh arís i gcoincheapa mar p-luach agus comhghaol.
Leid: Cuir "líne rialacha" ghairid i ngach ceann de do sheisiúin AI: "Ná déan an t-ábhar sonraí; gin cód / anailís agus reáchtálfaidh mé agus fíoróidh mé an toradh; cuir in iúl 'níl mé cinnte' nuair nach bhfuil tú cinnte." Laghdaíonn an abairt aonair seo go mór an baol siabhránachtaí.
Go hachomair
Is cúntóir cumhachtach é AI san eolaíocht sonraí: luathaíonn sé cód glantacháin, léirmhíniú EDA, moladh múnla agus léirshamhlú. Ach baineann sainiú na faidhbe, roghnú méadrach, cinneadh táirgeachta agus teorainneacha eiticiúla le daoine. Tá sé chéim ag an sreabhadh oibre, agus éiríonn ról an AI níos lú de réir mar a mhéadaíonn an riosca. Tá trí nós mar bhunús ag gach rud: nascadh foinse (bailíochtú), atáirgtheacht (códú), agus anaithnideacht (rúndacht). Nuair a dhéanann tú na trí cinn seo a inmheánú, beidh gach uirlis sa chuid eile den mhodúl ina luasaire sábháilte duit.
Tasc feidhmchláir
Déan scéimre de thábla beag atá agat (nó ceann hipitéiseach): ainmneacha colún, cineálacha, agus 2-3 sraith shamplacha chaocha (gan sonraí pearsanta fíor). Iarr ar an AI cód stats achomair ag baint úsáide as an teimpléad "Powerful prompt" thuas. Rith an cód, cuir an t-aschur i gcomparáid le luach láimhe, seiceáil le haghaidh aon bhoinn tuisceana amhrasacha, agus tabhair do thorthaí i 5 phointe urchair.
seicliosta
- [ ] Ar thug mé scéimre agus sampla bréige don AI in ionad sonraí pearsanta fíor?
- [ ] Ar léigh mé agus ar rith mé an cód a tháirg sé líne ar líne?
- [ ] An bhfuil gach uimhir san aschur fíoraithe agam go neamhspleách?
- [ ] Ar scríobh mé gach céim den anailís isteach sa chód agus an bhfuil sé in-athdhéanta?
- [ ] Ar chinn mé leibhéal riosca an mhisin agus ar sannadh an cinneadh deiridh do dhuine?