Gnóthachain:
- Cumas cineálacha sceite sonraí a aithint (sprioc, am, réamhphróiseáil, ró ghrúpáilte) agus an scór ‘rómhaith le bheith fíor’ a cheistiú mar aláram
- Cumas chun sceitheadh a chosc le deighilt luath ar an tacar tástála, ar an bpíblíne agus ar an roinn cheart (croineolaíoch/grúpáilte)
- Cumas anailís a dhéanamh in-atáirgthe le síolta seasta, rialú leagan agus céimeanna láimhe a bhaint
Tá dhá bhotún a chuireann amú an iarracht is mó san eolaíocht sonraí, agus tá siad araon insidious toisc go dtagann siad chun tubaiste díreach nuair is cosúil go bhfuil gach rud go breá. Is é an chéad cheann ná sceitheadh sonraí: oibríonn an tsamhail go hiontach ar an tacar tástála ach tuairteanna i dtáirgeadh. Is é an dara ceann ná do-atáirgtheacht: reáchtálann tú anailís sé mhí ina dhiaidh sin agus faigheann tú toradh go hiomlán difriúil. Tá an t-aonad seo tiomnaithe d'eolas agus do sheachaint an dá ghaistí doimhne seo. Is féidir le AI an dá riosca a mhéadú (gineann sé go tapa, molann sé sceitheanna folaithe, déanann sé níos éasca duit céimeanna láimhe a ghlacadh) ach is féidir iad a laghdú freisin má úsáidtear iad i gceart. Tá an difríocht i smacht.
Sceitheadh sonraí: múnla clairvoyant
Is éard atá i gceist le sceitheadh sonraí ná nuair a fheiceann an tsamhail faisnéis le linn oiliúna nach mbeidh aige tráth an réamh-mheastacháin iarbhír. Déanann an tsamhail "cheats" leis an bhfaisnéis seo, ag breathnú go hiontach ar an tsraith tástála, ach ag tuairteáil i dtáirgeadh gan an fhaisnéis sin. Tá an symptom de sceite beagnach i gcónaí mar an gcéanna: ró-mhaith a bheith fíor. Sula ndéanann tú lúcháir nuair a fheiceann tú cruinneas 99%, ba cheart duit sceitheanna a lorg.
Is iad na príomhchineálacha sceite ná:
1. Sceitheadh sprioc: Tá gné mar thoradh ar an sprioc. Sa réamhaisnéis "Cealaíodh", tá na colúin "dáta cealaithe" nó "méid aisíocaíochta" mar thoradh ar an sprioc; Ní líonfar iad ach amháin nuair atá an toradh soiléir.
2. Sceitheadh ama: Eolas a thabhairt don am atá caite amach anseo. Agus an "meán 30 lá deiridh" á ríomh, cuir san áireamh na laethanta tar éis an lae réamhaisnéise, nó roinn an tsraith ama go randamach.
3. Sceitheadh réamhphróiseála: Trasfhoirmiúcháin foghlama amhail scálaiú, líonadh, códú ó na sonraí go léir roimh an deighilt oiliúna/tástála. Cuireann meánú na sonraí tástála isteach ar oiliúint.
4. Sceitheadh rópa dúbailte/grúpáilte: Bíonn sraitheanna a bhaineann leis an duine céanna i láthair san oiliúint agus sa tástáil (dhá chuairt ar an othar céanna i dtacair éagsúla). Meabhraíonn an tsamhail an duine.
Cineál sceite
Conas a rugadh
Conas a chosc
sceitheadh sprioc
Colún atá mar thoradh ar an sprioc
"An bhfuil sé agam tráth an tuar" tástáil
sceite ama
An todhchaí a thabhairt go dtí an am atá caite
Roinn cróineolaíoch, rialú fuinneoige
Sceitheadh réamhphróiseála
Comhshó réamh-scoilte
Píblíne, oiriúnach díreach ó oiliúint
Sceitheadh sraithe grúpáilte
Aonad céanna i dhá shraith
Scoilte de réir grúpa (GrúpaKFold)
An smacht amháin chun sceitheadh a chosc
Is é an réiteach coiteann do gach cineál sceite ná abairt amháin: Leithlisigh an tacar tástála chomh luath agus is féidir chun aithris a dhéanamh ar an bhfíorthodhchaí, agus ná "múin" rud ar bith dó. Go praiticiúil, ciallaíonn sé seo: an chéad scoilt, ansin na claochluithe go léir a fhoghlaim ach amháin ón oiliúint agus iad a chur i bhfeidhm i bpíblíne (struchtúr a bhailíonn na céimeanna go léir i slabhra amháin). I gcás gach gné, cuir an cheist "an bhfuil an fhaisnéis seo agam tráth an tuar?" Má tá am ann, déan é a roinnt go croineolaíoch; Má tá an t-aonad céanna athchleachtach, roinn ar ghrúpa.
Aire: Is é an ghné is contúirtí de sceitheadh ná go n-éiríonn leis. Is léir go dtiocfaidh droch-thorthaí ar mhúnla olc agus tabharfar faoi deara é; Feidhmíonn múnla sceite go hiontach, áthaíonn sé gach duine, agus cuirtear i dtáirgeadh é - sin an áit a dtosaíonn an titim. Sin an fáth gur cúis rabhaidh é toradh "an-mhaith", ní ceiliúradh.
In-atáirgtheacht: ag fáil an toradh céanna faoi dhó
Is éard is atáirgtheacht ann ná an cumas an toradh céanna a fháil nuair a ritheann tú anailís arís ag am eile, ar mheaisín eile. Gan é seo, tá d'anailís teagmhasach, ní eolaíoch. Príomhchúiseanna agus réitigh a chuireann isteach ar in-atáirgtheacht:
Céimeanna láimhe: Ag athrú cill de láimh in Excel, ag déanamh eagarthóireachta ar chairt de láimh. Réiteach: bíodh gach céim sa chód.
Randamacht neamhshocraithe: Tá randamacht i gceist le hoiliúint mhúnla, sampláil, scoilteadh. Réiteach: socraigh an síol randamach (luach tosaigh an ghineadóra randamach) (random_state=42).
Aistriú leagan: Seans go n-athróidh an toradh nuair a athraíonn leagan na leabharlainne. Réiteach: spleáchais a shocrú (requirements.txt, comhad timpeallachta).
Gan taifead a choinneáil: Níl sé soiléir cé na sonraí, cén cód, cén paraiméadar a úsáideadh. Réiteach: rialú leagan (Git - an córas a shábhálann gach leagan den chód) agus leagan sonraí.
"Ní oibríonn sé ach ar mo mheaisín": Réiteach: doiciméadaigh an timpeallacht, bain úsáid as coimeádáin (Docker) más féidir.
trí chás mion
Cás 1 - Sceitheadh sprice. Léirigh anailís sláinte an colún "cógas iar-scaoilte" inar tuar "cé acu an dtabharfar an t-othar isteach arís." Níor líonadh an colún seo ach amháin tar éis don othar a scaoileadh amach. Thug an tsamhail 96%, i dtáirgeadh 61%. Bhí an tionscadal 8 seachtaine truflais. Ceacht: fiafraigh de gach gné "an bhfuil sé i láthair tráth an tuar?"
Cás 2 - Sceitheadh réamhphróiseála. Rinne foireann amháin na sonraí go léir a scála agus ansin scoilt iad. Bhí baint ag meán na sonraí tástála le scálaiú. Scór CV 89%, táirgeadh iarbhír 76%. D'imigh an rath falsa nuair a bhog mé go Píblíne agus d'fhoghlaim mé faoi chlaochlú amháin ón oiliúint. Ceacht: roinn ar dtús, claochlú níos déanaí.
Cás 3 - Teip atáirgeadh. Theastaigh ó anailísí an chairt a chuir sé faoi bhráid na bainistíochta a nuashonrú trí mhí ina dhiaidh sin ach níor chuimhin leis conas a tháirg sé í; rinneadh go leor céimeanna de láimh in Excel. Níor oibrigh an toradh amach agus baineadh geit as muinín. Ceacht: gan aon chéimeanna láimhe, tá gach rud i gcód agus Git.
Ceithre theimpléad inchóipeála
1) Cigireacht sceite:
Do ról: cigire sceite. Sprioc: "churn" (0/1), dáta tagartha réamhaisnéise: record_date. Tabharfaidh mé an liosta gnéithe seo duit. I gcás GACH gné: (a) an iarmhairt den sprioc é, (b) an bhfuil sé ar fáil dom tráth an tuar, (c) an bhfuil an todhchaí san áireamh sa fhuinneog ama? Marcáil mar "neamhshábháilte/amhrasach/sceitheadh" é agus scríobh fáth. Gnéithe: [liosta]
2) Píblíne saor ó sceitheadh:
Píblíne sklearn a shocrú: traein scoilte/tástáil ar dtús (srathaithe, síol = 42), ANSIN cuir gach réamhphróiseáil (bagairt, scála, ionchódú) isteach sa phíblíne ón oiliúint AMHÁIN. Mínigh cén fáth a bhfuil an cód saor ó sceitheadh, cén chéim a foghlaimíodh cá háit.
3) Cód seicliosta atáirgthe:
Ba mhaith liom mo anailís a dhéanamh in-atáirgthe. Mol cód/struchtúr a chuireann leis: (1) síol crua do gach randamacht, (2) priontáil leaganacha leabharlainne a úsáideadh, (3) tag dáta/leagan le haghaidh sonraí agus aschuir. Tabhair seicliosta dom freisin chun a chinntiú nach bhfuil aon chéimeanna láimhe ann.
4) Deighilt ghrúpáilte (sceitheadh aonad céanna):
Sna sonraí tá an t-aitheantas custaiméara céanna i sraitheanna iolracha. Déan scoilt (GroupKFold orGroupShuffleSplit, group = customer_id) a CHOSC ar an gcustaiméir céanna a bheith i mbun oiliúna agus tástála araon. Cuir cód san áireamh chun a fhíorú nach bhfuil aon custaiméirí sa dá shraith tar éis scoilteadh.
Leid lag / Pras láidir
Leid lag:
Thug mo mhúnla cruinneas 98% ar ais, nach iontach é sin? Optamaigh an cód.
Ceiliúradh 98% seithí an sceitheadh. Sula ndéanfar barrfheabhsú, ba chóir a cheistiú an bhfuil an scór seo fíor nó nach bhfuil.
Leid chumhachtach:
Do ról: cigire sceite. Tugann mo mhúnla cruinneas 98% ar ais ar an tacar tástála, rud a fhuaimeann "ró-mhaith le bheith fíor" domsa. Seiceáil: (1) an bhfuil aon ghnéithe mar thoradh ar an sprioc, (2) an bhfuil na tiontuithe déanta roimh scoilteadh, (3) an bhfuil an t-aonad céanna ina dhá shraith, (4) an bhfuil aon sceitheadh ama ann. Liostaigh aon phointí amhrasacha; Fócas ar an sceitheadh a aimsiú, gan an scór a shocrú.
Anseo, caitear le scór ard mar chomhartha le ceistiú, gan a cheiliúradh.
Botúin choitianta
- An toradh "an-mhaith" a cheiliúradh. Is foláireamh sceite é scór ró-mhaith le bheith fíor, ní éacht.
- Ag foghlaim an claochlaithe ó na sonraí go léir roimh roinnt. An sceitheadh is coitianta; Scoilt ar dtús le píblíne.
- Scoilteadh an tsraith ama go randamach. Feiceann an tsamhail an todhchaí; Is gá deighilt croineolaíoch.
- Ag fágáil an aonaid chéanna i dhá shraith. Déanann an tsamhail an duine a mheabhrú; Roinn ar ghrúpa.
- Gan céim isteach de láimh agus scríobh isteach sa chód. Éiríonn an anailís do-atáirgthe; ba chóir go mbeadh gach rud i gcód agus Git.
Leid: Scríobh "gealltanas onóra" dhá abairt ag tús do thionscadal: "Níor bhain mé an tacar tástála ar bhealach ar bith sula bhfeicim i dtáirgeadh é. Tá gach céim sa chód agus socraítear an síol." Murar féidir leat an dá abairt seo a shíniú go hionraic, níl do thoradh iontaofa fós.
Go hachomair
Is iad sceitheadh sonraí agus neamh-atáirgtheacht an dá earráid chiúin is costasaí san eolaíocht sonraí. Is é sceitheadh fís an tsamhail don todhchaí agus cuireann sé é féin i láthair mar rath bréagach; Is é an réiteach atá ann ná an tacar tástála a roinnt go luath, na claochluithe a fhoghlaim ach ón oiliúint (píblíne), cuir an cheist ar gach gné "An bhfuil sé agam tráth an tuar" agus an scoilteadh ceart (croineolaíoch / grúpáilte). Tá an atáirgtheacht in ann an toradh céanna a fháil faoi dhó; Is é an réiteach atá aige ná céimeanna a bhaint de láimh, an síol a phionnú, na leaganacha a reo, agus gach rud a choinneáil i Git. Féadfaidh AI na rioscaí seo a mhéadú nó a laghdú; Is é do smacht a chinneann.
Tasc feidhmchláir
Tóg an liosta gnéithe de shamhail atá tógtha agat (nó samhail hipitéiseach) agus cuir an cheist ar gach gné "an bhfuil an t-eolas seo agam tráth an tuar?" i scríbhinn; Aimsigh iarrthóir sceite amháin ar a laghad. Ansin líon amach seicliosta chun d’anailís a dhéanamh in-atáirgthe: an bhfuil an síol socraithe, an bhfuil céimeanna láimhe ann, an bhfuil na leaganacha cláraithe, an bhfuil siad in Git. Deisigh na heasnaimh.
seicliosta
- [ ] Ar chuir mé ceist faoin scór “ró-mhaith le bheith fíor” mar foláireamh sceite?
- [ ] Ar fhoghlaim mé go léir na claochluithe iar-scoilt, díreach ó oiliúint?
- [ ] An bhfuil mé roinnte de réir an struchtúir ama/grúpa (croineolaíoch/GrúpaKFold)?
- [ ] An ndearna mé an randamacht go léir in-athdhéanta le síol seasta?
- [ ] Ar bhain mé na céimeanna láimhe agus choinnigh mé gach rud i rialú cód agus leagan?