Gnóthachain:
- Cumas méadracht aicmithe agus aischéimnithe a roghnú agus a léirmhíniú (maitrís mearbhaill, beachtas/aisghairm/F1, MAE/RMSE/R²) de réir chuspóir an phoist
- Cumas rófhoghlaim a bhrath trí scóir oiliúna agus tástála a chur i gcomparáid agus feidhmíocht iontaofa a fháil le tras-bhailíochtú
- Cumas meastóireacht a dhéanamh cibé an gcuireann gach samhail fíorluach leis trína chur i gcomparáid le bunlíne
Tá sé éasca múnla a chur ar bun; Tá sé deacair a thomhas go hionraic an n-oibríonn sé i ndáiríre. Is é ábhar an aonaid seo an scil is tábhachtaí ag eolaí sonraí: an tsamhail a mheas leis na méadrachtaí cearta, feidhmíocht thuarthach iontaofa a bhaint amach, agus an gaiste is insidious a ghabháil: rófhoghlaim (cuimhneamh). Déanann AI méadracht a ríomh, a léirmhíniú agus a chur i gcomparáid; ach tá sé de dhualgas ar an duine cinneadh a dhéanamh ar an méadrach atá ceart do do ghnó agus an bhfuil samhail "maith go leor". Féadfaidh foireann a bhreathnaíonn ar an méadrach mícheart drochmhúnla a dhéanamh ar feadh míonna mar “rath.”
Cén fáth nach bhfuil cruinneas go leor: maitrís mearbhall
Is é an chéad mhéadrach a thagann chun cuimhne san aicmiú ná cruinneas (cruinneas - cóimheas iomlán na dtuar cearta). Ach mar a chonaiceamar in Aonad 6, tá cruinneas míthreorach le sonraí neamhchothromaithe. Tús níos fearr is ea an maitrís mearbhaill — tábla a roinneann tuartha i gceithre bhosca bruscair:
- Fíor dearfach (TP): Thugamar falsa ar an rud atá falsa i ndáiríre. (Maith)
- Fíor diúltach (TN): Dúirt muid i ndáiríre glan. (Maith)
- Deimhneach bréagach (FP): Dúirt muid trí dhearmad go raibh an ceann glan falsa. (Aláram bréagach)
- Diúltach bréagach (FN): Chaill muid an falsa agus thugamar glan é. (Bagairt caillte)
Eascraíonn dhá phríomhmhéadracht as na ceithre bhosca seo. Beachtas: "Cé mhéad den rud a ghlaoim falsa atá falsa i ndáiríre?" — tábhachtach má tá costais aláraim bhréige ard. Íogaireacht (aisghairm i mBéarla): "Cé mhéad bréige fíor a ghlac mé?" — tábhachtach nuair a bhíonn bagairt costasach ar iarraidh. Is minic a bhíonn an dá rud ag teacht salach ar a chéile: má íslíonn tú an tairseach agus má deir tú "bréige" níos mó, méadóidh cuimhne ach laghdaítear cruinneas. Is é an scór F1 an meán cothromaithe (meán armónach) den dá cheann seo.
Aird: Is é an freagra ar an gceist "Cé acu méadrach tábhachtach" cinneadh gnó, ní ceann teicniúil. Is tubaisteach é cás a iarraidh (aisghairm íseal) i scagthástáil ailse; Tá sé annoying ríomhphost tábhachtach a sheoladh chuig turscar (beachtais íseal) sa scagaire turscair. Cinneann an costas an méadrach.
Méadracht aischéimnithí
Más uimhreacha é an t-aschur, úsáidtear méadrachtaí éagsúla. MAE (Earráid Iomlán Mheánmhéide): cé mhéad a chlaonann na meastacháin ón meán iarbhír, san aonad céanna (m.sh. "táimid mícheart 4,200 TL ar an meán"). RMSE (Earráid Chearnógach Meán Fréamhaithe): gearrtar pionós níos déine ar mhórearráidí agus bíonn sé íogaireach d’asluitigh. R² (R-cearnógach - comhéifeacht cinnteoireachta): cé mhéad den éagsúlacht sa sprioc a mhíníonn an tsamhail (gar do 1 tá sé go maith, tá 0 chomh dona leis an meán a thuar, tá diúltach níos measa fós).
An gaiste is insidious: rófhoghlaim
Is é rófheisteas — nuair a mheabhraíonn an tsamhail sonraí oiliúna ach go dteipeann uirthi ar shonraí nua — an botún is coitianta in eolaíocht na sonraí. Tá an symptom soiléir: tá an tsamhail iontach ar an tacar oiliúna (98%), go dona ar an tacar tástála (72%). Tá torann an tsampla áirithe sin curtha de ghlanmheabhair ag an múnla, ní an patrún iarbhír sna sonraí. Tá a mhalairt ar fad ann freisin: gannfheistiú - tá an tsamhail go dona san oiliúint agus sa tástáil mar go bhfuil sé ró-shimplí an patrún a ghabháil.
Bealaí chun dul i ngleic le rófhoghlaim: an tsamhail a shimpliú, tuilleadh sonraí, rialtacht - an coscán matamaitice a choinníonn an tsamhail ó bheith ró-chasta - agus níos tábhachtaí fós, tras-bhailíochtú.
Tras-bhailíochtú: ná muinín i bpána aonair
D'fhéadfadh go mbeadh an t-ádh nó an mí-ádh ar phod oiliúna/tástála amháin; Is féidir leat marcanna arda a fháil don tacar tástála díreach toisc go bhfuil an sampla sin éasca. Réitíonn tras-bhailíochtú (CV go gearr) é seo. Is é an fhoirm is coitianta ná k-fold CV: roinntear na sonraí i gcodanna k (m.sh. 5); I ngach babhta, tá cuid amháin ag tástáil agus tá an chuid eile ag oiliúint; rollaíonn sé seo 5 huaire agus déantar na 5 scór ar an meán. Mar sin feicfidh tú go bhfuil an fheidhmíocht bunaithe ar mheán na scoilteanna iolracha, ní ar scoilt ádh amháin. Tá dáileadh na scóir faisnéiseach freisin: léiríonn scóir an-luaineach (85% ar urlár amháin, 62% ar an taobh eile) go bhfuil an tsamhail éagobhsaí.
Ní úsáidtear gnáth-k-huaire i sraith ama (sceitheadh an todhchaí); Ina áit sin, déanann tú "slabhraing ar aghaidh" (roinnte sraith ama): oiliúint i gcónaí leis an am atá caite agus tástáil ar an todhchaí.
méadrach
Cineál faidhbe
Cathain is cuma?
Cruinneas
Aicmiú
Má tá na ranganna cothrom
Beachtas
Aicmiú
Tá aláram bréagach costasach
Íogaireacht (aisghairm)
Aicmiú
Má tá sé costasach a chailleann
F1
Aicmiú
Más gá cothromaíocht
MAE
aischéimniú
Earráid inmhínithe
RMSE
aischéimniú
Má tá botúin mhóra ríthábhachtach
R²
aischéimniú
cumhacht mínithe
trí chás mion
Cás 1 - An illusion de cruinneas ard. Léirigh múnla calaoise amháin cruinneas 99.2% agus rinne an fhoireann ceiliúradh. Ag féachaint ar an maitrís mearbhall, ba é an fíor: ráta falsa sna sonraí ná 0.8%; níor ghlac an tsamhail beagnach aon fakes, ach ag rá "go léir soiléir". Ba é 6% a athghairm. Ceacht: féach ar an méadracht, ní ar an cruinneas.
Cás 2 - Forfhoghlaim fholaigh. Rinne foireann amháin seachadadh agus treisiú ar XGBoost go 97% ar an tacar oiliúna. Ba é 69% an tacar tástála, ach níor fhéach aon duine. Thit an tsamhail i dtáirgeadh. Dá mbeadh tras-bhailíochtú déanta, bheadh an difríocht mhór idir fillteacha (rófhoghlaim) le feiceáil ón tús. Ceacht: CV muinín agus scór tástála, ní scór oideachais.
Cás 3 - Scoilt an t-ádh. Bhí áthas ar anailísí amháin 88% a fháil i scoilt amháin. Nuair a rinne a chomhghleacaí CV 5-huaire, bhí na scóir 88%, 71%, 83%, 64%, 79% - is é an meán 77%, ach tá sé an-luaineach. Bhí an tsamhail éagobhsaí; Bhí an urrann aonair míthreorach. Ceacht: féach ar mheán an CV agus ar an dáileadh, ní ar an mbosca bruscair aonair.
Ceithre theimpléad inchóipeála
1) Tuarascáil iomlán rangaithe:
Tá múnla agus foireann tástála oilte agam. Gin: maitrís mearbhaill, beachtas, athghairm, F1 (do gach rang) agus comhaireamh tacaíochta. Tá mé ag tátal, ach tá sé suas domsa: inseoidh mé duit cé acu méadrach atá tábhachtach. Tabhair faoi deara gur féidir le cruinneas a bheith míthreorach le sonraí neamhchothromaithe.
2) Rialú rófhoghlama:
Priontáil scóir mo mhúnla sna tacair OILIÚNA agus TÁSTÁLA araon taobh le taobh. Ríomh an difríocht eatarthu agus rabhadh a thabhairt mar gur comhartha rófhoghlama é difríocht mhór. Má tá an difríocht mhór, mol rialtacht nó simpliú.
3) Tras-bhailíochtú:
Déan tras-bhailíochtú 5 huaire (le haghaidh srathaithe, aicmiú). Priontáil scór, meán agus diall caighdeánach gach fillte. Má tá na scóir an-luaineach (std ard), cuir in iúl go bhfuil an tsamhail éagobhsaí. Bain úsáid as píblínte ionas nach bhfoghlaimítear claochluithe ach ón bpíosa oiliúna ag gach ciseal.
4) Comparáid bunlíne:
Cuir méadrach mo mhúnla taobh le taobh le bunlíne DummyClassifier. An mbuaileann an tsamhail an bonnlíne go suntasach? Mura n-éiríonn leis, déan soiléir nach gcuireann an tsamhail aon luach fíor.
Leid lag / Pras láidir
Leid lag:
An bhfuil mo mhúnla go maith?
"Maith" is undefined; Níl sé soiléir cén méadrach, cén tairseach, cén bonnlíne. Is féidir le AI uimhir chruinneas amháin agus míthreoir a thabhairt.
Leid chumhachtach:
Do ról: cúntóir measúnaithe. Aicmiú, sonraí neamhchothrom (12% dearfach). Tosaíocht: athghairm (gan na rudaí dearfacha a bheith in easnamh). Tasc: (1) maitrís mearbhaill,(2) beachtas/aisghlaoch/F1, (3) CV srathaithe 5 huaire meán agus std,(4) Comparáid bonnlíne Aicmitheora Dummy. Fócas ar athghairm agus ar dhifríocht bhonnlíne, ní ar chruinneas. Déan trácht, ach déanaim an cinneadh deiridh.
Anseo, tá an tosaíocht mhéadrach, CV agus riocht bunlíne soiléir.
Botúin choitianta
- Ag muinín cruinneas i sonraí neamhchothromaithe. seans nach mbeidh cruinneas 99% ag gabháil leis an rang mionlaigh ar chor ar bith; Féach ar an maitrís mearbhaill.
- Níl ort ach breathnú ar do scór oideachais. Tá ardoideachas, scór tástála íseal ag rófhoghlaim; Déan comparáid idir dhá scór i gcónaí.
- Ag brath ar urrann amháin. Tá rannán an t-ádh míthreorach; Féach ar an meán agus ar an dáileadh le tras-bhailíochtú.
- Gan comparáid a dhéanamh leis an mbunlíne. Ní féidir leat a rá "go maith" gan a fhios agam cé acu an bhfuil an tsamhail buailte le tuar dúr.
- Ag baint úsáide as gnáth-k-huaire ar shraith ama. Ligeann sé an todhchaí; scoilt sraith ama ag teastáil.
Leid: Scríobh trí uimhir in aice le gach múnla: scór oiliúna, meán tras-bhailíochtaithe, agus scór bonnlíne. Nochtann an triúr seo go sracfhéachaint ar rófhoghlaim (oiliúint >> CV) agus gannluach (CV ≈ bunlíne).
Go hachomair
Tá sé éasca samhail a thógáil, ach tá sé deacair é a mheas go hionraic. I rangú, tá maitrís mearbhall, cruinneas, agus athghairm i bhfad níos faisnéiseach ná cruinneas; Socraíonn costas an phoist cé acu ceann atá tábhachtach. Úsáidtear MAE, RMSE agus R² in aischéimniú. Is é an gaiste is insidious rófhoghlaim: i gcónaí i gcomparáid oiliúint agus scór tástála. Ag brath ar mheán agus ar dháileadh tras-bhailíochtaithe, ní scoilt amháin; Cuir gach rud i gcomparáid le bunlíne. Ríomhann AI iad seo go léir, ach is faoin duine atá sé cinneadh a dhéanamh maidir leis an méadrach atá le húsáid.
Tasc feidhmchláir
Sliocht maitrís mearbhaill, beachtas, aisghairm agus F1 le haghaidh múnla aicmithe; Ansin déan tras-bhailíochtú 5 huaire agus breathnaigh ar an dáileadh scóir trasna fillteacha. Ar deireadh, scríobh síos an scór oiliúna, an meán CV, agus scór bonnlíne taobh le taobh. Déan trácht in abairt amháin ar cé acu an bhfuil do mhúnla rófhoghlaim agus ag dul thar an mbunlíne.
seicliosta
- [ ] Ar bhreathnaigh mé ar mhéadracht iarbhír an phoist (beachtais/aisghairm/F1 etc.) in ionad cruinnis?
- [ ] An bhfuil an maitrís mearbhaill scrúdaithe agam?
- [ ] An ndearna mé comparáid idir an traenáil agus an scór tástála agus an ndearna mé seiceáil le haghaidh rófhoghlama?
- [ ] Ar bhreathnaigh mé ar an meán agus ar an dáileadh le tras-bhailíochtú?
- [ ] Ar chuir mé an tsamhail i gcomparáid le bunlíne?