Gnóthachain:
- Cumas an mhéadracht a roghnú a oireann don chineál faidhbe agus don chomhthéacs gnó (PR-AUC/aisghlaoch i sonraí neamhchothromaithe, MAE/RMSE in aischéimnithí) agus rófhoghlaim/tíosfhoghlaim a aithint
- Cumas gach méadrach a léirmhíniú i gcoinne bonnlíne agus diall agus torann a scaradh ón dul chun cinn le tras-bhailíochtú a thomhas
- Cumas torthaí neamhdhóchasacha a thuairisciú trí hipearpharaiméadair a tiúnadh leis an tacar bailíochtaithe agus an tacar tástála amháin a úsáid ag an deireadh
Is í oiliúint mhúnla (oiliúint: an próiseas chun patrúin a fhoghlaim ó shonraí) an chéim is infheicthe ach is míthreorach san innealtóireacht ML. Dealraíonn sé toisc go dtáirgeann sé líon sásúil cosúil le "cruinneas 95%". Míthreorach mar is minic gurb í an uimhir sin an freagra ceart ar an gceist mícheart. San aonad seo, pléitear oideachas agus meastóireacht leis an disciplín innealtóireachta; Bainimid úsáid as hintleachta saorga mar chomhpháirtí i ndearadh turgnamhach agus bunaítear an cinneadh maidir le tomhas.
Loighic an timthriall oiliúna
Foghlaimíonn samhail an patrún sna sonraí trí fheidhm chaillteanais a íoslaghdú: feidhm a thomhaiseann earráid an mhúnla go huimhriúil. Laghdaíonn an algartam barrfheabhsaithe (m.sh. shliocht grádáin) an caillteanas trí na paraiméadair a choigeartú céim ar chéim. Ní hé an aidhm na sonraí oiliúna a chur de ghlanmheabhair, ach iad a ghinearálú chuig sonraí nach bhfacthas riamh roimhe.
Dhá phríomhchontúirt:
- Rófheistiú: Déanann an tsamhail na sonraí oiliúna a mheabhrú agus teipeann ar shonraí nua. Tá rath oiliúna ard, tá rath fíorúcháin íseal.
- Gannfheistiú: Ní féidir leis an tsamhail an patrún a ghabháil; Tá rathúlacht oiliúna agus bailíochtaithe araon íseal.
Is é ealaín an oideachais an chothromaíocht a aimsiú. Tá an tacar bailíochtaithe ann chun monatóireacht a dhéanamh ar an gcothromaíocht seo: má thosaíonn rath bailíochtaithe ag laghdú agus an rathúlacht san oiliúint ag méadú, tá tús curtha leis an rófhoghlaim.
Leid: Breac an caillteanas oiliúna agus bailíochtaithe le chéile ag gach céim. Is é an pointe ag a dtosaíonn an dá chuar ag teacht salach ar a chéile ná an áit a dtosaíonn an rófhoghlaim agus is é sin an tráth ceart chun “stopadh go luath”.
Roghnú méadrach: an cinneadh is tábhachtaí
Déanann an méadrach mícheart múnla maith breathnú go dona agus droch-mhúnla breathnú go maith. Cinneann an fhadhb an méadrach:
- Aicmiú neamhchothrom (is fíor-annamh aicme amháin, m.sh. calaois): Tá cruinneas míthreorach. Gheobhaidh múnla a deir "glaoch ar gach rud gnáth" cruinneas 99% ach ní ghlacfaidh sé le calaois amháin. Ina áit sin, úsáidtear beachtas (cé mhéad den méid a ghlac mé atá dearfach i ndáiríre), athghairm (cé mhéad den méid a ghlac mé atá fíor-dhearfach) agus a n-iarmhéid F1 nó PR-AUC.
- Aicmiú cothromaithe: D’fhéadfadh cruinneas agus ROC-AUC a bheith oiriúnach.
- Aischéimniú (meastachán uimhreacha): MAE (earráid iomlán meánach), RMSE (pionósaíonn sé earráidí móra), MAPE (earráid chéatadáin).
- Rangú/moladh: NDCG, MRR, Aisghairm@K.
Braitheann cibé an bhfuil cruinneas nó aisghairm tábhachtach ar an gcomhthéacs gnó. Is tosaíocht i scagthástáil ailse é athghairm (gan aon othar a bheith in easnamh); Tá tábhacht le beachtas sa scagaire turscair (gan ríomhphoist thábhachtacha a sheoladh chuig turscar). Is cinneadh gnó é seo, ní cinneadh teicniúil, agus déanann an t-innealtóir agus an t-úinéir é le chéile.
Leid lag / Pras láidir
Leid lag: "Déan measúnú ar fheidhmíocht mo mhúnla, cruinneas 0.97."
Leid cumhachtacha: "Tá múnla braite calaoise agam; is é ráta dearfach ranga 1.5%. Tuairiscítear cruinneas mar 0.97. Mínigh cén fáth a bhféadfadh an méadrach seo a bheith míthreorach, inis dom cé na méadrachtaí (cruinneas, aisghairm, PR-AUC) is fearr liom agus cén fáth. Chomh maith leis sin ríomh cé chomh cruinn agus a gheobhaidh múnla bonnlíne 'call everything negative' ar na sonraí seo, ionas gur féidir liom an fíor-bhreisluach a fheiceáil."
Difríocht: tugann leid cumhachtach cóimheas ranga agus comhthéacs gnó; iarrann sé freisin comparáid samhail bhunlíne — is é seo an t-aláram is tábhachtaí maidir le cé acu an bhfuil brí le méadrach.
Bunlíne: tá méadrach gan comparáid gan brí
Níl méadrach ann féin go maith nó go dona; Tá sé go maith nó go dona de réir múnla bunúsach. Is é an tsamhail bhunúsach an réiteach is simplí a thagann chun cuimhne: "abair leis an rang is mó i gcónaí", "athrá luach na seachtaine seo caite", "buille faoi thuairim an meán". Murar féidir le do mhúnla an réiteach simplí seo a chur ar aghaidh go soiléir, ní bheidh an chastacht ar fad ar bith.
Rabhadh: Ní deir an abairt "Tá mo mhúnla 85% cruinn" ann féin tada. Má fhaigheann an múnla bonn 84% cheana féin, tá do mhúnla beagnach gan luach; Má fhaigheann an múnla bonn 50%, tá do mhúnla foirfe. Labhair i gcónaí i dtéarmaí an mhúnla bunúsach.
Tras-bhailíochtú agus muinín
D’fhéadfadh scoilt oiliúna/tástála amháin a bheith ann de bharr seans. Tras-bhailíochtú: trí na sonraí a roinnt ina chodanna k agus gach cuid a thástáil go seicheamhach léiríonn sé cé chomh cobhsaí agus atá an fheidhmíocht. I tras-bhailíochtú 5 huaire gheobhaidh tú cúig scóir dhifriúla; Tá an meán agus an diall caighdeánach acu tábhachtach. Más é 80% an meán ach gurb é ±12% an diall, tá do mhúnla éagobhsaí - d'fhéadfadh go n-iompróidh sé an-difriúil sa chéad bhaisc eile sonraí.
Tá sé seo ríthábhachtach freisin don “chomparáid dhá shamhail”. Má fuair Múnla A 81% agus Múnla B 82%, an bhfuil B níos fearr i ndáiríre? Má tá an diall ±3%, d'fhéadfadh an difríocht seo a bheith torann. Smaoinigh an bhfuil an difríocht suntasach roimh chinneadh a dhéanamh.
Tiúnadh hipearpharaiméadair: le bailíochtú, ní tástáil
Socraítear hipearpharaiméadair (socruithe a chinntear de láimh roimh an oiliúint - ráta foghlama, doimhneacht crann, etc.) leis an tacar bailíochtaithe. Ní úsáidtear an tacar tástála ach amháin ag an deireadh, uair amháin. Má roghnaíonn tú hipearpharaiméadair trí bhreathnú ar an tacar tástála, beidh an tacar tástála truaillithe agus beidh an fheidhmíocht a dtuairisceoidh tú dóchasach, rud nach bhfuil fíor i ndáiríre.
Tá faisnéis shaorga ina cúntóir maith maidir le spás cuardaigh hipearpharaiméadair a dhearadh agus an cód cuardaigh a scríobh (cuardach eangaí, cuardach randamach, leas iomlán a bhaint Bayesian). Ach socraíonn tú fós "cén méadrach a bhainfimid leas as?"
trí chás mion
Cás 1 - Gaiste Cruinneas. Bhí foireann leighis bródúil as samhail a d'aimsigh galar neamhchoitianta: cruinneas 98%. Nuair a rinneadh comparáid idir an tsamhail bhunúsach, tháinig an fhírinne chun cinn: ós rud é go raibh an ráta galair 2%, fuair an tsamhail a dúirt "glaoch ar gach duine sláintiúil" 98% freisin. Ní raibh ach 11% ar aisghairm na samhla — an chuid is mó d’othair ar iarraidh. Nuair a tiontaíodh an méadrach go PR-AUC, tomhaiseadh an fheidhmíocht iarbhír agus athdhearadh an tsamhail.
Cás 2 - Torann botún don dul chun cinn. Chaith foireann míonna ag feabhsú an mhúnla ó 86.2% go 86.9%. Léirigh tras-bhailíochtú go raibh an claonadh ±1.4% — mar sin ba é an “feabhsú” pointe 0.7 ná torann staitistiúil. Bhí trí seachtaine curtha amú ag an bhfoireann ar thuilleamh neamhfhíor. Ceacht: ná dearbhaigh bua gan a fhíorú gur mó an feabhas ná an diall.
Cás 3 - Éilliú an tacair tástála. D'fhéach innealtóir arís agus arís eile ar an sraith tástála chun na hipearpharaiméadair is fearr a roghnú. Thit an 91% a thuairiscigh sé go 83% i dtáirgeadh. Cén fáth: bhí an tsamhail roghnaithe aige i ngan fhios dá réir trí bhreathnú ar an leagan trialach arís agus arís eile (rófhoghlaim ar an tacar tástála). Bhí forluí ar fheidhmíocht tuairiscithe agus iarbhír nuair a úsáideadh tacar bailíochtaithe ar leith.
Teimpléid inchóipeála
Cabhraigh liom an mhéadracht cheart a roghnú don fhadhb aicmithe seo. Fadhb: [cad a thuar] Dáileadh aicme: [ráta dearfach
Déan comparáid idir an dá mhúnla seo a leanas a mheas. Trasbhailíochtú Múnla A: [liosta scóir]Tras-bhailíochtú Mhúnla B: [liosta scóir]Ríomh an meán agus an diall caighdeánach. An bhfuil an difríocht suntasach go staitistiúil nó an torann laistigh den diall amháin é? Cén ceann a mholfá dom a roghnú agus cén fáth?
Seiceáil an cód oiliúna seo le haghaidh an méid seo a leanas:1) An bhfuil na hipearpharaiméadair roghnaithe leis an tacar tástála nó an tacar bailíochtaithe?2) An ndéantar monatóireacht ar stad luath leis an tacar ceart?3) An bhfuil aon chomharthaí ann de rófhoghlaim (difríocht caillteanas oiliúna/bailíochtaithe)? Cód: [cód]
Cé acu de na MAE, RMSE, agus MAPE ba cheart dom a thuairisciú don fhadhb aischéimnithe seo? Scála na hathróige sprice: [raon]An bhfuil earráidí móra go dona go díréireach (RMSE), nó an bhfuil siad ar fad ar cóimhéid (MAE)? An bhfuil luachanna gar do nialas (an ndéanann siad saobhadh MAPE)?Mol le bonn cirt gairid.
Tábla roghnúcháin méadrach
Cineál faidhbe
Méadrach cuí
Le seachaint
Cén fáth
Aicmiú neamhchothrom
PR-AUC, F1, cuimhne
Cruinneas
Inflates rang tromlaigh an méadrach
Aicmiú cothrom
Cruinneas, ROC-AUC
—
Iontaofa i sonraí cothromaithe
aischéimniú (asluiteach suntasach)
RMSE
MAPE (más nialas)
Déanann sé botúin mhóra a phionósú
aischéimniú (meáchan cothrom)
MAE
—
Éasca a léirmhíniú
Rangú/moladh
NDCG, Athghairm@K
Cruinneas
Tá ordú tábhachtach
Botúin choitianta
- Ag baint úsáide as cruinneas ar shonraí neamhchothromaithe. An earráid mhéadrach is coitianta.
- Gan comparáidí bunsamhail a dhéanamh. Déanann sé an méadrach chailleann a bhrí.
- Ag féachaint ar an tacar tástála le haghaidh hipearpharaiméadair. Toradh dóchasach, neamhréadúil.
- Ag brath ar urrann amháin. Gan tras-bhailíochtú ní fheicfidh tú an claonadh.
- Torann botún don dul chun cinn. Tá "feabhsuithe" beaga ó dhiall den chuid is mó ádh.
- Neamhaird a thabhairt ar an gcomhthéacs gnó. Is cinneadh gnó é an chothromaíocht bheachtais/aisghairme.
Go hachomair
Ní hé an fíorscil in oiliúint eiseamláireach líon ard a tháirgeadh, ach fios a bheith agat cad is brí leis an uimhir sin. Cinneann an fhadhb agus an comhthéacs gnó an méadrach ceart; gach méadrach a léirmhíniú de réir samhail bonnlíne; laofacht a thomhas le tras-bhailíochtú agus ná déan dearmad ar thorann le haghaidh dul chun cinn; Bain úsáid as an tacar tástála ag an deireadh amháin, uair amháin. Is é AI do pháirtí i ndearadh turgnaimh, ach is ort féin agus mise atá an cinneadh “maith go leor”.
Tasc feidhmchláir
Maidir le samhail aicmithe: (1) scríobh an dáileadh ranga, (2) tóg bonnsamhail chuí agus tomhais a scór, (3) luacháil do mhúnla le tras-bhailíochtú 5 huaire agus tuairiscigh an meán agus an diall caighdeánach, (4) ríomh an méadrach atá oiriúnach don fhadhb (m.sh. PR-AUC) in ionad cruinnis. Scríobh síos cé acu an sáraíonn do mhionsamhail an bhunsamhail d’imeall mór gan chlaonadh.
seicliosta
- [ ] Roghnaigh mé an méadrach bunaithe ar an gcineál faidhbe agus comhthéacs gnó.
- [ ] Thóg mé bunsamhail agus chuir mé i gcomparáid leis.
- [ ] Thuairiscigh mé an meán agus an diall le tras-bhailíochtú.
- [ ] Dheimhnigh mé gur mó an feabhas ná an diall.
- [ ] Roghnaigh mé na hipearpharaiméadair leis an tacar bailíochtaithe.
- [ ] Níor úsáid mé ach an tacar tástála uair amháin, ag an deireadh.