मॉडेल मूल्यांकन: मेट्रिक्स, क्रॉस-व्हॅलिडेशन आणि एक्सट्रीम लर्निंग

नफा:

• नोकरीच्या उद्देशानुसार वर्गीकरण आणि प्रतिगमन मेट्रिक्स (गोंधळ मॅट्रिक्स, प्रिसिजन/रिकॉल/F1, MAE/RMSE/R²) निवडण्याची आणि व्याख्या करण्याची क्षमता
• प्रशिक्षण आणि चाचणी गुणांची तुलना करून अत्याधिक शिक्षण शोधण्याची क्षमता आणि क्रॉस-व्हॅलिडेशनसह विश्वसनीय कामगिरी प्राप्त करणे
• प्रत्येक मॉडेलची बेसलाइनशी तुलना करून वास्तविक मूल्य जोडते की नाही याचे मूल्यांकन करण्याची क्षमता

मॉडेल सेट करणे सोपे आहे; ते प्रत्यक्षात कार्य करते की नाही हे प्रामाणिकपणे मोजणे कठीण आहे. या युनिटचा विषय डेटा शास्त्रज्ञाचे सर्वात गंभीर कौशल्य आहे: योग्य मेट्रिक्ससह मॉडेलचे मूल्यमापन करणे, विश्वासार्ह भविष्यसूचक कामगिरी साध्य करणे आणि सर्वात कपटी सापळा पकडणे: अतिशिक्षण (स्मरणशक्ती). AI मेट्रिक्सची गणना, व्याख्या आणि तुलना करते; परंतु तुमच्या व्यवसायासाठी कोणते मेट्रिक योग्य आहे आणि मॉडेल "पुरेसे चांगले" आहे की नाही हे ठरवणे मानवावर अवलंबून आहे. चुकीचे मेट्रिक पाहणारी टीम एक वाईट मॉडेलला "यश" म्हणून महिने चुकवू शकते.

अचूकता पुरेसे का नाही: गोंधळ मॅट्रिक्स

वर्गीकरण करताना लक्षात येणारा पहिला मेट्रिक म्हणजे अचूकता (अचूकता — अचूक अंदाजांचे एकूण गुणोत्तर). परंतु आपण युनिट 6 मध्ये पाहिल्याप्रमाणे, असंतुलित डेटासह अचूकता दिशाभूल करणारी आहे. एक चांगली सुरुवात म्हणजे गोंधळ मॅट्रिक्स — एक सारणी जी भविष्यवाणींना चार डब्यांमध्ये विभाजित करते:

• खरे सकारात्मक (TP): जे खरोखर बनावट आहे त्याला आम्ही बनावट म्हटले. (चांगले)
• खरे नकारात्मक (TN): आम्ही खरोखर स्वच्छ म्हटले. (चांगले)
• फॉल्स पॉझिटिव्ह (FP): आम्ही चुकून म्हटले की स्वच्छ खोटे आहे. (खोटा अलार्म)
• खोटे नकारात्मक (FN): आम्ही बनावट चुकलो आणि त्याला स्वच्छ म्हटले. (चुकलेली धमकी)

या चार बॉक्समधून दोन प्रमुख मेट्रिक्स प्राप्त होतात. अचूकता: "मी ज्याला खोटे म्हणतो त्यातील किती खोटे आहे?" - खोट्या अलार्मची किंमत जास्त असल्यास महत्वाचे. संवेदनशीलता (इंग्रजीमध्ये आठवते): "मी किती वास्तविक बनावट पकडले?" - धोका गहाळ करणे महाग असते तेव्हा महत्वाचे. दोघींमध्ये अनेकदा एकमेकांशी मतभेद असतात: जर तुम्ही थ्रेशोल्ड कमी केला आणि "बनावट" अधिक म्हटल्यास, रिकॉल वाढते परंतु अचूकता कमी होते. F1 स्कोअर ही या दोघांची संतुलित सरासरी (हार्मोनिक मीन) आहे.

लक्ष द्या: "कोणते मेट्रिक महत्वाचे आहे" या प्रश्नाचे उत्तर हा एक व्यावसायिक निर्णय आहे, तांत्रिक नाही. कॅन्सर स्क्रीनिंगमध्ये केस गहाळ होणे (कमी आठवण) घातक आहे; स्पॅम फिल्टरमध्ये स्पॅम (कमी अचूकता) वर महत्त्वपूर्ण ईमेल पाठवणे त्रासदायक आहे. खर्च मेट्रिक निर्धारित करते.

प्रतिगमन मेट्रिक्स

आउटपुट संख्या असल्यास, भिन्न मेट्रिक्स वापरली जातात. MAE (मीन ॲब्सोल्युट एरर): त्याच युनिटमध्ये अंदाज वास्तविक सरासरीपेक्षा किती विचलित होतात (उदा. "आम्ही सरासरी 4,200 TL चुकीचे आहोत"). RMSE (रूट मीन स्क्वेअर एरर): मोठ्या त्रुटींना अधिक कठोरपणे दंड करते आणि आउटलायर्ससाठी संवेदनशील असते. R² (R-squared — निर्धाराचा गुणांक): मॉडेलमध्ये लक्ष्यातील किती परिवर्तनशीलता स्पष्ट होते (1 च्या जवळ चांगले आहे, 0 हे सरासरीचा अंदाज वर्तवण्याइतके वाईट आहे, नकारात्मक हे आणखी वाईट आहे).

सर्वात कपटी सापळा: overlearning

ओव्हरफिटिंग - जिथे मॉडेल प्रशिक्षण डेटा लक्षात ठेवते परंतु नवीन डेटावर अपयशी ठरते - डेटा विज्ञानातील सर्वात सामान्य चूक आहे. लक्षण स्पष्ट आहे: प्रशिक्षण सेटवर मॉडेल उत्कृष्ट आहे (98%), चाचणी संच (72%) वर खराब आहे. मॉडेलने त्या विशिष्ट नमुन्याचा आवाज लक्षात ठेवला आहे, डेटामधील वास्तविक नमुना नाही. याच्या उलट देखील आहे: अंडरफिटिंग—प्रशिक्षण आणि चाचणी दोन्हीमध्ये मॉडेल खराब आहे कारण नमुना कॅप्चर करणे खूप सोपे आहे.

अत्याधिक शिक्षणाचा मुकाबला करण्याचे मार्ग: मॉडेल सुलभ करणे, अधिक डेटा, नियमितीकरण — गणिती ब्रेक जे मॉडेलला खूप गुंतागुंतीचे होण्यापासून रोखते — आणि सर्वात महत्त्वाचे म्हणजे क्रॉस-व्हॅलिडेशन.

क्रॉस-व्हॅलिडेशन: सिंगल पेनवर विश्वास ठेवू नका

एकच प्रशिक्षण/चाचणी पॉड भाग्यवान किंवा दुर्दैवी असू शकते; तुम्ही चाचणी संचासाठी उच्च गुण मिळवू शकता कारण तो नमुना सोपा आहे. क्रॉस-व्हॅलिडेशन (थोडक्यात सीव्ही) याचे निराकरण करते. सर्वात सामान्य स्वरूप म्हणजे k-fold CV: डेटा k भागांमध्ये विभागला जातो (उदा. 5); प्रत्येक फेरीत, एक भाग चाचणी आहे आणि उर्वरित प्रशिक्षण आहे; हे 5 वेळा रोल करते आणि 5 स्कोअर सरासरी आहेत. त्यामुळे तुम्हाला दिसेल की कामगिरी एकापेक्षा जास्त स्प्लिटच्या सरासरीवर आधारित आहे, एक भाग्यवान स्प्लिट नाही. स्कोअरचे वितरण देखील माहितीपूर्ण आहे: अतिशय अस्थिर स्कोअर (एका मजल्यावर 85%, दुसऱ्या मजल्यावर 62%) मॉडेल अस्थिर असल्याचे दर्शवतात.

सामान्य k-fold वेळ मालिकेत वापरला जात नाही (भविष्यात लीक); त्याऐवजी, तुम्ही "फॉरवर्ड चेनिंग" (वेळ मालिका विभाजन) करता: नेहमी भूतकाळाशी प्रशिक्षण घ्या आणि भविष्याची चाचणी घ्या.

मेट्रिक

समस्या प्रकार

कधी फरक पडतो?

अचूकता

वर्गीकरण

वर्ग संतुलित असल्यास

सुस्पष्टता

वर्गीकरण

खोटा अलार्म महाग आहे

संवेदनशीलता (आठवणे)

वर्गीकरण

चुकणे महाग असल्यास

F1

वर्गीकरण

शिल्लक आवश्यक असल्यास

MAE

प्रतिगमन

व्याख्या करण्यायोग्य त्रुटी

RMSE

प्रतिगमन

जर मोठ्या चुका गंभीर असतील

R²

प्रतिगमन

स्पष्टीकरणात्मक शक्ती

तीन लहान प्रकरणे

केस 1 - उच्च अचूकतेचा भ्रम. एक फसवणूक मॉडेलने 99.2% अचूकता दर्शविली आणि संघाने आनंद साजरा केला. गोंधळ मॅट्रिक्स पाहता, डेटामधील वास्तविक: बनावट दर 0.8% होता; मॉडेलने जवळजवळ कोणतीही बनावट पकडली नाही, फक्त "सर्व स्पष्ट" असे म्हटले आहे. रिकॉल 6% होते. धडा: मेट्रिक्स पहा, अचूकता नाही.

प्रकरण 2 - सुप्त अध्यापन. एका संघाने प्रशिक्षण सेटवर XGBoost 97% पर्यंत वितरित केले आणि वाढवले. चाचणी संच 69% होता, परंतु कोणीही पाहिले नव्हते. मॉडेल उत्पादनात कोसळले. जर क्रॉस-व्हॅलिडेशन केले गेले असते, तर फोल्ड (ओव्हरलर्निंग) मधील मोठा फरक सुरुवातीपासूनच दिसून आला असता. धडा: सीव्ही आणि चाचणी गुणांवर विश्वास ठेवा, शैक्षणिक गुणांवर नाही.

केस 3 - भाग्यवान विभाजन. एका विश्लेषकाला एकाच स्प्लिटमध्ये 88% मिळाल्याने आनंद झाला. जेव्हा त्याच्या सहकाऱ्याने 5-पट CV केला तेव्हा गुण 88%, 71%, 83%, 64%, 79% होते — सरासरी 77% आहे, परंतु ते खूप अस्थिर आहे. मॉडेल अस्थिर होते; एकच डबा दिशाभूल करणारा होता. धडा: CV सरासरी आणि वितरण पहा, वैयक्तिक बिन नाही.

चार कॉपी करण्यायोग्य टेम्पलेट्स

1) संपूर्ण वर्गीकरण अहवाल:

मी प्रशिक्षित मॉडेल आणि चाचणी संच आहे. व्युत्पन्न करा: गोंधळ मॅट्रिक्स, अचूकता, रिकॉल, F1 (प्रत्येक वर्गासाठी) आणि समर्थन संख्या. मी अनुमान काढत आहे, परंतु ते माझ्यावर अवलंबून आहे: मी तुम्हाला सांगेन की कोणते मेट्रिक महत्त्वाचे आहे. लक्षात घ्या की असंतुलित डेटासह अचूकता दिशाभूल करणारी असू शकते.

2) अतिशिक्षण नियंत्रण:

माझ्या मॉडेलचे स्कोअर ट्रेनिंग आणि टेस्ट या दोन्ही सेटमध्ये शेजारी शेजारी छापा. त्यांच्यातील फरकाची गणना करा आणि चेतावणी द्या कारण मोठा फरक हे अतिशिक्षणाचे लक्षण आहे. फरक मोठा असल्यास, नियमितीकरण किंवा सरलीकरण सुचवा.

3) क्रॉस प्रमाणीकरण:

5-पट क्रॉस-व्हॅलिडेशन करा (स्तरीकृत, वर्गीकरणासाठी). प्रत्येक पटाचा स्कोअर, सरासरी आणि मानक विचलन मुद्रित करा. स्कोअर खूप अस्थिर असल्यास (उच्च std), मॉडेल अस्थिर असल्याचे सूचित करा. पाइपलाइन वापरा जेणेकरुन प्रत्येक स्तरावरील प्रशिक्षणाच्या तुकड्यातूनच परिवर्तने शिकता येतील.

4) बेसलाइन तुलना:

माझ्या मॉडेलचे मेट्रिक डमीक्लासीफायर बेसलाइनसह बाजूला ठेवा. मॉडेल बेसलाइनला लक्षणीयरीत्या हरवते का? ते पास होत नसल्यास, हे स्पष्ट करा की मॉडेल कोणतेही वास्तविक मूल्य जोडत नाही.

कमकुवत प्रॉम्प्ट / मजबूत प्रॉम्प्ट

कमकुवत प्रॉम्प्ट:

माझे मॉडेल चांगले आहे का?

"चांगले" अपरिभाषित आहे; कोणता मेट्रिक, कोणता थ्रेशोल्ड, कोणता बेसलाइन हे स्पष्ट नाही. AI एकच अचूकता क्रमांक देऊ शकते आणि दिशाभूल करू शकते.

शक्तिशाली सूचना:

तुमची भूमिका: मूल्यांकन सहाय्यक. वर्गीकरण, असंतुलित डेटा (12% सकारात्मक). प्राधान्य: आठवणे (सकारात्मक गमावू नका). कार्य: (1) कन्फ्युजन मॅट्रिक्स, (2) प्रिसिजन/रिकॉल/F1, (3) 5-पट स्तरीकृत CV मीन आणि std, (4) डमीक्लासिफायर बेसलाइन तुलना. रिकॉल आणि बेसलाइन फरकावर लक्ष केंद्रित करा, अचूकतेवर नाही. टिप्पणी द्या, पण मी अंतिम निर्णय घेतो.

येथे, मेट्रिक प्राधान्य, CV आणि बेसलाइन स्थिती स्पष्ट आहे.

सामान्य चुका

• असंतुलित डेटामध्ये अचूकतेवर विश्वास ठेवणे. 99% अचूकता अल्पसंख्याक वर्गाला अजिबात पकडू शकत नाही; गोंधळ मॅट्रिक्स पहा.
• फक्त तुमचा शैक्षणिक स्कोअर बघतो. उच्च शिक्षण, कमी चाचणी गुण अधिक शिकणे आहे; नेहमी दोन गुणांची तुलना करा.
• एकाच डब्यावर विसंबून. भाग्यशाली विभागणी दिशाभूल करणारी आहे; क्रॉस-व्हॅलिडेशनसह सरासरी आणि वितरण पहा.
• बेसलाइनशी तुलना करत नाही. मॉडेल मूर्ख भविष्यवाणी करणाऱ्याला मारतो की नाही हे जाणून घेतल्याशिवाय आपण "चांगले" म्हणू शकत नाही.
• वेळेच्या मालिकेवर सामान्य k-fold वापरणे. त्यातून भविष्याची पाझर फुटते; वेळ मालिका विभाजन आवश्यक आहे.

टीप: प्रत्येक मॉडेलच्या पुढे तीन संख्या लिहा: प्रशिक्षण स्कोअर, क्रॉस-व्हॅलिडेशन सरासरी आणि बेसलाइन स्कोअर. हे त्रिकूट ओव्हरलर्निंग (प्रशिक्षण >> CV) आणि कमी मूल्यमापन (CV ≈ बेसलाइन) एका दृष्टीक्षेपात प्रकट करते.

सारांशात

मॉडेल तयार करणे सोपे आहे, परंतु त्याचे प्रामाणिकपणे मूल्यांकन करणे कठीण आहे. वर्गीकरणामध्ये, गोंधळ मॅट्रिक्स, अचूकता आणि स्मरण हे अचूकतेपेक्षा अधिक माहितीपूर्ण आहेत; नोकरीची किंमत कोणती महत्त्वाची आहे हे ठरवते. MAE, RMSE आणि R² रिग्रेशनमध्ये वापरले जातात. सर्वात कपटी सापळा म्हणजे अतिशिक्षण: नेहमी प्रशिक्षण आणि चाचणी गुणांची तुलना करा. क्रॉस-व्हॅलिडेशनच्या सरासरी आणि वितरणावर अवलंबून राहा, एकच विभाजन नाही; प्रत्येक गोष्टीची बेसलाइनशी तुलना करा. AI या सर्वांची गणना करते, परंतु कोणता मेट्रिक वापरायचा हे ठरवणे मानवावर अवलंबून आहे.

अर्ज कार्य

वर्गीकरण मॉडेलसाठी गोंधळ मॅट्रिक्स, अचूकता, रिकॉल आणि F1 काढा; नंतर 5-पट क्रॉस-व्हॅलिडेशन करा आणि पटांमध्ये गुणांचे वितरण पहा. शेवटी, प्रशिक्षण स्कोअर, सीव्ही सरासरी आणि बेसलाइन स्कोअर शेजारी लिहा. तुमचे मॉडेल जास्त शिकत आहे आणि बेसलाइन पास करत आहे की नाही हे एका वाक्यात टिप्पणी करा.

चेकलिस्ट

• [ ] मी अचूकतेऐवजी नोकरीचे वास्तविक मेट्रिक (परिसिजन/रिकॉल/F1 इ.) पाहिले आहे का?
• मी गोंधळ मॅट्रिक्सचे परीक्षण केले आहे का?
• [ ] मी प्रशिक्षण आणि चाचणी गुणांची तुलना केली आहे आणि अधिक शिक्षणासाठी तपासले आहे?
• मी क्रॉस-व्हॅलिडेशनसह सरासरी आणि वितरण पाहिले आहे का?
• [ ] मी मॉडेलची तुलना बेसलाइनशी केली आहे का?