பைத்தானுடன் தானியங்கி தரவு பகுப்பாய்வு: முடிவு முதல் முடிவு

ஆதாயங்கள்:

• டெலிமெட்ரி, சோதனை மற்றும் உற்பத்தித் தரவை பாண்டாக்களுடன் ஏற்றி சுத்தம் செய்யும் மீண்டும் மீண்டும் செய்யக்கூடிய பகுப்பாய்வு பணிப்பாய்வுகளை நிறுவும் திறன்
• செயற்கை நுண்ணறிவிலிருந்து குறியீடு, பண்புக்கூறுகள் மற்றும் காட்சிப்படுத்தல் உதவியைப் பெறும்போது, வரியின் மூலம் வெளியீட்டை புரிந்துகொண்டு சரிபார்க்கும் திறன்
• அலகு நிலைத்தன்மை, தரவு கசிவு மற்றும் மறுஉருவாக்கம் ஆகியவற்றின் பகுப்பாய்வு முடிவுகளை தணிக்கை செய்யும் திறன்

முந்தைய அலகுகளில், "ஆலோசகர்" போன்ற செயற்கை நுண்ணறிவைப் பயன்படுத்தினோம். இந்த யூனிட்டில், நாங்கள் ஒரு படி மேலே சென்று, பைத்தானைப் பயன்படுத்தி, எங்கள் சொந்த கைகளால் வாகனத் தரவை பகுப்பாய்வு செய்யும் பணிப்பாய்வு ஒன்றை நிறுவுகிறோம். உங்களை ஒரு மென்பொருள் உருவாக்குநராக மாற்றுவது அல்ல; AI இலிருந்து குறியீட்டு உதவியைப் பெறும்போது அந்த குறியீட்டை வரிக்கு வரியாகப் புரிந்துகொண்டு சரிபார்க்கக்கூடிய ஒரு பொறியாளரை உருவாக்குவது. ஏனெனில் AI ஆல் தயாரிக்கப்படும் குறியீடானது AI ஆல் தயாரிக்கப்பட்ட உரையைப் போலவே தவறாக இருக்கலாம்; ஒலியளவைக் குழப்பலாம், தரவு கசிவு, மைய தவறான நெடுவரிசை. குறியீட்டைப் புரிந்து கொள்ளாமல் இயக்குவது கையொப்பமிடாத அறிக்கையை வெளியிடுவது போன்றது.

மலைப்பாம்பு ஏன்? தரவு பகுப்பாய்வில் இது நடைமுறைத் தரநிலையாக இருப்பதால்: டெலிமெட்ரி, சோதனை மற்றும் உற்பத்தித் தரவை பாண்டாக்கள் (அட்டவணை தரவு), நம்பி (எண் செயலாக்கம்), மேட்ப்லோட்லிப் (ப்ளாட்) மற்றும் ஸ்கிகிட்-லேர்ன் (இயந்திர கற்றல்) நூலகங்கள் மூலம் எளிதாகச் செயலாக்கலாம்.

மீண்டும் உருவாக்கக்கூடிய பகுப்பாய்விற்கு ஆறு படிகள்

ஒரு திடமான பகுப்பாய்வு எப்போதும் ஒரே கட்டமைப்பைப் பின்பற்றுகிறது:

1. ஏற்ற: கோப்பிலிருந்து தரவைப் படிக்கவும்.
2. ஆய்வு: பரிமாணம், நெடுவரிசைகள், தரவு வகைகள், விடுபட்ட மதிப்புகள்.
3. சுத்தம்: விடுபட்டது/வெளியேற்றம், அலகு, நேர முத்திரை திருத்தம்.
4. பிரித்தெடுக்கும் அம்சம்: அர்த்தமுள்ள மாறிகளைப் பெறவும்.
5. பகுப்பாய்வு/மாதிரி: புள்ளியியல், காட்சிப்படுத்தல் அல்லது மாதிரி.
6. சரிபார்த்து அறிக்கை: முடிவு வழங்கல், தொகுதி/கசிவு சரிபார்ப்பு, பதிவு செய்தல்.

உதவிக்குறிப்பு: AIயிடம் குறியீட்டைக் கேட்கும் போது, ​​"ஒவ்வொரு அடியிலும் நீங்கள் என்ன செய்கிறீர்கள் என்று கருத்துத் தெரிவிக்கவும் மற்றும் உங்கள் அனுமானங்களை எழுதவும்" என்று சொல்லுங்கள். எனவே, குறியீட்டைப் படிக்கும்போது அதைச் சரிபார்க்கலாம்.

படிப்படியான எடுத்துக்காட்டு: டெலிமெட்ரி பகுப்பாய்வு

பின்வரும் குறியீடு CAN/டெலிமெட்ரி பதிவை ஏற்றுகிறது மற்றும் அடிப்படை சரிபார்ப்பை செய்கிறது. (குறிப்பு: குறியீடுகளை இயக்கும் முன் அவற்றைப் புரிந்துகொள்வதை உறுதிப்படுத்திக் கொள்ளுங்கள்; உங்கள் தரவைப் பொறுத்து நெடுவரிசைப் பெயர்கள் மாறுபடும்.)

pd# 1 ஆக பாண்டாக்களை இறக்குமதி செய்க text)print(df.isna().sum()) # ஒரு நெடுவரிசையில் விடுபட்ட மதிப்புகளின் எண்ணிக்கை(df.describe()) # சுருக்க புள்ளிவிவரங்கள்: நிமிடம், அதிகபட்சம், சராசரி

விவரிக்கும்() வெளியீடு என்பது சரிபார்க்க உங்களுக்கான முதல் வாய்ப்பாகும்: இன்ஜின் வேக அதிகபட்ச மதிப்பு 45,000 ஆர்பிஎம் (வழக்கமான பயணிகள் எஞ்சின் ~7,000 ஆர்பிஎம்) எனில், ஒரு யூனிட் அல்லது சென்சார் தவறு உள்ளது.

தணிக்கை படியில் அடிக்கடி பயன்படுத்தப்படும் பாண்டாக்களின் கட்டளைகள் மற்றும் அவை என்ன செய்கின்றன:

கட்டளை

என்ன செய்கிறது

இது எதை உறுதிப்படுத்துகிறது?

df.shape

வரிசைகள்/நெடுவரிசைகளின் எண்ணிக்கை

எதிர்பார்த்த அளவு உள்ளதா?

df.dtypes

நெடுவரிசை வகைகள்

எண் நெடுவரிசை உரையாகிவிட்டதா?

df.isna().sum()

மதிப்பு எண்ணிக்கை இல்லை

எவ்வளவு இடம் இருக்கிறது?

df.விவரிக்க()

குறைந்தபட்சம்/அதிகபட்சம்/சராசரி

இது உடல் ரீதியாக நியாயமானதா?

df.duplicated().sum()

நகல் வரிசை

இரட்டை பதிவு உள்ளதா?

# 3) தெளிவு: உடல் ரீதியாக சாத்தியமற்ற மதிப்புகளைக் குறிக்கவும்

எச்சரிக்கை: அவுட்லைரை உடனடியாக நீக்க வேண்டாம்; இது ஏன் புறம்பானது என்பதை முதலில் புரிந்து கொள்ளுங்கள். இது ஒரு உண்மையான நிகழ்வா (திடீர் வெப்பமாக்கல்) அல்லது சென்சார் தோல்வியா? கண்மூடித்தனமாக நீக்குவது உண்மையான தவறை மறைக்கக்கூடும்.

# 4) பிரித்தெடுக்கும் அம்சம்: வெப்பநிலை உயர்வு விகிதம் (வழித்தோன்றல்)df = df.sort_values("time")df["sic_increase_speed"] = df["motor_sic"].diff() / df["time"].diff().dt.total_seconds pltplt.plot(df["time"], df["motor_sic"])plt.xlabel("நேரம்"); plt.ylabel("இன்ஜின் வெப்பநிலை (C)")plt.title("இன்ஜின் வெப்பநிலை பாடநெறி")plt.show()

பைத்தானில் தரவு கசிவைத் தடுக்கிறது

ஒரு கணிப்பு மாதிரியை உருவாக்கும் போது மிகவும் ஆபத்தான தவறு தரவு கசிவு (அலகு 5): முன்கணிப்பு நேரத்தில் அறிய முடியாத தகவலை மாதிரி பார்க்கும் போது. நேரத் தொடரில் இதைத் தவிர்ப்பதற்கான தங்க விதி: கடந்த காலத்துடன் பயிற்சி, எதிர்காலத்துடன் சோதனை - சீரற்ற மாற்றமில்லை.

sklearn.model_selection இறக்குமதி ரயில்_test_split# FALSE: நேரத் தொடரை தோராயமாக பிரிப்பது எதிர்காலத்தை கசிகிறது# df[df["time"] > threshold] # கடந்த 20% எதிர்காலம்

எச்சரிக்கை: train_test_split தரவை இயல்புநிலையாக மாற்றுகிறது (ஷஃபிள்=ட்ரூ). காலவரிசையில், இது எதிர்காலத்தை கல்வியுடன் குழப்பி, தவறான உயர் மதிப்பெண்ணை உருவாக்குகிறது. AI அதை உருவாக்கும் குறியீட்டில் இதைச் செய்திருந்தால், அதை சரிசெய்ய மறக்காதீர்கள்.

அலகு நிலைத்தன்மை: அமைதியான கொலையாளி

வாகனத்தில் மிகவும் நயவஞ்சகமான பிழைகள் யூனிட் பிழைகள்: km/h முதல் m/s, Nm to lb-ft, bar to kPa, °C to K. பகுப்பாய்வில் ஒவ்வொரு நெடுவரிசையின் அலகு என்னவென்று ஒரு அகராதியை வைத்து, மாற்றங்களை தெளிவாக எழுதுவது உயிர்களைக் காப்பாற்றுகிறது.

# அலகுகளை வெளிப்படையாக ஆவணப்படுத்தவும் = {"speed": "km/h", "motor_sic": "C", "pressure": "bar"}# தேவைப்பட்டால் வெளிப்படையான மாற்றம் (km/h -> m/s)df["speed_ms"] = df["speed"] / 3.6

சிறு வழக்கு ஆய்வுகள்

வழக்கு 1 - விவரிப்பதில் () பிழை ஏற்பட்டது. ஒரு ஆய்வாளர் AI இலிருந்து குறியீட்டை இயக்கி வரம்பை மதிப்பீடு செய்கிறார்; விளைவு அபத்தமானது. விவரிக்கும்() வெளியீட்டைப் பார்க்கும்போது, ​​பேட்டரி திறன் சில வரிகளில் Wh லும் மற்றவற்றில் kWh லும் (1000 மடங்கு வித்தியாசம்) உள்ளிடப்பட்டிருப்பதைக் காண்கிறோம். அலகு ஒரு சீரான வகைக்கு கொண்டு வரப்பட்டால், விளைவு மேம்படும். முடிவு: ஒரு எளிய சுருக்கமான புள்ளிவிவரம் தவறான கணிப்பைத் தடுத்தது.

வழக்கு 2 - குழப்ப பொறி. ஒரு பயிற்சியாளரின் பிரேக் உடைகள் மாதிரியானது சோதனைத் தொகுப்பில் 98% துல்லியமாக இருந்தது. குறியீட்டை ஆய்வு செய்யும் போது, ​​train_test_split(shuffle=True) மற்றும் நேரத் தொடர் கலந்திருப்பதைக் காணலாம், அதாவது எதிர்காலப் புள்ளிகள் பயிற்சியில் கசியும். காலத்தால் வகுக்கும் போது, ​​துல்லியம் 80% ஆக குறைகிறது, ஆனால் அது இப்போது யதார்த்தமாக உள்ளது. முடிவு: AI குறியீடு வேலை செய்ததால், அது சரியாக இல்லை; கசிவை மனிதன் பிடித்தான்.

வழக்கு 3 - வெளிப்புறத்தைப் புரிந்துகொள்வது. ஒரு ஆயுள் பதிவில், AI குறியீடு தானாக வெளிப்புற திரிபு மதிப்புகளை நீக்குகிறது. பொறியாளர் நீக்கப்பட்ட புள்ளிகளைப் பார்க்கிறார்; சோதனை ஆர்வமாக இருந்த கிராக் துவக்கத்தின் தருணங்கள் இவை. நீக்குதல் அகற்றப்பட்டது மற்றும் மீறல்கள் தனி மதிப்பாய்வுக்கு எடுத்துக்கொள்ளப்படும். முடிவு: "சுத்தம்" என்பதன் கீழ் உண்மையான சமிக்ஞையை நீக்கலாம்; ஒவ்வொரு அடியிலும் கேள்வி.

உடனடி வார்ப்புருக்கள்

டெம்ப்ளேட் 1 - கோரிக்கை குறியீடு (விளக்கத்துடன்):

பங்கு: நீங்கள் ஒரு பைதான் தரவு ஆய்வாளர் வழிகாட்டி. பணி: டெலிமெட்ரி CSV ஐ ஏற்றி சரிபார்க்கும் குறியீட்டை எழுதுங்கள். சூழல்: நெடுவரிசைகள்: நேரம், வேகம்(கிமீ/ம), எஞ்சின்_சிக்(சி), புரட்சி(ஆர்பிஎம்).கட்டுப்பாடு: ஒவ்வொரு வரிசையிலும் கருத்துத் தெரிவிக்கவும்; எந்த காசோலை செய்யப்பட்டது மற்றும் ஏன் என்பதை விளக்குங்கள்; உடல் ரீதியாக சாத்தியமற்ற மதிப்பு சரிபார்ப்பைச் சேர்க்கவும்; அமைதியாக எதையும் நீக்கவில்லை. வெளியீடு: கருத்துரையிடப்பட்ட குறியீடு + எந்த வெளியீட்டை நான் பார்க்க வேண்டும், ஏன்.

டெம்ப்ளேட் 2 - கசிவு ஆய்வு:

பங்கு: நீங்கள் ஒரு இயந்திர கற்றல் குறியீடு மதிப்பாய்வாளர். பணி: தரவு கசிவுகளுக்கு பின்வரும் பயிற்சி/சோதனை பிரிப்புக் குறியீட்டைச் சரிபார்க்கவும். சூழல்: இது ஒரு நேரத் தொடர் (வாகன டெலிமெட்ரி). கட்டுப்பாடு: தற்செயலான கலக்கம் இருந்தால் எச்சரிக்கவும்; காலத்தால் பிரிப்பதை பரிந்துரைத்து நியாயப்படுத்தவும். வெளியீடு: கண்டுபிடிப்புகள் + திருத்தப்பட்ட குறியீடு + விளக்கம்.

டெம்ப்ளேட் 3 - அலகு சரிபார்ப்பு:

பங்கு: நீங்கள் ஒரு தரவுத் தரத் தணிக்கையாளர். பணி: டேட்டாஃப்ரேமில் யூனிட் சீரற்ற தன்மையைக் கண்டறியும் சோதனைகளைப் பரிந்துரைக்கவும். சூழல்: சில வரிசைகளில் திறன் kWh ஆகவும், சில வரிசைகளில் Wh ஆகவும் இருக்கலாம். வெளியீடு: குறியீட்டைச் சரிபார்க்கவும் + சந்தேகத்திற்கிடமான வடிவத்தை எவ்வாறு கண்டுபிடிப்பது.

டெம்ப்ளேட் 4 - காட்சிப்படுத்தல் + கருத்து:

பங்கு: நீங்கள் ஒரு தரவு காட்சிப்படுத்தல் நிபுணர். பணி: என்ஜின் வெப்பநிலை மற்றும் அதிகரிப்பு விகிதத்தைக் குறிக்கும் குறியீட்டை எழுதவும். கட்டுப்பாடு: அலகுடன் அச்சுகளை லேபிளிடு; பார்வை ஒழுங்கின்மையைக் குறிக்கவும்; வரைபடத்தை விளக்கும் போது திட்டவட்டமான தவறுகளை கோர வேண்டாம். வெளியீடு: குறியீடு + வரைபடத்தில் எதைப் பார்க்க வேண்டும்.

பலவீனமான வரியில் / வலுவான வரியில்

பலவீனமான உடனடி:

இந்தத் தரவைக் கொண்டு ஒரு மாதிரியை உருவாக்கவும்.

எந்த இலக்கு, எந்தப் பெட்டி, எந்த சரிபார்ப்பு என்பது தெளிவாகத் தெரியவில்லை; AI ஆனது துருவல், கசிவு, அலகு குருட்டு குறியீட்டை வெளியிட முடியும்.

சக்திவாய்ந்த தூண்டுதல்:

பங்கு: நீங்கள் ஒரு பைதான் எம்எல் வழிகாட்டி. பணி: பிரேக் பேட் தேய்மானத்தை கணிக்க மற்றும் சரிபார்ப்பு குறைபாடுகளை நிரூபிக்க ஆரம்ப பணிப்பாய்வு எழுதவும். சூழல்: நேரத் தொடர் டெலிமெட்ரி; இலக்கு: மீதமுள்ள திண்டு தடிமன். கட்டுப்பாடு: நேரத்தின்படி நேரத் தொடரைப் பிரிக்கவும் (குழப்பம் இல்லை); தரவு கசிவு அபாயத்தில் கொடி பண்புகளை; ஆவண அலகுகள்;ஒவ்வொரு அடியையும் விளக்கவும்; முடிவு புலத்திற்குச் செல்லும் முன் என்னென்ன சோதனைகள் தேவை என்பதை எழுதவும். வெளியீடு: கருத்துரையிடப்பட்ட குறியீடு + சரிபார்ப்பு சரிபார்ப்பு பட்டியல்.

பொதுவான தவறுகள்

• அது புரியாமல் குறியீட்டை இயக்குகிறது. AI குறியீடும் தவறாக இருக்கலாம்; வரிக்கு வரி படியுங்கள்.
• கலக்கும் நேரத் தொடர். shuffle=True எதிர்காலத்தை கசிந்து ஒரு போலி மதிப்பெண்ணை உருவாக்குகிறது.
• கண்மூடித்தனமாக அவுட்லைரை நீக்கவும். உண்மையான சமிக்ஞை (தவறு ஆரம்பம்) அழிக்கப்படலாம்.
• அலகு ஆவணப்படுத்தவில்லை. km/h vs m/s, Wh vs kWh போன்ற பிழைகள் அமைதியாக வளரும்.
• விவரிக்கும்()/செக் படியைத் தவிர்க்கிறது. பெரும்பாலான பிழைகள் முதல் சுருக்க புள்ளிவிவரங்களில் தோன்றும்.

சுருக்கமாக

• பைதான் (pandas, numpy, matplotlib, scikit-learn) என்பது வாகன தரவு பகுப்பாய்வின் நடைமுறை தரநிலையாகும்.
• மீண்டும் மீண்டும் செய்யக்கூடிய பகுப்பாய்வு: ஏற்றுதல், ஆய்வு செய்தல், சுத்தம் செய்தல், அம்சம், பகுப்பாய்வு செய்தல், சரிபார்த்தல் மற்றும் அறிக்கை செய்தல்.
• AI உருவாக்கும் குறியீட்டைப் புரிந்துகொள்வதும் சரிபார்ப்பதும் இன்றியமையாதது; அது வேலை செய்வதால் அது சரியானது என்று அர்த்தமல்ல.
• காலத் தொடரில் கடந்த கால/எதிர்கால வேறுபாட்டைப் பேணுதல்; ரேண்டம் ஷிஃபிங் தரவு கசிவை உருவாக்குகிறது.
• அலகு நிலைத்தன்மை மற்றும் வெளிப்புற விளக்கம் ஆகியவை அமைதியானவை ஆனால் சரிபார்ப்பின் முக்கியமான புள்ளிகள்.

விண்ணப்ப பணி

ஒரு சிறிய தரவு தொகுப்பை (உண்மையான அல்லது செயற்கை டெலிமெட்ரி) எடுத்துக் கொள்ளுங்கள். (1) ஆறு-படி கட்டமைப்பைப் பின்பற்றி, டெம்ப்ளேட் 1 உடன் ஏற்றுதல் மற்றும் கட்டுப்பாட்டுக் குறியீட்டை உருவாக்கி, ஒவ்வொரு வரியையும் நீங்கள் புரிந்துகொண்டுள்ளீர்கள் என்பதை உறுதிப்படுத்தவும். (2) விவரி() வெளியீட்டில் குறைந்தது ஒரு சந்தேகத்திற்கிடமான மதிப்பையாவது கண்டுபிடித்து ஏன் என்று விசாரிக்கவும். (3) ஒரு முன்கணிப்பு பணியில், பயிற்சி/சோதனையை பிரித்து, வார்ப்புரு 2 மூலம் கசிவு அபாயத்தை சரிபார்க்கவும். (4) அகராதியில் நீங்கள் பயன்படுத்தும் ஒவ்வொரு நெடுவரிசையின் யூனிட்டையும் ஆவணப்படுத்தவும்.

சரிபார்ப்பு பட்டியல்

• [ ] நான் பகுப்பாய்வை ஆறு-படி கட்டமைப்புடன் அமைத்தேன்.
• AI உருவாக்கிய குறியீட்டை வரிக்கு வரியாகப் படித்து புரிந்துகொண்டேன்.
• [ ] நான் விவரிக்கும் ()/தணிக்கையுடன் சந்தேகத்திற்குரிய மதிப்புகளைத் தேடினேன்.
• [ ] நான் நேரத் தொடரை நேரமாகப் பிரித்தேன் (குறுக்கல் இல்லை).
• [ ] தரவு கசிவு அபாயத்தில் இருக்கும் பண்புகளை நான் குறித்தேன்.
• [ ] நான் ஒவ்வொரு நெடுவரிசையின் அலகையும் ஆவணப்படுத்தி, மாற்றங்களை வெளிப்படையாக எழுதினேன்.