தரவு சேகரிப்பு மற்றும் மூல புரிதல்: திட்டம், மாதிரி, தரம் மற்றும் கசிவு விழிப்புணர்வு

ஆதாயங்கள்:

• வெவ்வேறு தரவு மூலங்கள் (தரவுத்தளம், ஏபிஐ, கோப்பு, வலை ஸ்கிராப்பிங்) மற்றும் ஒவ்வொன்றின் ஆபத்துக்களையும் அடையாளம் கண்டு, திட்டத்தைச் சரியாகப் புரிந்துகொள்ளும் திறன்
• மாதிரியானது மக்கள் தொகை மற்றும் தேர்வு சார்பு ஆகியவற்றைக் குறிக்கிறதா என்பதை மதிப்பீடு செய்வதன் மூலம் மீண்டும் மீண்டும் செய்யக்கூடிய மாதிரியைச் செய்யும் திறன்
• சேகரிப்பு கட்டத்தில் தரவு கசிவை அகற்றி, ஒவ்வொரு நெடுவரிசையிலும் 'கணிப்பின் போது என்னிடம் அது இருக்குமா' என்ற கேள்வியைக் கேட்பதன் மூலம் சட்ட/நெறிமுறை எல்லைகளைக் கண்காணிக்கும் திறன்?

நீங்கள் சேகரிக்கும் தரவின் தரத்தைப் போலவே ஒவ்வொரு பகுப்பாய்வும் சிறப்பாக இருக்கும். உலகின் மிகவும் மேம்பட்ட மாதிரியானது, தவறாக சேகரிக்கப்பட்ட, பக்கச்சார்பான மாதிரிகள் அல்லது எதிர்காலத்தைப் பற்றிய தகவல்களைக் கொண்ட தரவுகளுடன் செயல்பட்டால், நம்பமுடியாத முடிவுகளைத் தரும். கணினி அறிவியலில், இந்தக் கொள்கையானது "குப்பை உள்ளே, குப்பை வெளியே" (குப்பை உள்ளே, குப்பை வெளியே) என்று சுருக்கப்பட்டுள்ளது. இந்த யூனிட்டில், தரவு சேகரிப்பு கட்டத்தை நாங்கள் உள்ளடக்குவோம்: மூலத்தைப் புரிந்துகொள்வது, மாதிரி எடுப்பது, தரமான கேள்விகளைக் கேட்பது மற்றும் முதல் நாளிலிருந்தே தரவு கசிவு ஏற்படும் அபாயம் குறித்து எச்சரிக்கையாக இருப்பது. இந்த கட்டத்தில் செயற்கை நுண்ணறிவு ஒரு சக்திவாய்ந்த உதவி; SQL வினவலை எழுதுகிறது, API ஆவணத்தை சுருக்குகிறது, தரவு ஒப்பந்தத்தை வரைகிறது. ஆனால், நீங்கள் எந்தத் தரவைச் சேகரிக்கிறீர்கள், அந்தத் தரவு உங்களைப் பிரதிநிதித்துவப்படுத்துகிறதா என்பதைத் தீர்மானிப்பது மனிதர்தான்.

தரவு ஆதாரங்களை அறிந்து கொள்வது

தரவு வெவ்வேறு இடங்களிலிருந்து வருகிறது, மேலும் ஒவ்வொரு மூலத்திற்கும் அதன் சொந்த ஆபத்துகள் உள்ளன. தரவுத்தளம் (அட்டவணைகளில் சேமிக்கப்படும் கட்டமைக்கப்பட்ட தரவு, பொதுவாக SQL உடன் வினவப்படும்) மிகவும் பொதுவான ஆதாரம்; இது நம்பகமானது, ஆனால் அதன் திட்டத்தை நன்கு புரிந்துகொள்வது அவசியம். API (Application Programming Interface) நேரடித் தரவை வழங்குகிறது ஆனால் வேக வரம்புகள் மற்றும் வடிவமைப்பு மாற்றங்களின் அபாயத்தைக் கொண்டுள்ளது. கோப்புகள் (CSV, Excel, JSON) நெகிழ்வானவை, ஆனால் வடிவமைப்பு சீரற்ற தன்மைக்கு ஆளாகின்றன. வலை ஸ்கிராப்பிங் சக்தி வாய்ந்தது, ஆனால் அது சட்ட மற்றும் நெறிமுறை வரம்புகளைக் கொண்டுள்ளது; ஒவ்வொரு தளத்தையும் ஸ்கிராப் செய்ய முடியாது.

கவனம்: வலை ஸ்கிராப்பிங் மற்றும் தானியங்கி தரவு சேகரிப்புக்கு, தளத்தின் பயன்பாட்டு விதிமுறைகள், robots.txt கோப்பு மற்றும் KVKK/GDPR ஆகியவற்றுடன் இணங்கவும். அங்கீகரிக்கப்படாத தரவு சேகரிப்பு சட்டப் பொறுப்பை உருவாக்குகிறது. தகவல் பாதுகாப்பின் பின்னணியில், நீங்கள் அங்கீகரிக்கப்பட்ட மற்றும் பாதுகாப்பு/பகுப்பாய்வு நோக்கங்களுக்காக மட்டுமே தரவு சேகரிப்பு கருவிகளைப் பயன்படுத்தவும்; அங்கீகரிக்கப்படாத அணுகல் அல்லது ஸ்கிராப்பிங் தடைசெய்யப்பட்டுள்ளது.

திட்டத்தைப் புரிந்துகொள்வது: தரவுகளுடன் பழகுதல்

ஒரு தரவுத் தொகுப்பைச் சேகரிப்பதற்கு முன், அதன் திட்டத்தை (நெடுவரிசைகளின் பெயர்கள், அவற்றின் தரவு வகைகள், அவற்றின் அர்த்தங்கள் மற்றும் ஒருவருக்கொருவர் உள்ள உறவுகள்) நீங்கள் புரிந்து கொள்ள வேண்டும். "தரவு அகராதியை" உருவாக்குவதில் AI மிகவும் பயனுள்ளதாக இருக்கிறது - ஒவ்வொரு நெடுவரிசையும் என்ன என்பதை விளக்கும் அட்டவணை. ஆனால் AI உருவாக்கும் விளக்கங்கள் கணிப்புகள்; ஒவ்வொரு நெடுவரிசையின் உண்மையான அர்த்தத்தையும் தரவை உருவாக்கிய குழுவுடன் உறுதிப்படுத்தவும். எடுத்துக்காட்டாக, "நிலை" என்ற நெடுவரிசையில் 0/1/2 இருக்கலாம்; இவை "நிலுவையில் உள்ளதா/அனுமதிக்கப்பட்டதா/ரத்துசெய்யப்பட்டதா" அல்லது வேறு ஏதேனும் உள்ளதா என்பதை, தோற்றுவிக்கும் குழுவிற்கு மட்டுமே தெரியும்.

பின்வரும் அட்டவணை அடிப்படை ஆதார வகைகளையும் எச்சரிக்கைகளையும் சுருக்கமாகக் கூறுகிறது:

ஆதாரம்

வலுவான புள்ளி

பொறி

AI எவ்வாறு உதவுகிறது

SQL தரவுத்தளம்

கட்டமைப்பு, நம்பகமான

சிக்கலான இணைப்புகள்

வினவல் வரைவை எழுதுகிறார்

API

நேரடி தரவு

வேக வரம்பு, வடிவம் மாற்றம்

ஆவண சுருக்கங்கள், குறியீட்டை இழுக்கவும்

CSV/Excel

நெகிழ்வான, வேகமான

வடிவமைப்பு முரண்பாடு

குறியீட்டைப் படிக்கவும்/பாகுபடுத்தவும்

வலை ஸ்கிராப்பிங்

பரவலான அணுகல்

சட்ட/நெறிமுறை வரம்பு

பாகுபடுத்தும் வரைவு (அதிகாரத்திற்குள்)

பதிவு/நிகழ்வு தரவு

விரிவான

பெரிய தொகுதி

வடிகட்டுதல் வினவல்

விளக்கம்: பகுதி முழுவதையும் குறிக்கிறதா?

பெரும்பாலான நேரங்களில், நீங்கள் முழுத் தரவையும் விட ஒரு மாதிரியுடன் (மக்கள்தொகையிலிருந்து தேர்ந்தெடுக்கப்பட்ட துணைக்குழு) வேலை செய்கிறீர்கள். முக்கியமான கேள்வி: இந்த மாதிரி மக்கள் தொகையைக் குறிக்கிறதா? தேர்வு சார்பு மிகவும் பொதுவான பொறியாகும். எடுத்துக்காட்டாக, நீங்கள் மொபைல் பயன்பாட்டிலிருந்து பயனர்களை மட்டுமே மாதிரியாகக் கொண்டால், நீங்கள் இணையப் பயனர்களைப் பார்க்க மாட்டீர்கள் மற்றும் உங்கள் முடிவுகள் தவறாக வழிநடத்தும். ரேண்டம் மாதிரி (ஒவ்வொரு பதிவும் தேர்ந்தெடுக்கப்பட்ட சம வாய்ப்பு) பெரும்பாலான சந்தர்ப்பங்களில் பாதுகாப்பானது; ஆனால் நேரத் தொடர் தரவுகளில், பிரித்தல் தோராயமாக அல்லாமல் காலவரிசைப்படி செய்யப்படுகிறது (இதை நாம் அலகுகள் 7 மற்றும் 10 இல் பார்ப்போம்).

முதல் நாளிலிருந்தே கசிவு விழிப்புணர்வு

தரவு கசிவு பெரும்பாலான பேரழிவுகளுக்கு ஆதாரமாக உள்ளது மற்றும் பொதுவாக தரவு சேகரிப்பு கட்டத்தில் எழுகிறது. எடுத்துக்காட்டு: "அது ரத்துசெய்யப்பட்டதா" என்று கணிக்கும்போது, ​​"ரத்துசெய்தல் தேதி" என்ற நெடுவரிசையை தரவுகளுடன் சேர்த்தால், மாதிரி எதிர்காலத்தைப் பார்க்கிறது. சேகரிக்கும் கட்டத்தில், ஒவ்வொரு நெடுவரிசைக்கும் ஒரு கேள்வியைக் கேளுங்கள்: "நான் கணிப்பு செய்யும் நேரத்தில் இந்தத் தகவல் என்னிடம் இருக்குமா?" பதில் இல்லை என்றால், அந்த நெடுவரிசை கசிகிறது. இந்த தலைப்பை நாங்கள் அலகு 10 இல் ஆழமாகப் பார்ப்போம்; ஆனால் விழிப்புணர்வு முதல் நாளிலிருந்தே தொடங்க வேண்டும்.

மூன்று சிறிய வழக்குகள்

வழக்கு 1 - பிரதிநிதித்துவத்தின் சிக்கல். ஒரு வங்கி அதன் கிரெடிட் ரிஸ்க் மாடலுக்கான (18,500 பதிவுகள்) அங்கீகரிக்கப்பட்ட கடன்களின் தரவுகளை மட்டுமே சேகரித்தது. நிராகரிப்புகள் தரவுகளில் இல்லை. நிஜ உலகில் மாதிரி தவறாக இருந்தது, ஏனெனில் நிராகரிப்பவர்கள் எப்படி நடந்துகொள்வார்கள் என்பதை அது ஒருபோதும் பார்த்ததில்லை. பாடம்: மாதிரியானது நீங்கள் முடிவெடுக்கும் முழு மக்கள்தொகையின் பிரதிநிதியாக இருக்க வேண்டும்.

வழக்கு 2 - அமைதியான வடிவம் மாற்றம். ஒரு குழு ஒவ்வொரு நாளும் API இலிருந்து விலைத் தரவை இழுத்துக்கொண்டிருந்தது. ஒரு நாள், API வழங்குநர் நாணயத்தை USD இலிருந்து EURக்கு மாற்றினார், ஆனால் டொமைன் பெயர் அப்படியே இருந்தது. 12 நாட்களுக்கு தவறான யூனிட்டில் தரவு சேகரிக்கப்பட்டது; 3,200 வரிகள் சிதைந்தன. பாடம்: ஏபிஐ தரவில் வால்யூம் மற்றும் ஃபார்மேட் நிலைத்தன்மையை தொடர்ந்து சரிபார்க்கவும்.

வழக்கு 3 - ஆரம்ப கசிவு. ஒரு பகுப்பாய்வாளர் "கணக்கு மூடுதலுக்கான காரணம்" நெடுவரிசையை "சர்ர்ன்" மதிப்பீட்டிற்கான தரவுகளை சேகரிக்கும் போது சேர்த்துள்ளார். வாடிக்கையாளர் வெளியேறிய பின்னரே இந்த நெடுவரிசை நிரப்பப்பட்டது. இந்த மாதிரி சோதனைத் தொகுப்பில் 97% துல்லியத்தை அளித்தது; கணிப்பு நேரத்தில் அந்த நெடுவரிசை காலியாக இருந்ததால் அது தயாரிப்பில் வேலை செய்யவில்லை. பாடம்: ஒவ்வொரு நெடுவரிசையிலும் "கணிப்பின் போது என்னிடம் அது இருக்கிறதா?" என்ற கேள்வியைக் கேளுங்கள்.

நகலெடுக்கக்கூடிய நான்கு வார்ப்புருக்கள்

1) தரவு அகராதி பிரித்தெடுத்தல்:

உங்கள் பங்கு: தரவு விஞ்ஞானி உதவியாளர். அட்டவணையின் நெடுவரிசைப் பெயர்கள் மற்றும் மாதிரி (அநாமதேய) மதிப்புகள் கீழே உள்ளன. ஒவ்வொரு நெடுவரிசைக்கும், அதன் மதிப்பிடப்பட்ட பொருள், தரவு வகை மற்றும் சாத்தியமான தர அபாயங்களை அட்டவணையில் பட்டியலிடுங்கள். நீங்கள் உறுதியாகத் தெரியாத நெடுவரிசைகளை "உறுதிப்படுத்தல் தேவை" எனக் குறிக்கவும்; தயாரித்தல். நெடுவரிசைகள்: [இங்கே ஒட்டவும்]

2) மாதிரி குறியீடு (சீரற்ற, மீண்டும் மீண்டும் செய்யக்கூடியது):

என்னிடம் பாண்டாஸ் டிஎஃப் உள்ளது. 200,000 வரிசைகளில் இருந்து 5% ரேண்டம் மாதிரியைப் பிரித்தெடுக்கும் குறியீட்டை எழுதவும். random_state=42 (இனப்பெருக்கத்திற்கு) பயன்படுத்தவும். மாதிரியின் வகுப்புப் பகிர்வு மக்கள்தொகைக்கு ஒத்ததாக உள்ளதா என்பதைச் சரிபார்க்க குறியீட்டைச் சேர்க்கவும்.

3) கசிவு ஸ்கேனிங் கேள்வி:

இந்த நெடுவரிசைகளின் பட்டியலைத் தருகிறேன். "இது ரத்து செய்யப்பட்டதா" (0/1) என்று கணிப்பதே எனது குறிக்கோள். ஒவ்வொரு நெடுவரிசைக்கும், கணிப்பின் போது அது உண்மையில் என்னிடம் இருக்குமா என்பதை மதிப்பீடு செய்து, அதை "பாதுகாப்பான / சந்தேகத்திற்குரிய / கசிவு" எனக் குறிக்கவும். உங்கள் நியாயத்தை ஒரு வாக்கியத்தில் எழுதுங்கள். நெடுவரிசைகள்: [பட்டியல்]

4) SQL இழுக்கும் வினவல் வரைவு:

PostgreSQL இல் என்னிடம் "ஆர்டர்கள்" மற்றும் "வாடிக்கையாளர்" அட்டவணைகள் உள்ளன. வாடிக்கையாளர் நகரத்துடன் கடந்த 90 நாட்களின் ஆர்டர்களை ஒருங்கிணைத்து, ஒரு நகரத்தின் மொத்தத் தொகையையும் ஆர்டர்களின் எண்ணிக்கையையும் வழங்கும் ஒரு சேர வினவலை எழுதவும். தேதி வடிகட்டி மற்றும் NULL நகரங்கள் எவ்வாறு கையாளப்படுகின்றன என்பதை விளக்குங்கள். நான் வினவலை இயக்கி சரிபார்ப்பேன்.

பலவீனமான வரியில் / வலுவான வரியில்

பலவீனமான உடனடி:

இந்த தரவுத்தளத்திலிருந்து ஒரு நல்ல மாதிரித் தரவை எனக்கு இழுக்கவும்.

"நல்லது" என்பது தெளிவற்றது; எந்த ஓவியம், எந்த காலகட்டம், எந்த அளவு, எந்த நோக்கம் என்பது தெளிவாக இல்லை. AI ஆனது பொதுவான, தவறான வினவலை மட்டுமே உருவாக்கும்.

சக்திவாய்ந்த தூண்டுதல்:

உங்கள் பங்கு: SQL உதவியாளர். என்னிடம் "பரிவர்த்தனைகள்" அட்டவணை உள்ளது: நெடுவரிசைகள் ஐடி, வாடிக்கையாளர்_ஐடி, தேதி (நேரமுத்திரை), தொகை (எண்), சேனல் (உரை: 'வெப்'/'மொபைல்'). பணி: 2024 ஆம் ஆண்டிற்கான ஒவ்வொரு சேனலிலிருந்தும் 10,000 பிரதிநிதித்துவ வரிசைகளை வழங்கும் வினவலை மீண்டும் மீண்டும் (ஆர்டர் மூலம் தீர்மானிக்கக்கூடியது) எழுதவும். நோக்கம்: சேனல் ஒப்பீட்டு பகுப்பாய்வு. உங்கள் வினவலின் அனுமானங்களை பட்டியலிடுங்கள்.

இங்கே அட்டவணை, நோக்கம், அளவு மற்றும் மீண்டும் மீண்டும் தெளிவாக உள்ளது.

பொதுவான தவறுகள்

• மாதிரியின் பிரதிநிதித்துவத்தை கேள்வி கேட்கவில்லை. எளிதில் அணுகக்கூடிய தரவு துல்லியமான தரவு அல்ல; தேர்வு சார்பு முடிவை சிதைக்கிறது.
• நெடுவரிசை அர்த்தங்களை AIக்கு மாற்றியமைத்தல். மூல அணி பொருள் தெரியும்; AI முன்னறிவிப்பை உறுதிப்படுத்தாமல் அதைப் பயன்படுத்த வேண்டாம்.
• API வடிவம்/அலகு மாற்றத்தைக் கண்காணிக்கவில்லை. மௌனமான மாற்றம் பல நாட்களாக சிதைந்த தரவுகளை சேகரிக்கிறது.
• சேகரிப்பு கட்டத்தில் கசிவை புறக்கணித்தல். "கணிக்கும் நேரத்தில் என்னிடம் இருக்கிறதா" என்ற கேள்வியை முன்கூட்டியே கேட்கவில்லை என்றால், மாதிரி தவறான வெற்றியைக் கொடுக்கும்.
• அங்கீகரிக்கப்படாத அல்லது சட்டவிரோதமான தரவுகளை சேகரித்தல். robots.txt, பயன்பாட்டு விதிமுறைகள் மற்றும் KVKK ஆகியவற்றை மீறுவது கடுமையான ஆபத்து.

உதவிக்குறிப்பு: ஒவ்வொரு புதிய தரவு மூலத்திற்கும் ஒரு பக்க “டேட்டா கார்டை” வைத்திருங்கள்: ஆதாரம், இழுக்கும் தேதி, வரிசைகளின் எண்ணிக்கை, அறியப்பட்ட எல்லைகள் மற்றும் கசிவு அபாயத்தில் உள்ள நெடுவரிசைகள். இந்தக் கார்டு "இந்தத் தரவு என்ன" என்ற கேள்வியையும், பல மாதங்களுக்குப் பிறகு மீண்டும் உருவாக்குவதையும் சேமிக்கிறது.

சுருக்கமாக

பகுப்பாய்வின் தரம் சேகரிக்கப்பட்ட தரவின் தரத்தால் வரையறுக்கப்பட்டுள்ளது. ஆதாரம் (தரவுத்தளம், ஏபிஐ, கோப்பு, ஸ்கிராப்) மற்றும் ஸ்கீமாவை நன்கு அறிந்து கொள்ளுங்கள்; மாதிரி மக்கள்தொகையின் பிரதிநிதி என்பதை உறுதிப்படுத்தவும்; ஒவ்வொரு நெடுவரிசையிலும் "கணிக்கும் நேரத்தில் என்னிடம் அது இருக்கிறதா?" என்று கேட்பதன் மூலம் முதல் நாளிலிருந்து கசிவை நீக்கவும். வினவல் மற்றும் ஆவணப் பணிகளுக்கு AI ஒரு சிறந்த முடுக்கி, ஆனால் எந்தத் தரவை சேகரிக்க வேண்டும் மற்றும் அதன் பிரதிநிதித்துவத்தை மனிதர்கள் தீர்மானிக்கிறார்கள். அதிகார வரம்புகள், சட்டம் மற்றும் ரகசியத்தன்மை எப்போதும் முதலில் வரும்.

விண்ணப்ப பணி

தரவு மூலத்தைத் தேர்ந்தெடுக்கவும் (உங்கள் சொந்த வணிகம் அல்லது அனுமானத்திலிருந்து). மேலே உள்ள "தரவு அகராதி பிரித்தெடுத்தல்" டெம்ப்ளேட்டுடன் AI இலிருந்து தரவு அகராதியின் வரைவைப் பெறுங்கள்; ஒவ்வொரு நெடுவரிசையையும் கைமுறையாக மதிப்பீடு செய்து அது கசிந்துள்ளதா என்பதைப் பார்க்கவும். குறைந்தது ஒரு சந்தேகத்திற்கிடமான/கசிவு நெடுவரிசையைக் கண்டுபிடித்து, அது ஏன் ஆபத்தானது என்பதை ஒரே வாக்கியத்தில் எழுத முயற்சிக்கவும்.

சரிபார்ப்பு பட்டியல்

• [ ] நான் ஆதாரக் குழுவுடன் தரவு மூலத்தையும் திட்டத்தையும் உறுதிப்படுத்தியுள்ளேனா?
• [] மாதிரி மக்கள்தொகையின் பிரதிநிதி என்பதை நான் சரிபார்த்திருக்கிறேனா?
• [ ] ஒவ்வொரு நெடுவரிசையிலும் "மதிப்பீட்டின் போது என்னிடம் அது கிடைக்குமா?" என்ற கேள்வியைக் கேட்டிருக்கிறேன்.
• [ ] நான் மாதிரியை மீண்டும் மீண்டும் செய்யக்கூடியதாக (நிலையான விதை) செய்திருக்கிறேனா?
• [ ] சேகரிப்பின் சட்ட/நெறிமுறை (அதிகாரம், robots.txt, KVKK) வரம்புகளை நான் சரிபார்த்திருக்கிறேனா?