பிக் டேட்டா டிரேஜ்: டெராபைட் டேட்டாவை முதன்மைப்படுத்துதல்

ஆதாயங்கள்:

• ட்ரேஜ் என்பது எதையும் நீக்காமல் தேர்வின் வரிசையை நிர்ணயிக்கும் ஒழுக்கம் என்பதை புரிந்துகொண்டு, செயற்கை நுண்ணறிவு மூலம் சொற்பொருள் தேடல் மற்றும் உள்ளடக்க கிளஸ்டரிங் செய்ய முடியும்.
• ஹாஷ் அடிப்படையிலான எலிமினேஷன் (என்எஸ்ஆர்எல்) மற்றும் டி-டூப்ளிகேஷன் மூலம் சத்தத்தைக் குறைக்கும் திறன் மற்றும் இந்த முறைகளின் வரம்புகளைக் கவனிக்கும் திறன் (சிங்கிள் பிட் மாற்றம்)
• சொற்பொருள் தேடலின் தவறான நேர்மறைகளை கைமுறையாக உறுதிப்படுத்தும் திறன் மற்றும் அவற்றைப் பாதுகாக்கும் வகையில் நியாயப்படுத்துதலுடன் சோதனை முடிவுகளை ஆவணப்படுத்துதல்

ஒரு நவீன தடயவியல் விசாரணை இனி ஒரு கணினிக்கு மட்டும் அல்ல. கார்ப்பரேட் சம்பவத்தில், டஜன் கணக்கான வட்டுகள், நூற்றுக்கணக்கான ஜிகாபைட் மின்னஞ்சல் காப்பகங்கள், கிளவுட் காப்புப்பிரதிகள், அரட்டை பயன்பாடுகள் மற்றும் டெராபைட் கோப்புகளை நீங்கள் சந்திக்கலாம். ஆரம்பம் முதல் இறுதி வரை அனைத்தையும் ஒவ்வொன்றாக ஆராய்வது உடல் ரீதியாக இயலாது. இங்குதான் ட்ரையேஜ் (மருத்துவத்திலிருந்து கடன் வாங்கப்பட்ட ஒரு கருத்து; மிக முக்கியமான விஷயத்திற்கு வரம்புக்குட்பட்ட வளங்களை முதலில் ஒதுக்கீடு செய்தல், அதாவது "முதலில் எதைப் பார்க்க வேண்டும்" என்பதை விரைவாக தீர்மானிப்பது) செயல்பாட்டுக்கு வருகிறது. இந்த யூனிட்டில், பெரிய அளவிலான தரவுகளை AI எவ்வாறு புத்திசாலித்தனமாக முதன்மைப்படுத்துகிறது, அது என்ன பிழைகளுக்கு ஆளாகிறது மற்றும் தடயவியல் ஒருமைப்பாட்டுடன் ட்ரேஜ் எவ்வாறு சமரசம் செய்கிறது என்பதைப் பார்ப்போம்.

சோதனை ஏன் அவசியம்?

கணினி தடயவியலில், இரண்டு உண்மைகள் முரண்படுகின்றன: (1) அனைத்து ஆதாரங்களும் மதிப்புமிக்கவை மற்றும் எதையும் தவறவிடக்கூடாது; (2) நேரம் மற்றும் மனிதவளம் குறைவாக உள்ளது. ட்ரேஜ் இந்த மோதலைத் தீர்க்கிறது - எதையும் நீக்காமல், தேர்வின் வரிசையைத் தீர்மானிப்பதன் மூலம். வேறு வார்த்தைகளில் கூறுவதானால், சோதனை என்பது "எலிமினேஷன்" அல்ல, மாறாக "முன்னுரிமை". ஆதாரங்களின் அதிக நிகழ்தகவு கொண்ட தரவு முதலில் ஆய்வு செய்யப்படுகிறது; குறைந்த நிகழ்தகவு தரவு சேமிக்கப்படுகிறது ஆனால் பின்னர் வரிசையில் வரும்.

ட்ரேஜ் இரண்டு நிலைகளில் நிகழ்கிறது: நேரடி சோதனை (எந்த சாதனத்தை முதலில் படம் எடுக்க வேண்டும் என்பதை காட்சியில் தீர்மானித்தல்) மற்றும் தரவு சோதனை (படங்கள் கைப்பற்றப்பட்டவுடன், எந்த கோப்பு/தரவுத்தொகுப்பை முதலில் ஆராய வேண்டும்). AI குறிப்பாக பிந்தையவற்றில் வலுவானது, அதாவது பெரிய தரவுத்தொகுப்புகளின் உள்ளடக்க அடிப்படையிலான முன்னுரிமை.

சோதனையின் தடயவியல் உணர்திறன் அம்சம் என்னவென்றால், வரிசைப்படுத்தும் முடிவு விசாரணையின் திசையை தீர்மானிக்கிறது. ஒரு தவறாக முன்னுரிமை அளிக்கப்பட்ட கிளஸ்டர், முக்கியமான ஆதாரங்கள் வாரங்கள் தாமதமாகக் கண்டறியப்படுவதற்கு வழிவகுக்கும், அல்லது விசாரணை காலாவதியாகிவிட்டதால் ஆய்வு செய்யப்படாமல் இருக்கலாம். எனவே சோதனை என்பது ஒரு "வேக தந்திரம்" அல்ல, ஆனால் ஒரு வழிமுறை முடிவு மற்றும் மற்ற தடயவியல் படிகளைப் போலவே நியாயப்படுத்துதலுடன் ஆவணப்படுத்தப்பட வேண்டும். அதிக ஆபத்துள்ள சந்தர்ப்பங்களில், சோதனையானது முழு விசாரணையை மாற்றாது; எந்தப் பகுதி முதலில் கருதப்பட வேண்டும் என்பதைத் தீர்மானிக்கிறது, முழுத் தொகுப்பும் இறுதியில் மதிப்பிடப்படும் என்ற கொள்கையைப் பாதுகாக்கிறது.

உதவிக்குறிப்பு: உங்கள் சோதனை முடிவுகள் மற்றும் அவற்றின் காரணங்களை பதிவு செய்யுங்கள். "ஏன் முதல்ல இந்தக் கிளஸ்டரைப் பார்த்தோம், கடைசி வரை இதை ஏன் விட்டோம்?" என்ற கேள்வியை நீதிமன்றத்தில் கேட்கலாம். இந்தப் பதிவில் AI இன் முன்னுரிமைப் பகுத்தறிவைச் சேர்க்கவும்; வெளிப்படைத்தன்மை என்பது தற்காப்பு.

AI உடன் உள்ளடக்க அடிப்படையிலான முன்னுரிமை

கிளாசிக் ட்ரேஜ் கோப்பு பெயர், அளவு மற்றும் தேதியைப் பார்க்கிறது. AI இதற்குச் சூழல் புரிதலைச் சேர்க்கிறது: ஆவணம் எதைப் பற்றியது, படம் எதைக் கொண்டுள்ளது, உரையாடலின் தொனி ஆகியவற்றைப் புரிந்து கொள்ள முடியும். இந்த வழியில்:

• சொற்பொருள் தேடல் - வார்த்தை சரியாகப் பொருந்தாவிட்டாலும் பொருளில் ஒத்த உள்ளடக்கத்தைக் கண்டறிதல்: "பணப் பரிமாற்றம்" என்ற தேடலானது "பணப் பரிமாற்றம்", "கப்பல்", "கட்டண வழிமுறை" ஆகியவற்றைக் கொண்ட ஆவணங்களையும் வழங்குகிறது.
• தலைப்பு கிளஸ்டரிங்: ஆயிரக்கணக்கான ஆவணங்களைத் தானாகவே கருப்பொருள்களாக வரிசைப்படுத்துதல் (நிதி, மனித வளம், தொழில்நுட்பம், தனிப்பட்டது).
• உணர்ச்சி/தொனியைக் குறிக்கும்: அச்சுறுத்தல், பீதி, தனியுரிமை மீறல் போன்ற தொனிகளை வெளிப்படுத்தும் செய்திகளை முன்னிலைப்படுத்துதல்.
• காட்சி சோதனை: பொருள்/காட்சி குறிச்சொல் மூலம் ஆயிரக்கணக்கான படங்களை தொகுத்தல் (சட்ட வரம்புகளுக்குள், எ.கா. அங்கீகரிக்கப்பட்ட மற்றும் பொருத்தமான உள்ளடக்கம் மட்டும்).
• நகல் மற்றும் குப்பை நீக்கம்: ஒரே கோப்பு மற்றும் சிஸ்டம் கோப்புகளின் நகல்களை (தெரிந்த ஹாஷ் பட்டியல்களுடன்) பிரித்து, உண்மையான புதிய உள்ளடக்கத்திற்கு மனித பார்வையை செலுத்துகிறது.

அறியப்பட்ட கோப்பு நீக்குதல்: என்எஸ்ஆர்எல் மற்றும் ஹாஷ் செட்

பெரிய தரவு சோதனைக்கான மிகவும் நடைமுறை முடுக்கி அறியப்பட்ட நல்ல/கெட்ட ஹாஷ் பட்டியல்கள். NSRL (National Software Reference Library) போன்ற நூலகங்கள் மில்லியன் கணக்கான நிலையான இயக்க முறைமை மற்றும் பயன்பாட்டு கோப்புகளின் ஹாஷ்களை வைத்திருக்கின்றன. இந்த "தெரிந்த நல்ல" கோப்புகள் சோதனையில் அகற்றப்பட்டு, பயனர் உருவாக்கிய மற்றும் சந்தேகத்திற்குரிய கோப்புகளில் மட்டுமே கவனம் செலுத்த அனுமதிக்கிறது. இதேபோல், "தெரிந்த மோசமான" ஹாஷ்கள் (தெரிந்த தீம்பொருள்) தானாகவே கொடியிடப்படும். இந்த நீக்குதலுக்குப் பிறகு மீதமுள்ள கிளஸ்டரில் AI செயல்படும், இதற்கு உண்மையில் அர்த்தம் தேவைப்படுகிறது.

எச்சரிக்கை: ஹாஷ் அடிப்படையிலான நீக்குதல் சக்தி வாய்ந்தது, ஆனால் ஒரு பிட் மாற்றம் ஹாஷை முற்றிலும் மாற்றுகிறது. ஒரு நிலையான கோப்பை சிறிது மாற்றியமைப்பதன் மூலம், தாக்குபவர் அதை "தெரிந்த நல்லது" பட்டியலில் இருந்து அகற்றலாம் அல்லது மாறாக, மோசமான கோப்பை மறைக்கலாம். நீக்குதல் ஒரு முழுமையானது அல்ல, ஆனால் முன்னுரிமைக்கான வழிமுறையாகும்.

மூன்று சிறிய வழக்குகள்

வழக்கு 1 — சொற்பொருள் தேடல் நேரத்தை 20 ஆல் வகுத்தது. உள் விசாரணையில் 480ஜிபி மின்னஞ்சல்கள் கண்டறியப்பட்டன. கிளாசிக் முக்கிய தேடல் "லஞ்சம்" க்கான 3 முடிவுகளை வழங்கியது. AI-இயக்கப்படும் சொற்பொருள் தேடலானது "ஆலோசனை கட்டணம்," "எளிமைப்படுத்துதல்," "நன்றி செலுத்துதல்" போன்ற சொற்பொழிவுகளையும் பிடித்தது மற்றும் 61 தொடர்புடைய செய்திகளைப் பிரித்தெடுத்தது. மதிப்பாய்வு வாரங்களுக்குப் பதிலாக 2 நாட்களில் முடிந்தது; ஒவ்வொரு முடிவும் கைமுறையாக உறுதிப்படுத்தப்பட்டது.

வழக்கு 2 - டி-டுப்ளிகேஷன் சேமித்த மனிதவளம். 1.7 மில்லியன் கோப்புகளின் தொகுப்பில், ஹாஷ் அடிப்படையிலான டூப்ளிகேட் க்ளீனிங் மற்றும் NSRL நீக்குதலுக்குப் பிறகு, ஆய்வு செய்வதற்கான தனிப்பட்ட பயனர் கோப்புகள் 92,000 ஆகக் குறைக்கப்பட்டன. 95% சிஸ்டம் இரைச்சலைக் காட்டிலும் உண்மையான உள்ளடக்கத்தில் குழு கவனம் செலுத்தியது.

வழக்கு 3 - அதீத நம்பிக்கையின் விலை. AI அழைக்கும் "நிதி அல்லாத" கிளஸ்டரை ஒரு குழு திறக்கவில்லை. அது மாறிவிடும், ஒரு முக்கியமான ஒப்பந்தம் ஒரு தனிப்பட்ட புகைப்பட ஆல்பத்தில் மறைக்கப்பட்டுள்ளது (ஸ்டெகானோகிராபி அல்ல, தவறான கோப்புறை). குறைந்த முன்னுரிமை கொத்து மாதிரி எடுக்கப்படாததால் சான்றுகள் தாமதமானது. பாடம்: சோதனை வரிசையை தீர்மானிக்கிறது, தேர்வை ரத்து செய்யாது.

நகலெடுக்கக்கூடிய நான்கு வார்ப்புருக்கள்

1) வரைவு சோதனை உத்தி:

உங்கள் பங்கு: மூத்த தடயவியல் சோதனை நிபுணர். தரவு: [எ.கா. 480GB மின்னஞ்சல் + 1.2TB கோப்பு பகிர்வு].விசாரணை தலைப்பு: [எ.கா. தரவு கசிவு + லஞ்சம்]. எனக்காக ஒரு சோதனை உத்தியை வரையவும்: எந்த கிளஸ்டரை எந்த வரிசையில், எந்த அளவுகோல் கொண்டு பார்க்க வேண்டும்; ஹாஷ் நீக்குதல் மற்றும் சொற்பொருள் தேடலை எவ்வாறு பயன்படுத்துவது. எந்த கிளஸ்டர்களும் "ரத்து" செய்யப்படாது, அவை வரிசைப்படுத்தப்படும் என்பதை வலியுறுத்தவும்.

2) சொற்பொருள் தேடல் கால விரிவாக்கம்:

பொருள்: [லஞ்சம் / தரவு கசிவு / துன்புறுத்தல்]. இந்தத் தலைப்புடன் தொடர்புடைய ஆவணங்களைக் கண்டறிய, மறைமுகமான/ஒத்தயான வெளிப்பாடுகள் (ஸ்லாங், குறியீட்டு வார்த்தை, மறைமுக பேச்சு உட்பட) மற்றும் நேரடிச் சொற்களைப் பட்டியலிடுங்கள். தேடல் நோக்கத்தை விரிவுபடுத்துவதே இதன் நோக்கம்; ஒவ்வொரு காலத்தையும் வகைப்படுத்தவும்.

3) உள்ளடக்க கிளஸ்டரிங்:

நான் உங்களுக்கு ஆவண தலைப்புகள்/சுருக்கங்களை தருகிறேன். அவற்றை அர்த்தமுள்ள கருப்பொருள்களாக (நிதி, மனித வளம், தொழில்நுட்பம், சட்டப்பூர்வ, தனிப்பட்ட) குழுவாக்கி, ஒவ்வொரு ஆவணத்திற்கும் தீம் + சுருக்கமான காரணத்தை வழங்கவும். நீங்கள் கருப்பொருளில் பொருந்தாத "தெளிவற்ற" கிளஸ்டரை தனித்தனியாகக் குறிக்கவும்; இந்த கிளஸ்டர் தவிர்க்கப்படாது, இது கைமுறையாக ஆய்வு செய்யப்படும்.

4) பிந்தைய நீக்குதல் முன்னுரிமை அறிக்கை:

நன்கு அறியப்பட்ட (என்எஸ்ஆர்எல்) மற்றும் நகல் கோப்புகள் அகற்றப்படும். மீதமுள்ள தனிப்பட்ட பயனர் கோப்புகளுக்கு: விசாரணையின் பொருளின்படி உயர்/நடுத்தர/குறைந்த முன்னுரிமையை ஒதுக்கி, நியாயத்தை எழுதவும். நீட்டிப்பு-உள்ளடக்க பொருத்தமின்மை, மறைகுறியாக்கப்பட்ட/கடவுச்சொல்லுடைய கோப்புகள் மற்றும் கடந்த 30 நாட்களில் மாற்றப்பட்ட கோப்புகளும் தனிப்படுத்தப்பட்டுள்ளன.

பலவீனமான வரியில் / வலுவான வரியில்

பலவீனமான உடனடி:

இந்தத் தரவில் முக்கியமான கோப்புகளைக் கண்டறியவும்.

தலைப்பு, நோக்கம் மற்றும் முன்னுரிமையின் தர்க்கம் இல்லை; "முக்கியமானது" என்பதன் சொந்த வரையறையின் மூலம் AI முக்கியமான உள்ளடக்கத்தை இழக்கக்கூடும்.

சக்திவாய்ந்த தூண்டுதல்:

உங்கள் பங்கு: தடயவியல் சோதனை ஆய்வாளர். விசாரணை: ஒரு ஊழியர் வெளியேறும் முன் வாடிக்கையாளர் பட்டியலைக் கசியவிட்டதாகக் கூறப்படுகிறது. கோப்பு மெட்டாடேட்டா (பெயர், அளவு, தேதி, நீட்டிப்பு, பாதை) மற்றும் சுருக்கமான உள்ளடக்க சுருக்கங்களை உங்களுக்கு வழங்குவேன். பணி: வாடிக்கையாளர் தரவு, ஏற்றுமதி/காப்பகம், கிளவுட் அப்லோட் ட்ரேஸ், USB/external disk மற்றும் கடந்த 60 நாட்களில் மாற்றப்பட்ட கோப்புகளை அதிக முன்னுரிமையாகக் குறிக்கவும்; ஒவ்வொரு முடிவிற்கும் காரணங்களை எழுதுங்கள். எந்த கிளஸ்டரையும் ஆய்வு செய்ய முடியாது என்று சொல்லாதீர்கள்; வரிசைப்படுத்து. நிச்சயமற்ற தன்மைகளை தனித்தனியாக பட்டியலிடுங்கள்.

உறுதியான தலைப்பு, இலக்கு அளவுகோல்கள் மற்றும் "நோ-மதிப்பாய்வு" கட்டுப்பாடு ஆகியவை வெளியீட்டை திறமையாகவும் பாதுகாப்பாகவும் ஆக்குகின்றன.

சோதனை முறைகள் ஒப்பீட்டு அட்டவணை

முறை

என்ன செய்கிறது

வலுவான புள்ளி

ஆபத்து

ஹாஷ் எலிமினேஷன் (என்எஸ்ஆர்எல்)

தெரிந்த கோப்பை ஒதுக்குகிறது

மிக வேகமாக, துல்லியமாக

மாற்றியமைக்கப்பட்ட கோப்பு வெளியேறுகிறது

பிரதி நீக்கம்

ஒவ்வொன்றாக நகலெடுக்கிறது

மனிதவள சேமிப்பு

நெருக்கமான நகலைத் தவிர்க்கலாம்

முக்கிய வார்த்தை

சரியான சொற்களைத் தேடுகிறது

எளிமையானது, தணிக்கை செய்யக்கூடியது

மறைமுகமான அறிக்கையை தவறவிட்டது

சொற்பொருள் தேடல் (AI)

மிக நெருக்கமான பொருளைக் கண்டறிகிறது

மறைமுகமான உள்ளடக்கத்தைப் பிடிக்கிறது

தவறான நேர்மறைகளை உருவாக்குகிறது

உள்ளடக்க கிளஸ்டரிங் (AI)

கருப்பொருள்களாக பிரிக்கிறது

மேலோட்டத்தை வழங்குகிறது

தவறான கருப்பொருளின் ஆபத்து

பொதுவான தவறுகள்

• நீக்குதலுக்கான தவறான சோதனை. குறைந்த முன்னுரிமை என்பது "மதிப்பாய்வு செய்யக்கூடாது" அல்ல; மாதிரி அவசியம்.
• ஹாஷ் ஒழிப்பில் முழுமையான நம்பிக்கை. ஒரு பிட் மாற்றம் ஹாஷை மாற்றுகிறது; சிக்கலான வழக்கில் முழு ஸ்கேன் தேவைப்படலாம்.
• முக்கிய சொல்லை மட்டும் நம்பி. மறைமுகமான மற்றும் குறியிடப்பட்ட அறிக்கைகள் தப்பிக்கும்; சொற்பொருள் தேடலுடன் முடிக்கவும்.
• சொற்பொருள் தேடலின் தவறான நேர்மறையை உறுதிப்படுத்தவில்லை. AI பொருத்தமற்ற ஆவணத்தை "தொடர்புடையது" எனக் காட்டலாம்; படித்து சரிபார்க்கவும்.
• சோதனையின் காரணத்தை ஆவணப்படுத்துவதில் தோல்வி. நீதிமன்றத்தில் "இதை ஏன் முதலில் பார்த்தாய்?" என்ற கேள்விக்கு உங்களிடம் பதில் இருக்க வேண்டும்.

சுருக்கமாக

பிக் டேட்டா ட்ரேஜ் என்பது வரையறுக்கப்பட்ட நேரத்தை ஆதாரங்களின் அதிகபட்ச சாத்தியக்கூறுகளுக்கு வழிநடத்தும் ஒழுக்கமாகும் - எதையும் நீக்காமல், வரிசையை தீர்மானிப்பதன் மூலம். AI; இது சொற்பொருள் தேடல், உள்ளடக்க கிளஸ்டரிங், டோன் மார்க்கிங் மற்றும் நீக்கப்பட்ட பிறகு முன்னுரிமை ஆகியவற்றில் சிறந்த வேகத்தை வழங்குகிறது. ஆனால் நிபுணர் ஹாஷ் நீக்குதலின் வரம்புகள், தவறான நேர்மறைகள்/எதிர்மறைகளின் ஆபத்து மற்றும் "குறைந்த முன்னுரிமை ஆய்வு செய்யப்படாதது" என்ற கொள்கையை கவனிக்கிறார். சோதனை முடிவுகளை நியாயப்படுத்துவதன் மூலம் ஆவணப்படுத்துவது, நீதிமன்றத்தின் முடிவைப் பாதுகாக்கக்கூடியதாக ஆக்குகிறது.

விண்ணப்ப பணி

30-40 வரிகள் கொண்ட மாதிரி கோப்பு மெட்டாடேட்டா பட்டியலை (பெயர், அளவு, தேதி, நீட்டிப்பு, சுருக்கமான சுருக்கம்) தயார் செய்யவும்; அதில் சில "தவறான" கோப்புகளை வைக்கவும் (தவறான கோப்புறையில் முக்கியமான ஆவணம், மாற்றப்பட்ட நீட்டிப்பு கொண்ட கோப்பு). "எலிமினேஷன் பிந்தைய முன்னுரிமை அறிக்கை" டெம்ப்ளேட்டைக் கொண்டு முன்னுரிமை கொடுங்கள், பின்னர் AI எதையாவது தவறவிட்டதா என்பதைப் பார்க்க குறைந்த முன்னுரிமை கிளஸ்டரிலிருந்து குறைந்தபட்சம் 15% மாதிரியை எடுக்கவும்.

சரிபார்ப்பு பட்டியல்

• [] நான் ட்ரேஜை முன்னுரிமையாக அமைத்தேன்; நான் எந்த கிளஸ்டர்களையும் ரத்து செய்யவில்லை.
• [ ] ஹாஷ் எலிமினேஷன் மற்றும் டி-டூப்ளிகேஷன் மூலம் இரைச்சலைக் குறைத்தேன், அதன் வரம்புகளை மனதில் கொண்டு.
• [ ] சொற்பொருள் தேடலுடன் முக்கிய சொல்லை முடித்தேன்.
• [ ] சொற்பொருள்/கிளஸ்டரிங் வெளியீட்டின் தவறான நேர்மறைகளை நான் கைமுறையாக உறுதிப்படுத்தினேன்.
• [ ] நான் சோதனை முடிவுகள் மற்றும் அவற்றின் நியாயங்களை ஆவணப்படுத்தினேன்.