உள்ளடக்க பகுப்பாய்வு மற்றும் வடிவ கண்டுபிடிப்பு

ஆதாயங்கள்:

• NER, உறவு பிரித்தெடுத்தல், காலவரிசை மற்றும் பிணைய பகுப்பாய்வு போன்ற நுட்பங்களைப் பயன்படுத்தி பெரிய அளவிலான உரைகளிலிருந்து வடிவங்களைப் பிரித்தெடுக்கும் திறன்
• ஆதாரங்களைக் காட்டிலும் ஒரு கருதுகோளாக வடிவத்தைப் பார்க்க முடியும், மூலத்துடன் பொருட்களை இணைத்து அவற்றை மனித அங்கீகாரத்துடன் இயல்பாக்குதல்
• காணாமல் போன தரவு மற்றும் மாதிரி சார்பு காரணமாக எண்கள் எவ்வாறு தவறாக வழிநடத்தும் என்பதைப் புரிந்துகொள்ளும் திறன் மற்றும் திட்டமிடப்பட்ட உறவுகள் மற்றும் காலவரிசைகளைத் தவிர்ப்பது.

வரலாற்று ஆய்வு என்பது தனிப்பட்ட ஆவணங்களைப் படிப்பது மட்டுமல்ல; பெரும்பாலும் ஆவணங்களின் பெரிய தொகுப்புகளில் வடிவங்களைத் தேடுகிறது. ஒரு குறிப்பிட்ட பெயர் பல ஆண்டுகளாக எந்த சூழல்களில் தோன்றும்? எந்த மக்கள் குடியேற்றத்துடன் தொடர்புடையவர்கள்? காலப்போக்கில் ஒரு தலைப்பு எவ்வாறு மாறுகிறது? யார் யாருடன் தொடர்பு கொள்கிறார்கள்? இத்தகைய கேள்விகளுக்கு ஒரு ஆவணத்தை அல்ல, நூற்றுக்கணக்கான ஆவணங்களை கூட்டாக பார்க்க வேண்டும். இது பெரும்பாலும் டிஜிட்டல் மனிதநேயம் என்று அழைக்கப்படுகிறது - வரலாறு மற்றும் இலக்கியம் போன்ற துறைகளுக்கு கணக்கீட்டு முறைகளின் பயன்பாடு.

பெரிய அளவிலான உரைகளிலிருந்து கட்டமைக்கப்பட்ட தகவல்களைப் பிரித்தெடுப்பதில் AI சக்தி வாய்ந்தது. இந்த யூனிட்டில், நீங்கள் NER (பெயரிடப்பட்ட நிறுவன அங்கீகாரம்), பேட்டர்ன் மற்றும் ரிலேஷன்ஷிப் பிரித்தெடுத்தல், தலைப்பு மாடலிங் தர்க்கம் மற்றும் காலவரிசை உருவாக்கம் ஆகியவற்றைக் கற்றுக்கொள்வீர்கள்; ஆனால் இந்த நுட்பங்களின் மிகவும் ஆபத்தான குழியை நாங்கள் விவாதிப்போம் - AI தன்னை இல்லாத ஒரு வடிவத்தை "கண்டுபிடித்ததாக" முன்வைக்கிறது.

அடிப்படை நுட்பங்கள்

• NER (பெயரிடப்பட்ட நிறுவன அங்கீகாரம்): உரையிலிருந்து நபர், இடம், நிறுவனம், தேதி போன்ற நிறுவனங்களின் தானாக பிரித்தெடுத்தல். இது "இந்த 500 ஆவணங்களில் குறிப்பிடப்பட்டுள்ள அனைத்து இடங்களின் பெயர்கள்" போன்ற பட்டியலை நிமிடங்களில் உருவாக்குகிறது.
• உறவு அனுமானம்: நிறுவனங்களுக்கு இடையிலான உறவுகளைக் குறிக்கும் ("இடத்தில் Y இல் X", "A என்பது B உடன் ஒத்துள்ளது").
• தலைப்பு மாதிரியாக்கம்: ஒரு பெரிய தொகுப்பில் தொடர்ச்சியான தலைப்புகளின் தொகுப்புகளை புள்ளிவிவர ரீதியாக கண்டறிதல். எந்தெந்த காலகட்டத்தில் எந்தெந்த கருப்பொருள்கள் குவிந்துள்ளன என்பதை இது காட்டுகிறது.
• காலக்கெடு அனுமானம்: ஆவணங்களில் தேதியிட்ட நிகழ்வுகளை காலவரிசைப்படி ஒழுங்குபடுத்துதல்.
• பிணைய பகுப்பாய்வு: நபர்களுக்கிடையேயான/நிறுவன உறவுகளை ஒரு பிணையமாக காட்சிப்படுத்துதல் (யார் மையம், யார் இணைப்பு புள்ளி).

இவை அனைத்தின் பொதுவான குறிக்கோள், ஒரு ஆவணத்தில் தோன்றாத ஆனால் சேகரிப்பு முழுவதும் தோன்றும் கட்டமைப்புகளை வெளிப்படுத்துவதாகும். இந்த நுட்பங்கள் புலப்படும் வடிவங்களை உருவாக்குகின்றன, அவை வாசிப்பதன் மூலம் மட்டுமே தெரியும். ஆனால் அவை ஒவ்வொன்றும் ஒரு "அடையாளம்", "சான்று" அல்ல; அசல் ஆவணத்தில் உள்ளதை சரிபார்க்க வேண்டியது அவசியம்.

இந்த துறையில் அடிக்கடி பயன்படுத்தப்படும் கருத்து, நெருக்கமான வாசிப்பு (உரையை ஆழமாக, வரி வரியாக வாசிப்பது) மற்றும் தொலைதூர வாசிப்பு (ஒட்டுமொத்தமாக, புள்ளியியல் ரீதியாக நூற்றுக்கணக்கான/ஆயிரக்கணக்கான நூல்களைப் பார்ப்பது) இடையே உள்ள வேறுபாடு ஆகும். AI தொலைநிலையில் வாசிப்பதை சாத்தியமாக்குகிறது: ஒரு மனிதனின் வாழ்நாள் முழுவதும் நீடிக்கும் அளவுக்கு பெரிய கார்பஸில் உள்ள வடிவங்களை நீங்கள் காண்கிறீர்கள். ஆனால் தொலைதூர வாசிப்பு ஒரு வடிவத்தை சுட்டிக்காட்டும் போது, ​​​​அதை அர்த்தப்படுத்த, நெருக்கமான வாசிப்புக்கு, அதாவது அசல் ஆவணத்திற்குத் திரும்புவது அவசியம். இரண்டு முறைகளும் ஒன்றுக்கொன்று மாறக்கூடியவை அல்ல; ஒன்று வடிவத்தைக் காட்டுகிறது, மற்றொன்று அதன் பொருளைத் தருகிறது. மிகவும் வலுவான ஆராய்ச்சி இரண்டையும் ஒன்றாகப் பயன்படுத்துகிறது.

உதவிக்குறிப்பு: பேட்டர்ன் பகுப்பாய்வை ஒரு கருதுகோள் ஜெனரேட்டராகப் பயன்படுத்தவும்: "AI இங்கே ஒரு வடிவத்தைக் கண்டறிந்துள்ளது, அது உண்மையா?" பின்னர் ஆவணங்களில் அந்த வடிவத்தை ஒவ்வொன்றாக சரிபார்க்கவும். முறை உங்கள் ஆராய்ச்சியின் தொடக்கப் புள்ளியாகும், முடிவு அல்ல.

பணிப்பாய்வு: படிப்படியாக

1. கேள்வியை தெளிவுபடுத்துங்கள். "இந்தத் தொகுப்பில் எந்த நபர்கள் அடிக்கடி ஒன்றாகத் தோன்றுகிறார்கள்?" போன்ற தெளிவான மாதிரி கேள்வி.

2. தரவை தயார் செய்து லேபிளிடவும். மூலக் குறிப்புகளுடன் உரையை ஒழுங்கமைக்கவும், இதன் மூலம் கண்டறியப்பட்ட சொத்துக்கள் ஆவணத்துடன் மீண்டும் இணைக்கப்படும்.

3. நிறுவனம்/முறை தோன்றுகிறது. AI உடன் NER, உறவு அல்லது காலக்கோடு அவுட்லைனை உருவாக்கவும்.

4. இயல்பாக்குதல். ஒரே நபர்/இடத்தின் வெவ்வேறு எழுத்துப்பிழைகளை இணைக்கவும் ("இஸ்தான்புல் / இஸ்தான்புல் / கோஸ்டான்டினியே" அதே இடமா?). இந்த படி முக்கியமானது; அதைத் தவிர்த்துவிட்டால், முறை சிதைந்துவிடும்.

5. ஆவணத்தில் சரிபார்க்கவும். கொடியிடப்பட்ட ஏதேனும் குறிப்பிடத்தக்க வடிவங்களுக்கு உண்மையான ஆவணங்களைச் சரிபார்க்கவும். AI ஆனது உருவாக்கப்பட்ட இணைப்பைச் சேர்க்கவில்லை என்பதை உறுதிப்படுத்தவும்.

6. கருத்து. மாதிரி என்ன அர்த்தம் என்பது வரலாற்றாசிரியரின் தீர்ப்பு; AI வடிவத்தைக் குறிக்கிறது.

எண் மற்றும் புள்ளியியல் பொறி

வடிவ பகுப்பாய்வு பெரும்பாலும் எண்களை உருவாக்குகிறது: "X என்ற பெயர் 47 முறை நிகழ்கிறது", "இந்த தீம் 30% ஆவணங்களில் உள்ளது". இந்த எண்கள் புறநிலையாகத் தோன்றினாலும் தவறாக வழிநடத்தும்:

• விடுபட்ட தரவு: சேகரிப்பு ஏற்கனவே முழுமையடையாமல் இருந்தால் (ஆவணங்கள் தொலைந்துவிட்டன, ஒரு குழு பதிவு செய்யப்படவில்லை), எண் எஞ்சியிருக்கும் ஆவணங்களை பிரதிபலிக்கிறது, உண்மையில் அல்ல.
• இயல்பாக்கப் பிழை: ஒரே நபரை வித்தியாசமாக உச்சரித்து தனித்தனியாக எண்ணினால், எண் தவறாக இருக்கும்.
• சூழல் இழப்பு: "47 முறை நிகழும்" எதுவும் சொல்லவில்லை; அது எவ்வாறு கடந்து செல்கிறது (நேர்மறை/எதிர்மறை, பொருள்/பொருள்) என்பது முக்கியம்.

மாதிரி வெளியீடு

வெளிப்படையான பொருள்

உண்மையான ஆபத்து

"எக்ஸ் 47 முறை நிகழ்கிறது"

முக்கியமான நபர்

முழுமையற்ற சேகரிப்பு, எழுத்துப்பிழை மாறுபாடு

"தீம் 30%"

மேலாதிக்க தலைப்பு

மாதிரி சார்பு

"ஏ-பி அடிக்கடி ஒன்றாக"

நெருக்கமான உறவு

தற்செயல், விடுபட்ட சூழல்

"காலவரிசை"

சரியான காலவரிசை

தேதியிடப்படாத ஆவணங்கள், ஜோடிக்கப்பட்ட உத்தரவு

மூன்று சிறிய வழக்குகள்

வழக்கு 1 - பிணைய பகுப்பாய்வு மறைக்கப்பட்ட இடைத்தரகர் வெளிப்படுத்தியது. ஒரு ஆராய்ச்சியாளர் 800 கடிதங்களின் கடிதத் தொகுப்பை ஆய்வு செய்தார். AI உடன், யாருக்கு எழுதியது தீர்மானிக்கப்பட்டது மற்றும் ஒரு நெட்வொர்க் உருவாக்கப்பட்டது. முதல் பார்வையில் முக்கியமற்ற ஒரு நபர் உண்மையில் இரு குழுக்களுக்கு இடையேயான தொடர்பின் முக்கிய புள்ளியாக இருப்பதாக நெட்வொர்க் காட்டியது. ஆராய்ச்சியாளர் இந்த நபரின் கடிதங்களில் கவனம் செலுத்தி புதிய கண்டுபிடிப்பை அடைந்தார். ஆனால் முதலில் ஆவணங்களில் உள்ள அனைத்து இணைப்புகளையும் சரிபார்க்கப்பட்டது.

வழக்கு 2 - இயல்பாக்குதல் பிழை எண்ணை சிதைத்தது. ஆவணங்களில் ஒரு இடம் எத்தனை முறை காட்டப்பட்டுள்ளது என்பதை ஒரு மாணவர் எண்ணச் சொன்னார். AI ஒரே இடத்தின் மூன்று வெவ்வேறு எழுத்துப்பிழைகளைத் தனித்தனியாகக் கணக்கிட்டதால், அந்த எண் உண்மையான எண்ணில் மூன்றில் ஒரு பங்காக மாறியது. எழுத்துப்பிழைகள் இணைந்தபோது, ​​இடம் உண்மையில் மூன்றாவது அடிக்கடி நிகழும் நிலையில் இருந்தது. பாடம்: இயல்பாக்கம் இல்லாமல் எண்ணை நம்ப முடியாது.

வழக்கு 3 - தயாரிக்கப்பட்ட காலவரிசை. ஒரு ஆராய்ச்சியாளர் தேதியிடப்படாத ஆவணங்களிலிருந்து காலவரிசையை உருவாக்கினார். AI அறியப்படாத நிகழ்வுகளை "தர்க்கரீதியான" வரிசையில் ஏற்பாடு செய்து, துல்லியமான காலவரிசையை வழங்கியது. இருப்பினும், இந்த வரிசை ஆவணங்களில் இல்லை, AI அதை உருவாக்கியது. பாடம்: ஆவணத்தில் தேதியைக் கொண்ட நிகழ்வுகளிலிருந்து மட்டுமே காலவரிசை கட்டமைக்கப்படுகிறது; மீதமுள்ளவை "தேதியிடப்படாதவை".

நகலெடுக்கக்கூடிய நான்கு வார்ப்புருக்கள்

1) NER (நிறுவன அனுமானம்):

கீழே உள்ள ஆவணங்களில் குறிப்பிடப்பட்டுள்ள நபர்கள், இடங்கள், நிறுவனங்கள் மற்றும் தேதிகள் தனிப் பட்டியல்களாகத் தோன்றும். ஒவ்வொரு நிறுவனமும் எந்த ஆவணத்தில் (குறிப்பு) குறிப்பிடப்பட்டுள்ளது என்பதைக் குறிப்பிடவும். உரையில் தெளிவாகக் கூறப்பட்டுள்ளதை மட்டும் எடுத்துக் கொள்ளுங்கள்; யூகம் மூலம் சேர்க்க. உச்சரிப்பில் உறுதியாக தெரியாவிட்டால் [?] குறியிடவும். ஆவணங்கள்: [இங்கே]

2) நிறுவனத்தை இயல்பாக்குதல்:

கீழே உள்ள நிறுவனப் பட்டியலில், ஒரே நபர்/இடமாக இருக்கக்கூடிய வெவ்வேறு எழுத்துப்பிழைகளைக் குழுவாக்கவும் (எ.கா. "இஸ்தான்புல் / கோஸ்டான்டினியே"). ஒவ்வொரு குழுவிற்கும் சாத்தியமான பொதுவான வடிவமைப்பை பரிந்துரைக்கவும் ஆனால் சரியான கலவையை விதிக்க வேண்டாம்; "இதேபோல் இருக்கலாம், மக்கள் சரிபார்க்கட்டும்" என்ற குறிப்பைச் சேர்க்கவும். உறுதியாக தெரியவில்லை என்றால் விட்டுவிடுங்கள். பட்டியல்: [இங்கே]

3) உறவு/நெட்வொர்க் அவுட்லைன்:

பின்வரும் கடித/ஆவணங்களின் தொகுப்பிலிருந்து "யார் யாருடன் தொடர்புடையவர்" இணைப்புகளைப் பிரித்தெடுக்கவும். ஒவ்வொரு இணைப்புக்கும், எந்த ஆவணத்தை (குறிப்பு) அடிப்படையாகக் கொண்டது என்பதைக் குறிப்பிடவும். ஆவணத்தில் தெளிவாக இல்லாத ஒரு உறவை உருவாக்கியது. தெளிவற்ற இணைப்புகளைக் குறிக்கவும் [தெளிவற்ற]. ஆவணம்: [இங்கே]

4) தேதியிட்ட காலவரிசை:

பின்வரும் ஆவணங்களில் தெளிவாகக் கூறப்பட்ட நிகழ்வுகளை மட்டும் காலவரிசைப்படி பட்டியலிடவும்; ஒவ்வொரு நிகழ்வையும் அதன் மூலத்துடன் இணைக்கவும். நிச்சயமற்ற தேதிகளுடன் நிகழ்வுகளை "தேதியிடப்படாத" என்ற தலைப்பின் கீழ் தனித்தனியாக பட்டியலிடவும், அவற்றை வரிசைப்படுத்த வேண்டாம். மதிப்பிடப்பட்ட தேதியை உருவாக்க வேண்டாம். ஆவணம்: [இங்கே]

பலவீனமான வரியில் / வலுவான வரியில்

பலவீனமான:

இந்த ஆவணங்களை பகுப்பாய்வு செய்து முக்கியமான வடிவங்கள், உறவுகள் மற்றும் காலக்கெடுவைப் பிரித்தெடுக்கவும்.

"முக்கியமான வடிவங்களைப் பிரித்தெடுத்தல்" என்பது இல்லாத இணைப்புகள் மற்றும் துல்லியமான காலவரிசைகளைக் கண்டுபிடிக்க AI ஐத் தூண்டுகிறது, சாதாரணமயமாக்கல் இல்லாமல் எண்களை வழங்குகிறது.

வலுவான:

ஒவ்வொன்றையும் ஆவணக் குறிப்புடன் இணைப்பதன் மூலம் பின்வரும் ஆவணங்களில் இருந்து நபர்/இடம்/நிறுவனம் ஆகியவற்றைப் பிரித்தெடுக்கிறது. "இணைக்கப்படலாம்" என்று ஒரே மாதிரியாக இருக்கும் வெவ்வேறு எழுத்துப்பிழைகளைக் குறிக்கவும், ஆனால் ஒன்றிணைக்க வேண்டாம். ஆவணத்தில் தெளிவாகக் குறிப்பிடப்படாத உறவுகள் மற்றும் நிச்சயமற்ற தேதிகளுடன் நிகழ்வுகள் போலியானவை அல்ல; தேதிகள் இல்லாதவற்றை தனித்தனியாக வைத்திருங்கள். ஆவணம்: [இங்கே]

வித்தியாசம்: மூலத்திற்கான பண்புக்கூறு, மனிதர்களுக்கு இயல்பாக்குதல், கற்பனையான உறவுகள்/வரலாறு மீதான தடை மற்றும் தேதியிடப்படாத நிகழ்வுகளைப் பிரித்தல் ஆகியவை வடிவத்தை பாதுகாக்கக்கூடியதாக ஆக்குகின்றன.

பொதுவான தவறுகள்

• ஆதாரத்திற்கான வடிவத்தைத் தவறாகப் புரிந்துகொள்வது. முறை கருதுகோள்; ஆவணத்தில் சரிபார்க்கப்பட்டது.
• இயல்பாக்கத்தைத் தவிர்க்கிறது. ஒரே பொருளின் வெவ்வேறு எழுத்துப்பிழைகள் எண்ணையும் பிணையத்தையும் சிதைக்கும்.
• எண்களில் குருட்டு நம்பிக்கை. முழுமையற்ற சேகரிப்பு மற்றும் மாதிரி சார்பு ஆகியவை எண்ணை தவறாக வழிநடத்துகின்றன.
• உருவாக்கப்பட்ட காலவரிசை. தேதியிடப்படாத நிகழ்வுகள் காலவரிசையில் சேர்க்கப்படவில்லை.
• சூழலைப் புறக்கணித்தல். "எத்தனை முறை நிறைவேற்றப்பட்டது" என்பதல்ல, "எப்படி நிறைவேற்றப்பட்டது" என்பதே முக்கியம்.

சுருக்கமாக

உள்ளடக்க பகுப்பாய்வு மற்றும் பேட்டர்ன் கண்டுபிடிப்பு என்பது ஒரு சக்திவாய்ந்த துறையாகும், இதில் AI புலப்படும் கட்டமைப்புகளை உருவாக்குகிறது, அவை படிப்பதன் மூலம் மட்டுமே தெரியும்: நிறுவன பிரித்தெடுத்தல், உறவு நெட்வொர்க்குகள், தலைப்பு கிளஸ்டர்கள், காலவரிசைகள். ஆனால் ஒவ்வொரு முறையும் ஒரு கருதுகோள், ஆதாரம் அல்ல. சொத்துக்களை மூலத்துடன் இணைக்கவும், கவனமாகவும் மனித சரிபார்ப்புடனும் இயல்பாக்குதல், தரவு மற்றும் சார்புநிலைக்கான வினவல் எண்கள், திட்டமிடப்பட்ட உறவுகள் மற்றும் காலவரிசைகளைத் தவிர்க்கவும். AI வடிவத்தைக் குறிக்கிறது; அதன் அர்த்தம் என்ன, அது உண்மையா என்பது வரலாற்றாசிரியரின் தீர்ப்பு.

விண்ணப்ப பணி

குறைந்தது 15 ஆவணங்களை (குறிப்புகளுடன்) சேகரிக்கவும். "NER" டெம்ப்ளேட்டைக் கொண்டு நபர் மற்றும் இடத்தைப் பிரித்தெடுக்கவும். பின்னர் வெவ்வேறு எழுத்துப்பிழைகளை "நிறுவன இயல்பாக்கம்" மூலம் குழுவாக்கி, குழுக்களை நீங்களே சரிபார்க்கவும். இறுதியாக, "தேதியிடப்பட்ட காலவரிசை" டெம்ப்ளேட்டை இயக்கி, எத்தனை நிகழ்வுகள் "தேதியிடப்படவில்லை" என்பதைப் பார்க்கவும். மோசமான தூண்டுதலுடன் AI எத்தனை இணைக்கப்பட்ட இணைப்புகள் அல்லது காலவரிசைகளை உருவாக்கும் என்பதை ஒப்பிடுக.

சரிபார்ப்பு பட்டியல்

• [ ] எனது மாதிரி கேள்வியை நான் தெளிவாக வரையறுத்துள்ளேன்.
• [ ] ஆவணக் குறிப்புடன் இணைக்கப்பட்ட ஒவ்வொரு நிறுவனமும் என்னிடம் உள்ளது.
• [ ] நான் உட்பொருளைத் தட்டச்சு செய்வதை இயல்பாக்கினேன் மற்றும் அதை மனித ஒப்புதலுடன் இணைத்தேன்.
• [ ] விடுபட்ட தரவு மற்றும் சார்புக்கான எண்களை நான் கேள்வி கேட்டேன்.
• [ ] நான் தேதியிடப்படாத நிகழ்வுகளை காலவரிசையில் வைக்கவில்லை, தனித்தனியாக வைத்தேன்.