ලාභ:
- NER, සම්බන්ධතා නිස්සාරණය, කාල නියමය සහ ජාල විශ්ලේෂණය වැනි ශිල්පීය ක්රම භාවිතා කරමින් විශාල පෙළ කට්ටල වලින් රටා උපුටා ගැනීමේ හැකියාව
- සාක්ෂිවලට වඩා කල්පිතයක් ලෙස රටාව දැකීමට හැකිවීම, මූලාශ්රය වෙත ආයතන සම්බන්ධ කිරීම සහ මානව අනුමැතිය ඇතිව ඒවා සාමාන්යකරණය කිරීම
- අස්ථානගත වූ දත්ත සහ නියැදි නැඹුරුව නිසා සංඛ්යා නොමඟ යවන ආකාරය අවබෝධ කර ගැනීමට සහ කුමන්ත්රණ සම්බන්ධතා සහ කාලානුක්රමිකතා මඟහරවා ගැනීමේ හැකියාව.
ඓතිහාසික පර්යේෂණ යනු තනි පුද්ගල ලේඛන කියවීම පමණක් නොවේ; බොහෝ විට විශාල ලේඛන කට්ටලවල රටා සොයමින්. වසර ගණනාවක් පුරා විශේෂිත නමක් දිස්වන්නේ කුමන සන්දර්භයන් තුළද? ජනාවාසයක් සමඟ සම්බන්ධ වන්නේ කුමන පුද්ගලයින්ද? කාලයත් සමඟ මාතෘකාවක් වෙනස් වන්නේ කෙසේද? කවුරුන් සමඟ ලිපි හුවමාරු කරන්නේ කවුද? එවැනි ප්රශ්නවලට එක ලේඛනයක් නොව ලේඛන සිය ගණනක් සාමූහිකව බැලීම අවශ්ය වේ. මෙය බොහෝ විට ඩිජිටල් මානව ශාස්ත්ර ලෙස හැඳින්වේ - ඉතිහාසය සහ සාහිත්යය වැනි ක්ෂේත්ර සඳහා ගණනය කිරීමේ ක්රම යෙදීම.
AI විශාල පෙළ කට්ටලවලින් ව්යුහගත තොරතුරු උකහා ගැනීමට බලවත් වේ. මෙම ඒකකය තුළ, ඔබ NER (නම් කරන ලද ආයතන හඳුනාගැනීම), රටාව සහ සම්බන්ධතා නිස්සාරණය, මාතෘකා ආකෘති නිර්මාණ තර්කනය සහ කාල නියමය නිර්මාණය ඉගෙන ගනු ඇත; නමුත් අපි මෙම ශිල්පීය ක්රමවල භයානකම අන්තරාය ගැනද සාකච්ඡා කරමු - AI විසින් නොපවතින රටාවක් "සොයාගත්" ලෙස ඉදිරිපත් කරයි.
මූලික තාක්ෂණික ක්රම
- NER (නම් කරන ලද ආයතන පිළිගැනීම): පුද්ගලයා, ස්ථානය, ආයතනය, පාඨයෙන් දිනය වැනි ආයතන ස්වයංක්රීයව උපුටා ගැනීම. එය මිනිත්තු කිහිපයකින් "මෙම ලේඛන 500 හි සඳහන් සියලුම ස්ථාන නම්" වැනි ලැයිස්තුවක් නිෂ්පාදනය කරයි.
- සම්බන්ධතා අනුමාන: ආයතන අතර සබඳතා සලකුණු කිරීම ("Y ස්ථානයේ X පුද්ගලයා", "A B සමඟ අනුරූප වේ").
- මාතෘකා ආකෘතිකරණය: විශාල පෙළ කට්ටලයක පුනරාවර්තන මාතෘකා සංඛ්යානමය වශයෙන් පොකුරු සොයා ගැනීම. කුමන කාල පරිච්ෙඡ්දය තුළ කුමන තේමාවන් සංකේන්ද්රණය වී ඇත්ද යන්න එහි දැක්වේ.
- කාලානුක්රමික නිගමනය: ලේඛනවල දින නියම වූ සිදුවීම් කාලානුක්රමික අනුපිළිවෙලකට සකස් කිරීම.
- ජාල විශ්ලේෂණය: අන්තර් පුද්ගල/ආයතනික සබඳතා ජාලයක් ලෙස දෘශ්යකරණය කිරීම (කේන්ද්රය කවුද, සම්බන්ධක ලක්ෂ්යය කවුද).
මේ සියල්ලේ පොදු අරමුණ වන්නේ එක ලේඛනයක නොපෙන්වන නමුත් එකතුව පුරා දිස්වන ව්යුහයන් හෙළිදරව් කිරීමයි. මෙම ශිල්පීය ක්රම මඟින් කියවීමෙන් පමණක් දෘශ්යමාන නොවන රටා නිර්මාණය කරයි. නමුත් ඒ සෑම එකක්ම "ලකුණක්" මිස "සාක්ෂි" නොවේ; මුල් ලේඛනයේ ඇති දේ තහවුරු කිරීම අත්යවශ්ය වේ.
මෙම ක්ෂේත්රයේ නිතර භාවිතා වන සංකල්පයක් වන්නේ සමීප කියවීම (පෙළක් ගැඹුරින්, පේළියෙන් පේළියකින් කියවීම) සහ දුරස්ථ කියවීම (සාමූහිකව, සංඛ්යානමය වශයෙන් පෙළ සිය ගණනක්/දහසක් දෙස බැලීම) අතර වෙනසයි. AI මඟින් දුරස්ථව කියවීමට හැකි වේ: ඔබට තනි මිනිස් ජීවිත කාලයක් පැවතිය හැකි තරම් විශාල corpus එකක රටා පෙනේ. නමුත් දුරස්ථ කියවීම රටාවකට යොමු වූ විට, එය අවබෝධ කර ගැනීම සඳහා සමීප කියවීමට, එනම් මුල් ලේඛනයට නැවත පැමිණීම අවශ්ය වේ. මෙම ක්රම දෙක එකිනෙකට හුවමාරු නොවේ; එකක් රටාව පෙන්වයි, අනෙක එහි අර්ථය ලබා දෙයි. වඩාත්ම ශක්තිමත් පර්යේෂණ දෙකම එකට භාවිතා කරයි.
ඉඟිය: කල්පිත උත්පාදකයක් ලෙස රටා විශ්ලේෂණය භාවිතා කරන්න: "AI මෙහි රටාවක් හඳුනාගෙන ඇත, එය සැබෑවක්ද?" ඉන්පසු එම රටාව ලේඛනවල එකින් එක පරීක්ෂා කරන්න. රටාව ඔබේ පර්යේෂණයේ ආරම්භක ලක්ෂ්යය මිස ප්රතිඵලය නොවේ.
කාර්ය ප්රවාහය: පියවරෙන් පියවර
1. ප්රශ්නය පැහැදිලි කරන්න. "මෙම එකතුවෙහි වැඩිපුරම පෙනී සිටින්නේ කුමන පුද්ගලයන්ද?" වැනි පැහැදිලි රටා ප්රශ්නයක්.
2. දත්ත සකස් කර ලේබල් කරන්න. සොයාගත් ඕනෑම වත්කමක් ලේඛනයට නැවත සම්බන්ධ කිරීමට හැකි වන පරිදි මූලාශ්ර යොමු සමඟ පෙළ සංවිධානය කරන්න.
3. ආයතනය/රටාව දිස්වේ. AI සමඟ NER, සම්බන්ධතාවය හෝ කාලරේඛා දළ සටහන ජනනය කරන්න.
4. සාමාන්යකරණය. එකම පුද්ගලයාගේ/ස්ථානයේ විවිධ අක්ෂර වින්යාසයන් ඒකාබද්ධ කරන්න ("ඉස්තාන්බුල් / ඉස්තාන්බුල් / කොස්තාන්තිනියේ" එකම ස්ථානයේ?). මෙම පියවර තීරණාත්මක ය; එය මඟ හැරියහොත්, රටාව කඩා වැටෙනු ඇත.
5. ලේඛනයේ තහවුරු කරන්න. සලකුණු කර ඇති කිසියම් සැලකිය යුතු රටා සඳහා සත්ය ලේඛන පරීක්ෂා කරන්න. AI විසින් සාදන ලද සබැඳියක් එක් නොකරන බවට වග බලා ගන්න.
6. අදහස් දැක්වීම. රටාව යන්නෙන් අදහස් කරන්නේ ඉතිහාසඥයාගේ විනිශ්චයයි; AI හුදෙක් රටාව සලකුණු කරයි.
අංකය සහ සංඛ්යාලේඛන උගුල
රටා විශ්ලේෂණය බොහෝ විට සංඛ්යා නිපදවයි: "නම X 47 වතාවක් සිදු වේ", "මෙම තේමාව ලේඛනවලින් 30% ක් ඇත". මෙම සංඛ්යා වෛෂයික ලෙස පෙනෙන නමුත් නොමඟ යවන සුළු විය හැක:
- නැතිවූ දත්ත: එකතුව දැනටමත් අසම්පූර්ණ නම් (ලේඛන නැති වී ඇත, කණ්ඩායමක් කිසි විටෙක වාර්තා කර නැත), අංකයෙන් පිළිබිඹු වන්නේ ඉතිරිව ඇති ලේඛන මිස යථාර්ථය නොවේ.
- සාමාන්යකරණයේ දෝෂය: එකම පුද්ගලයා වෙනස් ලෙස අක්ෂර වින්යාස කර වෙන වෙනම ගණන් කළහොත් අංකය වැරදියි.
- සන්දර්භය නැතිවීම: "47 වතාවක් සිදු වේ" කිසිවක් නොකියයි; එය සමත් වන්නේ කෙසේද (ධන / සෘණ, විෂය / වස්තුව) වැදගත් වේ.
රටා ප්රතිදානය
පෙනෙන අර්ථය
සැබෑ අවදානම
"X 47 වතාවක් සිදු වේ"
වැදගත් පුද්ගලයා
අසම්පූර්ණ එකතුව, අක්ෂර වින්යාසය
"තේමාව 30%"
අධිපති මාතෘකාව
නියැදි නැඹුරුව
"A-B බොහෝ විට එකට"
සමීප සම්බන්ධතාවය
අහඹු සිදුවීම, නැතිවූ සන්දර්භය
"කාල නියමය"
නිශ්චිත කාල නිර්ණය
දින නියම නොකළ ලේඛන, ගොතන ලද ඇණවුම
කුඩා නඩු තුනක්
නඩුව 1 - ජාල විශ්ලේෂණය සැඟවුණු අතරමැදියෙකු හෙළි කළේය. පර්යේෂකයෙක් ලිපි 800 ක ලිපි හුවමාරු එකතුවක් පරීක්ෂා කළේය. AI සමඟ, ලිව්වේ කාටද යන්න තීරණය කර ජාලයක් නිර්මාණය කරන ලදී. බැලූ බැල්මට නොවැදගත් පුද්ගලයෙකු ලෙස පෙනෙන්නේ කණ්ඩායම් දෙක අතර සම්බන්ධ වීමේ ප්රධාන ලක්ෂ්යය බව ජාලය පෙන්නුම් කළේය. පර්යේෂකයා මෙම පුද්ගලයාගේ ලිපි කෙරෙහි අවධානය යොමු කර නව සොයා ගැනීමකට ළඟා විය. නමුත් මුලින්ම ලේඛනවල ඇති සියලුම සබැඳි සත්යාපනය කළා.
නඩුව 2 - සාමාන්යකරණ දෝෂය අංකය දූෂිත විය. ශිෂ්යයෙකු විසින් ලේඛනවල ස්ථානයක් දර්ශනය වූ වාර ගණන ගණන් කිරීමට ඔවුන් සලස්වා ඇත. AI එකම ස්ථානයේ විවිධ අක්ෂර වින්යාස තුනක් වෙන වෙනම ගණන් කළ බැවින්, එම සංඛ්යාව සැබෑ සංඛ්යාවෙන් තුනෙන් එකක් බවට පත් විය. අක්ෂර වින්යාසය ඒකාබද්ධ කළ විට, ස්ථානය ඇත්ත වශයෙන්ම තුන්වන නිතර නිතර සිදුවන ස්ථානයේ විය. පාඩම: සාමාන්යකරණයකින් තොරව අංකය විශ්වාස කළ නොහැක.
නඩුව 3 - සාදන ලද කාලරාමුව. පර්යේෂකයෙක් දින නියම නොකළ ලේඛනවලින් කාලරාමුවක් නිර්මාණය කළේය. AI විසින් නොදන්නා සිදුවීම් "තාර්කික" අනුපිළිවෙලකට සකස් කර නිශ්චිත කාල නිර්ණය ඉදිරිපත් කරන ලදී. කෙසේ වෙතත්, මෙම අනුපිළිවෙල ලේඛනවල නොතිබුණි, AI එය සකස් කර ඇත. පාඩම: කාලසටහන ගොඩනඟා ඇත්තේ ලේඛනයේ දිනයක් ඇති සිදුවීම් වලින් පමණි; ඉතිරිය "දින නොකළ" ලෙස පවතී.
පිටපත් කළ හැකි සැකිලි හතරක්
1) NER (අස්ථි අනුමානය):
පහත ලේඛනවල සඳහන් පුද්ගලයන්, ස්ථාන, ආයතන සහ දිනයන් වෙනම ලැයිස්තු ලෙස දිස්වේ. එක් එක් ආයතනය සඳහන් කර ඇත්තේ කුමන ලේඛනයේ (යොමු) සඳහන් කරන්න. පෙළෙහි පැහැදිලිව දක්වා ඇති දේ පමණක් ගන්න; අනුමානයෙන් එකතු කරන්න. ඔබට උච්චාරණය ගැන විශ්වාස නැතිනම් [?] සලකුණු කරන්න. ලේඛන: [මෙහි]
2) ආයතන සාමාන්යකරණය:
පහත ආයතන ලැයිස්තුවේ, එකම පුද්ගලයා/ස්ථානය විය හැකි විවිධ අක්ෂර වින්යාසයන් සමූහගත කරන්න (උදා: "ඉස්තාන්බුල් / කොස්ටන්ටිනියේ"). එක් එක් කණ්ඩායම සඳහා විය හැකි පොදු ආකෘතිය යෝජනා කරන්න, නමුත් නිශ්චිත සංයෝජනය පනවන්න එපා; "සමහරවිට එයම විය හැක, මිනිසුන්ට සත්යාපනය කිරීමට ඉඩ දෙන්න" සටහන එක් කරන්න. ඔබට විශ්වාස නැත්නම් එය අතහරින්න. ලැයිස්තුව: [මෙහි]
3) සබඳතාව/ජාල දළ සටහන:
පහත ලිපි හුවමාරු/ලේඛන කට්ටලයෙන් "කාට සම්බන්ධද" සබැඳි උපුටා ගන්න. එක් එක් සබැඳිය සඳහා, එය පදනම් වන්නේ කුමන ලේඛනය (යොමුව)ද යන්න සඳහන් කරන්න. ලේඛනයේ පැහැදිලිව නොමැති සම්බන්ධතාවයක් ගොඩනගා ඇත. අපැහැදිලි සබැඳි [නොපැහැදිලි] සලකුණු කරන්න. ලේඛන: [මෙහි]
4) දිනැති කාලරේඛාව:
පහත ලේඛනවල පැහැදිලිව දක්වා ඇති සිදුවීම් පමණක් කාලානුක්රමික අනුපිළිවෙලින් ලැයිස්තුගත කරන්න; සෑම සිදුවීමක්ම එහි මූලාශ්රයට සම්බන්ධ කරන්න. අවිනිශ්චිත දිනයන් සහිත සිදුවීම් "දින නොකළ" යන ශීර්ෂය යටතේ වෙන වෙනම ලැයිස්තුගත කරන්න, ඒවා පිළිවෙලට නොතබන්න. ඇස්තමේන්තුගත දිනය සාදන්න එපා. ලේඛන: [මෙහි]
දුර්වල ක්ෂණික / ශක්තිමත් විමසුම
දුර්වල:
මෙම ලේඛන විශ්ලේෂණය කර වැදගත් රටා, සබඳතා සහ කාල නියමයන් උපුටා ගන්න.
"වැදගත් රටා උපුටා ගැනීම" නොපවතින සම්බන්ධතා සහ නිශ්චිත කාලානුක්රමික සොයා ගැනීමට AI තල්ලු කරයි, සාමාන්යකරණයකින් තොරව සංඛ්යා ඉදිරිපත් කරයි.
ශක්තිමත්:
එක් එක් ලේඛන යොමුවට සම්බන්ධ කිරීමෙන් පහත ලේඛනවලින් පුද්ගලයා/ස්ථානය/ආයතන ආයතන උපුටා ගනී. "ඒකාබද්ධ විය හැක" හා සමාන විය හැකි විවිධ අක්ෂර වින්යාස ලකුණු කරන්න, නමුත් ඒකාබද්ධ නොකරන්න. ලේඛනයේ පැහැදිලිව සඳහන් කර නොමැති සබඳතා සහ අවිනිශ්චිත දිනයන් සහිත සිදුවීම් ව්යාජ නොවේ; දින නොමැති ඒවා වෙනම තබා ගන්න. ලේඛන: [මෙහි]
වෙනස: මූලාශ්රයට ආරෝපණය කිරීම, මිනිසුන්ට සාමාන්යකරණය වීම, ප්රබන්ධ බැඳීම්/ඉතිහාසය තහනම් කිරීම සහ දින නියම නොකළ සිදුවීම් වෙන් කිරීම රටාව ආරක්ෂාකාරී කරයි.
පොදු වැරදි
- සාක්ෂි සඳහා රටාව වැරදියි. රටාව කල්පිතයයි; ලේඛනයේ තහවුරු කර ඇත.
- සාමාන්යකරණය මඟ හැරීම. එකම ආයතනයේ විවිධ අක්ෂර වින්යාසය අංකය සහ ජාලය විකෘති කරයි.
- අංක පිළිබඳ අන්ධ විශ්වාසය. අසම්පූර්ණ එකතු කිරීම සහ නියැදි නැඹුරුව අංකය නොමඟ යවන සුළු කරයි.
- සාදන ලද කාල සටහන. දින නියම නොකළ සිදුවීම් කාලානුක්රමයට ඇතුළත් නොවේ.
- සන්දර්භය නොසලකා හැරීම. "කී පාරක් සම්මත වුනාද" කියන එක නෙවෙයි වැදගත් වෙන්නේ "කොහොමද සම්මත වුනේ" කියන එකයි.
සාරාංශයකින්
අන්තර්ගත විශ්ලේෂණය සහ රටා සොයාගැනීම යනු කියවීමෙන් පමණක් දෘශ්යමාන නොවන ව්යුහයන් AI විසින් සාදන ප්රබල ක්ෂේත්රයකි: ආයතන නිස්සාරණය, සම්බන්ධතා ජාල, මාතෘකා පොකුරු, කාල නියමයන්. නමුත් සෑම රටාවක්ම කල්පිතයක් මිස සාක්ෂි නොවේ. වත්කම් මූලාශ්රයට සම්බන්ධ කරන්න, ප්රවේශමෙන් සහ මානව වලංගුකරණය සමඟ සාමාන්යකරණය කරන්න, නැතිවූ දත්ත සහ පක්ෂග්රාහීත්වය සඳහා අංක විමසන්න, කුමන්ත්රණ සම්බන්ධතා සහ කාලානුක්රමිකතා වළක්වා ගන්න. AI රටාව සලකුණු කරයි; එහි තේරුම සහ එය සත්යද යන්න ඉතිහාසඥයාගේ විනිශ්චයයි.
යෙදුම් කාර්යය
අවම වශයෙන් ලියකියවිලි 15 ක් එකතු කරන්න (යොමු කිරීම් සමඟ). "NER" අච්චුව සමඟ පුද්ගලයා සහ ස්ථාන ආයතන උපුටා ගන්න. ඉන්පසු "entity normalization" සමඟ විවිධ අක්ෂර වින්යාසයන් කාණ්ඩ කර කණ්ඩායම් ඔබම සත්යාපනය කරන්න. අවසාන වශයෙන්, "දිනිත කාලරාමුව" අච්චුව ධාවනය කර "දින නොකළ" සිදුවීම් කීයක් තිබේදැයි බලන්න. දුර්වල ප්රේරකයක් සමඟ AI විසින් සකස් කරන ලද සබැඳි හෝ කාලානුක්රමික කීයක් සසඳා බලන්න.
පිරික්සුම් ලැයිස්තුව
- [ ] මම මගේ රටා ප්රශ්නය පැහැදිලිව නිර්වචනය කර ඇත.
- [ ] මා සතුව සෑම ආයතනයක්ම ලේඛන යොමුව වෙත සම්බන්ධ කර ඇත.
- [ ] මම ආයතන ටයිප් කිරීම සාමාන්යකරණය කර එය මානව අනුමැතිය සමඟ ඒකාබද්ධ කළෙමි.
- [ ] මම අතුරුදහන් වූ දත්ත සහ පක්ෂග්රාහී සංඛ්යා ප්රශ්න කළෙමි.
- [ ] මම දින නියම නොකළ සිදුවීම් කාලානුක්රමයට දැම්මේ නැත, මම ඒවා වෙන වෙනම තැබුවෙමි.