ትርፍ፡
- እንደ NER ፣ ግንኙነት ማውጣት ፣ የጊዜ መስመር እና የአውታረ መረብ ትንተና ያሉ ቴክኒኮችን በመጠቀም ቅጦችን ከትላልቅ የጽሑፍ ስብስቦች የማውጣት ችሎታ።
- ንድፉን ከማስረጃ ይልቅ እንደ መላምት ማየት መቻል፣ አካላትን ከምንጩ ጋር በማገናኘት እና በሰዎች ይሁንታ መደበኛ ማድረግ።
- በመረጃ መጥፋት እና በናሙና አድልዎ ምክንያት ቁጥሮች እንዴት አሳሳች ሊሆኑ እንደሚችሉ የመረዳት ችሎታ እና የተፈጠሩ ግንኙነቶችን እና የዘመን ቅደም ተከተሎችን ለማስወገድ።
ታሪካዊ ምርምር የግለሰብ ሰነዶችን ማንበብ ብቻ አይደለም; ብዙውን ጊዜ በትላልቅ ሰነዶች ስብስቦች ውስጥ ቅጦችን ይፈልጋሉ. ለዓመታት የተለየ ስም በየትኞቹ ሁኔታዎች ውስጥ ይታያል? ከሰፈራ ጋር የተገናኙት የትኞቹ ሰዎች ናቸው? አንድ ርዕስ በጊዜ ሂደት እንዴት ይለወጣል? ማን ከማን ጋር ይዛመዳል? እንደነዚህ ያሉ ጥያቄዎች አንድን ሰነድ ሳይሆን በመቶዎች የሚቆጠሩ ሰነዶችን በጋራ መመልከትን ይጠይቃሉ. ይህ ብዙውን ጊዜ ዲጂታል ሂውማኒቲስ ተብሎ ይጠራል-የስሌት ዘዴዎች እንደ ታሪክ እና ሥነ ጽሑፍ ባሉ መስኮች ላይ መተግበር።
AI የተዋቀሩ መረጃዎችን ከትልቅ የጽሑፍ ስብስቦች ለማውጣት ኃይለኛ ነው። በዚህ ክፍል ውስጥ NER (የተሰየመ አካል ማወቂያ)፣ ስርዓተ-ጥለት እና ግንኙነት ማውጣት፣ የርእስ ሞዴሊንግ ሎጂክ እና የጊዜ መስመር መፍጠርን ይማራሉ። ነገር ግን የእነዚህን ቴክኒኮች በጣም አደገኛ ወጥመዶች እንነጋገራለን - AI እራሱን የማይገኝ ንድፍ "አገኘ" ብሎ ያቀርባል.
መሰረታዊ ቴክኒኮች
- NER (የተሰየመ አካል እውቅና): እንደ ሰው, ቦታ, ተቋም, ቀን ከጽሑፉ ላይ ያሉ አካላትን በራስ-ሰር ማውጣት. በደቂቃ ውስጥ እንደ "በእነዚህ 500 ሰነዶች ውስጥ የተገለጹ ሁሉም የቦታ ስሞች" ዝርዝር ያወጣል።
- የግንኙነት ፍንጭ፡ በህጋዊ አካላት መካከል ያለውን ትስስር ምልክት ማድረግ (“ሰው X በቦታ Y”፣ “A ከ B ጋር ይዛመዳል”)።
- አርእስት ሞዴሊንግ፡ በትልቅ የፅሁፍ ስብስብ ውስጥ የተደጋጋሚ ርዕሶችን ዘለላዎችን በስታቲስቲክስ ማግኘት። የትኛዎቹ ጭብጦች በየትኛው ወቅት ላይ እንደተተኮሩ ያሳያል።
- የጊዜ መስመር ማጠቃለያ፡ በሰነዶች ውስጥ የቀናቸው ክስተቶችን በጊዜ ቅደም ተከተል ማዘጋጀት።
- የአውታረ መረብ ትንተና፡-የግለሰብ/ተቋማዊ ግንኙነቶችን እንደ አውታረመረብ መመልከት (መሃል ማን ነው፣ የግንኙነት ነጥብ ማን ነው)።
የእነዚህ ሁሉ የጋራ ግብ በአንድ ሰነድ ውስጥ የማይታዩ ነገር ግን በክምችቱ ውስጥ የሚታዩ መዋቅሮችን ማሳየት ነው። እነዚህ ቴክኒኮች በማንበብ ብቻ የማይታዩ የሚታዩ ንድፎችን ይሠራሉ። ነገር ግን እያንዳንዳቸው "ምልክት" እንጂ "ማስረጃ" አይደሉም; በዋናው ሰነድ ውስጥ የተገኘውን ማረጋገጥ አስፈላጊ ነው.
በዚህ መስክ ውስጥ በተደጋጋሚ ጥቅም ላይ የሚውለው ጽንሰ-ሐሳብ በቅርብ ንባብ (ጽሑፍን በጥልቀት ማንበብ, በመስመር) እና በሩቅ ንባብ (በመቶ/ሺህ የሚቆጠሩ ጽሑፎችን በጥቅል, በስታቲስቲክስ) መካከል ያለው ልዩነት ነው. AI በርቀት ለማንበብ ያስችለዋል፡ በአንድ የሰው ልጅ ህይወት ውስጥ የሚቆይ ትልቅ በሆነ ኮርፐስ ውስጥ ቅጦችን ታያለህ። ነገር ግን የርቀት ንባብ ወደ ስርዓተ-ጥለት ሲጠቁም, ወደ ቅርብ ንባብ መመለስ, ማለትም ወደ ዋናው ሰነድ, ትርጉም እንዲኖረው ማድረግ ያስፈልጋል. ሁለቱ ዘዴዎች አይለዋወጡም; አንዱ ምሳሌውን ያሳያል, ሌላኛው ትርጉሙን ይሰጣል. በጣም ጠንካራው ምርምር ሁለቱንም በአንድ ላይ ይጠቀማል.
ጠቃሚ ምክር፡ የስርዓተ ጥለት ትንታኔን እንደ መላምት ጀነሬተር ተጠቀም፡ “AI እዚህ ንድፍ አይቷል፣ እውነት ነው?” ከዚያ ያንን ስርዓተ-ጥለት በሰነዶቹ ውስጥ አንድ በአንድ ያረጋግጡ። ንድፉ የጥናትዎ መነሻ እንጂ ውጤቱ አይደለም።
የስራ ሂደት: ደረጃ በደረጃ
1. ጥያቄውን ግልጽ ያድርጉ. "በዚህ ስብስብ ውስጥ በብዛት የሚታዩት የትኞቹ ሰዎች ናቸው?" ግልጽ የሆነ የስርዓተ-ጥለት ጥያቄ.
2. ውሂቡን ያዘጋጁ እና ይሰይሙ. የተገኙ ንብረቶች ከሰነዱ ጋር ተመልሰው እንዲገናኙ ጽሑፍን ከምንጭ ማጣቀሻዎች ጋር ያደራጁ።
3. አካል/ንድፍ ይታያል። NERን፣ ግንኙነትን ወይም የጊዜ መስመርን ከ AI ጋር ያመንጩ።
4. መደበኛ ማድረግ. የአንድ ሰው/ቦታ የተለያዩ ሆሄያትን ("ኢስታንቡል/ኢስታንቡል/ኮስታንቲኒዬ" አንድ ቦታ?) ያዋህዱ። ይህ እርምጃ ወሳኝ ነው; ከተተወ ንድፉ ይፈርሳል።
5. በሰነድ ውስጥ ያረጋግጡ. ለተጠቆሙት ማንኛውም ጉልህ ቅጦች ትክክለኛዎቹን ሰነዶች ያረጋግጡ። AI የተሰራ ማገናኛ እንደማይጨምር እርግጠኛ ይሁኑ።
6. አስተያየት. ምሳሌው ምን ማለት ነው የታሪክ ምሁሩ ፍርድ; AI ስርዓተ-ጥለትን ብቻ ምልክት ያደርጋል።
ቁጥር እና ስታቲስቲክስ ወጥመድ
የስርዓተ-ጥለት ትንተና ብዙውን ጊዜ ቁጥሮችን ይፈጥራል: "ስም X 47 ጊዜ ይከሰታል", "ይህ ጭብጥ በ 30% ሰነዶች ውስጥ ይገኛል". እነዚህ ቁጥሮች ተጨባጭ ይመስላሉ ነገር ግን አሳሳች ሊሆኑ ይችላሉ፡
- የጠፋ መረጃ፡ ስብስቡ አስቀድሞ ያልተሟላ ከሆነ (ሰነዶች ጠፍተዋል፣ ቡድን መቼም ተመዝግቦ አያውቅም) ቁጥሩ በሕይወት ያሉ ሰነዶችን እንጂ እውነታን አያንጸባርቅም።
- የኖርማላይዜሽን ስህተት፡- አንድ አይነት ሰው በተለያየ ፊደል ከተፃፈ እና ለብቻው ከተቆጠረ ቁጥሩ የተሳሳተ ይሆናል።
- አውድ ማጣት: "47 ጊዜ ይከሰታል" ምንም አይልም; እንዴት እንደሚተላለፍ (አዎንታዊ/አሉታዊ፣ ርዕሰ ጉዳይ/ነገር) አስፈላጊ ነው።
የስርዓተ-ጥለት ውፅዓት
ግልጽ ትርጉም
እውነተኛ አደጋ
"X 47 ጊዜ ይከሰታል"
አስፈላጊ ሰው
ያልተሟላ ስብስብ, የፊደል ልዩነት
ጭብጥ 30%
ዋና ርዕስ
የናሙና አድልዎ
"A-B ብዙ ጊዜ አንድ ላይ"
የጠበቀ ግንኙነት
የአጋጣሚ ነገር፣ የጠፋ አውድ
"የጊዜ መስመር"
ትክክለኛ የዘመን ቅደም ተከተል
ያልተዘመኑ ሰነዶች፣ የተፈበረከ ትዕዛዝ
ሶስት ጥቃቅን ጉዳዮች
ጉዳይ 1 - የአውታረ መረብ ትንተና የተደበቀ መካከለኛ አሳይቷል። አንድ ተመራማሪ የ800 ፊደሎችን የደብዳቤ ስብስብ መረመረ። ከ AI ጋር፣ ለማን እንደፃፈ እና ኔትወርክ ተፈጠረ። ኔትወርኩ እንደሚያሳየው በመጀመሪያ ሲታይ እዚህ ግባ የማይባል ሰው በእውነቱ በሁለቱ ቡድኖች መካከል ዋነኛው የግንኙነት ነጥብ ነው። ተመራማሪው በዚህ ሰው ደብዳቤዎች ላይ አተኩረው አዲስ ግኝት ላይ ደርሰዋል። ነገር ግን በመጀመሪያ በሰነዶቹ ውስጥ ያሉትን ሁሉንም አገናኞች አረጋግጧል.
ጉዳይ 2 - የመደበኛነት ስህተት ቁጥሩን አበላሽቷል። አንድ ተማሪ አንድ ቦታ በሰነዶቹ ውስጥ የታየበትን ጊዜ እንዲቆጥሩ አደረገ። AI በተመሳሳይ ቦታ ላይ ሦስት የተለያዩ ሆሄያትን ለብቻው ስለቆጠረ ቁጥሩ ከእውነተኛው ቁጥር አንድ ሶስተኛ ሆነ። ሆሄያት ሲጣመሩ ቦታው በሦስተኛው በጣም በተደጋጋሚ የሚከሰት ቦታ ላይ ነበር። ትምህርት: መደበኛ ካልሆነ ቁጥሩ ሊታመን አይችልም.
ጉዳይ 3 - የተሰራ የጊዜ መስመር. አንድ ተመራማሪ ጊዜው ካላለፉ ሰነዶች የጊዜ መስመር ፈጠረ። AI የማይታወቁ ክስተቶችን በ"ሎጂክ" ቅደም ተከተል አዘጋጀ እና ትክክለኛ የዘመን አቆጣጠር አቅርቧል። ሆኖም, ይህ ቅደም ተከተል በሰነዶቹ ውስጥ አልነበረም, AI ሠርቷል. ትምህርት: የጊዜ ሰሌዳው የተገነባው በሰነዱ ውስጥ ቀን ካላቸው ክስተቶች ብቻ ነው; ቀሪው "ያለጊዜው" ይቀራል.
አራት ሊገለበጡ የሚችሉ አብነቶች
1) NER (የህጋዊ አካል መረጃ)
ከታች ባሉት ሰነዶች ውስጥ የተጠቀሱት ሰዎች፣ ቦታዎች፣ ተቋማት እና ቀናቶች እንደ የተለየ ዝርዝር ሆነው ይታያሉ። እያንዳንዱ አካል በየትኛው ሰነድ (ማጣቀሻ) ውስጥ እንደተጠቀሰ ያመልክቱ. በጽሁፉ ውስጥ በግልፅ የተገለጸውን ብቻ ይውሰዱ; በግምት መጨመር። ማርክ [?] ስለ አጠራሩ እርግጠኛ ካልሆኑ። ሰነዶች: [እዚህ]
2) የህጋዊ አካልን መደበኛ ማድረግ;
ከዚህ በታች ባለው የህጋዊ አካል ዝርዝር ውስጥ አንድ አይነት ሰው/ቦታ ሊሆኑ የሚችሉ የተለያዩ ሆሄያትን በቡድን (ለምሳሌ "ኢስታንቡል / ኮስታንቲኒዬ")። ለእያንዳንዱ ቡድን ሊሆን የሚችለውን የተለመደ ቅርጸት ይጠቁሙ ነገር ግን ትክክለኛውን ጥምረት አይጫኑ; ማስታወሻ ያክሉ "ምናልባት አንድ አይነት ነው፣ ሰዎች ያረጋግጡ"። እርግጠኛ ካልሆንክ ተወው። ዝርዝር: [እዚህ]
3) የግንኙነት/የአውታረ መረብ ዝርዝር፡-
ከሚከተለው የደብዳቤ/ሰነዶች ስብስብ የ"ማን ከማን ጋር የተያያዘ" አገናኞችን ያውጡ። ለእያንዳንዱ ማገናኛ በየትኛው ሰነድ (ማጣቀሻ) ላይ የተመሰረተ እንደሆነ ያመልክቱ. በሰነዱ ውስጥ ግልጽ ያልሆነ ግንኙነት ፈጠርን። አሻሚ አገናኞችን ምልክት አድርግ [የማይታወቅ]። ሰነድ፡ [እዚህ]
4) ቀኑ ያለፈበት ጊዜ;
በሚከተሉት ሰነዶች ውስጥ በግልጽ የተገለጹትን ክስተቶች ብቻ በጊዜ ቅደም ተከተል ይዘርዝሩ; እያንዳንዱን ክስተት ከምንጩ ጋር ያገናኙ። ክስተቶቹን እርግጠኛ ካልሆኑ ቀኖች ጋር ለየብቻ "ያለፈበት" በሚለው ርዕስ ስር ይዘርዝሩ፣ በቅደም ተከተል አታስቀምጧቸው። የተገመተውን ቀን አያካሂዱ። ሰነድ፡ [እዚህ]
ደካማ ጥያቄ / ጠንካራ ጥያቄ
ደካማ፡
እነዚህን ሰነዶች ይተንትኑ እና አስፈላጊ ቅጦችን፣ ግንኙነቶችን እና የጊዜ መስመሮችን ያውጡ።
"አስፈላጊ ንድፎችን ማውጣት" AI ያልሆኑ ግንኙነቶችን እና ትክክለኛ የጊዜ ቅደም ተከተሎችን እንዲፈጥር ይገፋፋቸዋል, ቁጥሮችን ያለ መደበኛነት ያቀርባል.
ጠንካራ፥
እያንዳንዱን ከሰነድ ማጣቀሻ ጋር በማገናኘት ግለሰቡን/ቦታውን/ተቋሙን ከሚከተሉት ሰነዶች ያወጣል። “ሊዋሃድ ይችላል” ከሚለው ጋር ተመሳሳይ ሊሆኑ የሚችሉ የተለያዩ ሆሄያትን ምልክት ያድርጉ ግን አይዋሃዱ። በሰነዱ ውስጥ በግልጽ ያልተገለጹ ግንኙነቶች እና ያልተረጋገጡ ቀናት ያላቸው ክስተቶች አይዋሹም; ቀኖች የሌላቸውን ይለያዩ. ሰነድ፡ [እዚህ]
ልዩነቱ፡ ከምንጩ ጋር መያያዝ፣ መደበኛነትን ለሰዎች መተው፣ በልብ ወለድ ግንኙነት/ታሪክ ላይ እገዳ እና ጊዜ ያለፈባቸው ክስተቶች መለያየት ንድፉን መከላከል ያደርገዋል።
የተለመዱ ስህተቶች
- ምሳሌውን በማስረጃ በመሳሳት። ንድፉ መላምት ነው; በሰነዱ ውስጥ ተረጋግጧል.
- መደበኛነትን መዝለል። የአንድ አካል የተለያዩ ሆሄያት ቁጥሩን እና ኔትወርኩን ያዛባሉ።
- በቁጥሮች ላይ ዕውር እምነት። ያልተሟላ ስብስብ እና የናሙና አድልዎ ቁጥሩን አሳሳች ያደርገዋል።
- የተሰራ የጊዜ መስመር። ጊዜ ያለፈባቸው ክስተቶች በጊዜ ቅደም ተከተል ውስጥ አልተካተቱም።
- አውድ ችላ ማለት። “ስንት ጊዜ እንደተላለፈ” ሳይሆን “እንዴት እንደተላለፈ” አስፈላጊ ነው።
በማጠቃለያው
የይዘት ትንተና እና የስርዓተ-ጥለት ግኝት AI በማንበብ ብቻ የማይታዩ የሚታዩ አወቃቀሮችን የሚሰራበት ሀይለኛ መስክ ነው፡ የህጋዊ አካል ማውጣት፣ የግንኙነት መረቦች፣ የርዕስ ዘለላዎች፣ የጊዜ መስመሮች። ግን እያንዳንዱ ንድፍ መላምት እንጂ ማስረጃ አይደለም። ንብረቶችን ከምንጩ ጋር ያገናኙ ፣ በጥንቃቄ እና በሰዎች ማረጋገጫ መደበኛ ያድርጉት ፣ ለጠፉ መረጃዎች እና አድልዎ የመጠይቅ ቁጥሮች ፣ የተፈጠሩ ግንኙነቶችን እና የዘመን ቅደም ተከተሎችን ያስወግዱ። AI ንድፉን ያመላክታል; ትርጉሙም እውነትም ይሁን የታሪክ ምሁሩ ፍርድ ነው።
የመተግበሪያ ተግባር
ቢያንስ 15 ሰነዶችን ይሰብስቡ (ከማጣቀሻዎች ጋር)። በ"NER" አብነት ሰው እና ቦታ አካላትን ያውጡ። ከዚያም የተለያዩ ሆሄያትን በ "ህጋዊ አካል መደበኛነት" ይመድቡ እና ቡድኖቹን እራስዎ ያረጋግጡ። በመጨረሻ፣ “ያለበት የጊዜ መስመር” አብነት ያሂዱ እና ምን ያህል ክስተቶች “ያለጊዜው” እንደቀሩ ይመልከቱ። አይአይ ምን ያህል የተዋሃዱ አገናኞች ወይም የዘመን ቅደም ተከተሎች በደካማ ተነሳሽነት እንደሚያመርቱ ያወዳድሩ።
የማረጋገጫ ዝርዝር
- [ ] የስርዓተ ጥለት ጥያቄዬን በግልፅ ገለጽኩት።
- [ ] ከሰነዱ ማጣቀሻ ጋር የተገናኘ እያንዳንዱ አካል አለኝ።
- [] የህጋዊ አካል መተየብ መደበኛ እንዲሆን አድርጌዋለሁ እና ከሰው ፈቃድ ጋር አጣምሬዋለሁ።
- [ ] ስለጠፋው መረጃ እና አድልዎ ቁጥሮቹን ጠየኳቸው።
- [ ] ጊዜ ያላለፉትን ክስተቶች በጊዜ ቅደም ተከተል አላስቀመጥኳቸውም፣ ለይቻቸዋለሁ።