புலனாய்வு இதழியலில் தரவு பகுப்பாய்வு: ஆவணங்களின் அடுக்குகளை செய்திகளாக மாற்றுதல்

ஆதாயங்கள்:

• செயற்கை நுண்ணறிவு கொண்ட தரவு தொகுப்பை ஆராயும் திறன், செய்திக்குரிய கேள்விகளை உருவாக்குதல் மற்றும் முக்கியமான தரவைப் பிரித்தெடுக்கும் திறன்
• செயற்கை நுண்ணறிவைக் கொண்டிருப்பதற்குப் பதிலாக, கணக்கீடுகளைச் செய்து, விவரிக்கப்பட்ட முறையைக் கொண்டு தணிக்கைக் கருவியில் இயக்கவும் மற்றும் மூலத் தரவுகளிலிருந்து ஒவ்வொரு கண்டுபிடிப்பையும் சரிபார்க்கும் பழக்கத்தைப் பெறவும்.
• வெளியாட்களை வரைவது மற்றும் காப்பக உறவுகளை ஆவணப்படுத்துவது மற்றும் அவற்றை அசல் மூலத்தில் உறுதிப்படுத்துவது பத்திரிகையாளரின் பொறுப்பு என்பதைப் புரிந்துகொள்வது.

புலனாய்வு இதழியல் பெரும்பாலும் ஒரு குவியலுடன் தொடங்குகிறது: ஆயிரக்கணக்கான வரிகளின் டெண்டர் விரிதாள், நூற்றுக்கணக்கான பக்கங்களின் இருப்புநிலை, கசிந்த மின்னஞ்சல் காப்பகம், திறந்த மூல பொதுச் செலவுத் தொகுப்பு. தரவு இதழியல் - எண் மற்றும் ஆவணத் தரவுகளில் வடிவங்கள், முரண்பாடுகள் மற்றும் உறவுகளைக் கண்டறிந்து அவற்றை செய்திகளாக மாற்றும் நடைமுறை - இந்த வெகுஜனத்தை சரியாக உணர்த்தும் வேலை. இந்தக் குவியல்களில், கைமுறையாகப் பார்க்க மனிதனின் வாழ்நாள் எடுக்கும், செயற்கை நுண்ணறிவு (AI) ஒரு சக்திவாய்ந்த முதல் திரையிடல் மற்றும் யோசனை உருவாக்கும் கருவியாகும்: இது ஒரு அட்டவணையைச் சுருக்கலாம், உரைக் காப்பகத்தில் நகல் பெயர்களைப் பிரித்தெடுக்கலாம், பகுப்பாய்வு செய்ய என்ன கேள்விகளைக் கேட்கலாம், தரவு சுத்தம் செய்யும் படிகளை விவரிக்கலாம். ஆனால் ஆரம்பத்தில் இருந்து ஒரு வாக்கியத்தை வைக்கலாம்: தரவை பகுப்பாய்வு செய்வதில் AI ஒரு பங்குதாரர்; முடிவின் துல்லியம் மற்றும் செய்தி மதிப்பைத் தீர்மானிப்பவர் மற்றும் மூலத் தரவிலிருந்து எண்ணை மறுபரிசீலனை செய்பவர் பத்திரிகையாளர். மாயத்தோற்றத்தின் ஆபத்து எண்களில் மிகவும் ஆபத்தானது.

படிப்படியாக: AI உடன் தரவுத் தொகுப்பை ஆராய்தல்

படி 1 - தரவை அறிந்து கொள்ளுங்கள். முதலில் நெடுவரிசைகள், வரிசைகளின் எண்ணிக்கை, தேதி வரம்பு, அலகுகள் ஆகியவற்றைப் புரிந்து கொள்ளுங்கள். AI இல் மூலக் கோப்பை ஏற்றும் முன் அது என்ன என்பதை நீங்களே அறிந்து கொள்ளுங்கள்; இல்லையெனில், AI இன் "கண்டுபிடிப்புகள்" காற்றில் இருக்கும்.

படி 2 - முக்கியமான தரவைப் பிரித்தெடுக்கவும். அதில் தனிப்பட்ட தரவு (பெயர், டிஆர் ஐடி, முகவரி, உடல்நலம்) இருந்தால், அதை பொது AI கருவிக்கு வழங்காமல் அநாமதேயமாக்குங்கள் அல்லது பகுப்பாய்வு செய்ய வேண்டிய நெடுவரிசைகளை மட்டும் அனுப்பவும். மூலத்தை வெளிப்படுத்தும் கசிந்த ஆவணங்களின் தடயங்களும் அழிக்கப்படுகின்றன (அலகுகள் 1 மற்றும் 10).

படி 3 - AI உடன் கண்டுபிடிப்பு கேள்விகளை உருவாக்கவும். "இந்தத் தரவுத் தொகுப்பு என்ன செய்திகளை மறைக்கக்கூடும்?" சொல்லித் தொடங்குங்கள். AI கேட்க வேண்டிய கேள்விகளின் பட்டியலுடன் வருகிறது: முதல் 10 உருப்படிகள், மீண்டும் சப்ளையர்கள், அசாதாரண தாவல்கள், காலியாக உள்ள பகுதிகள்.

படி 4 - AI பகுப்பாய்வைச் செய்ய வேண்டாம், அதை விவரிக்கவும். இது முக்கியமான புள்ளி. தலையில் AI கணக்கிடும் சராசரி அல்லது சதவீதம் பெரும்பாலும் தவறாக இருக்கும். அதற்கு பதிலாக, நம்பகமான கருவியில் (விரிதாள் சூத்திரம், வினவல், ஸ்கிரிப்ட்) நீங்கள் இயக்கும் படிகளை AI-யிடம் கேளுங்கள். இவ்வாறு கால்குலஸை ஒரு தணிக்கைக் கருவியாக ஆக்குகிறது, AI வெறும் முறையைத் தருகிறது.

படி 5 - கண்டுபிடிப்பைச் சரிபார்க்கவும். மூலக் கோட்டிற்குச் செல்வதன் மூலம் AI சுட்டிக்காட்டும் ஒவ்வொரு ஒழுங்கின்மையையும் பார்க்கவும். அட்டவணையை வடிகட்டி, "இந்த நிறுவனம் 40 டெண்டர்களில் 31ஐ வென்றது" என்ற கோரிக்கையை எண்ணுங்கள். சரிபார்க்கப்படாத எண்கள் எதுவும் செய்தியாக வராது.

படி 6 - சூழலை நிறுவுதல். எண் மட்டும் செய்தி அல்ல. ஒப்பீடு (கடந்த ஆண்டு, இதே போன்ற நிறுவனங்கள், மக்கள் தொகை விகிதம்), சூழல் மற்றும் நிபுணர் கருத்து ஆகியவை பத்திரிகையாளரின் வேலை.

கவனம்: "இந்த அட்டவணையின் சராசரியைக் கணக்கிடு" என்று AI கூறுவதும், முடிவை நேரடியாகச் செய்திகளில் வைப்பதும் தரவுப் பத்திரிகையின் மிகவும் பொதுவான மறுப்பு-உற்பத்தி செய்யும் தவறு. AI என்பது ஒரு மொழி மாதிரி, ஒரு கால்குலேட்டர் அல்ல. கருவியைக் கணிதத்தைச் செய்ய வைத்திருங்கள், முறை மற்றும் விளக்கத்திற்காக AI யிடம் கேளுங்கள்.

மெட்டாடேட்டா மற்றும் ஆவண பகுப்பாய்வு

எண் அட்டவணைகள் தவிர, புலனாய்வு இதழியல் பெரிய உரை ஆவணங்களையும் கையாள்கிறது: மின்னஞ்சல்கள், நிமிடங்கள், ஒப்பந்தங்கள். இங்கே, AI ஆனது "யார் யாருடன் எப்போது பேசினார்கள்", "எந்த தலைப்பு மீண்டும் மீண்டும்", "எந்தப் பெயர்கள் ஒன்றாகக் குறிப்பிடப்பட்டுள்ளது" போன்ற உறவு வரைபடங்களை உருவாக்க முடியும். மீண்டும், விதி ஒன்றுதான்: AI ஆரம்ப வரைபடத்தை அளிக்கிறது; ஒவ்வொரு இணைப்பும் அசல் ஆவணத்தில் உறுதிப்படுத்தப்பட்டுள்ளது, ஏனெனில் AI இல்லாத இணைப்பை நம்பத்தகுந்த வகையில் விளக்க முடியும்.

மூன்று சிறிய வழக்குகள்

வழக்கு 1 - மறைக்கப்பட்ட ஒடுக்கம். ஒரு நிருபர் 2,400 வரிசைகள் கொண்ட பொது கொள்முதல் விரிதாளை வைத்திருந்தார். அவர் AI ஆய்வு கேள்விகளை உருவாக்க வேண்டும்; கேள்வி "அதே சப்ளையர் எத்தனை டெண்டர்களைப் பெற்றார்?" முன்னுக்கு வந்தது. நிருபரிடம் இதை கணக்கிட AI இல்லை; அவர் YZ ஆல் பரிந்துரைக்கப்பட்ட விரிதாள் சூத்திரத்தை இயக்கினார் மற்றும் ஒரு நிறுவனம் 2,400 உருப்படிகளில் 380 (15.8%) பெற்றதைக் கண்டறிந்தார். கைமுறையாக சரிபார்த்து எண் சரியாக இருந்தது. AI இன் ஆரம்ப "மதிப்பீடு" 22% என்று கூறியது - எனவே AI ஐ நம்பினால், செய்தி தவறாக இருக்கும்.

வழக்கு 2 - நேர சேமிப்பு, மின்னஞ்சல் காப்பகம். 6,000 மின்னஞ்சல்கள் கொண்ட காப்பகத்தில் "என்ன தலைப்புகள் நடக்கிறது" என்பதை கைமுறையாகத் தேடுவதற்கு சில நாட்கள் ஆகும். AI 15 நிமிடங்களில் தலைப்புக் கிளஸ்டர்களின் அவுட்லைனைத் தயாரித்தது; இவற்றிலிருந்து, நிருபர் 3 நம்பிக்கைக்குரிய கிளஸ்டர்களைத் தேர்ந்தெடுத்து அசல் மின்னஞ்சல்களைப் படித்தார். மொத்த கண்டுபிடிப்பு நேரம் ~3 நாட்களாக குறைக்கப்பட்டது, ஆனால் நேரலையில் வந்த ஒவ்வொரு மேற்கோளும் அசல் மின்னஞ்சலில் இருந்து வினைச்சொல்லாக சரிபார்க்கப்பட்டது.

வழக்கு 3 - மாயத்தோற்றம் பிடிக்கப்பட்டது. ஒரு பொருளாதார நிருபர் ஒரு இருப்புநிலைக் குறிப்பிலிருந்து "ஒரு வருடத்தில் பணியாளர் செலவுகள் 60% அதிகரித்தது" என்று YZ இலிருந்து ஒரு சுருக்கத்தைப் பெற்றார். அவர் ரா டேபிளுக்குத் திரும்பியபோது, ​​அதிகரிப்பு 6% இருப்பதையும், AI ஒரு இலக்கத்தைத் தவறாகப் படித்திருப்பதையும் கண்டார். ஒற்றை உண்மைச் சரிபார்ப்பு "60% வெடிப்பு" போன்ற தவறான மற்றும் பாசாங்குத்தனமான தலைப்புச் செய்தியைத் தடுத்தது.

நகலெடுக்கக்கூடிய வார்ப்புருக்கள்

1) தரவு தொகுப்பு அங்கீகாரம் மற்றும் கண்டுபிடிப்பு கேள்விகள்:

தரவுத் தொகுப்பின் நெடுவரிசை தலைப்புகளையும் முதல் 20 வரிசைகளையும் தருகிறேன். இந்தத் தரவைக் கொண்டு செய்யக்கூடிய 10 பத்திரிகை கேள்விகளை உருவாக்கவும்: செறிவு, புறம்போக்கு, நேரத்திற்குத் தாண்டுதல், விடுபட்ட/வெற்றுப் பகுதிகள், தொடர் நடிகர்கள். எண் கணக்கீடு இல்லை; எந்தெந்த கேள்விகள் கேட்கத் தகுந்தவை என்பதையும் அவை ஏன் செய்திகளை உருவாக்கக்கூடும் என்பதையும் எழுதுங்கள். தரவு: [தலைப்புகள் + மாதிரி வரிகள்]

2) கணக்கீடுகளைச் செய்யாமல், அவற்றை விவரிக்கச் செய்தல்:

நான் பின்வரும் பகுப்பாய்வு செய்ய விரும்புகிறேன்: [எ.கா. ஒவ்வொரு சப்ளையரின் மொத்த டெண்டர் தொகை மற்றும் பங்கு சதவீதத்தைக் கண்டறியவும்]. இதை நானே ஒரு விரிதாளில் இயக்க விரும்புகிறேன். எந்த சூத்திரங்கள்/பிவோட் அமைப்புகளை நிறுவ வேண்டும் என்பதை படிப்படியாக எழுதுங்கள். SEN கணக்கீட்டின் முடிவு; முறையை மட்டும் கொடுங்கள். எனது நெடுவரிசைகள்: [நெடுவரிசைப் பெயர்கள்]

3) வெளிப்புற வேட்டை:

நான் சுருக்கமான புள்ளிவிவரங்களை (நிமிடம், அதிகபட்சம், சராசரி, சராசரி) கீழே தருகிறேன். எந்தெந்த மதிப்புகள் வழக்கத்திற்கு மாறானவை/சந்தேகத்திற்குரியவை மற்றும் அவற்றை நான் ஏன் செய்திகளுக்குச் சரிபார்க்க வேண்டும் என்பதை விளக்குங்கள். இறுதித் தீர்ப்புகளை வழங்காதே; "பின்வரும் வரிகளை கைமுறையாக சரிபார்க்க வேண்டும்" என்ற வடிவத்தில் சரிபார்ப்பு பட்டியல் தோன்றும். சுருக்கம்: [இங்கே]

4) ஆவண காப்பக உறவு வரைபடம் (வரைவு):

நான் உங்களுக்கு ஆவண உரையின் தொகுப்பைத் தருகிறேன். பின்வருவனவற்றை வரைவாக வெளியிடவும்: அடிக்கடி ஒன்றாக நிகழும் பெயர்கள், தொடர் தலைப்புகள், குறிப்பிடத்தக்க தேதிகள். [B12] போன்ற ஒவ்வொரு இணைப்பும் வரும் ஆவணத்தைக் குறிக்கவும். ஆவணத்தில் வெளிப்படையாக எழுதப்படாத எந்த உறவுகளையும் சேர்க்க வேண்டாம். ஆவணம்: [இங்கே]

பலவீனமான வரியில் / வலுவான வரியில்

பலவீனமான ப்ராம்ட்: "இந்த விளக்கப்படத்தை பகுப்பாய்வு செய்து, ஏதேனும் குறிப்பிடத்தக்க கண்டுபிடிப்புகளைக் குறிப்பிடவும்."

முடிவு: AI சதவீதங்கள் மற்றும் சராசரியை உருவாக்குகிறது, முரண்பாடுகளை கற்பனை செய்கிறது, இது எந்த வரியை அடிப்படையாகக் கொண்டது என்பது தெளிவாகத் தெரியவில்லை. அதை சரிபார்க்க முடியாது.

சக்திவாய்ந்த அறிவுறுத்தல்: "நான் இந்த அட்டவணையின் நெடுவரிசைகளையும் முதல் 20 வரிசைகளையும் தருகிறேன். (1) எந்தெந்த பகுப்பாய்வுகள் செய்திக்குரியதாக இருக்கலாம். (2) ஒவ்வொரு பகுப்பாய்விற்கும் ஒரு விரிதாள் சூத்திரத்தைப் பரிந்துரைக்கவும், அதனால் என்னால் அதை இயக்க முடியும். (3) எந்த முடிவுகளையும் கணக்கிட வேண்டாம். (4) [S45] போன்ற சரிபார்க்க வேண்டிய வரிசைகளைக் குறிக்கவும்."

வித்தியாசம்: வலுவான ப்ராம்ட் கணக்கீட்டை கட்டுப்படுத்தக்கூடிய கருவிக்கு விட்டு, AI ஐ முறை மற்றும் திசையின் பங்கிற்கு குறைக்கிறது; எண்ணில் மாயத்தோற்றம் கசிவதைத் தடுக்கிறது.

ஒப்பீட்டு விளக்கப்படம்

மேடை

AI செய்கிறது

பத்திரிகையாளர் செய்கிறார்

சரிபார்ப்பு

தரவுகளை அங்கீகரித்தல்

நெடுவரிசை/முறை சுருக்கம்

அலகு மற்றும் சூழலை அறிந்தவர்

மூல தரவு அகராதி

கண்டுபிடிப்பு கேள்விகள்

கேள்விகளின் பட்டியலை உருவாக்குகிறது

செய்தி மதிப்பைத் தேர்ந்தெடுக்கிறது

—

கணக்கீடு

முறையை விவரிக்கிறது

வாகனத்தில் ஃபார்முலாவை இயக்குகிறது

கைமுறையாக வழங்குதல்

வெளிப்புற

வேட்பாளர்களைக் குறிக்கிறது

மூலக் கோட்டைப் பார்க்கிறது

வடிகட்டி எண்ணவும்

கருத்து/சூழல்

வரைவு சட்டகம்

ஒப்பீடு, நிபுணர்

இரண்டாவது ஆதாரம்

பொதுவான தவறுகள்

• AI கணக்கிடுதல். AI மூலம் சராசரி, சதவீதம், மொத்தம் போன்றவற்றைக் கணக்கிட்டு முடிவைப் பயன்படுத்துதல்; AI அடிக்கடி தவறு செய்கிறது, வாகனம் கணிதத்தைச் செய்யட்டும்.
• கண்டறிதலை மூலக் கோட்டுடன் இணைக்கவில்லை. அட்டவணையை வடிகட்டி எண்ணாமல் "இந்த நிறுவனம் பெரும்பாலான டெண்டர்களை வென்றது" என்ற கோரிக்கையை எழுதுதல்.
• சூழல் இல்லாமல் எண்களை வெளியிடுதல். ஒப்பீடு மற்றும் விகிதம் இல்லாமல் வெறும் எண்களைப் புகாரளிப்பது தவறானது.
• முக்கியத் தரவை அப்படியே பதிவேற்றுகிறது. வாகனத்தை சுத்தம் செய்யாமல், தனிப்பட்ட தரவு அல்லது ஆதாரத்தை வெளிப்படுத்தும் ஆவணத்தை வழங்குதல்.
• போலி உறவை உண்மை என்று நினைத்து. அசல் ஆவணத்தில் உறுதிப்படுத்தாமல், AI காப்பகத்தில் "பார்க்கும்" இணைப்பை வரைபடத்தில் செயலாக்குகிறது.

சுருக்கமாக

தரவு இதழியலில், AI என்பது ஒரு கண்டுபிடிப்பு மற்றும் நுண்ணறிவு கூட்டாளர்: இது குவியலை ஸ்கேன் செய்கிறது, கேட்க கேள்விகளை உருவாக்குகிறது, பகுப்பாய்வு முறையை விவரிக்கிறது, வெளியாட்களுக்கான வேட்பாளர்களைக் கொடியிடுகிறது. ஆனால் AI எண்ணைக் கணக்கிடுவது மிகவும் ஆபத்தான தவறு; கணக்கீட்டை ஒரு தணிக்கைக் கருவிக்கு அவுட்சோர்ஸ் செய்து, மூலத் தரவுக்குச் சென்று ஒவ்வொரு கண்டுபிடிப்பையும் சரிபார்த்து, எண்ணுடன் சூழலையும் ஒப்பீட்டையும் சேர்க்கவும். ஆவணக் காப்பகங்களில், AI ஒரு தொடக்க வரைபடத்தை அளிக்கிறது; ஒவ்வொரு இணைப்பும் அசல் ஆவணத்தில் உறுதிப்படுத்தப்பட்டுள்ளது.

விண்ணப்ப பணி

உங்களிடம் உள்ள (அல்லது பொதுவில் கிடைக்கும்) தரவுத் தொகுப்பை எடுத்துக் கொள்ளுங்கள். முதலில், "ஆராய்வு கேள்விகள்" வரியில் 10 கேள்விகளை உருவாக்க வேண்டும். ஒரு கேள்வியைத் தேர்ந்தெடுத்து, AI இலிருந்து "கணக்கீட்டை விவரிக்கவும்" வரியில் சூத்திரத்தைப் பெற்று, அதை நீங்களே இயக்கவும். அதே கணக்கீட்டிற்கு AI ஐ நேரடியாகக் கேட்டு இரண்டு முடிவுகளை ஒப்பிடவும்; வித்தியாசத்தையும் அதன் பாடத்தையும் கவனியுங்கள்.

சரிபார்ப்பு பட்டியல்

• [ ] கருவிக்கு தரவை வழங்குவதற்கு முன், நெடுவரிசைகள், அலகுகள் மற்றும் உணர்திறன் புலங்களைப் புரிந்துகொண்டேன்.
• [ ] நான் கணக்கீடுகளைச் செய்ய AI ஐ அனுமதிக்கவில்லை; நான் முறையை விவரிக்கிறேன் மற்றும் அதை தணிக்கை கருவியில் இயக்குகிறேன்.
• [ ] நான் ஒவ்வொரு கண்டுபிடிப்பையும் கைமுறையாகச் சரிபார்க்கிறேன்.
• [ ] நான் எண்ணுடன் ஒப்பீடு மற்றும் சூழலைச் சேர்க்கிறேன்; நான் வெறும் எண்களைப் புகாரளிக்கவில்லை.
• [ ] காப்பகத்தில் உள்ள ஒவ்வொரு உறவையும் அசல் ஆவணத்தில் உறுதி செய்கிறேன்.