RAG உடன் நிறுவன தகவல் மேலாண்மை

ஆதாயங்கள்:

• RAG எவ்வாறு மாயத்தோற்றத்தைக் குறைக்கிறது என்பதைப் புரிந்து கொள்ளுங்கள்
• RAG வெளியீட்டின் ஆதாரம், தேதி மற்றும் நாணயத்தை சரிபார்த்து, முரண்பட்ட பதிப்புகளை வேறுபடுத்தும் திறன்
• அணுகல் கட்டுப்பாட்டுடன் அங்கீகரிக்கப்படாத ஆவணங்களின் பதில்களைத் தடுப்பதன் மூலம் பெருநிறுவன தனியுரிமையைப் பாதுகாக்கும் திறன்

ஒரு நிறுவனத்தின் நினைவகம் ஆயிரக்கணக்கான சிதறிய ஆவணங்களில் வாழ்கிறது: அறிக்கைகள், கையேடுகள், நிமிடங்கள், நடைமுறைகள், மின்னஞ்சல்கள். ஒரு எளிய கேள்விக்கு பதிலளிக்க ஒரு ஊழியர் மணிநேரம் ஆவணங்களைத் தேடலாம் ("இந்த நடைமுறை எவ்வாறு செயல்படுகிறது?"). அறிவு மேலாளரின் கனவு இந்த நினைவகம் கேள்விகளுக்கு நேரடியான ஆனால் ஆதார அடிப்படையிலான பதில்களை வழங்குவதாகும். இதைத்தான் RAG உறுதியளிக்கிறது. இந்த யூனிட்டில் நீங்கள் RAG என்றால் என்ன, நிறுவன தகவல் நிர்வாகத்தில் அதை எவ்வாறு பயன்படுத்துவது மற்றும் துல்லியம், ரகசியத்தன்மை மற்றும் நேரமின்மை ஆகியவற்றின் அடிப்படையில் அதை எவ்வாறு பாதுகாப்பது என்பதைக் கற்றுக்கொள்வீர்கள்.

கருத்தை வரையறுப்போம். RAG (Retrieval-Augmented Generation) என்பது ஒரு கேள்விக்கு AI பதிலளிக்கும் போது, ​​முதலில் நிறுவனத்தின் சொந்த ஆவணங்களில் இருந்து தொடர்புடைய பகுதிகளைக் கண்டுபிடித்து (மீட்டெடுத்து) பின்னர் அந்தத் துண்டுகளின் அடிப்படையில் மட்டுமே பதிலை உருவாக்குகிறது. நினைவகத்திலிருந்து ஒரு பதிலை உருவாக்கும் பொது AI இலிருந்து இது அடிப்படையில் வேறுபட்டது: RAG ஆனது உண்மையான, கண்டறியக்கூடிய ஆவணங்களுக்கான பதிலை இணைக்கிறது மற்றும் ஆதாரங்களை வழங்குகிறது. இவ்வாறு மாயத்தோற்றம் வெகுவாகக் குறைக்கப்படுகிறது, ஏனெனில் AI அதன் "தலைவரிடமிருந்து" அல்ல, நிறுவனத்தின் ஆவணத்தில் இருந்து பேசுகிறது.

படிப்படியாக: ஒரு நிறுவன RAG அமைப்பைப் புரிந்துகொள்வது

1. ஆவணத் தளத்தைத் தயாரிக்கவும். நிறுவனத்தின் நம்பகமான, புதுப்பித்த ஆவணங்கள் சேகரிக்கப்பட்டு, சுத்தம் செய்யப்பட்டு, துண்டுகளாகப் பிரிக்கப்படுகின்றன (ஆவணத்தின் அர்த்தமுள்ள சிறிய பிரிவுகள்). மோசமான, காலாவதியான அல்லது முரண்பட்ட ஆவணங்கள் கணினியில் நுழைந்தால், பதில்கள் மோசமாக இருக்கும்: "குப்பை உள்ளே, குப்பை வெளியே."

2. உட்பொதி மற்றும் குறியீட்டு. ஒவ்வொரு துண்டையும் அதன் பொருளைக் குறிக்கும் திசையனாக (உட்பொதித்தல்) மாற்றப்பட்டு, தேடக்கூடிய குறியீட்டில் வைக்கப்படுகிறது. ஒரு கேள்வி வரும்போது, ​​​​கணினி அர்த்தத்தில் நெருக்கமாக இருக்கும் பகுதிகளைக் கண்டுபிடிக்கும்.

3. தொடர்புடைய பகுதிகளைக் கொண்டு வாருங்கள். ஒரு கேள்வி கேட்கப்பட்டால், கணினி ஆவணத் தளத்திலிருந்து மிகவும் பொருத்தமான சில பகுதிகளை இழுக்கிறது. இந்த படி முக்கியமானது: தவறான துண்டு கொண்டு வரப்பட்டால், பதில் தவறாக இருக்கும்.

4. மூல அடிப்படையிலான பதிலை உருவாக்கவும். பெறப்பட்ட துண்டுகளின் அடிப்படையில் மட்டுமே AI ஒரு பதிலை உருவாக்குகிறது மற்றும் அது எந்த ஆவணத்திலிருந்து எடுக்கப்பட்டது என்பதைக் குறிக்கிறது. ஆதாரத்தை மேற்கோள் காட்டாத பதில் RAG இன் நோக்கத்திற்கு முரணானது.

5. சரிபார்த்து மீண்டும் புகாரளிக்கவும். பயனர் காட்டப்பட்ட மூலத்திற்குச் சென்று பதிலை உறுதிப்படுத்த முடியும். ஆவணத் தளத்தை மேம்படுத்த தவறான அல்லது முழுமையற்ற பதில்கள் பின்னூட்டமாக மாறும்.

உதவிக்குறிப்பு: RAG இன் தரம் பெரும்பாலும் ஆவணத் தளத்தின் தரத்தைப் பொறுத்தது. ஆவணங்களைப் புதுப்பிக்கவும், முரண்பட்ட/காலாவதியான பதிப்புகளைக் களையவும், மேலும் ஒவ்வொரு ஆவணத்தையும் கணினியில் வைப்பதற்கு முன் தேதி மற்றும் ஆதாரத் தகவலைச் சேர்க்கவும். 500 நன்கு ஒழுங்கமைக்கப்பட்ட ஆவணங்கள் 5,000 சிதறிய ஆவணங்களை விட சிறந்த பதில்களைத் தருகின்றன.

RAG இன் எல்லைகள் மற்றும் பாதுகாப்பு புள்ளிகள்

RAG மாயத்தோற்றத்தை குறைக்கிறது ஆனால் அதை மீட்டமைக்காது. கணினி தவறான பகுதியைத் திருப்பித் தந்தால், அந்தத் தவறான பகுதிக்கு "விசுவாசமாக" இருப்பதன் மூலம் AI இன்னும் தவறான பதிலைக் கொடுக்கலாம். கூடுதலாக, AI பெறப்பட்ட துண்டுகளை தவறாகப் புரிந்துகொள்ளலாம் அல்லது பல துண்டுகளை முரண்பாடான வழிகளில் இணைக்கலாம். எனவே, RAG வெளியீடு மூலத்திற்குச் சென்று சரிபார்க்கப்பட வேண்டும், குறிப்பாக முக்கியமான முடிவுகளுக்கு.

கார்ப்பரேட் RAG இல் தனியுரிமை ஒரு மையப் பிரச்சினையாகும். ஆவணத் தளத்தில் முக்கியமான தகவல்கள் (பணியாளர்கள், ஒப்பந்தங்கள், உத்தி) இருக்கலாம். பயனரால் அங்கீகரிக்கப்படாத ஆவணங்களிலிருந்து கணினி பதில்களை உருவாக்கக்கூடாது; அணுகல் கட்டுப்பாடு (எந்த ஆவணத்தைப் பார்க்க முடியும்) RAG க்கும் பயன்படுத்தப்பட வேண்டும். இல்லையெனில், ஒரு ஊழியர் தன்னால் பார்க்க முடியாத தகவலை RAG மூலம் அணுகலாம்.

கவனம்: ஒரு ஆவணத்தை மேற்கோள் காட்டும்போது கூட, அந்த ஆவணம் புதுப்பித்ததாகவும் துல்லியமாகவும் இருக்கும் என்று RAG உத்தரவாதம் அளிக்காது. மூன்று ஆண்டுகளுக்கு முந்தைய பழைய நடைமுறை ஆவணத்திலிருந்து கணினி பதிலளிக்கலாம். மூல ஆவணத்தின் தேதி மற்றும் செல்லுபடியாகும் தன்மையை சரிபார்ப்பது பயனர் மற்றும் தகவல் மேலாளரின் பொறுப்பாகும்.

மூன்று சிறிய வழக்குகள்

வழக்கு 1 - செயல்முறை கேள்விகள் துரிதப்படுத்தப்பட்டன. ஒரு நிறுவனம் அதன் 1,200 பக்க உள் நடைமுறை கையேடுகளுக்கு RAG அமைப்பை நிறுவியது. ஊழியர்களின் "இதை எப்படி செய்வது" என்ற கேள்விகள் மூலத்தைக் குறிக்கும் பதில்களுடன் சில நொடிகளில் தீர்க்கப்பட்டன; சராசரி அழைப்பு காலம் 25 நிமிடங்களிலிருந்து 2 நிமிடங்களாகக் குறைக்கப்பட்டது. ஒவ்வொரு மறுமொழியும் அதன் அடிப்படையிலான ஆவணப் பிரிவுடன் இணைக்கப்பட்டதால், பணியாளர்கள் அதைச் சரிபார்க்க முடிந்தது.

வழக்கு 2 - பழைய ஆவணம் கைப்பற்றப்பட்டது. RAG அமைப்பு 2021 தேதியிட்ட பழைய ஆவணத்திலிருந்து அனுமதி நடைமுறை கேள்விக்கு பதிலளித்தது; இருப்பினும், புதுப்பிக்கப்பட்ட பதிப்பு 2024 இல் வெளியிடப்பட்டது. மூல இணைப்பைத் திறந்த பணியாளர் தேதி காலாவதியானதைக் கண்டறிந்தார் மற்றும் புதுப்பிக்கப்பட்ட ஆவணத்தைக் கண்டறிந்தார். தகவல் மேலாளர் ஆவணத் தளத்திலிருந்து பழைய பதிப்பை அகற்றினார்.

வழக்கு 3 - அங்கீகரிக்கப்படாத அணுகல் தடுக்கப்பட்டது. ஆரம்ப அமைப்பில், RAG அனைத்து ஆவணங்களையும் பொதுவில் ஸ்கேன் செய்தது; ஒரு ஊழியர் அவர் பார்க்கக் கூடாத ஊதிய ஆவணத்திலிருந்து பதிலைப் பெற்றார். குழு RAG க்கு அணுகல் கட்டுப்பாட்டைச் சேர்த்தது: கணினி இப்போது பயனர் அங்கீகரிக்கப்பட்ட ஆவணங்களிலிருந்து பதில்களை மட்டுமே உருவாக்குகிறது.

மதிப்பீடு, கருத்து மற்றும் தொடர்ச்சியான முன்னேற்றம்

RAG சிஸ்டம் என்பது ஒருமுறை நிறுவப்பட்டு மறந்துவிடும் கருவி அல்ல; இதற்கு நிலையான மதிப்பீடு மற்றும் முன்னேற்றம் தேவை. இதற்கு அடிப்படையானது உண்மையான கேள்விகளுக்கான கணினியின் பதில்களை வழக்கமான அளவீடு ஆகும். இரண்டு கேள்விகள் முக்கியமானவை: கணினி சரியான ஆவணத் துண்டுகளை (அணுகல் தரம்) பெறுகிறதா மற்றும் பெறப்பட்ட துண்டுகளிலிருந்து (உற்பத்தித் தரம்) சரியான பதிலைத் தருகிறதா? இந்த இரண்டு அடுக்குகளையும் தனித்தனியாக மதிப்பிடுவது அவசியம்; ஏனெனில் சரியான ஆவணத்தைக் கொண்டு வருவதும், அதை தவறாகப் புரிந்துகொள்வதும், தவறான ஆவணத்தைக் கொண்டு வருவதும், அதை உண்மையாக மாற்றுவதும் வெவ்வேறு பிரச்சனைகள் மற்றும் வெவ்வேறு தீர்வுகள் தேவைப்படுகின்றன. அறியப்பட்ட சரியான பதில்களுடன் "சோதனை கேள்விகளின்" தொகுப்பை வைத்து ஒவ்வொரு புதுப்பித்தலிலும் இந்த தொகுப்பைக் கொண்டு கணினியை சோதிப்பது ஒரு நல்ல நடைமுறையாகும். கூடுதலாக, பயனர்களின் "இந்த பதில் உதவியாக இருந்ததா / ஆதாரம் துல்லியமாக இருந்தது" என்ற கருத்து ஆவணத் தளத்தில் உள்ள இடைவெளிகளையும் தவறாகப் பெறப்பட்ட பகுதிகளையும் வெளிப்படுத்துகிறது. AI ஆனது இந்தக் கருத்தைத் தொகுக்கவும், அடிக்கடி தோல்வியடையும் கேள்விகளின் வகைகளைச் சுருக்கவும் உதவும்; ஆனால் எந்த ஆவணத்தைச் சேர்ப்பது, புதுப்பிப்பது அல்லது அகற்றுவது என்பது பற்றிய முடிவு தகவல் மேலாளருடையது. அமைப்புக்கு ஒரு உயிரினத்தைப் போன்ற கவனிப்பு தேவை; காலப்போக்கில் வயதான ஆவணங்கள் காரணமாக புறக்கணிக்கப்பட்ட RAG பெருகிய முறையில் தவறாக வழிநடத்துகிறது.

உதவிக்குறிப்பு: நீங்கள் RAG அமைப்பை அமைத்தவுடன், 20-30 உண்மையான கேள்விகள் மற்றும் சரியான பதில்களைக் கொண்ட ஒரு சிறிய சோதனைத் தொகுப்பைத் தயாரிக்கவும். ஒவ்வொரு ஆவணப் புதுப்பித்தலுடனும் இந்தத் தொகுப்பை இயக்குவது, ஒரு மாற்றம் கணினியை மேம்படுத்துகிறதா அல்லது உடைக்கிறதா என்பதை உடனடியாகக் காட்டுகிறது.

நகலெடுக்கக்கூடிய நான்கு வார்ப்புருக்கள்

1) மூல அடிப்படையிலான பதில் ப்ராம்ட்:

உங்கள் பங்கு: கார்ப்பரேட் தகவல் உதவியாளர். கேள்வி தொடர்பான ஆவணங்கள் கீழே கொடுக்கப்பட்டுள்ளன. இந்தத் துண்டுகளின் அடிப்படையில் மட்டும் பதிலைக் கொடுத்து, ஒவ்வொரு தகவலுக்கும் எந்த ஆவணம்/துண்டு என்று குறிப்பிடவும். பாகங்களில் பதில் இல்லை என்றால், "இந்த தகவல் வழங்கப்பட்ட ஆவணங்களில் சேர்க்கப்படவில்லை" என்று சொல்லுங்கள், யூகிக்க வேண்டாம். கேள்வி: [இங்கே] / பாகங்கள்: [இங்கே]

2) முரண்பாடு மற்றும் நாணயக் கட்டுப்பாடு:

பின்வரும் துண்டுகளுக்கு இடையில் ஏதேனும் முரண்பாடுகள் அல்லது வெவ்வேறு தேதியிட்ட பதிப்புகள் உள்ளதா? அப்படியானால், அதைக் குறியிட்டு, எது மிகவும் புதுப்பித்துள்ளது என்பதைக் குறிப்பிடவும். பாகங்கள் (தேதிகளுடன்): [இங்கே]

3) ஆவண அடிப்படை சுத்தம் தணிக்கை:

கீழே உள்ள ஆவணப் பட்டியலில், RAG அமைப்பில் சேர்ப்பதற்கு முன் ஏதேனும் காலாவதியான, முரண்பட்ட அல்லது நிச்சயமற்ற தோற்றம் கொண்ட ஆவணங்கள் உள்ளனவா? ஏன் என்று டிக் செய்து எழுதுங்கள். பட்டியல் (தேதி/மூலத்துடன்): [இங்கே]

4) தனியுரிமை மற்றும் அணுகல் முன் கட்டுப்பாடு:

பின்வரும் ஆவணத் துண்டுகளில் முக்கியமான தகவல்கள் (தனிப்பட்ட தரவு, ரகசிய ஒப்பந்தம், உத்தி) உள்ளதா? ஒவ்வொன்றையும் "பொது/கட்டுப்படுத்தப்பட்ட அணுகல்" என வகைப்படுத்தி நியாயப்படுத்தவும். தடங்கள்: [இங்கே]

பலவீனமான வரியில் / வலுவான வரியில்

பலவீனமான உடனடி:

எங்கள் நிறுவனத்தின் அனுமதி நடைமுறையை விளக்குங்கள்.

ஆவணங்கள் எதுவும் வழங்கப்படவில்லை எனில், AI ஆனது அதன் பொது நினைவகத்திலிருந்து அல்லது பிற நிறுவனங்களைச் செயல்படுத்துவதில் இருந்து தயாரிக்கப்பட்ட செயல்முறையை உருவாக்குகிறது; இது நிறுவனத்தின் உண்மையான விதிக்கு பொருத்தமற்றதாக இருக்கலாம்.

சக்திவாய்ந்த தூண்டுதல்:

உங்கள் பங்கு: கார்ப்பரேட் தகவல் உதவியாளர். நிறுவனத்தின் அனுமதி நடைமுறை தொடர்பான ஆவணங்களின் துண்டுகள் (அவற்றின் தேதிகளுடன்) கீழே உள்ளன. ஒவ்வொரு அடியிலும் மூல ஆவணம் மற்றும் தேதியை மேற்கோள் காட்டி, இந்த பகுதிகளின் அடிப்படையில் மட்டுமே கேள்விக்கு பதிலளிக்கவும். பாகங்கள் முரண்பட்டால், மிகவும் தற்போதைய ஒன்றைப் பயன்படுத்தவும். ஆவணத்தில் இல்லை என்றால், "தகவல் இல்லை" என்று சொல்லுங்கள். கேள்வி: [இங்கே] / பாகங்கள்: [இங்கே]

சக்திவாய்ந்த உடனடி; உண்மையான நிறுவன ஆவணங்களுடன் பதிலை இணைக்கிறது, ஆதாரங்கள் மற்றும் தேதிகளைக் கேட்கிறது, மேலும் முரண்பாடு மற்றும் இடைவெளியை நேர்மையாக நிவர்த்தி செய்கிறது.

RAG கூறு மற்றும் ஆபத்து அட்டவணை

கூறு

செயல்பாடு

முக்கிய ஆபத்து

உறுதி

ஆவண அடிப்படை

பதிலின் ஆதாரம்

காலாவதியான/முரண்பட்ட ஆவணம்

தூய்மை, வரலாறு, தோற்றம்

மீட்டெடுப்பு

தொடர்புடைய பகுதியைக் கண்டறியவும்

தவறான துண்டு

தர சோதனை, கருத்து

உற்பத்தி

பதில்

தவறான கருத்து

ஆதாரம், சரிபார்ப்பு

அணுகல் கட்டுப்பாடு

அதிகார சோதனை

அங்கீகரிக்கப்படாத வெளிப்படுத்தல்

பயனர் அடிப்படையிலான கட்டுப்பாடு

பொதுவான தவறுகள்

• ஒரு அழுக்கு ஆவண தளத்தை நிறுவுதல். காலாவதியான/முரண்பட்ட ஆவணம் மோசமான பதிலை உருவாக்குகிறது.
• ஆதாரத்தைக் குறிப்பிடாமல் பதிலை ஏற்றுக்கொள்வது. RAG இன் நோக்கம் கண்டுபிடிக்கக்கூடியது.
• ஆவணத்தின் தேதியைச் சரிபார்க்கவில்லை. புதுப்பிக்கப்பட்டதாகக் கருதப்படும் பதில் பழைய பதிப்பிலிருந்து வருகிறது.
• அணுகல் கட்டுப்பாட்டை மீறுதல். அங்கீகரிக்கப்படாத நபர் முக்கியமான தகவல்களை அணுகுகிறார்.
• RAG மாயத்தோற்றத்திலிருந்து முற்றிலும் நோய் எதிர்ப்பு சக்தி உடையது என்று நினைத்துக்கொள்கிறேன். தவறான பகுதி இன்னும் தவறான பதிலை உருவாக்குகிறது.

சுருக்கமாக

நிறுவன நினைவகத்தை வள அடிப்படையிலான பதிலளிக்கக்கூடிய அமைப்பாக மாற்றுவதன் மூலம் அறிவு நிர்வாகத்தில் RAG பெரும் மதிப்பை உருவாக்குகிறது; பொது AI போலல்லாமல், இது நிறுவனத்தின் உண்மையான ஆவணங்களுக்கான பதிலை இணைக்கிறது மற்றும் ஆதாரங்களை வழங்குகிறது, இதனால் மாயத்தோற்றத்தை கணிசமாக குறைக்கிறது. ஆனால் வெற்றியானது சுத்தமான மற்றும் புதுப்பித்த ஆவணத் தளம், துல்லியமான ட்ராக் அணுகல், மூல பண்புக்கூறு, தேதி/நடப்புச் சரிபார்ப்பு மற்றும் அணுகல் கட்டுப்பாடு ஆகியவற்றைப் பொறுத்தது. RAG மாயத்தோற்றத்தை மீட்டமைக்காது; முக்கியமான பதில்கள் மூலத்திற்குச் சென்று சரிபார்க்கப்படுகின்றன மற்றும் இரகசியத்தன்மை ஆரம்பத்திலிருந்தே மதிக்கப்படுகிறது.

விண்ணப்ப பணி

ஆவணங்களின் சிறிய தொகுப்பைத் தயாரிக்கவும் (5-8 உண்மையான அல்லது மாதிரி ஏஜென்சி ஆவணங்கள், தேதிகளுடன்); ஒரு பழைய மற்றும் தற்போதைய முரண்பாடான பதிப்பில் உள்ளுணர்வுடன் வைக்கவும். “ஆதார அடிப்படையிலான பதில் ப்ராம்ட்” டெம்ப்ளேட்டைக் கொண்டு கேள்வியைக் கேட்டு, AI ஆதாரத்தை மேற்கோள் காட்டுகிறதா எனச் சரிபார்க்கவும். "மோதல் மற்றும் தற்போதைய பதிப்பு சரிபார்ப்பு" டெம்ப்ளேட்டைக் கொண்டு AI மோதலையும் தற்போதைய பதிப்பையும் சரியாகக் கண்டறிந்ததா என்பதை மதிப்பீடு செய்யவும்.

சரிபார்ப்பு பட்டியல்

• [ ] நான் ஆவணத் தளத்தைப் புதுப்பித்தேன், பழைய/முரண்பட்ட ஆவணங்களை நீக்கிவிட்டேன்.
• [ ] ஒவ்வொரு பதிலும் மூல ஆவணத்தை சுட்டிக்காட்டுவதை உறுதி செய்தேன்.
• [ ] நான் ஆதார ஆவணங்களின் தேதி மற்றும் செல்லுபடியை சரிபார்த்தேன்.
• [ ] அணுகல் கட்டுப்பாட்டுடன் அங்கீகரிக்கப்படாத ஆவணங்களிலிருந்து பதில்களை உருவாக்குவதைத் தடுத்தேன்.
• [ ] அசல் ஆவணத்திற்குச் சென்று முக்கியமான பதில்களைச் சரிபார்த்தேன்.