அறிவுத் தளம் மற்றும் RAG: பாட் மற்றும் ஏஜென்ட் எப்படி சரியான பதிலைக் கண்டுபிடிப்பார்கள்

ஆதாயங்கள்:

• RAG (துண்டாக்குதல், அணுகல், வளம் சார்ந்த தலைமுறை) எவ்வாறு செயல்படுகிறது மற்றும் அது மாயத்தோற்றத்தை எவ்வாறு குறைக்கிறது என்பதைப் புரிந்து கொள்ளுங்கள்
• தற்போதைய, தெளிவான, முரண்பாடற்ற மற்றும் ஒரு சரியான ஆதாரத்தைக் கொண்ட அறிவுத் தளத்தை நிறுவுவதன் மூலம் பதில்களின் தரத்தை அதிகரிக்கும் திறன்.
• 'மூலத்தில் இல்லை என்றால், உங்களுக்குத் தெரியாது என்று சொல்லுங்கள்' மாதிரியை அறிவுறுத்தும் திறன் மற்றும் அது பதிலளிக்க முடியாத கேள்விகளை அறிவு அடிப்படை மேம்பாட்டிற்கு மாற்றும் திறன்

ஒரு போட் அல்லது ஏஜென்ட் அசிஸ்டெண்ட் கொடுக்கும் பதில், அது சார்ந்த தகவலைப் போலவே சிறப்பாக இருக்கும். "பிரசாரம் தொடர்கிறதா?" என்று வாடிக்கையாளர் கேட்டால், சரியான பதில் மாதிரியின் நினைவகத்தில் இல்லை, ஆனால் நிறுவனத்தின் தற்போதைய அறிவுத் தளத்தில் உள்ளது. அதனால்தான் கால் சென்டர் செயற்கை நுண்ணறிவின் இதயம் அறிவுத் தளம் (KB): தயாரிப்புகள், கொள்கைகள், அடிக்கடி கேட்கப்படும் கேள்விகள், நடைமுறைகள் மற்றும் விதிகள் எழுத்துப்பூர்வமாக வைக்கப்படும் புதுப்பித்த ஆதாரம். செயற்கை நுண்ணறிவுடன் இந்த அறிவுத் தளத்தை பாதுகாப்பாக இணைக்கும் முறை RAG: Retrieval-Augmented Generation என அழைக்கப்படுகிறது - அதன் சொந்த நினைவகத்தில் இருந்து பதிலை உருவாக்குவதற்குப் பதிலாக, மாதிரியானது முதலில் ஆதாரத்திலிருந்து தொடர்புடைய தகவல்களை மீட்டெடுக்கிறது (மீட்டெடுப்பது) பின்னர் அந்த துண்டுகளின் அடிப்படையில் மட்டுமே (தலைமுறை) பதிலை உருவாக்குகிறது.

RAG என்பது மாயத்தோற்றத்தைத் தடுப்பதற்கான மிகவும் சக்திவாய்ந்த முறையாகும். "கடன் வட்டி விகிதம் என்ன?" என்ற கேள்விக்கு மாதிரி அதன் தலையில் ஒரு எண்ணை உருவாக்கவில்லை. இது அறிவுத் தளத்திலிருந்து தற்போதைய ஆர்வ உரையை மீட்டெடுக்கிறது மற்றும் அதன் அடிப்படையில் பதிலளிக்கிறது. அறிவுத் தளத்தை எவ்வாறு அமைப்பது, RAG எவ்வாறு செயல்படுகிறது மற்றும் ஒரு நல்ல அறிவுத் தளம் பதில்களின் தரத்தை எவ்வாறு தீர்மானிக்கிறது என்பதை இந்த அலகில் பார்ப்போம்.

RAG எவ்வாறு செயல்படுகிறது: நான்கு படிகள்

RAG ஐ ஒரு நூலகர் போல நினைத்துப் பாருங்கள். வாடிக்கையாளர் கேள்விகளைக் கேட்கிறார்; கணினி முதலில் நூலகத்தின் வலது அலமாரியில் இருந்து தொடர்புடைய பக்கங்களைக் கண்டறிந்து, அந்தப் பக்கங்களைப் படித்துப் பதில் எழுதும். தொழில்நுட்ப படிகள் பின்வருமாறு:

1. துண்டித்தல்: அறிவுத் தளத்தில் உள்ள நீண்ட ஆவணங்கள் சிறிய, அர்த்தமுள்ள துண்டுகளாக உடைக்கப்படுகின்றன (எ.கா., ஒவ்வொரு கேள்வியும் ஒரு துண்டாகும்). ஏனெனில் மாதிரியானது ஒரு கேள்விக்கு தொடர்புடைய சிறிய பகுதிகளுடன் மிகவும் துல்லியமாக பதிலளிக்கிறது.
2. உட்பொதித்தல் மற்றும் அட்டவணைப்படுத்துதல்: ஒவ்வொரு பகுதியும் அதன் பொருளைக் குறிக்கும் எண் வடிவத்தில் மொழிபெயர்க்கப்பட்டு (உட்பொதித்தல்-உரையின் பொருளைக் குறிக்கும் எண்களின் வரிசை) மற்றும் தேடக்கூடிய தரவுத்தளத்தில் வைக்கப்படுகிறது. எனவே, இது "சொல் பொருத்தம்" அல்ல, மாறாக "பொருள் பொருத்தம்"; "எனது பணம் எப்போது டெபாசிட் செய்யப்படும்?" என்று வாடிக்கையாளர் கேட்டாலும், "ரீஃபண்ட் காலம்" பகுதி கண்டுபிடிக்கப்படலாம்.
3. மீட்டெடுப்பு: வாடிக்கையாளரின் கேள்விக்கு மிக நெருக்கமான பகுதிகள் மீட்டெடுக்கப்படுகின்றன (எ.கா. மிக நெருக்கமான 3-5 பாகங்கள்).
4. உருவாக்கம்: மாதிரியானது வரையப்பட்ட பகுதிகளை மட்டுமே அடிப்படையாகக் கொண்டு பதிலை எழுதுகிறது மற்றும் முடிந்தால் மூலத்தைக் குறிக்கிறது.

முக்கியமான புள்ளி படி 4 இல் உள்ளது: மாதிரியானது "கொடுக்கப்பட்ட துண்டுகளை நம்புங்கள் அல்லது உங்களுக்குத் தெரியாது என்று சொல்லுங்கள்" என்று அறிவுறுத்தப்படுகிறது. இந்த அறிவுறுத்தல் இல்லாமல், RAG ஆனது மாதிரியை பொருத்துவதைத் தடுக்காது.

குறிப்பு: RAG இன் தங்க விதி: "இது மூலத்தில் இல்லை என்றால், பதில் இல்லை." ஒரு நல்ல RAG அமைப்பு அறிவுத் தளத்தில் இல்லாத கேள்விக்கு "எனக்கு இதைப் பற்றி நிச்சயமாகத் தெரியாது" என்று சொல்லும்; ஒருபோதும் ஊகங்களால் இடைவெளியை நிரப்புவதில்லை. "எனக்குத் தெரியாது" என்று சொல்லும் போட்டின் திறன் பாதுகாப்பு அம்சம், பலவீனம் அல்ல.

ஒரு நல்ல அறிவுத் தளம்: பதில் தரத்தின் உண்மையான ஆதாரம்

RAG எவ்வளவு நல்லதாக இருந்தாலும், அறிவுத் தளம் மோசமாக இருந்தால், பதில் மோசமாக இருக்கும். அறிவு அடிப்படை தரம் அளவிடப்படுகிறது:

அம்சம்

மோசமான அறிவு அடிப்படை

நல்ல அறிவுத் தளம்

தற்போதைய தன்மை

பல மாதங்களாக புதுப்பிக்கப்படவில்லை

மாற்றப்பட்டதும் உடனடியாக புதுப்பிக்கப்பட்டது

தெளிவு

நீண்ட, சுருண்ட உரை

குறுகிய, ஒற்றை தலைப்பு கட்டுரைகள்

கட்டமைப்பு

குழப்பமான PDF பைல்

சிதைக்கக்கூடிய பொருட்கள் என்று பெயரிடப்பட்டது

நிலைத்தன்மை

இரண்டு முரண்பட்ட பதில்கள்

உண்மையின் ஒரே ஆதாரம்

நோக்கம்

பல இடைவெளிகள் உள்ளன

அடிக்கடி கேட்கப்படும் கேள்விகளை உள்ளடக்கியது

உரிமை

யாரும் பொறுப்பல்ல

ஒவ்வொரு தலைப்புக்கும் ஒரு உரிமையாளர் இருக்கிறார்

கால் சென்டர் சூழலில் மிகவும் ஆபத்தான பிரச்சனை முரண்பாடாகும்: அறிவுத் தளத்தில் இரண்டு வெவ்வேறு ரிட்டர்ன் காலங்கள் எழுதப்பட்டால், RAG எதை எடுத்தாலும் அதைச் சொல்லும் மற்றும் ஒரு சீரற்ற பதில் வாடிக்கையாளருக்கு அனுப்பப்படும். அதனால்தான் "உண்மையின் ஒற்றை ஆதாரம்" கொள்கை முக்கியமானது: தகவல் ஒரே இடத்தில் புதுப்பித்த நிலையில் வைக்கப்படுகிறது; அந்த மூலத்தைப் பற்றிய குறிப்புகள் பயன்படுத்தப்படுகின்றன, பிரதிகள் அல்ல.

படிப்படியாக: RAG-ஆதரவு மறுமொழி அமைப்பை உருவாக்குதல்

1. அறிவுத் தளத்தை சுத்தம் செய்யுங்கள்: காலாவதியான, முரண்பட்ட, நகல் கட்டுரைகளை அகற்றவும். ஒவ்வொரு கட்டுரையையும் சுருக்கமாகவும் ஒற்றைத் தலைப்பாகவும் ஆக்குங்கள்.
2. அதை உடைத்து அதைக் குறியிடவும்: ஒவ்வொரு கட்டுரைக்கும் ஒரு தலைப்பு குறிச்சொல்லையும் கடைசியாக புதுப்பிக்கப்பட்ட தேதியையும் சேர்க்கவும்.
3. அணுகலை நிறுவுதல்: கேட்கும் போது தொடர்புடைய பகுதிகளை இழுக்கும் பொறிமுறையை இணைக்கவும் (நிறுவன RAG கருவிகள் இதை வழங்குகின்றன).
4. கடுமையான கட்டளையை எழுதவும்: "வழங்கப்பட்ட பகுதிகளை மட்டும் நம்புங்கள், மூலத்தை மேற்கோள் காட்டுங்கள் அல்லது உங்களுக்குத் தெரியாது என்று சொல்லுங்கள்" என்று மாதிரியைக் கூறுங்கள்.
5. ஆதாரத்தை மேற்கோள் காட்டவும்: பதில் அடிப்படையாக கொண்ட கட்டுரையைக் காட்டு; இது நம்பிக்கையை அளிக்கிறது மற்றும் சரிபார்ப்பை எளிதாக்குகிறது.
6. இடைவெளிகளைக் கவனியுங்கள்: "எனக்குத் தெரியாது" என்று போட் கூறும் கேள்விகளைச் சேகரிக்கவும்; இவை அறிவுத் தளத்தில் உள்ள குறைபாடுகளைக் காட்டுகின்றன, அங்கிருந்து ஊட்டுகின்றன.

நகலெடுக்கக்கூடிய நான்கு வார்ப்புருக்கள்

1) கடுமையான RAG பதில் ப்ராம்ட்:

பின்வரும் [SOURCE] பகுதிகளின் அடிப்படையில் பதிலளிக்கவும். விதிகள்: (1) மூலத்தில் உள்ள தகவலை மட்டும் பயன்படுத்தவும், (2) அது ஆதாரத்தில் இல்லை என்றால், "என்னிடம் இதைப் பற்றி திட்டவட்டமான தகவல் இல்லை, உங்களை பிரதிநிதியுடன் இணைக்கிறேன்" என்று கூறவும், (3) இது எந்த கட்டுரையை அடிப்படையாகக் கொண்டது என்பதைக் குறிப்பிடவும் [ஆதாரம்: உருப்படி-இல்லை], (4) மூலத்திலிருந்து சரியாகத் தொகை/காலம்/நிலையை மேற்கோள் காட்டவும், சுற்றி/மேக் செய்ய வேண்டாம். [ஆதாரம்]: << இழுக்கப்பட்ட பாகங்கள்>>கேள்வி: "<<வாடிக்கையாளர் கேள்வி>>"

2) அறிவு அடிப்படையிலான கட்டுரை எழுதுதல்:

பின்வரும் சிதறிய கொள்கை உரையை RAG க்கு ஏற்ற FAQ கட்டுரையாக மாற்றவும். வடிவம்: கேள்வி (வாடிக்கையாளரின் மொழியில்) / குறுகிய பதில் (2-3 வாக்கியங்கள்) / நிபந்தனைகள் (பிரிவு) / கடைசியாக புதுப்பிக்கப்பட்ட தேதி / தலைப்பு குறிச்சொல். தெளிவற்ற புள்ளிகளை "தெளிவுபடுத்த வேண்டும்" எனக் குறிக்கவும். மூல உரை: <<text>>

3) முரண்பாடுகள் மற்றும் இடைவெளிகளை ஸ்கேன் செய்தல்:

பின்வரும் அறிவு சார்ந்த கட்டுரைகளை ஆராயவும். (1) ஒன்றுக்கொன்று முரண்படும் கட்டுரைகளின் ஜோடிகளைக் குறிக்கவும் (எ.கா. வெவ்வேறு திரும்பும் காலம்). (2) அடிக்கடி கேட்கப்படும் ஆனால் பதில்கள் இல்லாத தலைப்புகளை யூகிக்கவும். கொடுக்கப்பட்ட கட்டுரைகளை மட்டும் பாருங்கள்; புதிய கொள்கையை உருவாக்குகிறது. கட்டுரைகள்: <<list>>

4) "எனக்குத் தெரியாது" பதிவிலிருந்து முன்னேற்றம்:

கீழே போட்டால் பதிலளிக்க முடியாத கேள்விகள் உள்ளன (ஆதாரத்தைக் கண்டுபிடிக்க முடியவில்லை). அவற்றைத் தலைப்புகளாகத் தொகுத்து, ஒவ்வொரு குழுவிற்கும் அறிவுத் தளத்தில் சேர்க்க வேண்டிய கட்டுரையின் தலைப்பைப் பரிந்துரைக்கவும். பதில் உள்ளடக்கத்தை உருவாக்க வேண்டாம், எந்த உருப்படி விடுபட்டுள்ளது என்று சொல்லுங்கள். கேள்விகள்: <<list>>

பலவீனமான வரியில் / வலுவான வரியில்

பலவீனமான உடனடி:

வாடிக்கையாளர் திரும்பும் கேள்விக்கு பதிலளிக்கவும்.

ஆதாரம் இல்லை; மாதிரி நினைவகத்திலிருந்து பொருந்தலாம், அளவு/காலம் தவறாக இருக்கலாம், சரிபார்க்க முடியாது.

சக்திவாய்ந்த தூண்டுதல்:

கீழே உள்ள ரிட்டர்ன் பாலிசி ஷரத்தின் அடிப்படையில் மட்டுமே பதிலளிக்கவும். ஆதாரத்தில் கிடைக்கவில்லை என்றால், "எனக்கு நிச்சயமாகத் தெரியாது" என்று சொல்லுங்கள். காலம் மற்றும் நிபந்தனையை வார்த்தைகளில் மேற்கோள் காட்டவும், [ஆதாரம்: RETURN-03] என்ற வடிவத்தில் குறிப்பை வழங்கவும். கேள்வி: "20 நாட்களுக்கு முன்பு நான் வாங்கிய தனிப்பயனாக்கப்பட்ட தயாரிப்பைத் திருப்பித் தர முடியுமா?"

வேறுபாடு: ஆதாரம் சார்ந்தது, குறிப்பு கட்டாயம், கட்டுக்கதை தடை தெளிவானது; மாதிரியானது மூலத்திலிருந்து சரியான பதிலை ("14 நாட்கள் கடந்த மற்றும் தனிப்பயனாக்கப்பட்டது, திரும்பப்பெற முடியாதது") உருவாக்குகிறது.

மூன்று சிறிய வழக்குகள்

வழக்கு 1 - மாயத்தோற்றம் முடிவுக்கு வந்தது. RAG இல்லாத அமைப்பில், பிரச்சாரக் கேள்விகளுக்கான டெலிகாம் போட்டின் பதில் துல்லியம் 71% ஆகும்; மாதிரி சில நேரங்களில் பழைய பிரச்சாரங்களை உருவாக்கியது. தற்போதைய பிரச்சாரப் பக்கங்கள் RAG உடன் இணைக்கப்பட்டு, "மூலத்தில் இல்லை என்றால் அதைச் சொல்லாதே" விதி சேர்க்கப்பட்டதும், துல்லியம் 96% ஆக அதிகரித்தது மற்றும் "தவறான பிரச்சார வார்த்தைகள்" பற்றிய புகார்கள் கிட்டத்தட்ட முடிவுக்கு வந்தன.

வழக்கு 2 - முரண்பாட்டின் விலை. ஒரு ஈ-காமர்ஸ் நிறுவனத்தின் அறிவுத் தளத்தில், இரண்டு வெவ்வேறு கப்பல் செலவுகள் இரண்டு பக்கங்களில் எழுதப்பட்டன (ஒரு தற்போதைய, ஒரு பழைய மறக்கப்பட்ட பக்கம்). போட் தோராயமாக ஒருவரை இழுத்து, சில வாடிக்கையாளர்களிடம் தவறான விலையைச் சொல்லிக்கொண்டிருந்தது. ஒரே சரியான ஆதாரம் என்ற கொள்கையுடன் பழைய பக்கத்தை காப்பகப்படுத்தியபோது, ​​முரண்பாடு மறைந்தது. பாடம்: RAG முரண்பாட்டைத் தீர்க்காது, அது முரண்பாட்டை அப்படியே பரப்புகிறது.

வழக்கு 3 — “எனக்குத் தெரியாது” பதிவின் மதிப்பு. ஒரு வங்கியில், போட் ஒரு மாதத்திற்கு ~4,000 கேள்விகளுக்கு "எனக்கு நிச்சயமாகத் தெரியாது" என்று கூறிக்கொண்டிருந்தது. இந்தக் கேள்விகள் தொகுக்கப்பட்டபோது, ​​40% "சர்வதேச அட்டைப் பயன்பாடு" பற்றியதாகக் காணப்பட்டது; அதைப் பற்றி எந்தக் கட்டுரையும் இல்லை. தொடர்புடைய பொருட்களைச் சேர்த்தபோது, ​​இந்தக் கேள்விகள் தீர்க்கப்பட்டு, அந்தப் பாடத்தில் மக்களுக்கான வருவாய் 55% குறைந்துள்ளது. போட் தனக்குத் தெரியாது என்று சொன்னது முன்னேற்றத்திற்கான வரைபடமாக மாறியது.

பொதுவான தவறுகள்

• ஆதாரத்துடன் இணைக்காமல் பதில். RAG இல்லாமல், மாதிரி உறுதியான தகவலுடன் பொருந்துகிறது; எந்தவொரு உறுதியான பதிலும் மூலத்தைப் பொறுத்தது.
• "எனக்குத் தெரியாது" விருப்பத்தை முடக்குகிறது. ஒவ்வொரு கேள்விக்கும் பதிலளிக்க மாதிரியை கட்டாயப்படுத்துவது பொருத்தத்தை உறுதி செய்கிறது.
• முரண்பட்ட/பழைய தகவல்களை அழிக்கவில்லை. RAG முரண்பாட்டை பரப்புகிறது; ஒரு சரியான ஆதாரம் அவசியம்.
• துண்டாடுவதை புறக்கணித்தல். பெரிய PDFகளை ஏற்றுமதி செய்வது துல்லியமான அணுகலை சீர்குலைக்கிறது; குறுகிய, ஒற்றை தலைப்பு கட்டுரைகளைப் பயன்படுத்தவும்.
• மூலத்தை மறைக்கிறது. என்ன பதில் அடிப்படையிலானது என்பதைக் குறிப்பிடாமல் இருப்பது சரிபார்ப்பையும் நம்பிக்கையையும் பலவீனப்படுத்துகிறது.

எச்சரிக்கை: RAG துல்லியத்தை மேம்படுத்துகிறது ஆனால் 100% உத்தரவாதத்தை வழங்காது. மாதிரி சில நேரங்களில் கைப்பற்றப்பட்ட பகுதியை தவறாகப் புரிந்துகொள்ளலாம். எனவே, மூலத்தை மேற்கோள் காட்டினாலும், நிதி, சட்ட மற்றும் பாதுகாப்பு சிக்கல்களுக்கு மனித ஒப்புதல் தேவை; RAG மாயத்தோற்றத்தை குறைக்கிறது ஆனால் பொறுப்பை அகற்றாது.

சுருக்கமாக

அறிவுத் தளம் மற்றும் RAG ஆகியவை கால் சென்டர் AI இன் துல்லியத்தின் அடித்தளமாகும். RAG ஆனது மாடலை நினைவகத்திலிருந்து பதிலைப் பொருத்துவதிலிருந்து தடுக்கிறது மற்றும் தற்போதைய மூலத்தை மட்டுமே நம்பி மாயத்தோற்றத்தைத் தடுக்கிறது. ஆனால் RAG அதன் அறிவுத் தளத்தைப் போலவே சிறந்தது: புதுப்பித்த, தெளிவான, கட்டமைக்கப்பட்ட, முரண்பாடற்ற மற்றும் உண்மையின் ஒற்றை ஆதாரத்தைக் கொண்ட அறிவுத் தளம் அவசியம். "மூலத்தில் இல்லை என்றால், உங்களுக்குத் தெரியாது என்று சொல்லுங்கள்" என்று மாடலைச் சொல்லவும், மூலத்தைச் சுட்டிக்காட்டவும், மேலும் அதன் அறிவுத் தளத்தை மேம்படுத்த, போட் பதிலளிக்க முடியாத கேள்விகளைப் பயன்படுத்தவும். அதிக முக்கியத்துவம் வாய்ந்த விஷயங்களில் ஆதாரமாக இருந்தாலும் மனித சம்மதத்தைப் பேணுங்கள்.

விண்ணப்ப பணி

உங்கள் தொழில்துறையிலிருந்து 8 உண்மையான/யதார்த்தமான வாடிக்கையாளர் கேள்விகள் மற்றும் தொடர்புடைய 8 குறுகிய அறிவு அடிப்படை கட்டுரைகள் (ஒவ்வொரு கட்டுரை: கேள்வி, குறுகிய பதில், நிபந்தனைகள், தேதி, குறிச்சொல்) எழுதவும். "1) Tight RAG பதில் ப்ராம்ட்" மாதிரியைப் பயன்படுத்தி "எனக்குத் தெரியாது" என்று சொல்ல முடியுமா என்று சோதிக்கவும், மேலும் கேள்வியைக் கேட்கவும், அதில் ஒன்று அறிவுத் தளத்தில் இல்லை. இறுதியாக, உங்கள் கட்டுரைகளை "3) முரண்பாடு மற்றும் இடைவெளி ஸ்கேனிங்" மூலம் சரிபார்க்கவும்.

சரிபார்ப்பு பட்டியல்

• [ ] போட்/உதவியாளர் வழங்கும் ஒவ்வொரு உறுதியான பதிலும் தற்போதைய அறிவுத் தளத்தை (RAG வழியாக) சார்ந்துள்ளது.
• [ ] நான் அந்த மாதிரியை "மூலத்தில் இல்லை என்றால், உங்களுக்குத் தெரியாது என்று சொல்லுங்கள்" என்று அறிவுறுத்தி அதைச் சோதித்தேன்.
• [ ] எனது அறிவுத் தளத்தில் புதுப்பித்த, தெளிவான, ஒற்றைத் தலைப்புக் கட்டுரைகள் உள்ளன.
• [ ] முரண்பட்ட மற்றும் பழைய கட்டுரைகளை நீக்கிவிட்டேன்; அனைத்து தகவல்களுக்கும் ஒரே ஒரு சரியான ஆதாரம் மட்டுமே உள்ளது.
• [ ] எந்தக் கட்டுரையை (மூல) அடிப்படையாகக் கொண்டது என்பதை பதில்கள் காட்டுகின்றன.
• [ ] நான் "எனக்குத் தெரியாது" கேள்விகளைச் சேகரித்து அறிவுத் தளத்தை ஊட்டுகிறேன்.