નોલેજ બેઝ અને આરએજી: બોટ અને એજન્ટ સાચો જવાબ કેવી રીતે શોધે છે

નફો:

• સમજો કે કેવી રીતે RAG (ફ્રેગમેન્ટેશન, એક્સેસ, રિસોર્સ-ડિપેન્ડન્ટ જનરેશન) કામ કરે છે અને તે કેવી રીતે આભાસ ઘટાડે છે
• વર્તમાન, સ્પષ્ટ, સંઘર્ષ-મુક્ત અને એક જ સાચો સ્ત્રોત ધરાવતો જ્ઞાન આધાર સ્થાપિત કરીને જવાબોની ગુણવત્તા વધારવાની ક્ષમતા.
• મોડેલને સૂચના આપવાની ક્ષમતા 'જો તે સ્ત્રોતમાં ન હોય, તો મને કહો કે તમે જાણતા નથી' અને જે પ્રશ્નોના જવાબો આપી શકતા નથી તેને જ્ઞાન આધાર સુધારણામાં ફેરવો

બોટ અથવા એજન્ટ સહાયક જે જવાબ આપે છે તેટલો જ સારો છે જે માહિતી પર આધારિત છે. જ્યારે ગ્રાહક પૂછે છે કે "શું ઝુંબેશ ચાલુ છે?", સાચો જવાબ મોડેલની મેમરીમાં નથી, પરંતુ સંસ્થાના વર્તમાન જ્ઞાન આધારમાં છે. એટલા માટે કોલ સેન્ટર આર્ટિફિશિયલ ઇન્ટેલિજન્સનું કેન્દ્ર જ્ઞાન આધાર (KB) છે: એક અદ્યતન સંસાધન જ્યાં ઉત્પાદનો, નીતિઓ, FAQs, પ્રક્રિયાઓ અને નિયમો લેખિતમાં રાખવામાં આવે છે. અને પદ્ધતિ કે જે આ જ્ઞાન આધારને કૃત્રિમ બુદ્ધિમત્તા સાથે સુરક્ષિત રીતે જોડે છે તેને RAG કહેવાય છે: પુનઃપ્રાપ્તિ-સંવર્ધિત જનરેશન — તેની પોતાની સ્મૃતિમાંથી જવાબ બનાવવાને બદલે, મોડેલ પ્રથમ સ્રોત (પુનઃપ્રાપ્તિ) માંથી માહિતીના સંબંધિત ટુકડાઓ પુનઃપ્રાપ્ત કરે છે અને પછી તે ટુકડાઓ (જનરેશન) પર આધારિત જવાબ જનરેટ કરે છે.

RAG એ ભ્રામકતાને રોકવાની સૌથી શક્તિશાળી પદ્ધતિ છે. "લોનનો વ્યાજ દર શું છે?" પ્રશ્ન માટે મોડેલ તેના માથામાં નંબર જનરેટ કરતું નથી. તે નોલેજ બેઝમાંથી વર્તમાન રુચિના ટેક્સ્ટને પુનઃપ્રાપ્ત કરે છે અને તેના આધારે જવાબો આપે છે. આ એકમમાં આપણે જોઈશું કે કેવી રીતે નોલેજ બેઝ સેટ કરવું, RAG કેવી રીતે કામ કરે છે અને કેવી રીતે સારો નોલેજ બેઝ જવાબોની ગુણવત્તા નક્કી કરે છે.

RAG કેવી રીતે કામ કરે છે: ચાર પગલાં

આરએજી વિશે ગ્રંથપાલની જેમ વિચારો. ગ્રાહક પ્રશ્નો પૂછે છે; સિસ્ટમ પ્રથમ લાઇબ્રેરીના જમણા શેલ્ફમાંથી સંબંધિત પૃષ્ઠો શોધે છે, પછી તે પૃષ્ઠો વાંચે છે અને જવાબ લખે છે. તકનીકી પગલાં નીચે મુજબ છે:

1. ચંકીંગ: જ્ઞાન આધારમાં લાંબા દસ્તાવેજોને નાના, અર્થપૂર્ણ ટુકડાઓમાં વિભાજિત કરવામાં આવે છે (દા.ત., દરેક FAQ એક ભાગ છે). કારણ કે મોડેલ સંબંધિત નાના ભાગો સાથે વધુ સચોટ રીતે પ્રશ્નનો જવાબ આપે છે.
2. એમ્બેડિંગ અને ઇન્ડેક્સીંગ: દરેક ભાગનો તેના અર્થને દર્શાવતા આંકડાકીય સ્વરૂપમાં અનુવાદ કરવામાં આવે છે (એમ્બેડિંગ - ટેક્સ્ટનો અર્થ રજૂ કરતી સંખ્યાઓનો ક્રમ) અને શોધી શકાય તેવા ડેટાબેઝમાં મૂકવામાં આવે છે. આમ, તે "શબ્દ મેચ" નથી પરંતુ "અર્થ મેચ" છે; જો ગ્રાહક પૂછે કે "મારા પૈસા ક્યારે જમા થશે?", "રિફંડ અવધિ" ભાગ મળી શકે છે.
3. પુનઃપ્રાપ્તિ: ગ્રાહકના પ્રશ્નના અર્થમાં સૌથી નજીકના ભાગો પુનઃપ્રાપ્ત કરવામાં આવે છે (દા.ત. નજીકના 3-5 ભાગો).
4. જનરેશન: મોડેલ ફક્ત દોરેલા ભાગોના આધારે જવાબ લખે છે અને જો શક્ય હોય તો સ્ત્રોત સૂચવે છે.

નિર્ણાયક મુદ્દો પગલું 4 માં છે: મોડેલને "ફક્ત આપેલા ટુકડાઓ પર આધાર રાખવા અથવા કહો કે તમને ખબર નથી." આ સૂચના વિના, RAG મોડેલને ફિટિંગથી અટકાવતું નથી.

સંકેત: RAG નો સુવર્ણ નિયમ: "જો તે સ્ત્રોતમાં નથી, તો ત્યાં કોઈ જવાબ નથી." એક સારી આરએજી સિસ્ટમ જ્ઞાન આધારમાં ન હોય તેવા પ્રશ્ન માટે "મને આ વિશે ખાતરીપૂર્વક ખબર નથી" કહેશે; અનુમાન વડે ક્યારેય અંતર ભરતું નથી. બોટની "મને ખબર નથી" કહેવાની ક્ષમતા એ સુરક્ષા સુવિધા છે, નબળાઈ નથી.

સારો જ્ઞાન આધાર: જવાબની ગુણવત્તાનો વાસ્તવિક સ્ત્રોત

આરએજી ગમે તેટલી સારી હોય, જો જ્ઞાનનો આધાર ખરાબ હોય, તો જવાબ ખરાબ છે. જ્ઞાન આધાર ગુણવત્તા આના દ્વારા માપવામાં આવે છે:

લક્ષણ

ખરાબ જ્ઞાન આધાર

સારા જ્ઞાનનો આધાર

વર્તમાનતા

મહિનાઓથી અપડેટ નથી

બદલાય ત્યારે તરત જ અપડેટ થાય છે

સ્પષ્ટતા

લાંબી, ગૂંચવણવાળું લખાણ

ટૂંકા, એક-વિષયના લેખો

માળખું

અવ્યવસ્થિત પીડીએફ ખૂંટો

લેબલ થયેલ ડીગ્રેડેબલ પદાર્થો

સુસંગતતા

બે વિરોધાભાસી જવાબો

સત્યનો એકમાત્ર સ્ત્રોત

અવકાશ

ઘણા ગાબડા છે

વારંવાર પૂછાતા પ્રશ્નો આવરી લે છે

માલિકી

કોઈ જવાબદાર નથી

દરેક વિષયનો માલિક હોય છે

કોલ સેન્ટરના સંદર્ભમાં સૌથી ખતરનાક સમસ્યા એ વિરોધાભાસ છે: જો નોલેજ બેઝમાં બે અલગ-અલગ રિટર્ન પિરિયડ લખેલા હોય, તો RAG તેમાંથી જે પણ લેશે તે કહેશે અને ગ્રાહકને અસંગત જવાબ મોકલવામાં આવશે. એટલા માટે "સત્યનો એક સ્ત્રોત" સિદ્ધાંત મહત્વપૂર્ણ છે: માહિતી એક જ જગ્યાએ અદ્યતન રાખવામાં આવે છે; તે સ્ત્રોતના સંદર્ભોનો ઉપયોગ થાય છે, નકલોનો નહીં.

સ્ટેપ બાય સ્ટેપ: આરએજી-સપોર્ટેડ રિસ્પોન્સ સિસ્ટમ બનાવવી

1. જ્ઞાન આધારને સાફ કરો: જૂના, વિરોધાભાસી, ડુપ્લિકેટ લેખો દૂર કરો. દરેક લેખને ટૂંકો અને સિંગલ-વિષય બનાવો.
2. તેને તોડી નાખો અને તેને ટેગ કરો: દરેક લેખમાં ટોપિક ટેગ અને છેલ્લી અપડેટ તારીખ ઉમેરો.
3. ઍક્સેસ સ્થાપિત કરો: એક મિકેનિઝમ કનેક્ટ કરો જે પૂછવામાં આવે ત્યારે સંબંધિત ભાગોને ખેંચે છે (એન્ટરપ્રાઇઝ RAG ટૂલ્સ આ પ્રદાન કરે છે).
4. કડક પ્રોમ્પ્ટ લખો: મોડેલને કહો "ફક્ત આપેલા ભાગો પર આધાર રાખો, સ્ત્રોત ટાંકો અથવા કહો કે તમને ખબર નથી."
5. સ્ત્રોત ટાંકો: લેખ બતાવો કે જેના પર જવાબ આધારિત છે; તે બંને વિશ્વાસ આપે છે અને ચકાસણીની સુવિધા આપે છે.
6. અવકાશ માટે જુઓ: જ્યાં બોટ કહે છે કે "મને ખબર નથી" એવા પ્રશ્નો એકત્રિત કરો; આ જ્ઞાનના પાયામાં ખામીઓ દર્શાવે છે, ત્યાંથી ફીડ.

ચાર નકલ કરી શકાય તેવા નમૂનાઓ

1) સખત આરએજી જવાબ પ્રોમ્પ્ટ:

નીચેના [સોર્સ] ભાગોના આધારે જવાબ આપો. નિયમો: (1) સ્ત્રોતમાંની માહિતીનો જ ઉપયોગ કરો, (2) જો તે સ્ત્રોતમાં ન હોય તો, કહો કે "મારી પાસે આ વિશે કોઈ ચોક્કસ માહિતી નથી, ચાલો હું તમને પ્રતિનિધિ સાથે જોડું", (3) જણાવો કે તે કયા લેખ પર આધારિત છે [સ્ત્રોત: આઇટમ-નંબર], (4) સ્ત્રોતમાંથી બરાબર રકમ/સમય/શરત ટાંકો, રાઉન્ડ અપ કરશો નહીં. [સ્ત્રોત]: <<ખેંચાયેલા ભાગો>>પ્રશ્ન: "<<ગ્રાહક પ્રશ્ન>>"

2) જ્ઞાન આધાર લેખ લેખન:

નીચેના વેરવિખેર નીતિ લખાણને RAG માટે યોગ્ય FAQ લેખમાં કન્વર્ટ કરો. ફોર્મેટ: પ્રશ્ન (ગ્રાહકની ભાષામાં) / ટૂંકા જવાબ (2-3 વાક્યો) / શરતો (ક્લોઝ) / છેલ્લા અપડેટની તારીખ / વિષય ટેગ. કોઈપણ અસ્પષ્ટ મુદ્દાઓને "સ્પષ્ટ કરવા" તરીકે ચિહ્નિત કરો, વિશ્વાસ કરો. કાચો ટેક્સ્ટ: <<text>>

3) વિરોધાભાસ અને અંતર માટે સ્કેનિંગ:

નીચેના જ્ઞાન આધાર લેખો તપાસો. (1) લેખોની જોડીને ચિહ્નિત કરો જે એકબીજા સાથે સંઘર્ષ કરે છે (દા.ત. અલગ વળતરનો સમયગાળો). (2) એવા વિષયોનું અનુમાન કરો કે જે વારંવાર પૂછવામાં આવશે પરંતુ કોઈ જવાબો નથી. આપેલ લેખો જ જુઓ; નવી નીતિનું નિર્માણ. લેખ: <<list>>

4) "મને ખબર નથી" લૉગમાંથી સુધારો:

નીચે એવા પ્રશ્નો છે કે જેના જવાબ બોટ આપી શક્યા નથી (સ્રોત શોધી શક્યા નથી). તેમને વિષયોમાં જૂથબદ્ધ કરો અને લેખનું શીર્ષક સૂચવો કે જે દરેક જૂથ માટે જ્ઞાન આધારમાં ઉમેરવું જોઈએ. જવાબની સામગ્રી બનાવશો નહીં, ફક્ત મને કહો કે કઈ વસ્તુ ખૂટે છે. પ્રશ્નો: <<list>>

નબળા પ્રોમ્પ્ટ / મજબૂત પ્રોમ્પ્ટ

નબળા પ્રોમ્પ્ટ:

ગ્રાહકના વળતર પ્રશ્નનો જવાબ આપો.

કોઈ સ્ત્રોત નથી; મોડલ મેમરીમાંથી ફિટ થઈ શકે છે, રકમ/અવધિ ખોટી હોઈ શકે છે, તે ચકાસી શકાતી નથી.

શક્તિશાળી પ્રોમ્પ્ટ:

નીચે આપેલ વળતર નીતિ કલમના આધારે જ જવાબ આપો. જો તે સ્ત્રોતમાં ઉપલબ્ધ ન હોય, તો "મને ખાતરીપૂર્વક ખબર નથી" કહો. સમયગાળો અને સ્થિતિ શબ્દશઃ ટાંકો, [સ્ત્રોત: RETURN-03] ના રૂપમાં સંદર્ભ આપો.[સોર્સ: RETURN-03]: "ન વપરાયેલ ઉત્પાદન 14 દિવસની અંદર પરત કરી શકાય છે. વ્યક્તિગત ઉત્પાદનો પરત કરવાના અવકાશમાં નથી." પ્રશ્ન: "શું હું 20 દિવસ પહેલા ખરીદેલ વ્યક્તિગત ઉત્પાદન પરત કરી શકું?"

તફાવત: સ્ત્રોત આધારિત, સંદર્ભ ફરજિયાત, ફેબ્રિકેશન પ્રતિબંધ સ્પષ્ટ; મૉડલ સ્રોતમાંથી સાચો જવાબ ("14 દિવસ વીતેલા અને વ્યક્તિગત કરેલ, બિન-રિફંડપાત્ર") જનરેટ કરે છે.

ત્રણ નાના કેસો

કેસ 1 - આભાસનો અંત. ટેલિકોમ બોટની ઝુંબેશના પ્રશ્નોના જવાબની ચોકસાઈ નો-આરએજી સેટઅપમાં 71% હતી; મોડેલ કેટલીકવાર જૂની ઝુંબેશ બનાવે છે. જ્યારે વર્તમાન ઝુંબેશ પૃષ્ઠો આરએજી સાથે જોડાયેલા હતા અને "જો તે સ્ત્રોતમાં ન હોય તો તે કહો નહીં" નિયમ ઉમેરવામાં આવ્યો હતો, ત્યારે ચોકસાઈ વધીને 96% થઈ ગઈ હતી અને "ખોટા ઝુંબેશ શબ્દો" વિશેની ફરિયાદો લગભગ સમાપ્ત થઈ ગઈ હતી.

કેસ 2 - વિરોધાભાસની કિંમત. ઈ-કોમર્સ કંપનીના નોલેજ બેઝમાં, બે પેજ (એક વર્તમાન, એક જૂનું ભૂલી ગયેલું પેજ) પર બે અલગ-અલગ શિપિંગ ખર્ચ લખવામાં આવ્યા હતા. બોટ રેન્ડમ રીતે કોઈને ખેંચી રહ્યો હતો અને કેટલાક ગ્રાહકોને ખોટી કિંમત જણાવતો હતો. જ્યારે જૂના પૃષ્ઠને એક સાચા સ્ત્રોતના સિદ્ધાંત સાથે આર્કાઇવ કરવામાં આવ્યું હતું, ત્યારે અસંગતતા અદૃશ્ય થઈ ગઈ હતી. પાઠ: આરએજી વિરોધાભાસનું નિરાકરણ કરતું નથી, તે વિરોધાભાસને જેમ છે તેમ પ્રચાર કરે છે.

કેસ 3 — “મને ખબર નથી” લોગની કિંમત. એક બેંકમાં, બોટ દર મહિને ~4,000 પ્રશ્નોને "મને ખાતરીપૂર્વક ખબર નથી" કહી રહ્યો હતો. જ્યારે આ પ્રશ્નોને જૂથબદ્ધ કરવામાં આવ્યા હતા, ત્યારે એવું જોવામાં આવ્યું હતું કે 40% "આંતરરાષ્ટ્રીય કાર્ડના ઉપયોગ" વિશે હતા; તેના વિશે કોઈ લેખ નહોતો. જ્યારે સંબંધિત વસ્તુઓ ઉમેરવામાં આવી, ત્યારે આ પ્રશ્નો હલ થઈ ગયા અને તે વિષય પર લોકોનું ટર્નઓવર 55% ઘટ્યું. હકીકત એ છે કે બોટે કહ્યું કે તે જાણતો નથી તે સુધારણા માટેનો માર્ગ નકશો બની ગયો.

સામાન્ય ભૂલો

• સ્ત્રોત સાથે લિંક કર્યા વિના જવાબ આપવો. આરએજી વિના, મોડેલ નક્કર માહિતીને બંધબેસે છે; કોઈપણ નક્કર જવાબ સ્ત્રોત પર આધાર રાખે છે.
• "મને ખબર નથી" વિકલ્પ બંધ કરી રહ્યા છીએ. દરેક પ્રશ્નનો જવાબ આપવા માટે મોડલને ફરજ પાડવી એ સુનિશ્ચિત કરે છે.
• વિરોધાભાસી/જૂની માહિતીને સાફ કરતી નથી. RAG વિરોધાભાસ ફેલાવે છે; એક જ સાચો સ્ત્રોત જરૂરી છે.
• કટકો કરવાની ઉપેક્ષા. મોટા પીડીએફની નિકાસ સચોટ ઍક્સેસને અવરોધે છે; ટૂંકા, એક-વિષયના લેખોનો ઉપયોગ કરો.
• સ્ત્રોત છુપાવો. જવાબ કયા પર આધારિત છે તે દર્શાવતું નથી તે ચકાસણી અને વિશ્વાસને નબળો પાડે છે.

સાવધાન: RAG ચોકસાઈ સુધારે છે પરંતુ 100% ગેરંટી આપતું નથી. મોડલ ક્યારેક કેપ્ચર કરેલા ભાગનું ખોટું અર્થઘટન કરી શકે છે. તેથી, સ્ત્રોત ટાંકવામાં આવે તો પણ નાણાકીય, કાનૂની અને સુરક્ષા મુદ્દાઓને માનવ મંજૂરીની જરૂર છે; RAG આભાસ ઘટાડે છે પરંતુ જવાબદારી દૂર કરતું નથી.

સારાંશમાં

નોલેજ બેઝ અને આરએજી એ કોલ સેન્ટર AIની ચોકસાઈનો પાયો છે. RAG મોટે ભાગે મોડલને મેમરીમાંથી જવાબ ફિટ કરવાથી અટકાવીને અને વર્તમાન સ્ત્રોત પર સંપૂર્ણ આધાર રાખીને આભાસને અટકાવે છે. પરંતુ RAG એ તેના જ્ઞાન આધાર જેટલું જ સારું છે: એક જ્ઞાન આધાર જે અદ્યતન, સ્પષ્ટ, સંરચિત, સંઘર્ષ-મુક્ત અને સત્યનો એક જ સ્ત્રોત ધરાવતો હોય તે જરૂરી છે. મોડેલને કહો કે "જો તે સ્ત્રોતમાં નથી, તો મને કહો કે તમે જાણતા નથી", સ્ત્રોત તરફ નિર્દેશ કરો અને તેના જ્ઞાન આધારને સુધારવા માટે બોટ જવાબ ન આપી શકે તેવા પ્રશ્નોનો ઉપયોગ કરો. ઉચ્ચ દાવની બાબતો પર સ્ત્રોત હોવા છતાં માનવ સંમતિ જાળવી રાખો.

એપ્લિકેશન કાર્ય

તમારા ઉદ્યોગમાંથી 8 વાસ્તવિક/વાસ્તવિક ગ્રાહક પ્રશ્નો અને 8 અનુરૂપ ટૂંકા જ્ઞાન આધાર લેખો (દરેક લેખ: પ્રશ્ન, ટૂંકા જવાબ, શરતો, તારીખ, ટેગ) લખો. પછી પરીક્ષણ કરો કે શું મોડેલ “1) ટાઈટ આરએજી જવાબ પ્રોમ્પ્ટનો ઉપયોગ કરીને “મને ખબર નથી” કહી શકે છે અને એક પ્રશ્ન પૂછે છે, જેમાંથી એક જ્ઞાન આધારમાં નથી. છેલ્લે, "3) વિરોધાભાસ અને ગેપ સ્કેનિંગ" વડે તમારા લેખો તપાસો.

ચેકલિસ્ટ

• [ ] બોટ/સહાયક દ્વારા આપવામાં આવેલ દરેક નક્કર જવાબ વર્તમાન જ્ઞાન આધાર (RAG દ્વારા) પર આધાર રાખે છે.
• [ ] મેં મોડેલને સૂચના આપી "જો તે સ્ત્રોતમાં નથી, તો મને કહો કે તમે જાણતા નથી" અને તેનું પરીક્ષણ કર્યું.
• [ ] મારા જ્ઞાન આધારમાં અપ-ટુ-ડેટ, સ્પષ્ટ, એકલ-વિષયના લેખો છે.
• [ ] મેં વિરોધાભાસી અને જૂના લેખો સાફ કર્યા; બધી માહિતી માટે એક જ સાચો સ્ત્રોત છે.
• [ ] જવાબો દર્શાવે છે કે તે કયા લેખ પર આધારિત છે (સ્ત્રોત).
• [ ] હું "મને ખબર નથી" પ્રશ્નો એકત્રિત કરું છું અને જ્ઞાન આધારને ફીડ કરું છું.