નફો:
- આભાસના કારણો અને ગ્રાઉન્ડિંગની ભૂમિકા સમજાવો
- જો તે સંદર્ભમાં ન હોય તો મોડેલને 'મને ખબર નથી' એમ કહેતી તકનીકો લાગુ કરવી
- પ્રતિસાદોમાં ચકાસી શકાય તેવા સ્ત્રોતો/ઉદ્ધરણો ઉમેરીને વિશ્વાસ અને ઓડિટેબિલિટીની ખાતરી કરવી
ભાષા મોડેલની સૌથી ખતરનાક વર્તણૂક એ છે કે તે આત્મવિશ્વાસ અને પ્રેરક સ્વરમાં કંઈક બનાવવું જે તે જાણતો નથી. આને આભાસ કહેવાય છે. કોર્પોરેટ સહાયકમાં ભ્રમિત થવું એ માત્ર હેરાન કરતું નથી, તે એકદમ જોખમી છે: ખોટી રજા, ખોટી કિંમત, ખોટો કાનૂની પદાર્થ ખરેખર કર્મચારી અથવા ગ્રાહકને નુકસાન પહોંચાડી શકે છે. આ એકમમાં, અમે આભાસ શા માટે થાય છે, તેમને RAG માં કેવી રીતે ઘટાડવું અને જવાબને ચકાસી શકાય તેવું કેવી રીતે બનાવવું તે આવરી લઈએ છીએ.
આભાસનું કારણ શું છે?
મોડેલને આગામી સૌથી સંભવિત શબ્દ બનાવવા માટે તાલીમ આપવામાં આવે છે; "સત્ય કહો" નહીં, પરંતુ "અસ્ખલિત અને વાજબી લખાણ બનાવો". જો માહિતી ખૂટે છે, તો તે આંકડાકીય રીતે બુદ્ધિગમ્ય પરંતુ હકીકતમાં ખોટી કંઈક સાથે અંતર ભરી શકે છે. ત્રણ લાક્ષણિક ટ્રિગર્સ:
- સંદર્ભમાં કોઈ જવાબ નથી, પરંતુ મોડેલ કોઈપણ રીતે કંઈક કહેવાની ફરજ પાડે છે.
- સંદર્ભ વિરોધાભાસી અથવા અપૂરતો છે; મોડેલ આગાહી સાથે ગેપને બંધ કરે છે.
- પ્રશ્ન સંદર્ભની બહાર જાય છે; મોડેલ તેના પોતાના સામાન્ય (અને કદાચ જૂનું) જ્ઞાન પરત કરે છે.
RAG આભાસ ઘટાડે છે કારણ કે તે મોડેલને વાસ્તવિક સ્ત્રોત આપે છે — પરંતુ તે તેને રીસેટ કરતું નથી. જો તમે ખોટો ભાગ લાવો છો અથવા મોડેલ "ગેપ ભરવાની સ્વતંત્રતા" છોડો છો, તો RAG સાથેની સિસ્ટમ પણ તેને ફિટ કરી શકે છે.
આભાસનો પ્રકાર
લક્ષણ
મૂળ કારણ
ઉકેલ સ્તર
પુનઃપ્રાપ્તિમાંથી ઉદ્દભવે છે
સાચો જવાબ દસ્તાવેજમાં છે પરંતુ તે આવ્યો નથી
ખોટો/ગુમ થયેલ ભાગ વિતરિત
ચંકિંગ, હાઇબ્રિડ, રિ-રેન્કિંગ (એકમ 3-4)
પેઢી સ્ત્રોત
સાચો ભાગ આવ્યો છે પરંતુ જવાબ ખોટો છે/જોડવો આવશ્યક છે
મોડેલે આગાહી સાથે અંતર ભર્યું
ગ્રાઉન્ડિંગ, "મને ખબર નથી" પરવાનગી, ઓછી સર્જનાત્મકતા
સંદર્ભ સ્ત્રોત
જવાબ સાચો છે પણ સ્ત્રોત ખોટો છે
મોડેલ ખોટા ભાગનો ઉલ્લેખ કરે છે
અવતરણની ચકાસણી (યુનિટ 8 જુઓ)
સંકેત: આભાસને બે ભાગમાં વહેંચો. પુનઃપ્રાપ્તિમાંથી સ્ત્રોત: ખોટો/ગુમ થયેલ ભાગ આવ્યો (ઉકેલ: પુનઃપ્રાપ્તિમાં સુધારો). જનરેશન સ્ત્રોત: સાચો ભાગ આવ્યો, પરંતુ મોડેલે તેને ખોટી રીતે વાંચ્યું/ઉમેર્યું (ઉકેલ: પ્રોમ્પ્ટ અને ગ્રાઉન્ડિંગ). જ્યાં સુધી તમે જાણતા ન હોવ કે તે કયું છે ત્યાં સુધી તમે તેને ઠીક કરી શકતા નથી.
ગ્રાઉન્ડિંગ: સંદર્ભમાં જવાબને ખીલવો
ગ્રાઉન્ડિંગ એ મોડેલને કહેવાની તમામ તકનીકોને આપવામાં આવેલ નામ છે "માત્ર હું તમને જે લખાણ આપું છું તેના પર આધાર રાખો, તેનાથી આગળ વધશો નહીં." તેમની સૌથી મૂળભૂત અને સૌથી અસરકારક તકનીક: સ્પષ્ટપણે મોડેલને 'મને ખબર નથી' કહેવાની પરવાનગી આપવી. મોડેલ, માનવની જેમ, "મને ખબર નથી" કહેતા અચકાય છે; તમારે તેને આ કરવા માટે સ્પષ્ટ પરવાનગી આપવી પડશે.
નીચે આપેલા CONTEXT ના આધારે જ જવાબ આપો. જો સંદર્ભમાં જવાબ સ્પષ્ટ નથી, તો બરાબર આ લખો: "મને દસ્તાવેજીકરણમાં આ અંગે પૂરતી માહિતી મળી નથી." સંદર્ભમાં ન હોય તેવા કોઈપણ નંબરો, તારીખો અથવા નામોનો સમાવેશ કરશો નહીં. અનુમાન ન કરો.
વધારાની ગ્રાઉન્ડિંગ તકનીકો:
- અવતરણની આવશ્યકતા: દરેક દાવા પહેલાં, સંદર્ભ શબ્દશઃ ટાંકો ("દસ્તાવેજ કહે છે: '...'"). બનાવટી અવતરણોનું ઉત્પાદન મોડેલ માટે વધુ મુશ્કેલ છે.
- નીચું તાપમાન: તાપમાન (તાપમાન, સર્જનાત્મકતા/રેન્ડમ સેટિંગ) ઓછું હોવું જોઈએ. નોંધ: કેટલાક વર્તમાન મોડેલોમાં આ પરિમાણ દૂર કરવામાં આવ્યું છે; તેમાં, તમે પ્રોમ્પ્ટ સાથે ગ્રાઉન્ડિંગ પ્રદાન કરો છો. ઉચ્ચ સર્જનાત્મકતા કોર્પોરેટ અખંડિતતાની દુશ્મન છે.
- અવકાશ મર્યાદા: "ફક્ત સંમતિ નીતિ મુદ્દાઓને પ્રતિસાદ આપો; નાપસંદ કરવા માટે નમ્રતાપૂર્વક નકારો."
અવતરણ
આભાસ સામે સૌથી મજબૂત પ્રણાલીગત સંરક્ષણ એ જવાબને ચકાસી શકાય તેવું બનાવવાનું છે. જો વપરાશકર્તા જોઈ શકે કે જવાબ કયા દસ્તાવેજ પર આધારિત છે: (1) તે પોતે ભૂલ પકડી શકે છે, (2) ઑડિટ શક્ય બને છે, (3) વિશ્વાસ વધે છે, અને (4) "મારે સ્રોત ટાંકવાની જરૂર પડશે" એવી જાગૃતિ સાથે મોડેલ વધુ સાવધાનીપૂર્વક ઉત્પાદન કરે છે.
બે સામાન્ય અભિગમો:
ઇનલાઇન એટ્રિબ્યુશન: દરેક દાવાની બાજુમાં સોર્સ ટેગ. "વાર્ષિક રજા 14 દિવસની છે [1]." નીચે [1] ના સંપૂર્ણ દસ્તાવેજીકરણ છે.
સ્ટ્રક્ચર્ડ આઉટપુટ: મોડલને અલગ-અલગ ફીલ્ડમાં જવાબ અને સ્ત્રોત સૂચિ બનાવવા માટે પૂછવું; ઈન્ટરફેસમાં ક્લિક કરી શકાય તેવી લિંક્સ તરીકે સંસાધનો બતાવી રહ્યાં છે.
# મૉડલ (વૈકલ્પિક)ના આધારે સંરચિત જવાબ તૈયાર કરવો તમારા જવાબ નીચેના બંધારણમાં આપો:- જવાબ: <સંદર્ભ-આધારિત જવાબ>- સ્ત્રોત: [{"ભાગ_નો": 1, "ફાઇલ": "...", "વિભાગ": "..."}]- ટ્રસ્ટ: <ઉચ્ચ|મધ્યમ|નીચું> # સંદર્ભ તેને કેટલી સ્પષ્ટ રીતે સમર્થન આપે છે? જો સંદર્ભ જવાબને સમર્થન આપતો નથી, તો જવાબના ક્ષેત્રમાં "કોઈ માહિતી મળી નથી" લખો અને સ્ત્રોતોને ખાલી છોડી દો.
સાઈટેશન ખરેખર કામ કરે તે માટે, એટ્રિબ્યુશન સાચું છે તે ચકાસવું જરૂરી છે. મોડેલ ક્યારેક સાચો જવાબ આપી શકે છે પરંતુ ખોટો સ્ત્રોત આપે છે. અદ્યતન પ્રણાલીઓ આપમેળે તપાસ કરે છે કે ઉત્પાદિત દરેક દાવા તે જે ભાગ તરફ નિર્દેશ કરે છે તેમાં ખરેખર સમર્થન છે (આગળના એકમમાં "વફાદારી" માપન).
નબળા/મજબૂત: આભાસ સામે પ્રોમ્પ્ટ
નબળું (ખાલી જગ્યા ભરવાનું આમંત્રણ):
તમારી પાસે જે માહિતી છે તે સાથે તમે કરી શકો તેટલા શ્રેષ્ઠ પ્રશ્નનો જવાબ આપો: {સંદર્ભ} પ્રશ્ન: {પ્રશ્ન}# "તમે કરી શકો તેટલું શ્રેષ્ઠ" એટલે મોડેલ માટે "જો તમે જાણતા ન હોવ તો અનુમાન કરો".
મજબૂત (ગ્રાઉન્ડિંગ + પરવાનગી ખબર નથી + સ્ત્રોત + વિશ્વાસ):
ફક્ત CONTEXT પર આધાર રાખો. નહિંતર, કહો કે "મને કોઈ માહિતી મળી નથી"; નંબર/તારીખ/નામ બનાવો. દરેક દાવા માટે [એન] સ્ત્રોત નંબર ઉમેરો. સંદર્ભ દ્વારા સમર્થિત વિશ્વાસનું સ્તર સ્પષ્ટ કરો. સંદર્ભ: [1]... [2]... પ્રશ્ન: {પ્રશ્ન}
ત્રણ મિની કેસ
કેસ 1 - મેડ-અપ આઇટમ નંબર. પેરાલીગલે "કલમ 17/B" નિવેદન બનાવ્યું જે સંદર્ભની બહાર હતું અને કર્મચારીને ખોટી માહિતી આપી હતી. જ્યારે સૂચના "સંદર્ભમાં ન હોય તેવા લેખ નંબર આપશો નહીં, અન્યથા કહો કે મને ખબર નથી" + ક્વોટ કરવાની જવાબદારી ઉમેરવામાં આવી હતી, ત્યારે 40 ઉદાહરણોમાં બનાવટી લેખોના કેસ 11 થી ઘટીને 0 થયા હતા.
કેસ 2 - સાચો જવાબ, ખોટો સ્ત્રોત. સહાયક સહાયકે યોગ્ય વળતરનો સમયગાળો જણાવ્યો પરંતુ ખોટો લેખ ટાંક્યો; જ્યારે ગ્રાહકે લિંક પર ક્લિક કર્યું, ત્યારે એક અપ્રસ્તુત પૃષ્ઠ ખુલ્યું. જ્યારે અવતરણની ચકાસણી (ટાંકવામાં આવેલા ભાગમાં દાવો દેખાય છે કે કેમ તે તપાસવું) ઉમેરવામાં આવ્યું ત્યારે, ખોટા-ઉદ્ધરણ દર 23% થી ઘટીને 2% થયો.
કેસ 3 — “મને ખબર નથી” પરવાનગી આપવામાં આવી ન હતી. એચઆર સહાયકે દસ્તાવેજમાં ન હોય તેવા પ્રશ્નનો બુદ્ધિગમ્ય પરંતુ ખોટો જવાબ આપ્યો હતો. જ્યારે સ્પષ્ટ "મને ખબર નથી" સંમતિ અને સંપૂર્ણ ટેક્સ્ટ ("મને દસ્તાવેજીકરણમાં આ વિશેની માહિતી મળી નથી") પ્રોમ્પ્ટમાં ઉમેરવામાં આવે છે, ત્યારે કોઈ જવાબ વિનાના પ્રશ્નો માટે પ્રમાણિક અસ્વીકાર દર, બનાવટીને બદલે, 8% થી વધીને 95% થયો.
સામાન્ય ભૂલો
- "મને ખબર નથી" ને મંજૂરી આપતું નથી: મોડેલ ફેબ્રિકેશનથી ગેપને ભરે છે.
- સર્જનાત્મકતા ઊંચી રાખવી: અવ્યવસ્થિતતા કોર્પોરેટ અખંડિતતા માટે હાનિકારક છે.
- સ્ત્રોતની ચકાસણી કર્યા વિના તેના પર વિશ્વાસ કરવો: મોડેલ સાચા જવાબ સાથે ખોટા સ્ત્રોતને જોડી શકે છે.
- બે પ્રકારના આભાસ વચ્ચે ભેદ પાડતા નથી: તમે ખોટા સ્થાનને પુનઃપ્રાપ્તિ અથવા પેઢીના કારણે થાય છે કે કેમ તે જાણ્યા વિના સુધારી શકો છો.
- સૌંદર્ય પ્રસાધનો માટે અવતરણની ભૂલ કરવી: સ્ત્રોતનો ઉલ્લેખ પુષ્ટિ અને અવરોધક બંને છે; તેને ગંભીરતાથી લો.
સાવધાન: "મૉડલ ખૂબ જ આત્મવિશ્વાસપૂર્ણ લાગે છે" એ "મૉડલ સાચું છે" જેવું નથી. આભાસ એ સામાન્ય રીતે સૌથી અસ્ખલિત અને આત્મવિશ્વાસપૂર્ણ વાક્યો છે. વાક્યના સ્વરમાંથી નહીં, પરંતુ તે સૂચવેલા સ્ત્રોતમાંથી ટ્રસ્ટ વાંચો.
સારાંશમાં
- આભાસ એ છે કે જ્યારે મોડેલ બુદ્ધિગમ્ય પરંતુ ખોટા લખાણથી માહિતીના અંતરને ભરે છે; RAG ઘટાડે છે પરંતુ રીસેટ થતું નથી.
- આભાસ પુનઃપ્રાપ્તિ (ખોટો ભાગ) અથવા પેઢી (ખોટું વાંચન) દ્વારા થઈ શકે છે; પ્રથમ કયું નક્કી કરો.
- ગ્રાઉન્ડિંગની સૌથી શક્તિશાળી તકનીક એ મોડેલને સ્પષ્ટ "મને ખબર નથી" પરવાનગી આપવી છે; અવતરણની જરૂરિયાત અને ઓછી સર્જનાત્મકતા પણ.
- અવતરણ જવાબને ચકાસી શકાય તેવું બનાવે છે; તે બંને આત્મવિશ્વાસ આપે છે અને મોડલને સાવધાનીપૂર્વક તૈયાર કરવા દબાણ કરે છે.
- અવતરણની ચોકસાઈ પણ તપાસવી જોઈએ; સાચા જવાબ સાથે ખોટો સ્ત્રોત જોડાયેલ હોઈ શકે છે.
એપ્લિકેશન કાર્ય
(1) તમારા સહાયકને પૂછવા માટે 4 પ્રશ્નો તૈયાર કરો, જેના જવાબો દસ્તાવેજોમાં નથી (ટ્રેપ પ્રશ્નો). નબળા અને મજબૂત પ્રોમ્પ્ટ સાથે દરેકનું પરીક્ષણ કરો અને ચિહ્નિત કરો કે મોડેલ ફિટ છે કે નહીં. (2) 4 પ્રશ્નો માટે કે જેના જવાબો દસ્તાવેજમાં છે, મોડેલને વેલ્ડ નંબર જનરેટ કરવા કહો અને મેન્યુઅલી ચકાસો કે તે જે વેલ્ડ બતાવે છે તે ખરેખર સાચો ભાગ છે કે કેમ. (3) ઓછામાં ઓછા એક કિસ્સામાં મોડેલ "સાચો જવાબ, ખોટો સ્ત્રોત" આપે છે કે કેમ તે તપાસો અને એક વાક્યમાં લખો કે તમે આને આપમેળે કેવી રીતે પકડી શકો છો.
ચેકલિસ્ટ
- [ ] હું કહી શકું છું કે આભાસ શા માટે થઈ રહ્યો છે અને તે RAG તેને ઘટાડે છે પરંતુ તેને ફરીથી સેટ કરતું નથી.
- [ ] હું પુનઃપ્રાપ્તિ અને પેઢી-પ્રેરિત આભાસ વચ્ચે તફાવત કરી શકું છું અને યોગ્ય સ્થાન સુધારી શકું છું.
- [ ] હું પ્રોમ્પ્ટમાં સ્પષ્ટ "મને ખબર નથી" પરવાનગી અને ગ્રાઉન્ડિંગ નિયમો ઉમેરી રહ્યો છું.
- [ ] હું જવાબમાં એક ચકાસી શકાય એવો સ્ત્રોત (સંદર્ભ) ઉમેરી રહ્યો છું.
- [ ] હું એટ્રિબ્યુશનની ચોકસાઈને વધુ તપાસવાની જરૂરિયાત સમજું છું.