భ్రాంతి తగ్గింపు మరియు వనరుల ప్రాతినిధ్యం

లాభాలు:

• భ్రాంతి యొక్క కారణాలు మరియు గ్రౌండింగ్ పాత్రను వివరించండి
• మోడల్ సందర్భానుసారం కాకపోతే 'నాకు తెలియదు' అని చెప్పే సాంకేతికతలను వర్తింపజేయడం
• ప్రతిస్పందనలకు ధృవీకరించదగిన మూలాధారాలు/అనులేఖనాలను జోడించడం ద్వారా విశ్వసనీయత మరియు ఆడిటబిలిటీని నిర్ధారించడం

భాషా నమూనా యొక్క అత్యంత ప్రమాదకరమైన ప్రవర్తన తనకు తెలియని విషయాన్ని నమ్మకంగా మరియు ఒప్పించే స్వరంలో తయారు చేయడం. దీనినే హాలూసినేషన్ అంటారు. కార్పొరేట్ అసిస్టెంట్‌లో భ్రాంతి కలిగించడం బాధించేది కాదు, ఇది చాలా ప్రమాదకరం: తప్పు రోజు, తప్పుడు ధర, తప్పు చట్టపరమైన పదార్థం వాస్తవానికి ఉద్యోగిని లేదా కస్టమర్‌ను హాని కలిగించగలవు. ఈ యూనిట్‌లో, భ్రాంతులు ఎందుకు సంభవిస్తాయి, వాటిని RAGలో ఎలా తగ్గించాలి మరియు సమాధానాన్ని ఎలా ధృవీకరించాలి అనే విషయాలను మేము కవర్ చేస్తాము.

భ్రాంతులు ఏమిటి?

మోడల్ తదుపరి అత్యంత సంభావ్య పదాన్ని ఉత్పత్తి చేయడానికి శిక్షణ పొందింది; "నిజం చెప్పండి" కాదు, కానీ "నిష్ణాతులు మరియు సహేతుకమైన వచనాన్ని రూపొందించండి". సమాచారం తప్పిపోయినట్లయితే, అది గణాంకపరంగా ఆమోదయోగ్యమైన కానీ వాస్తవంగా తప్పుగా ఉన్న వాటితో ఖాళీని పూరించవచ్చు. మూడు సాధారణ ట్రిగ్గర్లు:

• సందర్భంలో సమాధానం లేదు, కానీ మోడల్ ఎలాగైనా ఏదో చెప్పాలని ఒత్తిడి చేస్తుంది.
• సందర్భం విరుద్ధమైనది లేదా సరిపోదు; మోడల్ అంచనాతో అంతరాన్ని మూసివేస్తుంది.
• ప్రశ్న సందర్భానికి మించినది; మోడల్ దాని స్వంత సాధారణ (మరియు బహుశా పాతది) జ్ఞానానికి తిరిగి వస్తుంది.

RAG భ్రాంతిని తగ్గిస్తుంది ఎందుకంటే ఇది మోడల్‌కు నిజమైన మూలాన్ని ఇస్తుంది - కానీ అది రీసెట్ చేయదు. మీరు తప్పు భాగాన్ని తీసుకువస్తే లేదా "ఖాళీని పూరించడానికి స్వేచ్ఛ" మోడల్‌ను వదిలివేస్తే, RAGతో ఉన్న సిస్టమ్ కూడా దానికి సరిపోతుంది.

భ్రాంతి రకం

లక్షణం

మూల కారణం

పరిష్కారం పొర

తిరిగి పొందడం నుండి ఉద్భవించింది

సరైన సమాధానం పత్రంలో ఉంది కానీ అది రాలేదు

తప్పు/తప్పిపోయిన భాగం పంపిణీ చేయబడింది

చంకింగ్, హైబ్రిడ్, రీ-ర్యాంకింగ్ (యూనిట్ 3-4)

తరం మూలం

సరైన భాగం వచ్చింది కానీ సమాధానం తప్పు/తప్పక చేర్చాలి

మోడల్ అంచనాతో ఖాళీని పూరించింది

గ్రౌండింగ్, "నాకు తెలియదు" అనుమతి, తక్కువ సృజనాత్మకత

మూలాధారం

సమాధానం సరైనదే కానీ మూలం తప్పు

మోడల్ తప్పు భాగాన్ని సూచించింది

అనులేఖన ధృవీకరణ (యూనిట్ 8 చూడండి)

సూచన: భ్రాంతిని రెండు భాగాలుగా విభజించండి. తిరిగి పొందడం నుండి మూలం: తప్పు/తప్పిపోయిన భాగం వచ్చింది (పరిష్కారం: తిరిగి పొందడం మెరుగుపరచండి). జనరేషన్ మూలం: సరైన భాగం వచ్చింది, కానీ మోడల్ దాన్ని తప్పుగా చదివింది/జోడించింది (పరిష్కారం: ప్రాంప్ట్ మరియు గ్రౌండింగ్). ఇది ఏది అని మీకు తెలిస్తే తప్ప మీరు దాన్ని పరిష్కరించలేరు.

గ్రౌండింగ్: సందర్భంలో సమాధానాన్ని నెయిల్ చేయడం

గ్రౌండింగ్ అనేది మోడల్‌కు "నేను మీకు ఇచ్చే టెక్స్ట్‌పై ఆధారపడండి, దానిని దాటి వెళ్లవద్దు" అని చెప్పే అన్ని సాంకేతికతలకు పెట్టబడిన పేరు. అతని అత్యంత ప్రాథమిక మరియు అత్యంత ప్రభావవంతమైన సాంకేతికత: 'నాకు తెలియదు' అని చెప్పడానికి మోడల్‌కు స్పష్టంగా అనుమతి ఇవ్వడం. మోడల్, మానవుడిలాగే, "నాకు తెలియదు" అని చెప్పడానికి సంకోచిస్తుంది; దీన్ని చేయడానికి మీరు అతనికి ఎక్స్‌ప్రెస్ అనుమతి ఇవ్వాలి.

దిగువ CONTEXT ఆధారంగా మాత్రమే సమాధానం ఇవ్వండి. సందర్భంలో సమాధానం స్పష్టంగా లేకుంటే, సరిగ్గా ఇలా వ్రాయండి: "నేను డాక్యుమెంటేషన్‌లో దీని గురించి తగినంత సమాచారాన్ని కనుగొనలేకపోయాను." సందర్భంలో లేని సంఖ్యలు, తేదీలు లేదా పేర్లను చేర్చవద్దు. ఊహించవద్దు.

అదనపు గ్రౌండింగ్ పద్ధతులు:

• కొటేషన్ అవసరం: ప్రతి దావాకు ముందు, సందర్భాన్ని పదజాలంగా కోట్ చేయండి (“పత్రం ఇలా చెప్పింది: '...'”). కల్పిత కోట్‌లను ఉత్పత్తి చేయడం మోడల్‌కు చాలా కష్టం.
• తక్కువ ఉష్ణోగ్రత: ఉష్ణోగ్రత (ఉష్ణోగ్రత, సృజనాత్మకత/యాదృచ్ఛిక సెట్టింగ్) తక్కువగా ఉండాలి. గమనిక: కొన్ని ప్రస్తుత మోడళ్లలో ఈ పరామితి తీసివేయబడింది; వాటిలో, మీరు ప్రాంప్ట్‌తో గ్రౌండింగ్‌ని అందిస్తారు. అధిక సృజనాత్మకత కార్పొరేట్ సమగ్రతకు శత్రువు.
• పరిధి పరిమితి: "సమ్మతి విధాన సమస్యలకు మాత్రమే ప్రతిస్పందించండి; నిలిపివేయడానికి సున్నితంగా తిరస్కరించండి."

అనులేఖనం

భ్రాంతికి వ్యతిరేకంగా బలమైన దైహిక రక్షణ సమాధానాన్ని ధృవీకరించడం. సమాధానం ఏ పత్రంపై ఆధారపడి ఉందో వినియోగదారు చూడగలిగితే: (1) అతను తప్పును స్వయంగా పట్టుకోగలడు, (2) ఆడిట్ సాధ్యమవుతుంది, (3) నమ్మకం పెరుగుతుంది మరియు (4) మోడల్ "నేను మూలాన్ని ఉదహరించాలి" అనే అవగాహనతో మరింత జాగ్రత్తగా ఉత్పత్తి చేస్తుంది.

రెండు సాధారణ విధానాలు:

ఇన్‌లైన్ అట్రిబ్యూషన్: ప్రతి క్లెయిమ్ పక్కన సోర్స్ ట్యాగ్. "వార్షిక సెలవు 14 రోజులు [1]." క్రింద [1] పూర్తి డాక్యుమెంటేషన్ ఉంది.

నిర్మాణాత్మక అవుట్‌పుట్: ప్రత్యేక ఫీల్డ్‌లలో సమాధానాన్ని మరియు మూలాధార జాబితాను రూపొందించమని మోడల్‌ను అడగడం; ఇంటర్‌ఫేస్‌లో వనరులను క్లిక్ చేయగల లింక్‌లుగా చూపుతోంది.

# నమూనా ఆధారంగా నిర్మాణాత్మక సమాధానాన్ని రూపొందించడం (సంభావితం) కింది నిర్మాణంలో మీ సమాధానాన్ని ఇవ్వండి:- సమాధానం: <సందర్భ-ఆధారిత సమాధానం>- మూలాలు: [{"part_no": 1, "file": "...", "section": "..."}]- ట్రస్ట్: <high|medium|low> # సందర్భం ఎంత స్పష్టంగా మద్దతు ఇస్తుంది? సందర్భం సమాధానానికి మద్దతు ఇవ్వకపోతే, సమాధాన ఫీల్డ్‌లో "సమాచారం కనుగొనబడలేదు" అని వ్రాసి, మూలాలను ఖాళీగా వదిలివేయండి.

Citation నిజంగా పని చేయాలంటే, ఆపాదింపు సరైనదేనా అని ధృవీకరించడం అవసరం. మోడల్ కొన్నిసార్లు సరైన సమాధానం ఇవ్వవచ్చు కానీ తప్పు మూలాన్ని ఇవ్వవచ్చు. అధునాతన వ్యవస్థలు స్వయంచాలకంగా ఉత్పత్తి చేయబడిన ప్రతి క్లెయిమ్‌కు అది సూచించే భాగంలో (తదుపరి యూనిట్‌లో "విశ్వసనీయత" కొలత) మద్దతు ఉందో లేదో తనిఖీ చేస్తుంది.

బలహీనమైన/బలమైన: భ్రాంతికి వ్యతిరేకంగా ప్రాంప్ట్

బలహీనం (ఖాళీని పూరించడానికి ఆహ్వానం):

మీ వద్ద ఉన్న సమాచారంతో ప్రశ్నకు సాధ్యమైనంత ఉత్తమంగా సమాధానమివ్వండి: {సందర్భం} ప్రశ్న: {question}# మోడల్ కోసం "మీకు సాధ్యమైనంత ఉత్తమం" అంటే "మీకు తెలియకపోతే ఊహించండి".

బలమైన (గ్రౌండింగ్ + అనుమతి తెలియదు + మూలం + నమ్మకం):

కేవలం CONTEXTపై ఆధారపడండి. లేకపోతే, "నేను ఏ సమాచారాన్ని కనుగొనలేకపోయాను" అని చెప్పండి; సంఖ్య/తేదీ/పేరును రూపొందించండి. ప్రతి దావాకు [n] మూల సంఖ్యను జోడించండి. సందర్భం ద్వారా మద్దతు ఇచ్చే విశ్వసనీయ స్థాయిని పేర్కొనండి.CONTEXT: [1]... [2]... ప్రశ్న: {question}

మూడు మినీ కేసులు

కేస్ 1 — తయారు చేయబడిన అంశం సంఖ్య. ఒక పారాలీగల్ "ఆర్టికల్ 17/B" స్టేట్‌మెంట్‌ను రూపొందించారు, అది సందర్భోచితంగా ఉంది మరియు ఉద్యోగికి తప్పుడు సమాచారాన్ని అందించింది. "సందర్భంలో లేని కథన సంఖ్యను ఇవ్వవద్దు, లేకపోతే నాకు తెలియదని చెప్పండి" + కోట్ చేయవలసిన బాధ్యత జోడించబడినప్పుడు, 40 ఉదాహరణలలో కల్పిత కథనాల కేసులు 11 నుండి 0కి తగ్గాయి.

కేసు 2 - సరైన సమాధానం, తప్పు మూలం. సహాయక సహాయకుడు సరైన రిటర్న్ వ్యవధిని పేర్కొన్నాడు కానీ తప్పు కథనాన్ని పేర్కొన్నాడు; కస్టమర్ లింక్‌పై క్లిక్ చేసినప్పుడు, సంబంధం లేని పేజీ తెరవబడింది. అనులేఖన ధృవీకరణ (ఉదహరించబడిన ముక్కలో దావా కనిపిస్తుందో లేదో తనిఖీ చేయడం) జోడించబడినప్పుడు, తప్పుడు-ఉలేఖన రేటు 23% నుండి 2%కి పడిపోయింది.

కేసు 3 — “నాకు తెలియదు” అనుమతి మంజూరు కాలేదు. ఒక HR అసిస్టెంట్ డాక్యుమెంట్‌లో లేని ప్రశ్నకు ఆమోదయోగ్యమైన కానీ తప్పు సమాధానాన్ని అందించారు. స్పష్టమైన "నాకు తెలియదు" సమ్మతి మరియు పూర్తి వచనం ("నేను డాక్యుమెంటేషన్‌లో దీని గురించి సమాచారాన్ని కనుగొనలేకపోయాను") ప్రాంప్ట్‌కు జోడించబడినప్పుడు, కల్పన కాకుండా సమాధానం లేని ప్రశ్నలకు నిజాయితీ తిరస్కరణ రేటు 8% నుండి 95%కి పెరిగింది.

సాధారణ తప్పులు

• "నాకు తెలియదు"ని అనుమతించడం లేదు: మోడల్ కల్పనతో ఖాళీని నింపుతుంది.
• సృజనాత్మకతను ఎక్కువగా ఉంచడం: యాదృచ్ఛికత కార్పొరేట్ సమగ్రతకు హానికరం.
• మూలాన్ని ధృవీకరించకుండానే విశ్వసించడం: మోడల్ సరైన సమాధానానికి తప్పు మూలాన్ని జోడించవచ్చు.
• రెండు రకాల భ్రాంతుల మధ్య తేడాను గుర్తించడం లేదు: మీరు తప్పు స్థలాన్ని తిరిగి పొందడం లేదా తరం చేయడం వల్ల సంభవించిందా అని తెలియకుండా సరిదిద్దండి.
• సౌందర్య సాధనాల కోసం తప్పుగా సూచించడం: మూలం యొక్క ఉల్లేఖనం నిర్ధారణ మరియు నిరోధకం రెండూ; దానిని తీవ్రంగా పరిగణించండి.

హెచ్చరిక: "మోడల్ చాలా నమ్మకంగా ఉంది" అనేది "మోడల్ సరైనది" అని కాదు. భ్రాంతులు సాధారణంగా అత్యంత నిష్ణాతులు మరియు నమ్మకంగా ఉంటాయి. వాక్యం యొక్క స్వరం నుండి కాకుండా అది సూచించే మూలం నుండి నమ్మకాన్ని చదవండి.

సారాంశంలో

• భ్రాంతి అనేది మోడల్ సమాచార అంతరాన్ని ఆమోదయోగ్యమైన కానీ తప్పుడు వచనంతో నింపినప్పుడు; RAG తగ్గిస్తుంది కానీ రీసెట్ చేయదు.
• భ్రాంతి తిరిగి పొందడం (తప్పు భాగం) లేదా తరం (తప్పు పఠనం) వల్ల సంభవించవచ్చు; ఏది ముందుగా నిర్ణయించండి.
• గ్రౌండింగ్ యొక్క అత్యంత శక్తివంతమైన సాంకేతికత మోడల్‌కు స్పష్టమైన "నాకు తెలియదు" అనుమతిని ఇవ్వడం; అనులేఖన అవసరం మరియు తక్కువ సృజనాత్మకత కూడా.
• అనులేఖనం సమాధానాన్ని ధృవీకరించేలా చేస్తుంది; ఇది రెండూ విశ్వాసాన్ని ఇస్తుంది మరియు మోడల్‌ను జాగ్రత్తగా ఉత్పత్తి చేయడానికి నెట్టివేస్తుంది.
• అనులేఖనం యొక్క ఖచ్చితత్వాన్ని కూడా తనిఖీ చేయాలి; సరైన సమాధానానికి తప్పు మూలం జోడించబడి ఉండవచ్చు.

అప్లికేషన్ టాస్క్

(1) మీ సహాయకుడిని అడగడానికి 4 ప్రశ్నలను సిద్ధం చేయండి, వాటికి సమాధానాలు డాక్యుమెంట్‌లలో లేవు (ట్రాప్ ప్రశ్నలు). బలహీనమైన మరియు బలమైన ప్రాంప్ట్‌తో ప్రతి ఒక్కరినీ పరీక్షించండి మరియు మోడల్ సరిపోతుందో లేదో గుర్తించండి. (2) డాక్యుమెంట్‌లో సమాధానాలు ఉన్న 4 ప్రశ్నలకు, మోడల్ వెల్డ్ నంబర్‌ను రూపొందించేలా చేసి, అది చూపే వెల్డ్ నిజానికి సరైన భాగమా కాదా అని మాన్యువల్‌గా వెరిఫై చేయండి. (3) మోడల్ కనీసం ఒక సందర్భంలో "సరైన సమాధానం, తప్పు మూలం" ఇస్తుందో లేదో తనిఖీ చేయండి మరియు మీరు దీన్ని స్వయంచాలకంగా ఎలా పట్టుకోవచ్చో ఒక వాక్యంలో వ్రాయండి.

చెక్లిస్ట్

• [ ] భ్రాంతి ఎందుకు సంభవిస్తుందో నేను చెప్పగలను మరియు RAG దానిని తగ్గిస్తుంది కానీ రీసెట్ చేయదు.
• [ ] నేను తిరిగి పొందడం మరియు తరం-ప్రేరిత భ్రాంతుల మధ్య తేడాను గుర్తించగలను మరియు సరైన స్థలాన్ని సరిదిద్దగలను.
• [ ] నేను ప్రాంప్ట్‌కు స్పష్టమైన "నాకు తెలియదు" అనుమతి మరియు గ్రౌండింగ్ నియమాలను జోడిస్తున్నాను.
• [ ] నేను సమాధానానికి ధృవీకరించదగిన మూలాన్ని (అనులేఖనాన్ని) జోడిస్తున్నాను.
• [ ] అట్రిబ్యూషన్ యొక్క ఖచ్చితత్వాన్ని మరింత తనిఖీ చేయవలసిన అవసరాన్ని నేను అర్థం చేసుకున్నాను.