అవుట్‌పుట్ ధృవీకరణ మరియు మానవ తనిఖీ

లాభాలు:

• స్కీమా మరియు రూల్-ఆధారిత అవుట్‌పుట్ ధ్రువీకరణ లేయర్‌లను ఏర్పాటు చేయగల సామర్థ్యం
• అధిక-ప్రభావ నిర్ణయాలలో హ్యూమన్-ఇన్-ది-లూప్ అర్థవంతంగా అవసరమయ్యే సామర్థ్యం
• రెండవ మోడల్‌తో ధృవీకరణ మరియు ట్రస్ట్ థ్రెషోల్డ్ ఆధారిత రౌటింగ్‌ను రూపొందించగల సామర్థ్యం

భాషా నమూనా ద్రవం, ఒప్పించే మరియు తరచుగా ఖచ్చితమైనది-కానీ "ఒప్పించేది" అనేది "సరైనది" వలె ఉండదు. మోడల్ నిశ్శబ్దంగా మొత్తం, తేదీ లేదా JSON ఫీల్డ్‌కు సరిపోతుంది; దీనిని భ్రాంతి అని పిలుస్తారు (మోడల్ వాస్తవానికి ఉనికిలో లేని సమాచారాన్ని నమ్మకంగా ఉత్పత్తి చేస్తుంది). ఎంటర్‌ప్రైజ్ సిస్టమ్‌లో, ఆ అవుట్‌పుట్ తదుపరి దశకు ప్రవహిస్తే - చెల్లింపు, ఇమెయిల్, డేటాబేస్ రైట్ - లోపం వాస్తవ ప్రపంచంలోకి వ్యాపిస్తుంది. ఈ యూనిట్‌లో, సిస్టమ్‌లోకి ప్రవేశించే ముందు ధృవీకరణ లేయర్‌లతో అవుట్‌పుట్‌ను ఫిల్టర్ చేయడం మరియు అధిక-ప్రభావ నిర్ణయాలలో హ్యూమన్-ఇన్-ది-లూప్ అవసరం అని మేము నేర్చుకుంటాము.

అవుట్‌పుట్ ధ్రువీకరణ ఎందుకు అవసరం?

మోడల్ అవుట్‌పుట్ రెండు ప్రాథమిక మార్గాల్లో పాడైపోతుంది: ఫార్మాట్ (అంచనా వేసిన JSON స్కీమాకు అనుగుణంగా లేదు, ఫీల్డ్ లేదు/అధికంగా ఉంది) మరియు కంటెంట్ (ఫార్మాట్ సరైనది కానీ విలువ తప్పు - ఉనికిలో లేని ఉత్పత్తి కోడ్, అశాస్త్రీయ తేదీ). భద్రత పరంగా మూడవ కోణం ఉంది: హానికరమైన అవుట్‌పుట్ (ఇంజెక్షన్ లేదా లీక్ ఫలితంగా ఉత్పత్తి చేయబడిన హానికరమైన కమాండ్). ఒక ఘన వ్యవస్థ తలుపు వద్ద మూడింటిని ఆపివేస్తుంది.

హెచ్చరిక: "మోడల్ సాధారణంగా ఖచ్చితమైనది" అనేది ఉత్పత్తి ప్రమాణం కాదు. ధృవీకరణ లేని సిస్టమ్‌లో, వెయ్యిలో ఒక లోపం కూడా అంటే రోజుకు 100,000 అభ్యర్థనలలో రోజుకు 100 తప్పు లావాదేవీలు.

ప్రమాణీకరణ పొరలు: దశల వారీగా

1. స్కీమా ధ్రువీకరణ. అవుట్‌పుట్ ఆశించిన ఆకృతికి అనుగుణంగా ఉందో లేదో మెషీన్‌తో తనిఖీ చేయండి: ఫీల్డ్‌లు ఉన్నాయా, వాటి రకాలు సరిగ్గా ఉన్నాయా, అవసరమైన ఫీల్డ్‌లు పూరించబడ్డాయా?
2. నియమం/వ్యాపార తర్కం ధ్రువీకరణ. వ్యాపార నియమాలకు విలువలు సరిపోతాయా? (మొత్తం > 0, తేదీ భవిష్యత్తులో లేదు, ఉత్పత్తి కోడ్ కేటలాగ్‌కు చెందినది.)
3. సూచన/మూల నియంత్రణ. మోడల్ ప్రకటనను ఉత్పత్తి చేస్తే, దానిని మూలానికి లింక్ చేయవచ్చా? (వాస్తవానికి RAG కోట్ డాక్యుమెంట్‌లో ఉందా?)
4. రెండవ మోడల్‌తో ధ్రువీకరణ (LLM-గా న్యాయమూర్తి). ఒక స్వతంత్ర మోడల్ అవుట్‌పుట్‌ను "సరైన/అసంపూర్ణమైన/ప్రమాదకరం"గా అంచనా వేస్తుంది.
5. ట్రస్ట్ థ్రెషోల్డ్ మరియు ఓరియంటేషన్. మోడల్ లేదా వాలిడేటర్ తక్కువ విశ్వాసాన్ని నివేదించినట్లయితే, అవుట్‌పుట్ స్వయంచాలకంగా పాస్ అవ్వదు; మానవులకు దర్శకత్వం వహించబడుతుంది.
6. మానవ నియంత్రణ. అధిక-శక్తి లేదా తక్కువ-సురక్షితమైన ఫలితం నిపుణుల ఆమోదంపై ఆధారపడి ఉంటుంది.

నాలుగు కాపీ చేయగల టెంప్లేట్లు

పథకం + "మీకు తెలియకుంటే తయారు చేసుకోండి" కలిసి:

కింది JSON స్కీమాలో మాత్రమే ప్రతిస్పందనను అందించండి: "తక్కువ" అని వ్రాయండి. ఎట్టిపరిస్థితుల్లోనూ ఖచ్చితమైనదిగా అంచనా వేయకండి.

రెండవ మోడల్‌తో ధృవీకరణ (న్యాయమూర్తి ప్రాంప్ట్):

మీరు స్వతంత్ర వాలిడేటర్. క్రింద <source> వచనం మరియు <దావా> ఉన్నాయి. క్లెయిమ్‌లోని ప్రతి సంఖ్య మరియు తేదీ మూలాధారంలో పదప్రయోగంలో ఉన్నాయో లేదో తనిఖీ చేయండి. ప్రతిదానికీ, ఇలా చెప్పండి: "ధృవీకరించబడింది | మూలంలో లేదు | మూలానికి విరుద్ధంగా ఉంది." వాటిలో ఒకటి కూడా 'హాజరుకాదు/వైరుధ్యం' అయితే, ఫలితాన్ని "మానవ సమీక్ష అవసరం"గా గుర్తించండి.<source>{{ text }}</source><claim>{{ model_output }}</claim>

ట్రస్ట్ థ్రెషోల్డ్ రూటింగ్ నియమం:

రూటింగ్ నియమం:- emin_misin = "అధిక" మరియు మొత్తం <10,000 TL -> ఆటోమేటిక్ ప్రాసెసింగ్- emin_misin = "మీడియం" లేదా మొత్తం 10,000-100,000 TL -> రెండవ మోడల్ ధృవీకరణ- emin_misin = "తక్కువ" లేదా మొత్తం > 0 TL0 ఆమోదం అవసరం

మానవ ఆడిట్ సారాంశం కార్డ్ (సమీక్షను వేగవంతం చేస్తుంది):

ఒక వ్యక్తికి నిర్ణయాన్ని సమర్పించేటప్పుడు, ఈ కార్డును ఉత్పత్తి చేయండి:- ఏమి ప్రతిపాదించబడుతోంది? (ఒక వాక్యం)- ఇది ఏ మూలం ఆధారంగా ఉంది? (వ్యాసం/పత్రం సూచన)- 2 బలహీనమైన అంచనాలు ఏమిటి?- ఆమోదించబడితే, వాటిని తిప్పికొట్టవచ్చా? (అవును/కాదు)

బలహీనమైన ప్రాంప్ట్ / బలమైన ప్రాంప్ట్

పేద విధానం

బలమైన విధానం

"ఇన్‌వాయిస్ నుండి మొత్తాన్ని తీసివేయి" (ఉచిత వచనం)

కఠినమైన JSON స్కీమా + శూన్య + విశ్వసనీయ ఫీల్డ్

చెల్లింపు వ్యవస్థకు నేరుగా అవుట్‌పుట్‌ను వ్రాయడం

స్కీమా → నియమం → మానవ ఆమోదం (అవసరమైతే)

మోడల్‌కి "తప్పకుండా ఉండండి" అని చెప్పడం

రెండవ మోడల్‌తో నంబర్/తేదీ ధ్రువీకరణ

ప్రతి అవుట్‌పుట్‌ను సమాన విశ్వాసంతో ప్రాసెస్ చేస్తోంది

ప్రభావం మరియు నమ్మకం ఆధారంగా రూటింగ్

బలమైన విధానం మోడల్ సరైనదని ఆశించదు; ఇది మీరు తప్పుగా ఉన్నప్పుడు మిమ్మల్ని పట్టుకునే తలుపును సృష్టిస్తుంది.

మూడు మినీ కేసులు

కేసు 1 - పథకం మాత్రమే సరిపోదు. అకౌంటింగ్ ఆటోమేషన్ ఇన్‌వాయిస్‌ల నుండి JSONగా మొత్తాన్ని సంగ్రహిస్తోంది. పథకం సరైనది, కానీ మోడల్ ఇన్‌వాయిస్‌లో (దశాంశ మార్పు) "1,250.00"కి బదులుగా "125,000"ను ఉత్పత్తి చేసింది. దీన్ని క్యాప్చర్ చేయడంలో పథకం విఫలమైంది; నియమ ధృవీకరణ ("మొత్తం మొత్తం ఇన్‌వాయిస్ ఐటెమ్‌లకు ±1% అనుగుణంగా ఉండాలి") క్యాచ్ చేయబడింది మరియు 112,500 TL యొక్క తప్పు రికార్డింగ్ నిరోధించబడింది.

కేసు 2 - రెండవ మోడల్ భ్రాంతిని సంగ్రహించింది. "30 రోజుల రద్దు నోటీసు," కాంట్రాక్ట్ సారాంశంలో లీగల్ సపోర్ట్ అసిస్టెంట్ చెప్పారు; అయితే, ఒప్పందంలో ఇది 90 రోజులు. స్వతంత్ర న్యాయమూర్తి మోడల్‌ను "మూలంతో విభేదిస్తున్నట్లు" ఫ్లాగ్ చేసినప్పుడు, అవుట్‌పుట్ మానవులకు ఫార్వార్డ్ చేయబడింది మరియు సరిదిద్దబడింది. ఇది ఆటోమేటిక్ అయితే, కస్టమర్ తప్పు తేదీ ఆధారంగా రద్దు గురించి తెలియజేస్తారు.

కేస్ 3 - రూటింగ్ లోడ్‌ను 70% తగ్గించింది. ఇన్సూరెన్స్ క్లెయిమ్‌ల సిస్టమ్ స్వయంచాలకంగా తక్కువ-మొత్తం మరియు అధిక-భద్రతా క్లెయిమ్‌లను ఆమోదించింది మరియు పై-థ్రెషోల్డ్/తక్కువ-సురక్షితమైన వాటిని మాత్రమే నిపుణులకు పంపుతుంది. 3,200 రోజువారీ డిమాండ్లలో, కేవలం 950 మాత్రమే మానవులపైకి వచ్చాయి; నిపుణులు తమ సమయాన్ని నిజంగా ప్రమాదకర 30%కి కేటాయించారు, సగటు లావాదేవీ సమయం 4 గంటల నుండి 40 నిమిషాలకు పడిపోయింది.

చిట్కా: మానవ నియంత్రణను సెటప్ చేయవద్దు, తద్వారా "ప్రజలు ప్రతిదీ చూడగలరు" — ఇది ప్రజలను అలసిపోతుంది మరియు ఆమోదం రబ్బరు స్టాంప్‌గా మారుతుంది. బదులుగా, మానవునికి అధిక-ప్రభావం మరియు తక్కువ-విశ్వాసం అవుట్‌పుట్‌లను మాత్రమే రూట్ చేయండి; ఇది నిజంగా ముఖ్యమైన వాటిపై దృష్టి పెడుతుంది.

మానవ నియంత్రణను అర్థవంతంగా చేయడం

హ్యూమన్-ఇన్-ది-లూప్ అంటే కాగితంపై చెక్‌బాక్స్ పెట్టడం కాదు. సమీక్షకుడికి తప్పనిసరిగా (1) నిర్ణయాన్ని అర్థం చేసుకునే సందర్భం, (2) మూలానికి యాక్సెస్ మరియు (3) “లేదు” అని చెప్పే అధికారం ఉండాలి. లేకపోతే, నియంత్రణ సౌందర్యంగా ఉంటుంది. సమీక్ష కార్డ్ (పైన నాల్గవ టెంప్లేట్) ఆ సందర్భాన్ని అందించడానికి ఉద్దేశించబడింది.

సాధారణ తప్పులు

• కేవలం స్కీమా ధ్రువీకరణ చేయడం మరియు కంటెంట్/విలువ లోపాలను దాటవేయడం.
• మోడల్‌కి "నిర్ధారించుకోండి" అని చెప్పడం ద్వారా మీరు నిజమైన ధృవీకరణ చేస్తున్నట్లు ఆలోచిస్తున్నారు.
• అధిక-ప్రభావ, కోలుకోలేని నిర్ణయాలను స్వయంచాలకంగా అమలు చేయండి.
• ప్రతి అవుట్‌పుట్‌పై మానవ నియంత్రణను ఉంచడం మరియు ఆమోదాన్ని అర్థంలేని రబ్బరు స్టాంప్‌గా మార్చడం.
• మూలం మరియు సందర్భం ఇవ్వకుండా సమీక్షకుడికి "ఆమోదించండి" అని చెప్పడం.
• ట్రస్ట్ థ్రెషోల్డ్ మరియు రూటింగ్‌ను ఏర్పాటు చేయకుండా ఒకే రిస్క్‌తో అన్ని అవుట్‌పుట్‌లను ప్రాసెస్ చేయడం.

సారాంశంలో

• అవుట్‌పుట్ మూడు విధాలుగా పాడైంది: రూపం, కంటెంట్ మరియు హానికరమైన ఉద్దేశం; ఒక ఘన వ్యవస్థ తలుపు వద్ద మూడింటిని నిలిపివేస్తుంది.
• లేయర్‌లు: స్కీమా ధ్రువీకరణ, రూల్/బిజినెస్ లాజిక్, సోర్స్ కంట్రోల్, సెకండ్ మోడల్ (LLM-యాజ్-డ్జ్) మరియు ట్రస్ట్ థ్రెషోల్డ్ రూటింగ్.
• అధిక-ప్రభావ మరియు తక్కువ-భద్రత అవుట్‌పుట్‌ల కోసం హ్యూమన్-ఇన్-ది-లూప్ తప్పనిసరిగా ఉండాలి.
• మానవ సమీక్ష తప్పనిసరిగా అర్థవంతంగా ఉండాలి: సమీక్షకుడికి సందర్భం, వనరుల యాక్సెస్ మరియు "లేదు" అని చెప్పే అధికారం ఉండాలి.
• ప్రతి అవుట్‌పుట్ కాకుండా ప్రమాదకరమైన వాటిని మాత్రమే మానవులకు నిర్దేశించడం ద్వారా భద్రత మరియు సామర్థ్యం రెండూ లభిస్తాయి.

అప్లికేషన్ టాస్క్

మీ స్వంత AI అవుట్‌పుట్ నుండి ఒక ఉదాహరణ తీసుకోండి. ముందుగా JSON స్కీమాను నిర్వచించండి మరియు దానికి అవుట్‌పుట్‌ను బలవంతం చేయండి. ఆపై కనీసం రెండు వ్యాపార నియమాలను వ్రాయండి (ఉదాహరణకు, "మొత్తం మొత్తం వస్తువులతో సరిపోలుతుంది"). చివరగా, రౌటింగ్ టేబుల్‌ని సెటప్ చేయండి: ఏ ట్రస్ట్/ఇన్‌ఫ్లూయెన్స్ కాంబినేషన్ ఆటోమేటిక్‌గా వెళ్తుంది, ఏది రెండవ మోడల్‌కి వెళుతుంది, ఏది మనిషికి వెళ్తుంది? తప్పు నమూనాను రూపొందించండి మరియు ప్రతి పొర దానిని ఎక్కడ సంగ్రహిస్తుందో గమనించండి.

చెక్లిస్ట్

• [ ] నేను అవుట్‌పుట్ కోసం కఠినమైన స్కీమాను నిర్వచించాను మరియు దానిని యంత్రంతో ధృవీకరిస్తాను.
• [ ] నేను కనీసం ఒక వ్యాపారం/నియమాల ధ్రువీకరణను (విలువ తర్కం) జోడించాను.
• [ ] నేను ధృవీకరణలను మూలానికి లింక్ చేయగలను మరియు వాటిని తనిఖీ చేయగలను.
• [ ] అధిక ప్రభావం/తక్కువ భద్రతా ఫలితాల కోసం రెండవ మోడల్ లేదా మానవ ధ్రువీకరణ అందుబాటులో ఉంది.
• [ ] నమ్మకం మరియు ప్రభావం ఆధారంగా రూటింగ్ నియమం నిర్వచించబడింది.
• [ ] సమీక్షకుడికి సందర్భం, మూలం మరియు తిరస్కరించే అధికారం అందించబడుతుంది.