ഔട്ട്പുട്ട് പരിശോധനയും മനുഷ്യ പരിശോധനയും

നേട്ടങ്ങൾ:

• സ്കീമയും റൂൾ അധിഷ്ഠിത ഔട്ട്പുട്ട് മൂല്യനിർണ്ണയ പാളികളും സ്ഥാപിക്കാനുള്ള കഴിവ്
• ഉയർന്ന-ഇംപാക്ട് തീരുമാനങ്ങളിൽ ഹ്യൂമൻ-ഇൻ-ലൂപ്പ് അർത്ഥപൂർവ്വം ആവശ്യപ്പെടാനുള്ള കഴിവ്
• രണ്ടാമത്തെ മോഡൽ ഉപയോഗിച്ച് സ്ഥിരീകരണവും ട്രസ്റ്റ് ത്രെഷോൾഡ് അടിസ്ഥാനമാക്കിയുള്ള റൂട്ടിംഗും രൂപകൽപ്പന ചെയ്യാനുള്ള കഴിവ്

ഒരു ഭാഷാ മാതൃക ദ്രാവകവും, ബോധ്യപ്പെടുത്തുന്നതും, പലപ്പോഴും കൃത്യവും സൃഷ്ടിക്കുന്നു - എന്നാൽ "പ്രേരണ" എന്നത് "ശരിയായത്" പോലെയല്ല. മോഡലിന് ഒരു തുക, ഒരു തീയതി അല്ലെങ്കിൽ ഒരു JSON ഫീൽഡ് എന്നിവ നിശബ്ദമായി ഉൾക്കൊള്ളാൻ കഴിയും; ഇതിനെ ഹാലുസിനേഷൻ എന്ന് വിളിക്കുന്നു (യാഥാർത്ഥ്യത്തിൽ ഇല്ലാത്ത വിവരങ്ങൾ മോഡൽ ആത്മവിശ്വാസത്തോടെ ഉത്പാദിപ്പിക്കുന്നു). ഒരു എൻ്റർപ്രൈസ് സിസ്റ്റത്തിൽ, ആ ഔട്ട്‌പുട്ട് അടുത്ത ഘട്ടത്തിലേക്ക് ഒഴുകുകയാണെങ്കിൽ - ഒരു പേയ്‌മെൻ്റ്, ഒരു ഇമെയിൽ, ഒരു ഡാറ്റാബേസ് റൈറ്റ് - പിശക് യഥാർത്ഥ ലോകത്തേക്ക് വ്യാപിക്കും. ഈ യൂണിറ്റിൽ, ഔട്ട്‌പുട്ട് സിസ്റ്റത്തിലേക്ക് പ്രവേശിക്കുന്നതിന് മുമ്പ് പരിശോധിച്ചുറപ്പിക്കൽ ലെയറുകൾ ഉപയോഗിച്ച് ഫിൽട്ടർ ചെയ്യാനും ഉയർന്ന സ്വാധീനമുള്ള തീരുമാനങ്ങളിൽ ഹ്യൂമൻ-ഇൻ-ദി-ലൂപ്പ് ആവശ്യപ്പെടാനും ഞങ്ങൾ പഠിക്കും.

എന്തുകൊണ്ട് ഔട്ട്പുട്ട് മൂല്യനിർണ്ണയം ആവശ്യമാണ്?

മോഡൽ ഔട്ട്‌പുട്ട് രണ്ട് പ്രാഥമിക വഴികളിൽ കേടാകാം: ഫോർമാറ്റ് (പ്രതീക്ഷിക്കുന്ന JSON സ്കീമയുമായി പൊരുത്തപ്പെടുന്നില്ല, ഫീൽഡ് കാണുന്നില്ല/അധികമാണ്) കൂടാതെ ഉള്ളടക്കം (ഫോർമാറ്റ് ശരിയാണ്, പക്ഷേ മൂല്യം തെറ്റാണ് - നിലവിലില്ലാത്ത ഉൽപ്പന്ന കോഡ്, യുക്തിരഹിതമായ തീയതി). സുരക്ഷയുടെ കാര്യത്തിൽ മൂന്നാമതൊരു മാനമുണ്ട്: ക്ഷുദ്ര ഔട്ട്പുട്ട് (ഇഞ്ചക്ഷൻ അല്ലെങ്കിൽ ചോർച്ചയുടെ ഫലമായി നിർമ്മിച്ച ഒരു ക്ഷുദ്ര കമാൻഡ്). ഒരു സോളിഡ് സിസ്റ്റം മൂന്നും വാതിൽക്കൽ നിർത്തുന്നു.

മുന്നറിയിപ്പ്: "മോഡൽ പൊതുവായി കൃത്യമാണ്" എന്നത് ഒരു ഉൽപ്പാദന മാനദണ്ഡമല്ല. സ്ഥിരീകരണമില്ലാത്ത ഒരു സിസ്റ്റത്തിൽ, ആയിരത്തിൽ ഒരു പിശക് പോലും അർത്ഥമാക്കുന്നത് പ്രതിദിനം 100,000 അഭ്യർത്ഥനകളിൽ പ്രതിദിനം 100 തെറ്റായ ഇടപാടുകൾ എന്നാണ്.

പ്രാമാണീകരണ പാളികൾ: ഘട്ടം ഘട്ടമായി

1. സ്കീമ മൂല്യനിർണ്ണയം. ഔട്ട്‌പുട്ട് പ്രതീക്ഷിച്ച ഘടനയുമായി പൊരുത്തപ്പെടുന്നുണ്ടോയെന്ന് മെഷീൻ ഉപയോഗിച്ച് പരിശോധിക്കുക: ഫീൽഡുകൾ നിലവിലുണ്ടോ, അവയുടെ തരങ്ങൾ ശരിയാണോ, ആവശ്യമായ ഫീൽഡുകൾ പൂരിപ്പിച്ചിട്ടുണ്ടോ?
2. റൂൾ/ബിസിനസ് ലോജിക് മൂല്യനിർണ്ണയം. മൂല്യങ്ങൾ ബിസിനസ്സ് നിയമങ്ങളുമായി പൊരുത്തപ്പെടുന്നുണ്ടോ? (തുക > 0, തീയതി ഭാവിയിലല്ല, ഉൽപ്പന്ന കോഡ് കാറ്റലോഗിൻ്റേതാണ്.)
3. റഫറൻസ്/ഉറവിട നിയന്ത്രണം. മോഡൽ ഒരു അവകാശവാദം ഉളവാക്കുകയാണെങ്കിൽ, അത് ഉറവിടവുമായി ബന്ധിപ്പിക്കാൻ കഴിയുമോ? (RAG ഉദ്ധരണി യഥാർത്ഥത്തിൽ ഡോക്യുമെൻ്റിൽ ഉണ്ടോ?)
4. രണ്ടാമത്തെ മോഡൽ ഉപയോഗിച്ചുള്ള മൂല്യനിർണ്ണയം (LLM-as-judge). ഒരു സ്വതന്ത്ര മോഡൽ ഔട്ട്‌പുട്ടിനെ "ശരിയായ/അപൂർണ്ണമായ/അപകടകരമായ" ആയി വിലയിരുത്തുന്നു.
5. ട്രസ്റ്റ് ത്രെഷോൾഡും ഓറിയൻ്റേഷനും. മോഡൽ അല്ലെങ്കിൽ വാലിഡേറ്റർ കുറഞ്ഞ ആത്മവിശ്വാസം റിപ്പോർട്ട് ചെയ്താൽ, ഔട്ട്പുട്ട് സ്വയമേവ കടന്നുപോകില്ല; മനുഷ്യരിലേക്ക് നയിക്കപ്പെടുന്നു.
6. മനുഷ്യ നിയന്ത്രണം. ഉയർന്ന ശേഷിയുള്ളതോ സുരക്ഷിതമല്ലാത്തതോ ആയ ഫലം ഒരു വിദഗ്ദ്ധൻ്റെ അംഗീകാരത്തെ ആശ്രയിച്ചിരിക്കുന്നു.

പകർത്താവുന്ന നാല് ടെംപ്ലേറ്റുകൾ

സ്കീം + "നിങ്ങൾക്ക് അറിയില്ലെങ്കിൽ അത് ഉണ്ടാക്കുക" ഒരുമിച്ച്:

ഇനിപ്പറയുന്ന JSON സ്കീമയിൽ മാത്രം പ്രതികരണം നൽകുക: "കുറഞ്ഞത്" എന്ന് എഴുതുക. ഒരിക്കലും ഒരു എസ്റ്റിമേറ്റ് കൃത്യമായി എഴുതരുത്.

രണ്ടാമത്തെ മോഡൽ ഉപയോഗിച്ചുള്ള പരിശോധന (ജഡ്ജ് പ്രോംപ്റ്റ്):

നിങ്ങൾ ഒരു സ്വതന്ത്ര മൂല്യനിർണ്ണയക്കാരനാണ്. താഴെ ഒരു <source> ടെക്‌സ്‌റ്റും ഒരു <ക്ലെയിം> ഉണ്ട്. ക്ലെയിമിലെ ഓരോ നമ്പറും തീയതിയും ഉറവിടത്തിൽ പദാനുപദമായി സംഭവിക്കുന്നുണ്ടോയെന്ന് പരിശോധിക്കുക. ഓരോന്നിനും പറയുക: "സ്ഥിരീകരിച്ചു | ഉറവിടത്തിൽ ഇല്ല | ഉറവിടത്തിന് വിരുദ്ധമാണ്." അവയിലൊന്ന് പോലും 'അസാന്നിധ്യം/സംഘർഷം' ആണെങ്കിൽ, ഫലം "ഹ്യൂമൻ റിവ്യൂ ആവശ്യമാണ്" എന്ന് അടയാളപ്പെടുത്തുക.<source>{{ text }}</source><claim>{{ model_output }}</claim>

ട്രസ്റ്റ് ത്രെഷോൾഡ് റൂട്ടിംഗ് നിയമം:

റൂട്ടിംഗ് റൂൾ:- emin_misin = "high" ഒപ്പം തുക < 10,000 TL -> ഓട്ടോമാറ്റിക് പ്രോസസ്സിംഗ്- emin_misin = "ഇടത്തരം" അല്ലെങ്കിൽ തുക 10,000-100,000 TL -> രണ്ടാമത്തെ മോഡൽ പരിശോധന- emin_misin = "കുറഞ്ഞത്" അല്ലെങ്കിൽ തുക > 0 TL -> 0 TL ആവശ്യമാണ്

ഹ്യൂമൻ ഓഡിറ്റ് സംഗ്രഹ കാർഡ് (അവലോകനം വേഗത്തിലാക്കുന്നു):

ഒരു വ്യക്തിക്ക് തീരുമാനം അവതരിപ്പിക്കുമ്പോൾ, ഈ കാർഡ് ഹാജരാക്കുക:- എന്താണ് നിർദ്ദേശിക്കുന്നത്? (ഒരു വാചകം)- ഏത് ഉറവിടത്തെ അടിസ്ഥാനമാക്കിയുള്ളതാണ്? (ലേഖനം/രേഖ റഫറൻസ്)- ഏറ്റവും ദുർബ്ബലമായ 2 അനുമാനങ്ങൾ ഏതൊക്കെയാണ്?- അംഗീകരിച്ചാൽ, അവ തിരിച്ചെടുക്കാനാകുമോ? (അതെ/ഇല്ല)

ദുർബലമായ പ്രോംപ്റ്റ് / ശക്തമായ പ്രോംപ്റ്റ്

മോശം സമീപനം

ശക്തമായ സമീപനം

"ഇൻവോയ്സിൽ നിന്ന് തുക കുറയ്ക്കുക" (സൗജന്യ വാചകം)

കർശനമായ JSON സ്കീമ + നൾ + ട്രസ്റ്റ് ഫീൽഡ്

ഔട്ട്‌പുട്ട് നേരിട്ട് പേയ്‌മെൻ്റ് സിസ്റ്റത്തിലേക്ക് എഴുതുന്നു

സ്കീമ → റൂൾ → മനുഷ്യ അംഗീകാരം (ആവശ്യമെങ്കിൽ)

മോഡലിനോട് "ഉറപ്പായിരിക്കുക" എന്ന് പറയുക

രണ്ടാമത്തെ മോഡലിനൊപ്പം നമ്പർ/തീയതി മൂല്യനിർണ്ണയം

എല്ലാ ഔട്ട്പുട്ടും തുല്യ ആത്മവിശ്വാസത്തോടെ പ്രോസസ്സ് ചെയ്യുന്നു

സ്വാധീനവും വിശ്വാസവും അടിസ്ഥാനമാക്കിയുള്ള റൂട്ടിംഗ്

ശക്തമായ സമീപനം മാതൃക ശരിയാണെന്ന് പ്രതീക്ഷിക്കുന്നില്ല; നിങ്ങൾ തെറ്റ് ചെയ്യുമ്പോൾ അത് നിങ്ങളെ പിടിക്കുന്ന ഒരു വാതിൽ സൃഷ്ടിക്കുന്നു.

മൂന്ന് മിനി കേസുകൾ

കേസ് 1 - സ്കീം മാത്രം പോരാ. ഒരു അക്കൗണ്ടിംഗ് ഓട്ടോമേഷൻ ഇൻവോയ്സുകളിൽ നിന്ന് JSON ആയി തുക വേർതിരിച്ചെടുക്കുകയായിരുന്നു. സ്കീം ശരിയായിരുന്നു, എന്നാൽ ഒരു ഇൻവോയ്സിൽ (ദശാംശ ഷിഫ്റ്റ്) "1,250.00" എന്നതിന് പകരം "125,000" മോഡൽ നിർമ്മിച്ചു. ഇത് പിടിച്ചെടുക്കുന്നതിൽ പദ്ധതി പരാജയപ്പെട്ടു; റൂൾ വെരിഫിക്കേഷൻ ("തുക മൊത്തം ഇൻവോയ്സ് ഇനങ്ങളുമായി ±1% പ്രകാരമായിരിക്കണം") പിടിക്കപ്പെടുകയും 112,500 TL ൻ്റെ തെറ്റായ റെക്കോർഡിംഗ് തടയുകയും ചെയ്തു.

കേസ് 2 - രണ്ടാമത്തെ മോഡൽ ഹാലുസിനേഷൻ പിടിച്ചെടുത്തു. "30 ദിവസത്തെ പിരിച്ചുവിടൽ അറിയിപ്പ്," ഒരു ലീഗൽ സപ്പോർട്ട് അസിസ്റ്റൻ്റ് കരാർ സംഗ്രഹത്തിൽ പറഞ്ഞു; എന്നിരുന്നാലും, കരാറിൽ ഇത് 90 ദിവസമായിരുന്നു. സ്വതന്ത്ര ജഡ്ജി മോഡൽ "ഉറവിടവുമായി വൈരുദ്ധ്യം" എന്ന് ഫ്ലാഗ് ചെയ്തപ്പോൾ, ഔട്ട്പുട്ട് മനുഷ്യന് കൈമാറുകയും തിരുത്തുകയും ചെയ്തു. ഇത് യാന്ത്രികമാണെങ്കിൽ, തെറ്റായ തീയതിയെ അടിസ്ഥാനമാക്കി ഉപഭോക്താവ് റദ്ദാക്കലിനെ അറിയിക്കും.

കേസ് 3 - റൂട്ടിംഗ് ലോഡ് 70% കുറച്ചു. ഒരു ഇൻഷുറൻസ് ക്ലെയിം സിസ്റ്റം സ്വയമേവ കുറഞ്ഞ തുകയും ഉയർന്ന സുരക്ഷയുമുള്ള ക്ലെയിമുകൾക്ക് അംഗീകാരം നൽകുകയും മുകളിലുള്ള ത്രെഷോൾഡ്/കുറഞ്ഞ സുരക്ഷിതത്വമുള്ളവ മാത്രം വിദഗ്ധന് അയക്കുകയും ചെയ്തു. ദിവസേനയുള്ള 3,200 ആവശ്യങ്ങളിൽ 950 എണ്ണം മാത്രമാണ് മനുഷ്യർക്ക് ലഭിച്ചത്; വിദഗ്ദ്ധർ അവരുടെ സമയം യഥാർത്ഥത്തിൽ അപകടസാധ്യതയുള്ള 30% ലേക്ക് നീക്കിവച്ചു, ശരാശരി ഇടപാട് സമയം 4 മണിക്കൂറിൽ നിന്ന് 40 മിനിറ്റായി കുറഞ്ഞു.

നുറുങ്ങ്: മനുഷ്യ നിയന്ത്രണം സജ്ജീകരിക്കരുത്, അതിലൂടെ "ആളുകൾക്ക് എല്ലാം കാണാൻ കഴിയും" - ഇത് ആളുകളെ ക്ഷീണിപ്പിക്കുകയും അംഗീകാരം ഒരു റബ്ബർ സ്റ്റാമ്പായി മാറുകയും ചെയ്യും. പകരം, ഉയർന്ന ആഘാതവും കുറഞ്ഞ ആത്മവിശ്വാസവും ഉള്ള ഔട്ട്പുട്ടുകൾ മാത്രമേ മനുഷ്യനിലേക്ക് നയിക്കൂ; ഇത് ശരിക്കും പ്രാധാന്യമുള്ള കാര്യങ്ങളിൽ ശ്രദ്ധ കേന്ദ്രീകരിക്കുന്നു.

മനുഷ്യ നിയന്ത്രണം അർത്ഥപൂർണ്ണമാക്കുന്നു

ഹ്യൂമൻ-ഇൻ-ദി-ലൂപ്പ് എന്നത് ഒരു ചെക്ക് ബോക്‌സ് കടലാസിൽ ഇടുകയല്ല. അവലോകനം ചെയ്യുന്നയാൾക്ക് (1) തീരുമാനം മനസ്സിലാക്കാനുള്ള സന്ദർഭം, (2) ഉറവിടത്തിലേക്കുള്ള പ്രവേശനം, (3) "ഇല്ല" എന്ന് പറയാനുള്ള അധികാരം എന്നിവ ഉണ്ടായിരിക്കണം. അല്ലെങ്കിൽ, നിയന്ത്രണം സൗന്ദര്യവർദ്ധകമായി തുടരുന്നു. റിവ്യൂ കാർഡ് (മുകളിലുള്ള നാലാമത്തെ ടെംപ്ലേറ്റ്) ആ സന്ദർഭം നൽകാൻ ഉദ്ദേശിച്ചുള്ളതാണ്.

സാധാരണ തെറ്റുകൾ

• സ്കീമ മൂല്യനിർണ്ണയം നടത്തുകയും ഉള്ളടക്കം/മൂല്യ പിശകുകൾ ഒഴിവാക്കുകയും ചെയ്യുന്നു.
• മോഡലിനോട് "ഉറപ്പാക്കുക" എന്ന് പറയുന്നതിലൂടെ നിങ്ങൾ യഥാർത്ഥ പരിശോധന നടത്തുകയാണെന്ന് ചിന്തിക്കുക.
• ഉയർന്ന ആഘാതവും മാറ്റാനാവാത്തതുമായ തീരുമാനങ്ങൾ സ്വയമേവ നടപ്പിലാക്കുക.
• ഓരോ ഔട്ട്‌പുട്ടിലും മനുഷ്യ നിയന്ത്രണം ഏർപ്പെടുത്തുകയും അംഗീകാരം അർത്ഥശൂന്യമായ റബ്ബർ സ്റ്റാമ്പാക്കി മാറ്റുകയും ചെയ്യുന്നു.
• ഉറവിടവും സന്ദർഭവും നൽകാതെ നിരൂപകനോട് "അംഗീകരിക്കുക" എന്ന് പറയുന്നത്.
• ഒരു ട്രസ്റ്റ് ത്രെഷോൾഡും റൂട്ടിംഗും സ്ഥാപിക്കാതെ ഒരേ അപകടസാധ്യതയുള്ള എല്ലാ ഔട്ട്പുട്ടുകളും പ്രോസസ്സ് ചെയ്യുന്നു.

ചുരുക്കത്തിൽ

• ഔട്ട്പുട്ട് മൂന്ന് തരത്തിൽ കേടായിരിക്കുന്നു: ഫോം, ഉള്ളടക്കം, ക്ഷുദ്രമായ ഉദ്ദേശ്യം; ഒരു സോളിഡ് സിസ്റ്റം മൂന്നും വാതിൽക്കൽ നിർത്തുന്നു.
• ലെയറുകൾ: സ്കീമ മൂല്യനിർണ്ണയം, റൂൾ/ബിസിനസ് ലോജിക്, സോഴ്സ് കൺട്രോൾ, രണ്ടാമത്തെ മോഡൽ (LLM-as-judge), ട്രസ്റ്റ് ത്രെഷോൾഡ് റൂട്ടിംഗ്.
• ഉയർന്ന ആഘാതവും കുറഞ്ഞ സുരക്ഷയുമുള്ള ഔട്ട്‌പുട്ടുകൾക്ക് ഹ്യൂമൻ-ഇൻ-ദി-ലൂപ്പ് നിർബന്ധിതമായിരിക്കണം.
• മാനുഷിക അവലോകനം അർത്ഥവത്തായതായിരിക്കണം: നിരൂപകന് സന്ദർഭവും റിസോഴ്‌സ് ആക്‌സസ്സും "ഇല്ല" എന്ന് പറയാനുള്ള അധികാരവും ഉണ്ടായിരിക്കണം.
• അപകടസാധ്യതയുള്ളവയെ മാത്രം മനുഷ്യരിലേക്ക് നയിക്കുന്നതിലൂടെ സുരക്ഷിതത്വവും കാര്യക്ഷമതയും കൈവരുന്നു, എല്ലാ ഔട്ട്‌പുട്ടുകളുമല്ല.

ആപ്ലിക്കേഷൻ ടാസ്ക്

നിങ്ങളുടെ സ്വന്തം AI ഔട്ട്പുട്ടിൽ നിന്ന് ഒരു ഉദാഹരണം എടുക്കുക. ആദ്യം ഒരു JSON സ്കീമ നിർവചിക്കുകയും അതിലേക്ക് ഔട്ട്പുട്ട് നിർബന്ധിക്കുകയും ചെയ്യുക. തുടർന്ന് കുറഞ്ഞത് രണ്ട് ബിസിനസ്സ് നിയമങ്ങളെങ്കിലും എഴുതുക (ഉദാഹരണത്തിന്, "മൊത്തം ഇനങ്ങളുമായി പൊരുത്തപ്പെടുന്ന തുക"). അവസാനമായി, ഒരു റൂട്ടിംഗ് ടേബിൾ സജ്ജീകരിക്കുക: ഏത് ട്രസ്റ്റ്/ഇൻഫ്ലുവൻസ് കോമ്പിനേഷൻ സ്വയമേവ പോകുന്നു, ഏത് രണ്ടാമത്തെ മോഡലിലേക്ക് പോകുന്നു, അത് മനുഷ്യനിലേക്ക് പോകുന്നു? ഒരു തെറ്റായ സാമ്പിൾ സൃഷ്ടിച്ച് ഓരോ ലെയറും എവിടെയാണ് പിടിച്ചെടുക്കുന്നതെന്ന് നിരീക്ഷിക്കുക.

ചെക്ക്ലിസ്റ്റ്

• [ ] ഞാൻ ഔട്ട്പുട്ടിനായി ഒരു കർശനമായ സ്കീമ നിർവ്വചിക്കുകയും അത് മെഷീൻ ഉപയോഗിച്ച് സ്ഥിരീകരിക്കുകയും ചെയ്യുന്നു.
• [ ] ഞാൻ കുറഞ്ഞത് ഒരു ബിസിനസ്/നിയമ മൂല്യനിർണ്ണയം (മൂല്യം യുക്തി) ചേർത്തു.
• [ ] എനിക്ക് ഉറപ്പുകൾ ഉറവിടവുമായി ലിങ്ക് ചെയ്യാനും അവ പരിശോധിക്കാനും കഴിയും.
• [ ] ഉയർന്ന ആഘാതം/കുറഞ്ഞ സുരക്ഷാ ഫലങ്ങൾക്കായി രണ്ടാമത്തെ മോഡൽ അല്ലെങ്കിൽ മനുഷ്യ മൂല്യനിർണ്ണയം ലഭ്യമാണ്.
• വിശ്വാസത്തെയും സ്വാധീനത്തെയും അടിസ്ഥാനമാക്കി നിർവചിക്കപ്പെട്ട റൂട്ടിംഗ് നിയമം.
• [ ] നിരൂപകന് സന്ദർഭവും ഉറവിടവും നിരസിക്കാനുള്ള അധികാരവും നൽകിയിട്ടുണ്ട്.