Hagnaður:
- Útskýrðu orsakir ofskynjana og hlutverki jarðtengingar
- Að beita tækni sem fær líkanið til að segja „ég veit það ekki“ ef það er ekki í samhengi
- Tryggja traust og endurskoðunarhæfni með því að bæta sannanlegum heimildum/tilvitnunum við svör
Hættulegasta hegðun mállíkans er að búa til eitthvað sem hann þekkir ekki í öruggum og sannfærandi tón. Þetta er kallað ofskynjanir. Ofskynjanir hjá aðstoðarmanni fyrirtækja er ekki bara pirrandi, það er beinlínis áhættusamt: rangur frídagur, rangt verð, rangt löglegt efni getur í raun komið starfsmanni eða viðskiptavinum í skaða. Í þessari einingu förum við yfir hvers vegna ofskynjanir eiga sér stað, hvernig á að draga úr þeim í RAG og hvernig á að gera svarið sannreynanlegt.
Hvað veldur ofskynjunum?
Líkanið er þjálfað til að framleiða næst líklegasta orðið; Ekki "segja sannleikann", heldur "framleiða reiprennandi og sanngjarnan texta". Ef upplýsingar vantar geta þær fyllt skarðið með einhverju tölfræðilega sennilegt en staðreynda rangt. Þrjár dæmigerðar kveikjur:
- Það er ekkert svar í samhenginu, en líkanið finnur sig knúið til að segja eitthvað samt.
- Samhengið er andstætt eða ófullnægjandi; Líkanið lokar bilinu með spá.
- Spurningin fer út fyrir samhengi; líkanið snýr aftur til eigin almennrar (og hugsanlega úreltrar) þekkingar.
RAG dregur úr ofskynjunum vegna þess að það gefur líkaninu raunverulegan uppruna - en það endurstillir það ekki. Ef þú kemur með rangan hluta eða skilur líkanið eftir "frelsi til að fylla skarðið" getur kerfið með RAG líka passað það.
tegund ofskynjana
einkenni
undirrót
lausnarlag
stafar af endurheimt
Rétt svar er í skjalinu en það barst ekki
Rangur/vantar hluti afhentur
Chunking, blending, endurröðun (eining 3-4)
Kynslóð fengin
Réttur hluti kom en svarið er rangt/þarf að bæta við
Líkanið fyllti skarðið með spá
Jarðtenging, "ég veit ekki" leyfi, lítil sköpunarkraftur
Tilvitnun fengin
Svarið er rétt en heimildin er röng
Líkan vísað til rangs hluta
Tilvitnunarstaðfesting (sjá deild 8)
Ábending: Skiptu ofskynjunum í tvo hluta. Upprunnið frá endurheimt: rangur/vantar hluti kominn (lausn: bæta endurheimt). Uppruni kynslóðar: Réttur hluti kom, en líkanið las/bætti honum vitlaust við (lausn: hvetja og jarðtenging). Þú getur ekki lagað það nema þú vitir hver það er.
Jarðtenging: Að negla svarið í samhengi
Jarðtenging er nafnið sem gefið er yfir allar aðferðir við að segja fyrirsætunni "reitstu bara á textann sem ég gef þér, farðu ekki út fyrir hann." Grundvallar- og áhrifaríkasta tækni hans: að gefa fyrirmyndinni beinlínis leyfi til að segja „ég veit það ekki“. Líkanið, eins og manneskjan, er hikandi við að segja "ég veit það ekki"; Þú verður að gefa honum skýlaust leyfi til að gera þetta.
Svarið eingöngu byggt á samhenginu hér að neðan. Ef svarið er ekki greinilega í samhenginu, skrifaðu nákvæmlega þetta: "Ég fann ekki nægar upplýsingar um þetta í skjölunum." Ekki setja neinar tölur, dagsetningar eða nöfn sem eru ekki í samhenginu. Ekki giska.
Viðbótar jarðtengingartækni:
- Krafa um tilvitnun: Fyrir hverja kröfu, vitna orðrétt í samhengið („Skjalið segir: '...'“). Að búa til tilbúnar tilvitnanir er erfiðara fyrir líkanið.
- Lágt hitastig: Hitastigið (hitastig, sköpunarkraftur/tilviljunarkennd stilling) ætti að vera lágt. Athugið: í sumum núverandi gerðum hefur þessi færibreyta verið fjarlægð; Í þeim veitir þú jarðtengingu með hvetja. Mikil sköpunargáfa er óvinur heiðarleika fyrirtækja.
- Takmörkun gildissviðs: "Aðeins bregðast við samþykkisstefnumálum; hafna kurteislega að afþakka."
Tilvitnun
Sterkasta kerfisbundna vörnin gegn ofskynjunum er að gera svarið sannanlegt. Ef notandinn getur séð hvaða skjal svarið er byggt á: (1) hann getur gripið mistökin sjálfur, (2) endurskoðun verður möguleg, (3) traust eykst og (4) líkanið framleiðir varkárari með vitund um að "ég mun þurfa að vitna í heimildina".
Tvær algengar aðferðir:
Innbyggð úthlutun: Upprunamerki við hverja kröfu. "Árlegt leyfi er 14 dagar [1]." Hér að neðan er öll skjölin um [1].
Skipulögð framleiðsla: Að biðja líkanið um að framleiða svarið og heimildalistann í aðskildum reitum; Sýnir tilföng sem smellanlega tengla í viðmótinu.
# Framleiða skipulegt svar byggt á líkaninu (hugmyndalegt) Gefðu svarið þitt í eftirfarandi uppbyggingu:- svar: <samhengisbundið svar>- heimildir: [{"part_no": 1, "file": "...", "section": "..."}]- traust: <hátt|miðlungs|lágt> # Hversu skýrt styður samhengið það? Ef samhengið styður ekki svarið, skrifaðu „engar upplýsingar fundust“ í svarreitinn og skildu heimildirnar eftir auðar.
Til að tilvitnun virki í raun og veru er nauðsynlegt að staðfesta að tilvísunin sé rétt. Líkanið getur stundum gefið rétt svar en gefið ranga heimild. Háþróuð kerfi athuga sjálfkrafa að hver fullyrðing sem framleidd er sé í raun studd í verkinu sem hún bendir á („trúmælingin“ í næstu einingu).
Veikt/sterkt: Hvetjandi gegn ofskynjunum
Veikt (boð um að fylla út eyðuna):
Svaraðu spurningunni eins vel og þú getur með þeim upplýsingum sem þú hefur: {context} Spurning: {question}# "Eins og þú getur" þýðir "giska á hvort þú veist það ekki" fyrir fyrirmyndina.
Sterk (jarðtenging + veit ekki leyfi + uppspretta + traust):
Treystu bara á CONTEXT. Annars segðu "Ég fann engar upplýsingar"; gera upp númer/dagsetningu/nafn.Bættu [n] upprunanúmeri við hverja kröfu. Tilgreindu hversu mikið traust samhengið styður. CONTEXT: [1]... [2]... SPURNING: {question}
Þrjú Mini Cass
Mál 1 — Tilbúið vörunúmer. Lögfræðingur bjó til yfirlýsingu „17. gr./B“ sem var úr samhengi og gaf starfsmanninum rangar upplýsingar. Þegar leiðbeiningunum „Ekki gefa upp greinarnúmer sem er ekki í samhenginu, annars segðu að ég veit það ekki“ + tilvitnunarskyldu var bætt við fækkaði tilfellum um tilbúnar greinar úr 11 í 0 í 40 dæmum.
Mál 2 - Rétt svar, röng heimild. Aðstoðarmaður sagði réttan skilatíma en vitnaði í ranga grein; Þegar viðskiptavinurinn smellti á hlekkinn opnaðist óviðkomandi síða. Þegar sannprófun tilvitnana (að athuga hvort krafan birtist í tilvitnuðu verki) var bætt við lækkaði hlutfall rangra tilvitnana úr 23% í 2%.
Mál 3 — „Ég veit það ekki“ leyfi var ekki veitt. Aðstoðarmaður mannauðs hafði fundið upp trúverðugt en rangt svar við spurningu sem var ekki í skjalinu. Þegar skýru „ég veit ekki“ samþykki og fullum texta („ég fann ekki upplýsingar um þetta í skjölunum“) var bætt við skilaboðin jókst heiðarleg höfnunarhlutfall spurninga án svars, frekar en tilbúninga, úr 8% í 95%.
Algeng mistök
- Að leyfa ekki „ég veit það ekki“: Líkanið fyllir skarðið með tilbúningi.
- Að halda sköpunargáfunni mikilli: Tilviljun er skaðleg heilindum fyrirtækja.
- Að treysta heimildinni án þess að sannreyna hana: Líkanið gæti tengt ranga heimild við rétta svarið.
- Ekki greina á milli tveggja tegunda ofskynjana: Þú leiðréttir rangan stað án þess að vita hvort það stafar af endurheimt eða kynslóð.
- Mistök tilvitnun fyrir snyrtivörur: Heimildartilvitnun er bæði staðfesting og fælingarmátt; taka það alvarlega.
Varúð: „Módelið lítur mjög öruggt út“ er ekki það sama og „líkanið er rétt“. Ofskynjanir eru yfirleitt fljótustu og öruggustu setningarnar. Lestu traustið úr heimildinni sem það gefur til kynna, ekki frá tóninum í setningunni.
Í stuttu máli
- Ofskynjanir er þegar líkanið fyllir upplýsingagafinn með trúverðugum en fölskum texta; RAG minnkar en endurstillast ekki.
- Ofskynjanir geta stafað af endurheimt (rangur hluti) eða kynslóð (rangur lestur); Ákveða hvern fyrst.
- Öflugasta tækni jarðtengingar er að gefa líkaninu skýrt „ég veit það ekki“ leyfi; einnig tilvitnunarkröfur og lítill sköpunarkraftur.
- Tilvitnun gerir svarið sannanlegt; Það veitir bæði sjálfstraust og ýtir undir að líkanið sé framleitt af varkárni.
- Einnig ætti að athuga nákvæmni tilvitnunarinnar; Röng heimild gæti fylgt réttu svari.
Umsóknarverkefni
(1) Undirbúðu 4 spurningar til að spyrja aðstoðarmann þinn, svörin við þeim eru ekki í skjölunum (gildruspurningar). Prófaðu hvern og einn með veiku og sterku boðinu og merktu hvort líkanið passi eða ekki. (2) Fyrir 4 spurningarnar sem svörin eru í skjalinu, láttu líkanið búa til suðunúmerið og sannreyna handvirkt hvort suðuna sem það sýnir sé í raun og veru réttur hluti. (3) Athugaðu hvort líkanið gefur "rétt svar, röng heimild" í að minnsta kosti einu tilviki og skrifaðu í einni setningu hvernig þú getur skilið þetta sjálfkrafa.
gátlisti
- [ ] Ég get sagt hvers vegna ofskynjanir eiga sér stað og að RAG dregur úr henni en endurstillir hana ekki.
- [ ] Ég get greint á milli endurheimtar og ofskynjana af völdum kynslóða og leiðrétt réttan stað.
- [ ] Ég er að bæta skýrri „ég veit það ekki“ leyfi og grunnreglum við leiðbeiningarnar.
- [ ] Ég er að bæta sannanlegri heimild (tilvitnun) við svarið.
- [ ] Ég skil þörfina á að athuga frekar nákvæmni úthlutunarinnar.