Gnóthachain:
- Méadracht a shainiú a thomhaiseann cáilíocht coinneála agus giniúna ar leithligh
- Socraigh sraith ceisteanna óir agus reáchtáil meastóireacht uathoibríoch le LLM-mar-Judge
- Cáilíocht a chothabháil trí aiseolas, monatóireacht agus tástáil aischéimnithí i dtáirgeadh
Ní ráiteas innealtóireachta é an abairt "Suiteáil mé an cúntóir, is cosúil go bhfuil sé ag obair go breá". Briseann córais RAG síos go ciúin: cuireann cineál nua doiciméid amú ar an aisghabháil, laghdaíonn athrú pras cruinneas, éiríonn an t-innéacs sean. Is é an t-aon bhealach chun é seo a bhaint amach ná a thomhas. San aonad seo, clúdaímid conas cáilíocht RAG (aisghabháil agus giniúint ar leithligh), meastóireacht uathoibríoch (LLM-mar-Judge) a thomhas agus cáilíocht i dtáirgeadh a chothabháil (monatóireacht, aischéimniú). "Ní féidir leat an rud nach dtomhaiseann tú a fheabhsú" is ea mana an aonaid seo.
Tomhais Dhá Rud ar Leith
Tá dhá chos ag RAG agus ní mór é a thomhas ar leithligh toisc go bhféadfadh an fhadhb a bheith i gceachtar acu:
- Cáilíocht aisghabhála: Ar tháinig an chuid cheart?
- Cáilíocht giniúna: Ar tugadh an freagra ceart ón bpíosa isteach?
Má tá an freagra dona, ní mór duit fios a bheith agat cén cos atá go dona ar dtús. Mura dtagann an chuid ceart riamh, ní féidir fiú an leid is fearr a shábháil (fadhb aisghabhála). Más rud é gur tháinig an chuid cheart ach go ndearna an tsamhail míléamh uirthi, ní bheadh sé futile (fadhb giniúna) an t-aisghabháil a fheabhsú.
Méadracht Aisghabhála
Fadhb sórtála/rochtana is ea aisghabháil; tomhaiste ag méadracht clasaiceach aisghabhála faisnéise. Chun seo ní mór duit an cnuasach órga a bheith agat: an t-eolas ar cén píosa atá "ceart" do gach ceist.
méadrach
Cad iad na bearta
Sainmhíniú simplí
Athghairm@k
An bhfuil an píosa ceart sa bharr k?
Ráta gabhála páirteanna ceart
beachtas@k
Cé mhéad de na k píosa ar ais atá ábhartha?
Glanadh an méid a thugtar
MRR (Meanchéim chómhalartach)
Cén ord ina bhfuil an píosa ceart?
Luach saothair a bheith sna céimeanna is airde
Ráta buailte
Ar tháinig píosa ceart amháin ar a laghad?
An beart is bunúsaí de rath
Trácht praiticiúil: Má tá Recall@k íseal, ba cheart an straitéis smután nó chuardaigh (hibrideach, k, athrangú) a athoibriú. Má tá an cruinneas íseal ach go bhfuil an aisghlaoch ard, is bogadh maith é athrangú a chur leis.
Méadrachtaí Giniúint
Nuair a thagann an chuid ceart, déanaimid cáilíocht an fhreagra a tháirgtear ag an múnla a thomhas. Trí thoise bhunúsacha:
- Dílseacht: An dtacaíonn comhthéacs le gach éileamh sa fhreagra? An bhfuil feistiú ar bith ann? Is beart díreach siabhránacht é.
- Ábharthacht an fhreagra: An bhfreagraíonn an freagra an cheist i ndáiríre nó an bhfuil sé as-ábhar?
- Comhláine: Ar úsáideadh an fhaisnéis ábhartha ar fad sa chomhthéacs nó an bhfuil sé in easnamh?
Is minic a scóráiltear iad seo ar bhonn grádaithe (m.sh. 1-5), seachas ar bhonn dénártha mar “fíor/bréagach”.
Leid: Rianaigh Dílseacht mar mhéadrach ar leith. Má thagann laghdú ar dhílseacht de réir mar a thagann laghdú ar chruinneas, is é an fhadhb atá ann ná giniúint; Má tá dílseacht ard ach go bhfuil an freagra mícheart, is é an fhadhb an píosa mícheart (aisghabháil). Le chéile, is compás iad an dá mhéadracht seo a léiríonn suíomh an locht.
Tacar Ceisteanna Órga á bhunú
Teastaíonn tacar órga / tacar sonraí meastóireachta le haghaidh gach tomhas: ceisteanna réalaíocha + freagraí cearta ionchais + bunphíosaí cearta. Is fearr tosú le 30-50 ceist dea-roghnaithe ná 500 ceist randamach. Cuir na nithe seo a leanas san áireamh sa tsraith: fíorcheisteanna coitianta, ceisteanna deacra aitheanta, ceisteanna gaiste gan freagraí (ba chóir "níl a fhios agam") a rá), ceisteanna le foinsí contrártha.
# Cnuasach órga mar shampla (coincheap)[ { "ceist": "Cé mhéad lá de shaoire bhliantúil?", "expected_answer": "14 lá ar feadh 1-5 bliana sinsearachta", " correct_part_id ": "dhá chuid-3", "category": "fág" }, { "question" : "Cá bhfuil súil ag an gcomhlacht ar Mars " #, INFORM_FORM, ", trapans" #, INFORM. Níl a fhios agam "correct_part_id": null, "category": "gaiste"}]
LLM-mar-Judge: Measúnú Uathoibríoch
Tá sé an-tuirseach scóráil na gcéadta freagraí de láimh. Samhail LLM-mar-bhreitheamh is ea samhail amháin nuair a fhaigheann samhail amháin scór agus údar le freagra samhail eile bunaithe ar chritéir áirithe. Sainmhíníonn leid maith ó bhreitheamh na critéir go soiléir, tugann samplaí agus iarrann fírinniú.
# LLM-mar-Judge leid (coincheapúil)Is meastóir neamhchlaonta thú. Déan an FREAGRA thíos a mheas de réir an Chomhthéacs a thugtar agus an FHREAGAIRIS MHAITHEANTA. Scór (1-5) agus údar:- dílseacht: an dtugtar comhthéacs do gach éileamh sa fhreagra?- cruinneas: an dtagann an freagra leis an bhfreagra a mbeifí ag súil leis? - iomláine: an bhfuil an t-eolas ábhartha iomlán? Go háirithe: má tá faisnéis sa fhreagra nach bhfuil sa chomhthéacs, tabhair dílseacht1 agus cuir in iúl cén maíomh atá déanta.
Aire: níl LLM-mar-Judge foirfe; B’fhéidir go mbeadh a laofacht féin acu (freagra fada, b’fhearr leo a stíl féin). Deimhnigh an Breitheamh freisin: scóráil an breitheamh agus an duine araon roinnt freagraí agus tomhais an comhaontú eatarthu. Má tá an Breitheamh comhsheasmhach le scóir an duine, is féidir leat muinín a chur air.
Rátáil Lag/Láidre
Lag ("bhí sé go maith dom"):
Chuir mé cúpla ceist agus bhí cuma mhaith ar na freagraí. Tá sé beo agam.# Fadhb: gan aon tomhas, cúlchéimniú do-airithe, feabhas dall.
Cumhachtach (braisle óir + méadracht scoite + breithiúnas uathoibríoch + aischéimniú):
Braisle órga de 40 ceist. Le gach athrú, athghairm@5, déantar dílseacht agus cruinneas a thomhas go huathoibríoch. Má thiteann an scór, rolladh siar an t-athrú. I dtáirgeadh, bailítear aiseolas úsáideoirí agus cuirtear leis an tacar é.
Monatóireacht agus Aischéimniú sa Táirgeadh
Ní dhéantar an mheastóireacht uair amháin agus críochnaítear é. Trí chleachtas leanúnach:
- Tástáil aischéimnithí: Uath-rith braisle órga ar gach pras/aisghabháil/athrú samhail. Má laghdaítear an scór, aisiompaítear an t-athrú. Cuireann sé seo cosc ar "é a bhriseadh agus é ag iarraidh é a dhéanamh níos fearr".
- Monatóireacht ar tháirgeadh: déantar monatóireacht ar ráta "Ní raibh mé in ann faisnéis a fháil" i bhfíorcheisteanna, meánmhoill, costas, aiseolas úsáideora (👍/👎). Is minic gurb é méadú tobann ar "níl a fhios agam" an chéad chomhartha de mhífheidhm innéacs nó aisghabhála.
- Lúb aiseolais: Athbhreithnítear na fíorcheisteanna a chuir an t-úsáideoir ar fáil 👎 agus cuirtear leis an gcarn órga; Mar sin, éiríonn an tacar níos saibhre le himeacht ama agus déantar spotaí dalla an chórais a dhúnadh.
Trí Chás Mini
Cás 1 - aischéimniú ciúin. D'athraigh foireann an leid chun é a "fheabhsú"; Tháinig méadú ar chruinneas ginearálta, ach tháinig laghdú 30% ar dhílseacht i gceisteanna gaiste (thosaigh an tsamhail ag luí níos mó). Níor tugadh faoi deara é murach na ceisteanna gaiste sa chnuasach órga; Chuir tástáil aischéimnithí an t-athrú ar ais.
Cás 2 - An cos mícheart a shíneadh. I gcúntóir amháin bhí na freagraí go dona; D'oibrigh an fhoireann ar an leid ar feadh seachtainí. Nuair a thomhaiseamar an mhéadracht aisghabhála, ní raibh ach 48% ag aisghlaoch @ 5 — ba í an fhadhb aisghabhála, ní giniúint. Nuair a cuireadh athrangú hibrideach + leis, mhéadaigh an t-aisghairm go 89% agus tháinig méadú ar chruinneas freisin.
Cás 3 — Foláireamh táirgeachta. Lá amháin, mhéadaigh an ráta "Ní raibh mé in ann teacht ar fhaisnéis" do chúntóir tacaíochta ó 6% go 34%. An trackpad rabhadh; Ba é an chúis ná gur theip go ciúin ar an bpost innéacsaithe, a ritheann san oíche, agus níor uaslódáladh ailt nua. Gan monatóireacht, leanfadh ráitis mhíchearta "níl a fhios agam" ar feadh laethanta.
Botúin choitianta
- Bheith sásta le “d’oibrigh sé go maith domsa”: Gan tomhas, ní thugtar aird ar aischéimniú.
- Gan aisghabháil agus giniúint a scaradh: Ceartóidh tú an cos mícheart agus cuirfidh tú am amú.
- Gan ceisteanna gaiste a chur: Ní bhíonn an claonadh chun rudaí a dhéanamh suas le feiceáil sa bhraisle órga.
- Gan an Breitheamh a fhíorú: Tugann giúiré claonta muinín bhréagach.
- Gan monatóireacht a dhéanamh ar tháirgeadh: Teip innéacs, leanann pléascadh costais go ciúin.
Go hachomair
- I RAG, déantar cáilíocht na haisghabhála agus na giniúna a thomhas ar leithligh; Ní mór a chinneadh ar dtús cén cos a bhfuil damáiste déanta dó.
- cuimhne@k, cruinneas@k, MRR le haghaidh Aisghabhála; Úsáidtear dílseacht, oiriúnacht, iomláine le haghaidh giniúna.
- Éilíonn gach tomhas braisle óir; Cuir ceisteanna fíor, deacra, gaiste agus contrártha ann.
- Leagann mórscóir LLM-mar-bhreitheamh uathscóir; ach ní mór an breitheamh é féin a chosaint i gcoinne an duine.
- Coinníonn tástáil aischéimniúcháin, monatóireacht ar tháirgeadh, agus lúb aiseolais cáilíocht le himeacht ama.
Tasc feidhmchláir
(1) Cruthaigh sraith órga de 15 cheist ar a laghad do do chúntóir féin: cuir san áireamh ar a laghad 3 ghaistí (gan freagraí), 3 cheist dheacra, 2 cheist foinse contrártha. Scríobh an freagra a bhfuiltear ag súil leis agus an chuid cheart do gach ceist. (2) Déan comparáid idir dhá leagan leid éagsúla leis an tacar seo de láimh; Tabhair 1-5 phointe do gach freagra maidir le dílseacht agus cruinneas. (3) Cuir an leid LLM-mar-Judge thuas in oiriúint do do chritéir féin. (4) Sainaithin 3 mhéadracht a dhéanfaidh tú a rianú i dtáirgeadh agus fiafraigh do gach ceann díobh “cén tairseach ar a gcuirim aláraim?” scríobh an luach.
seicliosta
- [ ] Is féidir liom coinneáil agus cáilíocht giniúna a thomhas le méadracht ar leith.
- [ ] Tá a fhios agam cad is brí le méadracht cuimhne@k, dílseacht.
- [ ] Is féidir liom cnuasach órga a thógáil a chuimsíonn ceisteanna fíor, deacra, gaiste agus contrártha.
- [ ] Is féidir liom meastóireacht uathoibríoch a chur ar bun agus an breitheamh a fhíorú le LLM-mar-bhreitheamh.
- [ ] Is féidir liom tástáil aischéimnithí, monatóireacht a dhéanamh ar tháirgeadh agus lúb aiseolais a oibriú.