Aonad 4 / 11

Straitéisí Aisghabhála: Barr-k, Hibrideach, Athrangú

Gnóthachain:

  • Cuardach hibrideach a chur i bhfeidhm a chomhcheanglaíonn roghnú barr-k agus cuardach shéimeantach agus eochairfhocal
  • Cruinneas an chéad chuardaigh a mhéadú le hathrangú
  • Ceisteanna deacra a dhéanamh níos inchuardaithe le teicníochtaí ar nós claochlú fiosrúchán agus HydE

Shredded tú na doiciméid go deas agus chuir tú isteach sa bhunachar sonraí veicteora iad. Anois an obair fíor: ag fáil na píosaí cearta nuair a chuireann an t-úsáideoir ceist. Tugtar aisghabháil air seo agus is é cnámh droma cáilíochta RAG. Cuimhnigh an frása "Caighdeán aisghabhála = cáilíocht RAG"; Is é an t-aonad seo go díreach an ealaín chun an cháilíocht sin a fheabhsú. Clúdóimid teicnící praiticiúla ó roghnú barr-k go cuardach hibrideach, ó athrangú go claochlú fiosrúchán.

Barr-k: Cé Mhéad Píosa a Thabharfaimid?

An socrú is bunúsaí: cé mhéad píosa (k) atá le filleadh ón gcuardach. Má thugann tú leat níos lú (k=1) tá an baol ann go gcaillfidh tú an píosa ceart; Má chuireann tú an iomarca (k=20) leis, cuirfidh sé torann leis an tsamhail agus méadóidh an costas comharthaí.

Déan idirdhealú idir dhá choincheap. Athghairm: an ráta ag a bhfuil an píosa ceart ina measc siúd a fuarthas. Beachtas: an ráta ag a bhfuil an méid a aisghabháil ábhartha. Méadaíonn k méadú ar aisghairm ach laghdaítear cruinneas. Is é an sprioc a chothromú an dá.

barr-k

Tionchar

staid oiriúnach

1-3

Ard-chruinneas, riosca caillte

Ceisteanna simplí aon fhreagra

4-8

Iarmhéid; cásanna is mó

RAG corparáideach ginearálta

10-20

Athghairm níos airde, méaduithe torainn

Le hathrangú (thíos)

Leid: Patrún coitianta agus cumhachtach: beir ar leithead (k=20), ansin caol le hathrangú (4 barr). Ar an mbealach seo ní chailleann tú rud ar bith agus tugann tú comhthéacs glan don mhúnla.

Cuardach Hibrid: Cumhacht Dhá Chuardach

Gabhann cuardach séimeantach (veicteora) an bhrí ach cailleann sé rudaí: cód táirge iomlán ("XR-4471"), giorrúchán annamh, ainm ceart, uimhir leagain. I gcás na dtascanna cruinn-mheaitseála seo, tá cuardach eochairfhocal seanscoile - go háirithe an t-algartam clasaiceach ar a dtugtar BM25 - an-mhaith.

Nascann cuardach hibrideach an dá cheann: oibríonn cuardaigh shéimeantacha agus eochairfhocail araon, ag comhcheangal na dtorthaí. Mar sin, i gceist ar nós “Tréimhse bharántas an

De ghnáth déantar cumasc le RRF (Comhleá Ranga Comhleá): tagann an rian atá níos airde sa dá liosta chun cinn.

# Aisghabháil hibrideach (coincheapúil)sem = veicteoir_search(ceist, k=20) # meaningkey = bm25_search(ceist, k=20) # fullwordresult = rrf_merge(sem, eochair)[:8] # fuse the two, top 8

Athrangú: An Dara Pas agus an Pas Níos Cliste

Is féidir leis an gcéad ghlao a bheith tapa ach drochbhéasach. Athrangú scóir na n-iarrthóirí a rinne an chéad chuardach ceann ar cheann le mionsamhail níos cumhachtaí (traschódóir de ghnáth — múnla a léann an cheist agus an sliocht le chéile agus a scórálann an ábharthacht) agus bogtar na cinn is ábhartha go dtí an barr.

Is é seo an loighic: sa chéad chuardach sanntar líon mór iarrthóirí le haghaidh athghairm (20 iarrthóir), roghnaíonn an t-athrangóir na ceithre cinn is fearr le haghaidh beachtas. Tá an cur chuige dhá chéim seo i bhfad níos cruinne ná cuardach aonchéime. Cosnaíonn sé roinnt moille agus próiseáil bhreise; Is méadú suntasach é an gnóthachan ar cháilíocht.

# Aisghabháil dhá chéim (coincheapúil)iarrthóirí = hibrideach_search(ceist, k=20) # broad, quickscore = reranker.score(ceist, iarrthóirí) # scór ábharthachta do gach iarrthóir comhthéacs = rátáil.rang()[:4] # barr 4

Ag Claochlú an Cheist

Uaireanta níl an fhadhb sa chuardach, ach sa cheist féin. Má fhiafraíonn an t-úsáideoir “cad faoi oibrithe iargúlta?” ', ní féidir é seo a lorg leis féin (níl sé soiléir cad atá i gceist le hoibrithe iargúlta). Seo iad na teicnící claochlaithe ceist:

  • Athscríobh: Bain úsáid as stair chomhrá chun an cheist a dhéanamh ina haonar: "Cad atá oibrithe iargúlta i dteideal saoire bhliantúil?"
  • Ilcheist: Gin 3 slonn dhifriúla den cheist chéanna, cuardaigh le gach ceann acu, cuir na torthaí le chéile. Focail éagsúla a aimsiú píosaí éagsúla.
  • HyDE (Leabaithe Doiciméad Hipitéiseach): Ar dtús clóigh “freagra féideartha” ar an tsamhail, ansin leabaigh agus déan cuardach don fhreagra samhailteach sin. Uaireanta faightear an freagra samhailteach níos fearr toisc go bhfuil sé níos gaire i bhfocail don fhíordhoiciméad.

# Roghanna ilcheiste (coincheapa) = model.uret("Cuir an cheist seo in iúl ar 3 bhealach dhifriúla:" + ceist)tum_sonuc = []le haghaidh v ina leagan: all_sonuc += veicteoir_idirmheánach(v, k=6)context = uatha_and_order(tum_result)[:6]

Aisghabháil Lag / Aisghabháil Láidir

Lag (céim singil, séimeantaic amháin, tairiseach k=3):

toradh = veicteoir_search(ceist, k=3)# Fadhb: tá cód an táirge caillte, ní féidir cuid 3 a chur isteach i gceisteanna deacra.

Cumhachtach (hibrideach + widek + athrangú + ilcheist más gá):

iarrthóirí = hibrideach_search(athscríobh(ceist, caite), k=20)context = reranker.score(ceist, iarrthóirí).first(4)# Gabhtar meaitseáil bheacht agus brí; Téann sé go dtí na 4 mhúnla is fearr.

Trí Chás Mini

Cás 1 - Éalaigh cód an táirge. Níorbh fhéidir cuardach shéimeantach íon ar fhoireann tacaíochta "RTX-9080" focal a aimsiú sa cheist "earráid tiománaí RTX-9080"; Bhí sé ag tabhairt táirgí eile le hainmneacha comhchosúla. Nuair a cuireadh cuardach hibrideach leis, tharla meaitseáil chóid bheacht agus mhéadaigh an ráta a cuireadh ar ais earraí cearta ó 58% go 92%.

Cás 2 — Difríocht athrangú. Bhí paralegal ag obair le k=5 ach is é 7-10 an mhír cheart an chuid is mó den am. Bhí sé ag fanacht sna rannta. Nuair a tugadh isteach athrangú k=20+, mhéadaigh ráta an ailt cheart a bheith sa 3 barr ó 61% go 94%; Níor tháinig ach méadú 300ms ar an bhfoighne — comhréiteach inghlactha.

Cás 3 — Ceist leantach gan comhthéacs. I gcúntóir AD, fiafraíonn an t-úsáideoir “cad faoi dhaoine páirtaimseartha?” Nuair a d'iarr mé, thug an córas páirteanna nach mbaineann le hábhar. Tríd an gceist a athscríobh (ag tarraingt an chomhthéacs "saoire bhliantúil" ón am a chuaigh thart agus ag cur "Tá fostaithe páirtaimseartha i dteideal saoire bhliantúil"), mhéadaigh an ráta freagartha ceart ó 40% go 86%.

Botúin choitianta

  • Ag brath ar chuardach shéimeantach amháin: cailltear cód táirge, giorrúchán, ainm ceart; Cuir hibrideach.
  • Ag coinneáil k róbheag: Ní féidir leis an bpíosa ceart dul isteach sa liosta; a dhéanamh leathan agus caol é le ath-rang.
  • Ná smaoinigh ar athrangú: Tá an chéad chuardach rude; Feabhsaíonn an dara pas cliste an caighdeán go suntasach.
  • Ag cuardach ceisteanna leantacha mar atá: Déanann ceist gan comhthéacs cuardach gan brí; athscríobh.
  • Méadú dall k (gan athrangú): líontar an tsamhail le torann, déantar an freagra a shaobhadh agus méadaíonn an costas.
Bí cúramach: Cuireann gach teicníc costas agus moill leis. Ciallaíonn il-fhiosrúchán cuardach 3-huaire, ciallaíonn athrangú glao samhail breise. Tosaigh le hibrideach simplí + réasúnta k ar dtús; Déan teicníochtaí troma a thomhas agus a chur leis nuair is gá. Ag cur gan tomhas.

Go hachomair

  • Is é Top-k an chothromaíocht idir athghairm agus beachtas; Go ginearálta is tús maith é 4-8.
  • Nascann cuardach hibrideach cuardach séimeantach le cuardach eochairfhocail (BM25); Aisghabhann meaitseanna cruinne.
  • Déanann athrangú scóir na n-iarrthóirí ón gcuardach leathan tosaigh a athrangú le múnla láidir agus roghnaíonn sé na cinn is fearr.
  • Fágann claochlú fiosrúcháin (athscríobh, ilfhiosrúchán, HyDE) ceisteanna deacra agus saor ó chomhthéacs inchuardaithe.
  • Patrún láidir: beir leathan → chumasc le hibrideach → caol le hathrangú; ach cuir gach teicníc trína thomhas.

Tasc feidhmchláir

Ullmhaigh 6 cheist dheacra le sonraí ó na haonaid roimhe seo: ar a laghad 2 cheist a éilíonn meaitseáil chruinn (cód táirge, giorrúchán, dáta), 2 shéimeantach (ábhar céanna le focail éagsúla), 2 cheist leantach gan comhthéacs. (1) Ar dtús smaoinigh ar gach ceist mar chuardach shéimeantach íon agus marcáil de láimh cé na codanna a thiocfaidh aníos. (2) Déan na ceisteanna céanna a athmheas le hibrideach agus athrangú curtha leis. (3) Athscríobh ceisteanna leantacha gan comhthéacs. Tabhair faoi deara i bhfoirm tábla cén teicníc a dhéanann difríocht cén cineál ceiste.

seicliosta

  • [ ] Tá a fhios agam gur cothromaíocht aisghlaoite-cruinneas agus raon tosaigh réasúnta é top-k.
  • [ ] Is féidir liom a mhíniú cén fáth a n-aisghabhann cuardach hibrideach meaitseanna cruinne.
  • [ ] Is féidir liom an loighic dhá chéim den athrangú a chur i bhfeidhm (leathan → caol cliste).
  • [ ] Aithním an gá atá le ceisteanna leantacha a athscríobh gan comhthéacs.
  • [ ] Deimhním gur chuir mé teicníochtaí troma leis trí thomhas, ní trí thomhas.