RAG Evaluation da Sa ido

Riba:

• Ƙayyade ma'auni waɗanda ke auna riƙewa da ingancin ƙirƙira dabam
• Saita saitin tambayar zinariya kuma gudanar da kimantawa ta atomatik tare da LLM-as-alkali
• Kula da inganci ta hanyar amsawa, saka idanu da kuma gwajin gwagwarmaya a cikin samarwa

Jumlar "Na shigar da mataimaki, da alama yana aiki lafiya" ba bayanin injiniya ba ne. Tsarin RAG yana rushewa cikin shiru: sabon nau'in takarda yana wawatar da dawo da shi, canjin gaggawa yana rage daidaito, fihirisar ta zama tawul. Hanyar da za a gane wannan ita ce aunawa. A cikin wannan naúrar, mun rufe yadda za a auna ingancin RAG (sakewa da tsarawa daban), kimantawa ta atomatik (LLM-as-alkali) da kuma kula da inganci a samarwa (sa ido, sake dawowa). "Ba za ku iya inganta abin da ba ku auna ba" shine taken wannan raka'a.

Auna Abubuwa Guda Biyu

RAG yana da ƙafafu biyu kuma dole ne a auna shi daban saboda matsalar na iya kasancewa a cikin ɗayansu:

1. Ingancin maidowa: sashin daidai ya iso?
2. Ingancin tsarawa: An samar da madaidaicin amsa daga yanki mai shigowa?

Idan amsar ba ta da kyau, kuna buƙatar sanin wace ƙafa ce mara kyau da farko. Idan ɓangaren dama bai taɓa zuwa ba, ko da mafi kyawun faɗakarwa ba zai iya ajiyewa ba (matsalar maidowa). Idan sashin daidai ya isa amma ƙirar ta yi kuskure, haɓaka maidowa ba shi da amfani (matsalar ƙarni).

Ma'aunin Maidowa

Maidowa matsala ce ta warwarewa/samowa; auna ta hanyar ma'auni na dawo da bayanan gargajiya. Don wannan dole ne ku sami gungu na zinariya: sanin wane yanki ne "daidai" ga kowace tambaya.

awo

Menene ma'auni

Sauƙaƙan ma'anar

Tuna @k

Shin daidai yanki ne a saman k?

Madaidaicin ƙimar ɗaukar sashi

daidai @k

guda nawa ne daga cikin k ɗin da aka dawo dasu suka dace?

Tsaftace abin da aka kawo

MRR (Ma'anar Matsakaicin Matsayi)

A cikin wane tsari yake daidai yanki?

Sakamakon kasancewa a cikin manyan matsayi

Yawan bugawa

Shin aƙalla daidai yanki ɗaya ya zo?

Mafi mahimmancin ma'aunin nasara

Sharhi mai fa'ida: Idan Recall@k ya yi ƙasa, ya kamata a sake yin aiki da chunking ko dabarun nema (matasan, k, sake yin matsayi). Idan daidaito ya yi ƙasa amma abin tunawa yana da girma, ƙara sake yin darajoji kyakkyawan tafiya ne.

Ma'aunin Generation

Lokacin da daidaitaccen ɓangaren ya zo, muna auna ingancin amsawar da samfurin ya samar. Girman asali guda uku:

• Aminci: Shin kowace da'awar a cikin amsar tana goyon bayan mahallin? Akwai dacewa? Yana da ma'auni kai tsaye na hallucination.
• Dacewar Amsa: Shin amsar da gaske ta amsa tambayar ko kuwa ba ta cikin jigo?
• Cikakkarwa: Shin an yi amfani da duk bayanan da suka dace a cikin mahallin ko kuma sun ɓace?

Waɗannan galibi ana ƙididdige su akan madaidaicin ma'auni (misali 1-5), maimakon binary kamar “gaskiya/ƙarya.”

Tukwici: Bibiya Aminci azaman ma'auni daban. Idan aminci ya ragu yayin da daidaito ke raguwa, matsalar ita ce tsara; Idan amincin ya yi girma amma amsar ba daidai ba ce, matsalar ita ce yanki mara kyau (dawowa). Tare, waɗannan ma'auni guda biyu kompas ne wanda ke nuna wurin da laifin ya kasance.

Kafa Saitin Tambayar Zinariya

Kowane ma'auni yana buƙatar saitin gwal / saitin kimantawa: tambayoyi na gaske + amsoshi daidai da ake tsammanin + daidaitattun sassa. Fara da 30-50 da zaɓaɓɓun tambayoyin sun fi 500 bazuwar tambayoyin. Haɗa da waɗannan a cikin saitin: tambayoyi na gaske da ake yi akai-akai, sanannun tambayoyi masu wuya, tambayoyin tarko ba tare da amsoshi ba (ya kamata a ce "Ban sani ba"), tambayoyi tare da tushe masu karo da juna.

# Misalin gungu na zinare (ra'ayi)[ {"Tambaya": "Kwana nawa na hutun shekara?", "amsar_asantawa": "kwanaki 14 na shekaru 1-5 na girma", "part_id_daidai": "bangare-biyu", "categori": "bari"}, {"tambaya": "A ina ne kamfanin's Mars, TAMBAYA: NO ofishin NO?" # tarko: ban san "daidai_part_id": null, "category": "trap"}]

LLM-as-alkali: Ƙimar atomatik

Buga ɗaruruwan amsoshi da hannu yana da gajiya. Samfurin alƙali na LLM shine lokacin da samfurin ɗaya ya yi ƙima kuma ya tabbatar da amsar wani samfurin bisa wasu sharudda. Sautin alkali mai kyau yana bayyana ma'auni a sarari, yana ba da misalai kuma yana neman hujja.

# LLM-as-alkali faɗakarwa (ra'ayi) Kai mai ƙima ne mara son kai. Kimanta AMSAR da ke ƙasa bisa ga abin da aka bayar da kuma AMSAR DA AKE SARAN. Maki (1-5) kuma ku ba da gaskiya:- aminci: kowane da'awar a cikin amsar ana goyan bayanta a cikin mahallin? - daidaito: shin amsar ta dace da amsar da ake tsammani? - cikawa: bayanan da suka dace sun cika? Musamman: idan amsar ta ƙunshi bayanai ba a cikin mahallin ba, ba da aminci1 kuma ku nuna da'awar da aka ƙirƙira.CONTEXT: {context} EXPECTED: {expected} AMSA: {amsa}Fitowa: {aminci, daidaito, cikawa, barata}

Tsanaki: LLM-as-alkali ba cikakke ba ne; Suna iya samun nasu son zuciya (tsawon amsa, sun fi son salon nasu). Hakanan tabbatar da alƙali: sami wasu amsoshi waɗanda alkali da ɗan adam suka saka kuma ku auna yarjejeniya tsakanin su. Idan Alƙali ya yi daidai da ƙimar ɗan adam, zaku iya amincewa da shi.

Rauni/Ƙarfi Mai Ƙarfi

Rauni ("yana da kyau a gare ni"):

Na yi 'yan tambayoyi kuma amsoshin sun yi kyau. Na samu shi kai tsaye. # Matsala: babu ma'auni, jujjuyawar da ba a iya fahimta, makafi ingantawa.

Ƙarfi (tarin gwal + ma'auni mai hankali + hukunci ta atomatik + koma baya):

Tarin zinari na tambayoyi 40. Tare da kowane canji, tuno@5, aminci da daidaito ana auna su ta atomatik. Idan maki ya faɗi, canjin zai koma baya. A cikin samarwa, ana tattara bayanan mai amfani kuma ana ƙarawa zuwa saitin.

Saka idanu da koma baya a cikin samarwa

Ba a yin kima sau ɗaya kuma an gama. Ayyuka guda uku akai-akai:

• Gwajin koma-baya: Tarin zinari mai sarrafa kansa akan kowane canji/sakewa/samfuri. Idan an rage makin, canjin zai koma baya. Wannan yana hana "karye shi yayin ƙoƙarin inganta shi".
• Sa ido kan samarwa: "Ba zan iya samun bayanai ba" a cikin tambayoyi na gaske, matsakaicin jinkiri, farashi, ra'ayin mai amfani (👍/👎) ana sa ido. Haɓaka kwatsam a cikin "Ban sani ba" yawanci shine alamar farko na rashin aiki na fihirisa ko maidowa.
• Madogarar martani: Tambayoyin ainihin da mai amfani ya bayar 👎 ana bita kuma an ƙara su cikin tarin zinare; Don haka, saitin ya zama mai wadata a tsawon lokaci kuma an rufe wuraren makafi na tsarin.

Mini Cases guda uku

Case 1 - Shiru koma baya. Ƙungiya ta gyara saƙon don "inganta" shi; Gabaɗaya daidaito ya ƙaru, amma amincin ya ragu da kashi 30% a cikin tambayoyin tarko (samfurin ya fara dacewa da ƙari). Da ba a lura ba idan ba don tambayoyin tarko a cikin gungu na zinariya ba; Gwajin koma baya ya dawo da canjin.

Case 2 - Daidaita kafa mara kyau. A cikin wani mataimaki amsoshin sun kasance marasa kyau; Tawagar ta yi aiki a kan hanzari na makonni. Lokacin da muka auna ma'aunin maidowa, tuno@5 shine kawai 48% - matsalar tana cikin dawowa ne, ba tsarawa ba. Lokacin da aka ƙara haɗaɗɗen + sake-raki, tunawa ya ƙaru zuwa 89% kuma daidaito ya ƙaru.

Case 3 - Samar da faɗakarwa. Wata rana, ƙimar "Ba zan iya samun bayani" na mataimaki na tallafi ya yi tsalle daga 6% zuwa 34%. Waƙar waƙa ta yi gargaɗi; Dalili kuwa shi ne, aikin fidda bayanai, wanda ke gudana da daddare, ya kasa yin shiru kuma ba a shigar da sabbin labarai ba. Ba tare da sa ido ba, da ba daidai ba maganganun "Ban sani ba" sun ci gaba har tsawon kwanaki.

Kuskuren gama gari

• Kasancewa gamsuwa da "ya yi mini aiki da kyau": Ba tare da aunawa ba, ba a lura da koma baya ba.
• Ba rabuwa da sakewa da tsarawa: Za ku gyara ƙafar da ba daidai ba kuma ku ɓata lokaci.
• Rashin yin tambayoyin tarko: Halin yin abubuwa ba ya bayyana a cikin gungu na zinariya.
• Rashin Tabbatar da Alƙali: Jury mai son zuciya yana ba da tabbaci na ƙarya.
• Ba sa ido kan samarwa: gazawar fihirisa, fashewar farashi yana ci gaba da shiru.

A taqaice

• A cikin RAG, ana auna ingancin dawowa da tsararru daban; Dole ne a fara tantance wane kafa ya lalace.
• tuna @k, precision@k, MRR don Maidowa; Ana amfani da aminci, dacewa, cikawa ga tsararraki.
• Kowane ma'auni yana buƙatar gungu na zinariya; Sanya ainihin, masu wahala, tarko da tambayoyi masu karo da juna a ciki.
• LLM-as-alkali babban saiti auto-maki; amma alƙali da kansa dole ne a yi wa mutum barata.
• Gwajin koma-baya, sa ido kan samarwa, da madauki na amsawa suna kula da inganci akan lokaci.

Aikin aikace-aikace

(1) Ƙirƙiri saitin zinari na akalla tambayoyi 15 don mataimaki naka: haɗa da aƙalla tarkuna 3 (babu amsoshi), 3 masu wuya, tambayoyin tushe guda 2 masu sabani. Rubuta amsar da ake sa ran da sashin da ya dace na kowace tambaya. (2) Kwatanta nau'ikan gaggawa guda biyu da hannu da wannan saitin; Ba kowane amsa maki 1-5 don aminci da daidaito. (3) Daidaita faɗakarwar LLM-as-alkali a sama zuwa ga ma'aunin ku. (4) Gano ma'auni 3 da za ku bibiyar samarwa kuma ga kowane tambaya "a wane kofa nake ƙararrawa?" rubuta darajar.

jerin abubuwan dubawa

• [ ] Zan iya auna riƙewa da ingancin tsarawa tare da ma'auni daban-daban.
• [ ] Na san abin da awo kamar recall@k, aminci ke nufi.
• [ ] Zan iya gina gungu na zinariya wanda ya haɗa da gaske, mai wuya, tarko da tambayoyi masu karo da juna.
• [ ] Zan iya saita kimantawa ta atomatik kuma in tabbatar da alƙali tare da LLM-as-alkali.
• [ ] Zan iya yin aiki da gwajin koma baya, saka idanu na samarwa da madauki na amsawa.