Voitot:
- Selitä hallusinaatioiden syyt ja maadoituksen rooli
- Käytä tekniikoita, jotka saavat mallin sanomaan "en tiedä", jos se ei ole kontekstissa
- Varmistetaan luottamus ja tarkastettavuus lisäämällä todennettavia lähteitä/viittauksia vastauksiin
Kielimallin vaarallisin käyttäytyminen on keksiä jotain, mitä hän ei tiedä, itsevarmalla ja vakuuttavalla sävyllä. Tätä kutsutaan hallusinaatioksi. Hallusinaatiot yritysassistentissa eivät ole vain ärsyttäviä, vaan suorastaan riskialttiita: väärä vapaapäivä, väärä hinta, väärä laillinen aine voi itse asiassa aiheuttaa työntekijälle tai asiakkaalle vahinkoa. Tässä osiossa kerromme, miksi hallusinaatioita esiintyy, miten niitä voidaan vähentää RAG:ssa ja miten vastauksesta saadaan todennettavissa.
Mikä aiheuttaa hallusinaatioita?
Malli on koulutettu tuottamaan seuraavan todennäköisimmän sanan; Ei "kerro totuus", vaan "tuo sujuvaa ja järkevää tekstiä". Jos tietoa puuttuu, se voi täyttää aukon jollain tilastollisesti uskottavalla, mutta tosiasiallisesti virheellisellä. Kolme tyypillistä laukaisinta:
- Kontekstissa ei ole vastausta, mutta malli tuntuu joka tapauksessa pakko sanoa jotain.
- Konteksti on ristiriitainen tai riittämätön; Malli sulkee kuilun ennusteella.
- Kysymys menee kontekstin ulkopuolelle; malli palaa omaan yleiseen (ja mahdollisesti vanhentuneeseen) tietoonsa.
RAG vähentää hallusinaatioita, koska se antaa mallille todellisen lähteen – mutta se ei nollaa sitä. Jos tuot väärän osan tai jätät mallin "vapauden täyttää aukko", myös RAG-järjestelmä sopii siihen.
hallusinaatioiden tyyppi
oire
perimmäinen syy
liuoskerros
noutamisesta peräisin
Oikea vastaus on asiakirjassa, mutta se ei saapunut perille
Väärä/puuttuva osa toimitettu
Purkaminen, hybridi, uudelleensijoitus (yksikkö 3-4)
Sukupolvi peräisin
Oikea osa saapui, mutta vastaus on väärä/täytyy lisätä
Malli täytti aukon ennusteilla
Maadoitus, "en tiedä" lupa, alhainen luovuus
Lainaus lähde
Vastaus on oikea, mutta lähde on väärä
Malli viittasi väärään osaan
Lainauksen vahvistus (katso osio 8)
Vihje: Jaa hallusinaatio kahteen osaan. Lähde: noutaa: väärä/puuttuva osa saapui (ratkaisu: paranna hakua). Sukupolvilähde: Oikea osa saapui, mutta malli luki/lisäsi sen väärin (ratkaisu: kehote ja maadoitus). Et voi korjata sitä, ellet tiedä mikä se on.
Maadoitus: Vastauksen naulaaminen kontekstissa
Maadoitus on nimi kaikille tekniikoille, joilla malli kertoo "luottakaa vain antamaani tekstiin, älä ylitä sitä." Hänen alkeellisin ja tehokkain tekniikkansa: antaa mallille nimenomaisesti luvan sanoa "en tiedä". Malli, kuten ihminen, epäröi sanoa "en tiedä"; Sinun on annettava hänelle nimenomainen lupa tehdä tämä.
Vastaa vain alla olevan KONTEKSTIN perusteella. Jos vastaus ei ole selkeästi asiayhteydessä, kirjoita juuri tämä: "En löytänyt dokumentaatiosta tarpeeksi tietoa tästä." Älä lisää numeroita, päivämääriä tai nimiä, jotka eivät ole asiayhteydessä. Älä arvaa.
Muita maadoitustekniikoita:
- Lainausvaatimus: Ennen jokaista väitettä lainaa sanatarkasti kontekstia ("Asiakirja sanoo: "..."). Muokattujen tarjousten tekeminen on mallille vaikeampaa.
- Matala lämpötila: lämpötilan (lämpötila, luovuus/satunnainen asetus) tulee olla alhainen. Huomautus: joissakin nykyisissä malleissa tämä parametri on poistettu; Niissä annat maadoituksen kehotteen avulla. Korkea luovuus on yrityksen rehellisyyden vihollinen.
- Laajuusrajoitus: "Vastaa vain suostumuskäytäntöön liittyviin ongelmiin; kieltäydy kohteliaasti kieltäytymästä."
Lainaus
Vahvin systeeminen puolustus hallusinaatioita vastaan on tehdä vastauksesta todennettavissa oleva. Jos käyttäjä näkee, mihin asiakirjaan vastaus perustuu: (1) hän saa itse kiinni virheestä, (2) auditointi tulee mahdolliseksi, (3) luottamus lisääntyy ja (4) malli tuottaa varovaisemmin tietoisina, että "minun täytyy mainita lähde".
Kaksi yleistä lähestymistapaa:
Sisäänrakennettu attribuutio: Lähdetunniste jokaisen väitteen vieressä. "Vuosiloma on 14 päivää [1]." Alla on [1]:n täydellinen dokumentaatio.
Strukturoitu tulos: Pyydetään mallia tuottamaan vastaus ja lähdeluettelo erillisiin kenttiin; Näytetään resurssit napsautettavina linkkeinä käyttöliittymässä.
# Strukturoidun vastauksen tuottaminen mallin perusteella (käsitteellinen) Anna vastauksesi seuraavassa rakenteessa:- vastaus: <kontekstipohjainen vastaus> - lähteet: [{"part_no": 1, "file": "...", "section": "..."}]- luottamus: <korkea|keskitaso|matala> # Kuinka selkeästi konteksti tukee sitä? Jos konteksti ei tue vastausta, kirjoita vastauskenttään "tietoa ei löytynyt" ja jätä lähteet tyhjiksi.
Jotta lainaus todella toimisi, on tarpeen varmistaa, että attribuutio on oikea. Malli saattaa joskus antaa oikean vastauksen, mutta antaa väärän lähteen. Kehittyneet järjestelmät tarkistavat automaattisesti, että jokainen esitetty väite on todella tuettu kappaleessa, johon se viittaa ("uskollisuus"-mitta seuraavassa yksikössä).
Heikko/vahva: Keino hallusinaatioita vastaan
Heikko (kutsu täyttää tyhjä):
Vastaa kysymykseen mahdollisimman hyvin käytettävissäsi olevilla tiedoilla: {konteksti} Kysymys: {question}# "As best you" tarkoittaa "arvaa jos et tiedä" mallille.
Vahva (maadoitus + en tiedä lupaa + lähde + luottamus):
Luota vain KONTEKSTIIN. Muussa tapauksessa sano "En löytänyt tietoa"; keksi numero/päivämäärä/nimi.Lisää [n] lähdenumero jokaiseen väitteeseen. Määritä kontekstin tukema luottamustaso. KONTEKSTI: [1]... [2]... KYSYMYS: {kysymys}
Kolme minikoteloa
Tapaus 1 — Tehty tuotenumero. Asianajaja teki "Artikla 17/B" lausunnon, joka oli irrallinen ja antoi työntekijälle vääriä tietoja. Kun lisättiin ohje "Älä anna artikkelinumeroa, joka ei ole asiayhteydessä, muuten sano en tiedä" + lainausvelvollisuus, niin valmistettujen esineiden tapaukset vähenivät 11:stä 0:aan 40 esimerkissä.
Tapaus 2 – Oikea vastaus, väärä lähde. Tukiavustaja ilmoitti oikean palautusajan, mutta mainitsi väärän artikkelin; Kun asiakas napsauttaa linkkiä, avautui asiaankuulumaton sivu. Kun viittauksen varmistus (tarkistaa, esiintyykö väite siteeratussa kappaleessa) lisättiin, väärien viittausten määrä putosi 23 prosentista 2 prosenttiin.
Tapaus 3 – En tiedä -lupaa ei myönnetty. HR-assistentti oli keksinyt uskottavan mutta väärän vastauksen kysymykseen, jota asiakirjassa ei ollut. Kun nimenomainen "en tiedä" suostumus ja koko teksti ("En löytänyt tästä tietoa dokumentaatiosta") lisättiin kehotteeseen, rehellinen hylkäysprosentti kysymyksille, joihin ei ollut vastausta, pikemminkin kuin tekaistua, nousi 8 prosentista 95 prosenttiin.
Yleisiä virheitä
- Ei salli "en tiedä": Malli täyttää aukon valmistamalla.
- Luovuuden pitäminen korkealla: Satunnaisuus on haitallista yrityksen rehellisyydelle.
- Lähteeseen luottaminen tarkistamatta sitä: Malli saattaa liittää väärän lähteen oikeaan vastaukseen.
- Ei tehdä eroa kahden tyyppisten hallusinaatioiden välillä: Korjaat väärän paikan tietämättä, johtuuko se hakemisesta vai synnytyksestä.
- Kosmetiikkaa koskeva virheellinen viittaus: Lähteen mainitseminen on sekä vahvistus että pelote; ota se vakavasti.
Varoitus: "Malli näyttää erittäin varmalta" ei ole sama asia kuin "malli on oikea". Hallusinaatiot ovat yleensä sujuvimpia ja luotettavimpia lauseita. Lue luottamus lähteestä, jonka se osoittaa, älä lauseen sävystä.
Yhteenvetona
- Hallusinaatioista on kyse, kun malli täyttää tietovajeen uskottavalla mutta väärällä tekstillä; RAG pienentää, mutta ei nollaa.
- Hallusinaatiot voivat johtua hakemisesta (väärä osa) tai synnytyksestä (väärä lukeminen); Päätä kumpi ensin.
- Maadoituksen tehokkain tekniikka on antaa mallille selkeä "en tiedä" -lupa; myös lainausvaatimus ja alhainen luovuus.
- Lainaus tekee vastauksesta todennettavissa; Se antaa sekä itsevarmuutta että työntää mallia valmistamaan varovaisesti.
- Myös lainauksen tarkkuus tulee tarkistaa; Oikeaan vastaukseen voi liittyä väärä lähde.
Sovellustehtävä
(1) Valmista 4 kysymystä esitettäväksi avustajallesi, joihin ei löydy vastauksia asiakirjoista (ansakysymykset). Testaa jokaista heikkoa ja vahvaa kehotetta ja merkitse, sopiiko malli vai ei. (2) Pyydä mallia luomaan hitsin numero ja tarkista manuaalisesti, onko sen näyttämä hitsi todella oikea osa niille 4 kysymykselle, joiden vastaukset ovat asiakirjassa. (3) Tarkista, antaako malli ainakin yhdessä tapauksessa "oikean vastauksen, väärän lähdekoodin" ja kirjoita yhdellä lauseella, kuinka saat tämän automaattisesti kiinni.
tarkistuslista
- [ ] Voin kertoa, miksi hallusinaatioita tapahtuu ja että RAG vähentää sitä, mutta ei nollaa sitä.
- [ ] Pystyn erottamaan haun ja sukupolven aiheuttamat hallusinaatiot ja korjaan oikean paikan.
- [ ] Lisään kehotteeseen selkeän "en tiedä" -luvan ja maadoitussäännöt.
- [ ] Lisään vastaukseen tarkistettavan lähteen (sitaatin).
- [ ] Ymmärrän, että attribuutin tarkkuutta on tarkistettava tarkemmin.