Riba:
- Ikon kafa tsari da yaduddukan tabbatar da fitarwa na tushen ƙa'ida
- Ikon samun ma'ana yana buƙatar ɗan adam-cikin madauki a cikin yanke shawara mai tasiri
- Ikon ƙirƙira tabbaci da amintacciyar hanyar tuƙi tare da ƙira ta biyu
Samfurin harshe yana samar da ruwa, lallashi, kuma sau da yawa daidai-amma “lallashi” ba ɗaya bane da “daidai”. Samfurin na iya yin shuru daidai adadin, kwanan wata, ko filin JSON; Wannan shi ake kira hallucination (samfurin da amincewa yana samar da bayanan da ba su wanzu a zahiri). A cikin tsarin kasuwanci, idan wannan fitarwa ya gudana zuwa mataki na gaba - biyan kuɗi, imel, rubuta bayanai - kuskuren ya zube cikin duniyar gaske. A cikin wannan naúrar, za mu koyi tace fitarwa tare da tabbatarwa yadudduka kafin ya shiga cikin tsarin da kuma buƙatar mutum-in-da-madauki a cikin yanke shawara mai tasiri.
Me yasa Ana Bukatar Tabbatar da Fitar?
Za'a iya lalata samfurin samfurin ta hanyoyi biyu na farko: tsari (bai dace da tsarin JSON da ake tsammani ba, filin ya ɓace / wuce haddi) da abun ciki (tsarin yana daidai amma ƙimar ba daidai ba - lambar samfurin da ba ta wanzu, kwanan wata maras kyau). Akwai nau'i na uku dangane da tsaro: fitarwar mugunta (mugunyar umarni da aka samar sakamakon allura ko zubewa). Tsari mai ƙarfi yana tsayawa duka uku a ƙofar.
Tsanaki: "Model gabaɗaya daidai" ba ma'aunin samarwa ba ne. A cikin tsarin ba tare da tabbatarwa ba, koda kuskure ɗaya a cikin dubu yana nufin 100 kuskuren ma'amaloli a kowace rana a cikin buƙatun 100,000 kowace rana.
Layer na Tabbatarwa: Mataki-mataki
- Tabbatar da tsari. Bincika na'urar cewa fitarwar ta dace da tsarin da ake sa ran: shin filayen suna nan, shin nau'ikan su daidai ne, an cika filayen da ake buƙata?
- Tabbatar da doka/kasuwanci. Shin dabi'un sun dace da dokokin kasuwanci? (Yawan> 0, kwanan wata baya nan gaba, lambar samfur na cikin kasida.)
- Magana/ sarrafa tushen. Idan samfurin ya ba da tabbaci, za a iya haɗa shi da tushen? (Shin zancen RAG da gaske ne a cikin takaddar?)
- Tabbatarwa tare da samfurin na biyu (LLM-as-alkali). Samfurin mai zaman kansa yana kimanta fitarwa a matsayin "daidai / bai cika / haɗari".
- Amintaccen bakin kofa da daidaitawa. Idan samfurin ko mai tabbatarwa ya ba da rahoton ƙarancin amincewa, fitarwa ba ta wuce ta atomatik ba; ana nufi ga mutane.
- Ikon ɗan adam. Sakamakon babban ƙarfi ko ƙarancin aminci ya dogara da amincewar ƙwararru.
Samfura guda huɗu masu Kwafi
Tsarin + "ku gyara shi idan ba ku sani ba" tare:
Mai da martani a cikin tsarin JSON mai zuwa kawai: Rubuta "ƙananan". KADA KA taɓa rubuta ƙididdiga kamar daidai.
Tabbatarwa tare da samfuri na biyu (gaggawar alƙali):
Kai mai inganci ne mai zaman kansa. A ƙasa akwai <source> rubutu da <ƙirara>. Bincika don ganin ko KOWANE lamba da kwanan wata a cikin da'awar sun bayyana a zahiri a cikin tushen. Ga kowane, a ce: "tabbacecce | ba a tushe ba | ya saba ma tushe." Idan ko ɗaya daga cikinsu baya 'ba ya nan/mai rikicewa', yi masa alama a matsayin "AN BUKATAR HUMAN BINCIKEN DAN ADAM".<source>{{text }}</source><claim>{{ model_output }}</claim>
Amintaccen ƙa'idar tuƙi ta ƙofar kofa:
Hanyar hanya:- emin_misin = "high" DA adadin <10,000 TL -> sarrafa kansa ta atomatik- emin_misin = "matsakaici" KO adadin 10,000-100,000 TL -> tabbatarwa samfurin na biyu- emin_misin = "ƙananan" KO adadin> 100,000 TL -> amincewar ɗan adam
Katin taƙaitaccen binciken ɗan adam (bita mai sauri):
Lokacin gabatar da shawarar ga mutum, fitar da wannan kati:- Menene ake gabatarwa? (Jumla daya)- Wace tushe ta dogara? (labarin / takaddun takarda) - Menene ra'ayoyin 2 mafi rauni? - Idan an amince da su, za a iya juya su? (ee/a'a)
Rauni Mai Sauƙi / Ƙarfi Mai ƙarfi
rashin tsari
Hanya mai ƙarfi
"Cire adadin daga daftari" (rubutu kyauta)
Ƙuntataccen tsarin JSON + null + filin amana
Rubuta fitarwa kai tsaye zuwa tsarin biyan kuɗi
Tsarin tsari → mulki → yardar ɗan adam (idan ya cancanta)
Kawai gaya wa samfurin "tabbata"
Tabbatar da lamba/kwanaki tare da samfuri na biyu
Gudanar da kowane fitarwa tare da daidaito daidai
Hanyar tafiya bisa tasiri da amana
Hanya mai karfi ba ta fatan cewa samfurin daidai ne; Yana haifar da ƙofar da za ta kama ku lokacin da kuka yi kuskure.
Mini Cases guda uku
Shari'a ta 1 - Tsarin kawai bai isa ba. Ƙimar lissafin kuɗi ta kasance tana fitar da adadin daga cikin daftari azaman JSON. Makircin ya yi daidai, amma samfurin ya samar da "125,000" maimakon "1,250.00" akan daftari (motsi na ƙima). Shirin ya kasa kama wannan; tabbatar da doka ("adadin dole ne ya yi daidai da jimillar abubuwan daftari da ±1%)" an kama shi kuma an hana yin rikodin kuskure na 112,500 TL.
Case 2 - Na biyu samfurin ya kama hallucination. "Sanarwar kwanaki 30 na ƙarewa," wani mataimaki na goyon bayan doka ya ce a cikin taƙaitaccen kwangila; Duk da haka, a cikin kwangilar ya kasance kwanaki 90. Lokacin da alkali mai zaman kansa ya nuna samfurin a matsayin "ci karo da tushen", an tura abin da aka fitar zuwa ga ɗan adam kuma an gyara shi. Idan ta atomatik ne, abokin ciniki zai sanar da sokewar bisa kuskuren kwanan wata.
Case na 3 - Gudanarwa ya rage nauyin da kashi 70%. Tsarin da'awar inshora ta atomatik ya amince da ƙaramar ƙima da da'awar tsaro mai girma kuma ya aika da mafi girman kofa/ƙananan masu aminci ga gwani. Daga cikin bukatu 3,200 na yau da kullun, 950 ne kawai suka fada hannun mutane; Masana sun ba da lokacinsu ga 30% mai haɗari da gaske, tare da matsakaicin lokacin ciniki yana faduwa daga sa'o'i 4 zuwa mintuna 40.
Tukwici: Kada a kafa ikon ɗan adam don "mutane su iya ganin komai" - wannan zai gajiyar da mutane kuma amincewa zai zama tambarin roba. Madadin haka, kawai hanyar samar da tasiri mai ƙarfi da ƙarancin aminci ga ɗan adam; Wannan yana mai da hankali kan abin da ke da mahimmanci.
Sa Sarrafa Dan Adam Ma'ana
Mutum-in-da-madauki ba game da sanya akwati a kan takarda ba. Dole ne mai bita ya kasance yana da (1) mahallin don fahimtar shawarar, (2) samun dama ga tushen, da (3) ikon cewa “a’a.” In ba haka ba, sarrafawa ya kasance kayan shafawa. Katin bita (samfuri na huɗu a sama) ana nufin samar da wannan mahallin ne kawai.
Kuskuren gama gari
- Kawai yin ingantaccen tsari da tsallake kurakuran abun ciki/darajar.
- Tunanin cewa ta gaya wa ƙirar "tabbatar" kuna yin tabbaci na gaske.
- Aiwatar da babban tasiri ta atomatik, yanke shawara mara jurewa.
- Sanya ikon ɗan adam akan kowane fitarwa da juya yarda zuwa tambarin roba mara ma'ana.
- Faɗin "yarda" ga mai dubawa ba tare da bada tushe da mahallin ba.
- Gudanar da duk abubuwan da aka fitar tare da haɗari iri ɗaya ba tare da kafa madaidaicin amana da tuƙi ba.
A takaice
- Abubuwan da aka fitar sun lalace ta hanyoyi uku: tsari, abun ciki, da mugun nufi; wani m tsarin tsayawa duka uku a ƙofar.
- Yadudduka: ingantaccen tsari, ƙa'ida/ dabaru na kasuwanci, sarrafa tushen, samfuri na biyu (LLM-as-alkali), da kuma amintaccen hanyar wucewa.
- Mutum-in-da-madauki ya kamata ya zama tilas don babban tasiri da ƙarancin aminci.
- Binciken ɗan adam dole ne ya zama mai ma'ana: dole ne mai bita ya kasance yana da mahallin mahallin, samun damar albarkatu, da ikon faɗin "a'a."
- Dukkan aminci da inganci ana samun su ta hanyar jagorantar masu haɗari kawai ga mutane, ba kowane fitarwa ba.
Aikin aikace-aikace
Ɗauki misali daga fitowar AI na ku. Da farko ayyana tsarin JSON kuma a tilasta masa fitarwa. Sannan rubuta aƙalla dokokin kasuwanci guda biyu (misali, “adadin da ya yi daidai da jimlar abubuwa”). A ƙarshe, saita tebur mai ba da hanya: wanne haɗin dogara / tasiri yana tafiya ta atomatik, wanda ke zuwa samfurin na biyu, wanda ke zuwa ga ɗan adam? Ƙirƙirar samfurin da ba daidai ba kuma duba inda kowane Layer ya kama shi.
jerin abubuwan dubawa
- [ ] Na ayyana ƙaƙƙarfan tsari don fitarwa kuma in tabbatar da shi tare da injin.
- [ ] Na ƙara aƙalla kasuwanci/tabbatar dokoki ɗaya (maganin darajar).
- [ ] Zan iya danganta maganganun zuwa tushen kuma in duba su.
- [] Samfuri na biyu ko ingantaccen ɗan adam akwai don babban tasiri/ƙananan sakamakon aminci.
- [ ] Ƙa'idar da aka ƙayyade bisa dogaro da tasiri.
- [ ] An ba mai bita tare da mahallin, tushe, da ikon ƙin yarda.