Dobici:
- Prepoznaje najčešće brze pogreške iz stvarnih primjera
- Može primijeniti praktičan i ponovljiv popravak za svaku pogrešku
- Shvaća da je loš rezultat često uzrokovan lošim odzivom
U ovom smo modulu naučili tehnike pisanja dobrih upita jednu po jednu. Sada ih pojačajmo iz drugog kuta: gledajući najčešće pogreške i njihova rješenja. Velika većina loših rezultata umjetne inteligencije posljedica je loših poticaja, a ne neadekvatnosti modela. Ako prepoznate greške u ovoj jedinici, možete brzo dijagnosticirati i popraviti probleme u svojim uputama; Umjesto da kažete "AI to ne može", možete reći "da popravim svoj upit ovako".
Zašto je važno prepoznati pogreške?
Kada rezultat ne ispuni vaša očekivanja, možete reagirati na dva načina: okriviti alat ili dovesti u pitanje upit. Iskusni korisnik čini ovo drugo. Jer najčešće je izvor problema očit i rezultat se mijenja s malom korekcijom. U nastavku ćemo vidjeti osam najčešćih pogrešaka, njihove simptome i rješenja.
Osam najčešćih pogrešaka
Greška
simptom
Rješenje
višeznačnost
Generički, "jedna veličina odgovara svima" odgovor
Dajte mjerljive upute
Nulti kontekst
Izlaz koji ne odgovara situaciji
Dodajte tko/zašto/povijest
Nije naveden format
Izlaz u pogrešnom formatu
Prisilni format
odsustvo ograničenja
Ekscesivan, devijantan sadržaj
Dodajte popis "nemojte".
preopterećenje
Model preskače neke zahtjeve
Podijelite posao, odredite prioritete
nepotvrđivanje
Korištenje lažnih informacija
Provjerite činjenice s izvorom
Očekivanje jednog udarca
Ne odustajte na prvom izlazu
Ponavljaj
kontradiktorna uputa
nedosljedan izlaz
Poravnajte ograničenja
Dijagnostička metoda korak po korak
Kada stigne oštećeni izlaz, slijedite ovaj redoslijed:
- Je li misija jasna? Je li glagol konkretan, znači li jedino što želite?
- Je li kontekst dovoljan? Poznaje li model situaciju?
- Je li spomenut format? Je li format onakav kakav želite?
- Postoje li ograničenja? Piše li se ono što se ne želi?
- Jesam li previše učitao? Jesam li tražio 5 različitih poslova u jednom upitu?
- Jesam li potvrdio? Jesu li provjereni broj, ime, datum?
Ovih šest pitanja otkrivaju gotovo sve pogreške.
Četiri predloška za lekturu koji se mogu kopirati
1) Uklanjanje dvosmislenosti:
Učinite ovu uputu mjerljivom: [nejasna uputa] Prevedite svaku nejasnu točku u konkretan broj, količinu ili kriterij.
2) Podjela preopterećenja:
Ne radite ovaj zadatak odjednom. Nastavite ovim redoslijedom i zaustavite se kada završite svaki korak, pričekajte moju potvrdu:1) [podzadatak 1]2) [podzadatak 2]3) [podzadatak 3]
3) Ograničenje:
Samo se oslonite na informacije koje sam naveo u nastavku. Ako nema podataka, napisati "nema podataka"; ne pogađajte niti dodajte. Navedite iz kojeg retka dolazi svaka važna tvrdnja koju koristite. Izvor: [tekst]
4) Rješavanje kontradikcije:
Provjerite postoje li proturječnosti u uputama koje sam vam dao. Ako je tako, navedite proturječne točke i pitajte me kojoj dati prednost; zatim proizvodite u skladu s tim.
Slab upit / Jak upit
Slabo (kombinirano mnogo pogrešaka):
Napišite opsežan plan za našu tvrtku o marketingu, proračunu i zapošljavanju i spremni ste.
Snažan (ispravljene greške):
Uloga: Vi ste stručnjak za poslovni razvoj koji savjetuje mala i srednja poduzeća. Kontekst: softverska tvrtka s 12 ljudi; cilj je 20 novih kupaca u ovom kvartalu. Zadatak: Napišite SAMO marketinški plan (nemojte uključivati proračun i zapošljavanje). Format: popis radnji u 5 točaka; svaka stavka: akcija + odgovornost + kriteriji. Ograničenje: proračun za plaćeno oglašavanje 0; Preporučite samo organske kanale. Nemojte davati lažne metrike; Obrazložite prijedlog.
Moćna verzija dijeli preopterećenje (trpajući tri teme u jedan upit), zamjenjuje dvosmislenost ("sretno") kriterijima i dodaje oblikovanje i ograničenja.
Tri mini kućišta
Slučaj 1 — Preopterećenje. Upravitelj je zatražio sažetak izvješća, plan prezentacije i e-mail u jednom upitu; Model je sva tri napravio na pola. Podijelivši posao u tri odvojena upita, svaki je izlaz bio potpun i upotrebljiv. Ukupno je vrijeme bilo manje od borbe s jednim složenim upitom.
Slučaj 2 — Nepotvrđivanje. Tim za sadržaj objavio je "statistiku industrije" koju je dao model bez provjere; Pokazalo se da je broj pogrešan i morali su izdati ispravak. Poslije su usvojili pravilo "svakom broju daj izvor, ja ću provjeriti izvor" i eliminirali taj rizik.
Slučaj 3 — Konfliktna uputa. Kad je trgovac rekao "vrlo je kratak, ali reci sve značajke", model je preskočio neke značajke. Kad sam uputu učinio neproturječnom kao "opišite 3 najvažnije značajke u 60 riječi", rezultat je bio kratak i potpun.
Savjet: prije pokretanja uživo prođite kroz "šest dijagnostičkih pitanja". Ova provjera od 30 sekundi čini većinu rundi iteracije nepotrebnom od samog početka.
Oprez: najopasnija pogreška je "neprovjera valjanosti" jer se zanemaruje jer izlaz izgleda glatko i uvjerljivo. Model može s velikom pouzdanošću odgovarati broju, imenu ili izvoru. Neovisno provjeriti sve činjenice koje će se objaviti ili koristiti kao temelj za odluku. Ovu ćemo temu produbiti u sljedećoj cjelini.
Nevidljiva pogreška: "Gotovo točan" izlaz
Neke je pogreške lako uhvatiti: izlaz dolazi u pogrešnom formatu, odlazi izvan teme ili je prazan. Ali najpodmuklija pogreška je da je izlaz gotovo točan. Tekst je tečan, struktura je glatka, ton je na mjestu; Postoji samo jedan pogrešan broj, previđeno ograničenje ili mala logička pogreška. Ove vrste izlaza su opasne jer izbjegavaju inspekciju jer "izgledaju dobro".
Dvije navike štite od toga. Prvo, nemojte koristiti ispis bez čitanja: koliko god žurili, pročitajte ga prije slanja. Drugo, ako model provjeri svoj izlaz: "provjerite jeste li slijedili sva ograničenja koja sam vam dao" ili "navedite sve brojeve u ovom tekstu" izbacit će skrivene pogreške na površinu. Ova dva koraka traju nekoliko sekundi, ali je cijena netočnih odluka uzrokovanih "gotovo točnim" izlazom mnogo veća.
Izbjegavanje pogrešaka: dizajn iznad kontrole
Umjesto da traži pogreške u izlazu, iskusni korisnik ih pokušava spriječiti od početka na upit. Ovo je razlika u mentalitetu. Pretvorite svaku pogrešku koja se ponavlja u "trajno pravilo": ako model nastavlja dodavati komentare u sažetom poslu, sada postavite ograničenje "ne dodavaj komentare" na svaki upit sažetka. Ako model uvijek proizvodi previše stavki u poslu popisa, postavite ograničenje "točno X stavki" u svoj predložak. Na taj način, umjesto da stalno iznova hvatate istu pogrešku, sprječavate njezino pojavljivanje. Dobro osmišljen upit zamjenjuje desetke naknadnih ispravaka; Ovo pretvara dijagnozu pogreške iz tereta u alat za učenje i poboljšanje.
Uobičajene greške
- Okrivljujući posrednika. Reći "AI to ne može" umjesto da tražite problem u upitu.
- Stavljanje previše posla u jedan upit. Sažimanje pet zasebnih zadataka u jednu uputu i njihovo obavljanje napola.
- Preskakanje provjere. Pod pretpostavkom da je tečni izlaz točan.
- Davanje kontradiktornog ograničenja. Zahtjevi koji se međusobno sukobljavaju, poput "kratko, ali sveobuhvatno".
- Pokušavam ponovno bez dijagnosticiranja. Ponavljanje iste pogreške bez saznanja što je pokvareno.
Ukratko
- Većina loših izlaza je problem s promptom, a ne modelom; može se dijagnosticirati i ispraviti.
- Najčešće pogreške: dvosmislenost, nulti kontekst, nedostatak formata, nedostatak ograničenja, preopterećenost, nedostatak provjere, jednokratno očekivanje i proturječnost.
- Šest dijagnostičkih pitanja (zadatak, kontekst, format, ograničenje, opterećenje, provjera) otkrivaju većinu pogrešaka.
- Dijeljenje složenih poslova daje brže i kvalitetnije rezultate nego njihovo učitavanje u jedan upit.
- Najpodmuklija pogreška je neprovjera; Glatki izlaz ne znači točan.
Zadatak aplikacije
Pronađite stari ispis koji vam se ne sviđa i prođite kroz "šest dijagnostičkih pitanja". Označite koje se greške pojavljuju, primijenite popravak u ovoj jedinici za svaku i ponovno pokrenite upit. Zabilježite koja je pojedinačna korekcija dovela do najvećeg poboljšanja, a ne koliko krugova.
popis za provjeru
- [ ] U slučaju lošeg rezultata, prvo postavljam upit upitu, a ne agentu.
- [ ] Mogu postaviti šest dijagnostičkih pitanja.
- [ ] Složene zadatke dijelim na više upita.
- [ ] Primjećujem proturječne i dvosmislene upute i ispravljam ih.
- [ ] Provjeravam činjenični rezultat prije objavljivanja.