Kako radi Generative AI?

Dobici:

• Token može intuitivno objasniti koncepte vjerojatnosti i predviđanja
• Razumije zašto jezični model proizvodi tekst 'na komade'
• Može protumačiti zašto se model ponekad ponaša odlučno, a ponekad kreativno

Kada napišete "najbolju stvar o Istanbulu" u jezični model, on proizvede tečan odlomak u nekoliko sekundi. Kako se to događa? “Misli” li model doista ili iza njega stoji mnogo jednostavniji, ali moćniji mehanizam? U ovoj jedinici objasnit ćemo kako funkcionira generativna umjetna inteligencija, ne ulazeći u tehničke jednadžbe, već uspostavljanjem prave intuicije. Ta je intuicija temelj za sve što slijedi — osobito za teme halucinacija, provjere i dobrog brzog pisanja. Generative AI, odnosno "generativna umjetna inteligencija", uobičajeni je naziv za alate koji stvaraju tekst od nule umjesto da pronađu i dohvate postojeći odgovor.

Osnovna ideja: Predviđanje sljedećeg djela

Ono što iznenađuje je da je jedini osnovni zadatak koji jezični model nauči "koji će dio teksta najvjerojatnije slijediti?" je odgovoriti na pitanje. Model ne priprema cjelovitu rečenicu i ne predstavlja je pred vama. Umjesto toga, stvara rečenicu dio po dio, s lijeva na desno.

Evo kako to radi korak po korak:

1. Čita tekst (prompt) koji napišete.
2. Predviđa najvjerojatniji dio koji slijedi nakon ovog teksta.
3. Dodaje taj komad.
4. Ponovno gleda novonastali tekst i pogađa sljedeći najvjerojatniji dio.
5. Ponavlja se dok se odgovor ne završi.

Primjer: Ako ste modelu dali tekst "Popijte toplu šalicu kad se ujutro probudite...", najvjerojatniji nastavak bi bio "čaj" ili "kava"; Ne "asfalt". Model je takve vjerojatnosti naučio iz milijuna tekstova. Zatim dodaje "čaj", zatim gleda novu rečenicu i pogađa sljedeći najvjerojatniji dio, i tako dalje.

Drugim riječima, u svakom koraku model poduzima sljedeći korak gledajući što je napisao. Zato se ponekad naziva "vrlo napredna verzija automatskog dovršavanja". Ali ova analogija ne bi trebala omalovažavati talent; U pravoj mjeri ovo predviđanje može proizvesti rezultate koji izgledaju poput razmišljanja.

Žeton: Mali komadići riječi

Model zapravo ne radi s punim "riječima", već s manjim dijelovima koji se nazivaju tokeni. Žeton; Ponekad je to cijela riječ, ponekad je to dio riječi, ponekad je interpunkcijski znak.

• "knjiga" može biti jedan token.
• "iz naših knjiga" može se podijeliti na nekoliko tokena kao što su "knjiga", "s", "naš", "iz".
• Razmaci i interpunkcijski znakovi također se računaju kao tokeni.

Pažnja: Token nije samo tehnički detalj. Većina AI alata naplaćuje prema broju tokena, a duljina teksta (kontekstnog prozora) koju modeli mogu obraditi u isto vrijeme također je ograničena u tokenima. Dakle, "koliko dugo pišete" je izravni trošak i ograničenje.

Vjerojatnost i “toplina”: odlučnost ili kreativnost?

U svakom koraku model ne daje jedan konačan odgovor, već popis vjerojatnosti mogućih nastavaka. Na primjer, nakon riječi "vruće": čaj 55%, kava 35%, mlijeko 7%, ostalo 3%. Pa koju će odabrati?

Ovdje dolazi u obzir postavka koja se zove temperatura. Temperatura je svojevrsni gumb za kreativnost koji određuje koliko će model "riskirati".

Postavka

ponašanje

Zaključak

Gdje je to korisno?

niske temperature

Uvijek bira najizgledniju opciju

Stabilan, ponovljiv

Pravni sažetak, tehnički opis, izdvajanje podataka

srednje temperature

Uravnotežen izbor

Prirodno, ali dosljedno

Opća e-pošta, nacrt izvješća

visoka temperatura

Isproba manje vjerojatne opcije

Kreativno, raznoliko, nepredvidivo

Brainstorming, slogan, produkcija imena

Ovo također objašnjava često postavljano pitanje: "Zašto dobivam različite odgovore kada dvaput postavim isto pitanje?" Budući da postoji određena slučajnost u procesu odabira; Model ne izvlači fiksni odgovor iz baze podataka, on ga reproducira svaki put.

Slab upit / Jak upit

Saznanje da model radi s "vjerojatnošću" također mijenja način na koji ga podučavate. Što više konteksta navedete, vjerojatniji je točan nastavak.

Slab upit: Napišite uvodni tekst.

Rezultat: Model proizvodi najviše "prosječnog" i generičkog teksta jer ne zna koji proizvod, koja publika, koji ton.

Snažan upit: Napišite promotivni tekst za Instagram za novu filter kavu u malom kafiću. Publika: 25-35 godina, ljubitelj kave. Ton: prijateljski, kratak. Najviše 3 rečenice, 2 hashtaga na kraju.

Rezultat: upotrebljiv tekst koji je relevantan jer kontekst sužava mogućnosti.

Tri mini kućišta

Slučaj 1 — Marketing, velika raznolikost. Tim je želio 30 slogana za novi proizvod. Sa svojom postavkom visoke temperature, model je proizveo različite, kreativne mogućnosti; Tim je odabrao i razvio 4 od 30. Ukupno vrijeme: 10 minuta. Da se radi ručno, trajalo bi pola dana.

Slučaj 2 — Zakon, visoka odlučnost. Pravni tim iste tvrtke pojednostavljivao je klauzulu ugovora. Htjeli su dosljednost, a ne kreativnost; S niskom temperaturom model je svaki put dao gotovo isti, konzervativni sažetak. Dakle, nije bilo nedosljednosti između različitih ispitivanja.

Slučaj 3 — "Zašto se promijenilo?" pitanje. Zaposlenik je dvaput zatražio istu skicu e-pošte i dobio dva različita rezultata; Mislio je da je to "greška". Zapravo, ovo je prirodna posljedica slučajnosti modela. Nakon što je zaposlenik naučio spremiti verziju koja mu se sviđa i po potrebi reći "napravi je kao prethodnu", nije bilo problema.

Shvaća li model to?

Ovo je najzanimljivije pitanje. Model je tako temeljito naučio statističke odnose između riječi da se pretvara da razumije mnoge zadatke. Ali nema svjesno razumijevanje, namjeru ili mehanizam za kontrolu stvarnosti. Proizvodi "najvjerojatniji nastavak"; Ne jamči proizvodnju "najtočnijih informacija". Ova razlika je temelj teme halucinacije, o kojoj ćemo raspravljati u sljedećim jedinicama.

Uobičajene greške

Uobičajene greške

• Zamjena modela za tražilicu. Model ne pretražuje internet i ne dohvaća resurse (osim ako postoji posebna značajka pretraživanja); Generira mogući tekst iz memorije. Tako da može izmisliti izvor/figuru.
• Zamjena tečnosti za točnost. Samo zato što je tekst lijep i samouvjeren ne znači da je njegov sadržaj točan.
• Svaki put očekujući isti odgovor. Slučajnost je prirodna; Spremite rezultat koji vam se sviđa za kritične zadatke.
• Lijepljenje jako dugog, nepotrebnog teksta i pomicanje ograničenja tokena. Duljina povećava cijenu i može odvratiti fokus modela; samo dajte potreban kontekst.

Pažnja: Samo zato što model govori tečno i samouvjereno ne znači da govori ispravno. Fluentnost je prirodna posljedica procjene vjerojatnosti; Točnost je nešto što se mora zasebno i neovisno provjeravati.

Ukratko

• Generativni AI generira tekst korak po korak predviđajući sljedeći najvjerojatniji fragment (token); gradi rečenicu dio po dio.
• Tokeni su manji dijelovi riječi i postavljaju ograničenja cijene i duljine.
• U svakom koraku, model proizvodi popis mogućnosti; Postavka temperature određuje koliko će stabilan ili kreativan biti rezultat.
• Razlog za različite odgovore na isto pitanje je slučajnost svojstvena ovom procesu.
• Manekenka govori tečno, ali to ne jamči da govori istinu; Tečnost i točnost su različite stvari.

Zadatak primjene

Dajte svom AI alatu isti kreativni zadatak (npr. "napišite brzu poruku zahvale") dva puta zaredom i promatrajte kako se rezultati razlikuju. Zatim ponovite isti zadatak s predloškom "Powerful prompt", dodajući kontekst i primijetite razliku u kvaliteti između dva rezultata.

Kontrolni popis

• [ ] Mogu objasniti da model proizvodi tekst "predviđanjem sljedećeg mogućeg dijela".
• Znam što je [ ] Token i zašto označava cijenu/ograničenje.
• [ ] Mogu razlikovati poslove koji zahtijevaju odlučnost od onih koji zahtijevaju kreativnost.
• [ ] Znam da je normalno dobiti različite odgovore na isto pitanje.
• [ ] Shvatio sam da tečnost nije jamstvo točnosti.