Kako radi generativna AI?

Dobici:

• Token može intuitivno objasniti koncepte vjerovatnoće i predviđanja
• Razumije zašto jezički model proizvodi tekst 'po komadima'
• Može protumačiti zašto se model ponekad ponaša odlučno, a ponekad kreativno

Kada napišete "najbolju stvar o Istanbulu" u jezički model, on proizvodi tečan pasus za nekoliko sekundi. Kako se to događa? Da li model zaista "razmišlja" ili iza njega stoji mnogo jednostavniji, ali moćniji mehanizam? U ovoj cjelini objasnit ćemo kako generativna umjetna inteligencija funkcionira, ne ulazeći u tehničke jednadžbe, već uspostavljanjem prave intuicije. Ova intuicija je osnova za sve što slijedi – posebno za teme halucinacija, verifikacije i dobrog brzog pisanja. Generativna umjetna inteligencija, odnosno "generativna umjetna inteligencija", uobičajeno je ime za alate koji kreiraju tekst od nule umjesto da pronađu i dohvate postojeći odgovor.

Osnovna ideja: Predviđanje sljedećeg komada

Iznenađujuće je da je jedini osnovni zadatak koji jezički model uči „koji dio teksta će najvjerovatnije slijediti?“ je odgovoriti na pitanje. Model ne priprema kompletnu rečenicu i ne predstavlja je pred vama. Umjesto toga, proizvodi rečenicu dio po dio, s lijeva na desno.

Evo kako to funkcionira korak po korak:

1. Čita tekst (prompt) koji pišete.
2. Predviđa najvjerovatniji dio koji slijedi ovaj tekst.
3. Dodaje taj komad.
4. Ponovo gleda u novoformirani tekst i pogađa sljedeći najvjerovatniji dio.
5. Ponavlja se dok odgovor nije potpun.

Primjer: Ako biste modelu dali tekst "Ujutru popijte vruću šoljicu...", najvjerovatniji nastavak bi bio "čaj" ili "kafa"; Ne "asfalt". Model je naučio takve vjerovatnoće iz miliona tekstova. Zatim dodaje "čaj", pa gleda novu rečenicu i pogađa sljedeći najvjerovatniji dio, i tako dalje.

Drugim riječima, na svakom koraku model poduzima sljedeći korak gledajući ono što je napisao. Zato se ponekad naziva "veoma naprednom verzijom automatskog dovršavanja". Ali ova analogija ne treba da omalovažava talenat; Na pravoj skali, ovo predviđanje može proizvesti rezultate koji izgledaju kao rasuđivanje.

Token: Mali dijelovi riječi

Model zapravo ne radi s punim "riječima" već s manjim dijelovima koji se nazivaju tokeni. A token; Nekada je to cela reč, nekada je deo reči, nekada je znak interpunkcije.

• "knjiga" može biti jedan token.
• "iz naših knjiga" se može podijeliti na nekoliko tokena kao što su "knjiga", "s", "naš", "od".
• Razmaci i znaci interpunkcije se takođe računaju kao tokeni.

Pažnja: Token nije samo tehnički detalj. Većina AI alata naplaćuje se po broju tokena, a dužina teksta (kontekstni prozor) koje modeli mogu obraditi u isto vrijeme također je ograničena u tokenima. Dakle, "koliko dugo pišete" je direktan trošak i ograničenje.

Vjerovatnoća i “toplina”: odlučnost ili kreativnost?

Na svakom koraku, model ne proizvodi jedan konačan odgovor, već listu vjerovatnoća mogućih nastavka. Na primjer, nakon riječi "vruće": čaj 55%, kafa 35%, mlijeko 7%, ostalo 3%. Pa koju će izabrati?

Ovdje dolazi u obzir postavka koja se zove temperatura. Temperatura je svojevrsno dugme kreativnosti koje određuje koliko će model "rizikirati".

Podešavanje

ponašanje

Zaključak

Gdje je to korisno?

niske temperature

Uvijek bira najvjerovatniju opciju

Stabilan, ponovljiv

Pravni sažetak, tehnički opis, ekstrakcija podataka

srednja temperatura

Izbalansiran izbor

Prirodno, ali dosljedno

Opšti email, nacrt izvještaja

visoka temperatura

Pokušava manje vjerovatne opcije

Kreativno, raznoliko, nepredvidivo

Brainstorming, slogan, proizvodnja imena

Ovo takođe objašnjava često postavljano pitanje: "Zašto dobijam različite odgovore kada dvaput postavim isto pitanje?" Zato što postoji određena slučajnost u procesu selekcije; Model ne izvlači fiksni odgovor iz baze podataka, on ga svaki put reprodukuje.

Slaba prompt / jaka prompt

Znanje da model radi sa "vjerovatnošću" također mijenja način na koji ga dajete. Što više konteksta date, veća je vjerovatnoća da će biti ispravan nastavak.

Slab upit: Napišite uvodni tekst.

Rezultat: Model proizvodi "najprosječniji" i generički tekst jer ne zna koji proizvod, koja publika, koji ton.

Snažan upit: Napišite promotivni tekst na Instagramu za novu filter kafu u malom kafiću. Publika: 25-35 godina, ljubitelj kafe. Ton: prijateljski, kratak. Maksimalno 3 rečenice, 2 hashtag-a na kraju.

Rezultat: Upotrebljiv tekst koji je relevantan jer kontekst sužava mogućnosti.

Tri mini futrole

Slučaj 1 — Marketing, veliki izbor. Tim je želio 30 slogana za novi proizvod. Sa svojom postavkom visoke temperature, model je proizveo različite, kreativne opcije; Tim je odabrao i razvio 4 od 30. Ukupno vrijeme: 10 minuta. Da se radi ručno, trebalo bi pola dana.

Slučaj 2 — Pravo, visoka odlučnost. Pravni tim iste kompanije je pojednostavljivao ugovornu klauzulu. Željeli su dosljednost, a ne kreativnost; Sa niskom temperaturom model je svaki put davao gotovo isti, konzervativni sažetak. Dakle, nije bilo nekonzistentnosti između različitih suđenja.

Slučaj 3 — „Zašto se to promijenilo?“ pitanje. Zaposlenik je dva puta zatražio isti nacrt e-pošte i dobio dva različita rezultata; Mislio je da je to "greška". Zapravo, ovo je prirodna posljedica slučajnosti modela. Kada je zaposlenik naučio da sačuva verziju koja mu se dopala i da po potrebi kaže "napravi kao prethodnu", nije bilo problema.

Da li model "shvaća"?

Ovo je najzanimljivije pitanje. Model je naučio statističke odnose između riječi tako temeljito da se pretvara da razumije mnoge zadatke. Ali nema svjesno razumijevanje, namjeru ili mehanizam za kontrolu stvarnosti. To proizvodi "najvjerovatniji nastavak"; To ne garantuje proizvodnju "najtačnijih informacija". Ova razlika je osnova predmeta halucinacija, o čemu ćemo govoriti u narednim cjelinama.

Uobičajene greške

Uobičajene greške

• Zamijeniti model za pretraživač. Model ne pretražuje internet i ne preuzima resurse (osim ako ne postoji posebna funkcija pretraživanja); Generiše mogući tekst iz memorije. Tako da može izmisliti izvor/cifru.
• Greška tečnost za tačnost. Samo zato što je tekst lijep i siguran ne znači da je njegov sadržaj tačan.
• Očekujući isti odgovor svaki put. Slučajnost je prirodna; Sačuvajte izlaz koji volite za kritične zadatke.
• Lijepljenje vrlo dugog, nepotrebnog teksta i pomjeranje granice tokena. Dužina istovremeno povećava troškove i može odvratiti fokus modela; samo dajte neophodan kontekst.

Pažnja: Samo zato što manekenka govori tečno i samouvereno ne znači da ona govori ispravno. Tečnost je prirodna posljedica procjene vjerovatnoće; Preciznost je nešto što se mora provjeravati zasebno i nezavisno.

Ukratko

• Generativni AI generiše tekst korak po korak predviđajući sledeći najverovatniji fragment (token); konstruiše rečenicu deo po deo.
• Tokeni su manji dijelovi riječi i postavljaju granice cijene i dužine.
• U svakom koraku, model proizvodi listu mogućnosti; Postavka temperature određuje koliko će rezultat biti stabilan ili kreativan.
• Razlog za različite odgovore na isto pitanje je slučajnost svojstvena ovom procesu.
• Manekenka tečno govori, ali to ne garantuje da govori istinu; Tečnost i tačnost su različite stvari.

Zadatak aplikacije

Dajte svom AI alatu isti kreativni zadatak (npr. „napišite brzu zahvalnicu“) dvaput zaredom i promatrajte kako se rezultati razlikuju. Zatim ponovite isti zadatak s predloškom „Moćni prompt“, dodajući kontekst i zabilježite razliku u kvaliteti između dva rezultata.

Kontrolna lista

• [ ] Mogu objasniti da model proizvodi tekst "predviđanjem sljedećeg mogućeg dijela".
• Znam šta je [ ] Token i zašto je skraćenica za trošak/ograničenje.
• [ ] Mogu razlikovati poslove koji zahtijevaju odlučnost i one koji zahtijevaju kreativnost.
• [ ] Znam da je normalno dobiti različite odgovore na isto pitanje.
• [ ] Internacionalizirao sam da tečnost nije garancija tačnosti.