Pelnas:
- Žetonas gali intuityviai paaiškinti tikimybės ir numatymo sąvokas
- Supranta, kodėl kalbos modelis sukuria „padalinį“ tekstą
- Geba suprasti, kodėl modelis kartais elgiasi ryžtingai, o kartais kūrybiškai
Kai į kalbos modelį rašote „geriausias dalykas apie Stambulą“, per kelias sekundes pateikiama sklandi pastraipa. Kaip tai atsitinka? Ar modelis tikrai „mąsto“, ar už jo slypi kur kas paprastesnis, bet galingas mechanizmas? Šiame skyriuje mes paaiškinsime, kaip veikia generacinis AI, nesigilindami į technines lygtis, o nustatydami teisingą intuiciją. Ši intuicija yra visko, kas toliau seka, pagrindas – ypač haliucinacijų, patikrinimo ir gero greito rašymo temos. Generatyvusis AI, ty „generacinis dirbtinis intelektas“, yra įprastas įrankių, kurie sukuria tekstą nuo nulio, užuot suradę ir pateikę esamą atsakymą, pavadinimas.
Pagrindinė idėja: kito kūrinio numatymas
Stebina tai, kad vienintelė pagrindinė užduotis, kurią išmoksta kalbos modelis, yra „kuria teksto dalis greičiausiai bus sekama? yra atsakyti į klausimą. Modelis neparengia viso sakinio ir nepateikia jo prieš jus. Vietoj to, jis sukuria sakinį po gabalėlio, iš kairės į dešinę.
Štai kaip tai veikia žingsnis po žingsnio:
- Jis skaito jūsų parašytą tekstą (raginimą).
- Numato, kuri dalis greičiausiai bus po šio teksto.
- Prideda tą gabalėlį.
- Jis vėl žiūri į naujai suformuotą tekstą ir atspėja kitą labiausiai tikėtiną kūrinį.
- Kartojama tol, kol atsakymas bus baigtas.
Pavyzdys: Jei modeliui pateiktumėte tekstą „Pabudęs ryte išgerk karštą puodelį...“, greičiausiai tęsinys būtų „arbata“ arba „kava“; Ne „asfaltas“. Tokias tikimybes modelis išmoko iš milijonų tekstų. Tada prideda „arbata“, tada žiūri į naują sakinį ir atspėja kitą labiausiai tikėtiną dalį ir pan.
Kitaip tariant, kiekviename žingsnyje modelis žengia kitą žingsnį žiūrėdamas į tai, ką parašė. Štai kodėl ji kartais vadinama „labai pažangia automatinio užbaigimo versija“. Tačiau ši analogija neturėtų menkinti talento; Tinkamu mastu ši prognozė gali duoti rezultatus, kurie atrodo kaip samprotavimai.
Žetonas: mažos žodžio dalys
Modelis iš tikrųjų veikia ne su visais „žodžiais“, o su mažesnėmis dalimis, vadinamomis žetonais. Žetonas; Kartais tai yra visas žodis, kartais – žodžio dalis, kartais – skyrybos ženklas.
- „knyga“ gali būti vienas ženklas.
- „iš mūsų knygų“ galima suskirstyti į keletą žetonų, tokių kaip „knyga“, „s“, „mūsų“, „iš“.
- Tarpai ir skyrybos ženklai taip pat laikomi žetonais.
Dėmesio: Žetonas nėra tik techninė detalė. Dauguma AI įrankių apmokestinami pagal žetonų skaičių, o teksto (konteksto lango) modelių, kuriuos vienu metu gali apdoroti, ilgis taip pat yra ribotas. Taigi „kiek laiko rašai“ yra tiesioginė kaina ir riba.
Tikimybė ir „šiluma“: ryžtas ar kūrybiškumas?
Kiekviename etape modelis pateikia ne vieną galutinį atsakymą, o galimų tęsinių tikimybių sąrašą. Pavyzdžiui, po žodžio „karšta“: arbata 55%, kava 35%, pienas 7%, kiti 3%. Taigi kurį jis pasirenka?
Čia pradeda veikti nustatymas, vadinamas temperatūra. Temperatūra – tai savotiška kūrybiškumo rankenėlė, nulemianti, kiek modelis „rizikuos“.
Nustatymas
elgesį
Išvada
Kur tai naudinga?
žema temperatūra
Visada pasirenka labiausiai tikėtiną variantą
Stabilus, kartojamas
Teisinė santrauka, techninis aprašymas, duomenų ištraukimas
vidutinė temperatūra
Subalansuotas pasirinkimas
Natūralus, bet nuoseklus
Bendras el. paštas, ataskaitos juodraštis
aukšta temperatūra
Bando mažiau tikėtinus variantus
Kūrybingas, įvairus, nenuspėjamas
Protų šturmas, šūkis, vardo gamyba
Tai taip pat paaiškina dažnai užduodamą klausimą: „Kodėl gaunu skirtingus atsakymus, kai užduodu tą patį klausimą du kartus? Kadangi atrankos procese yra tam tikras atsitiktinumas; Modelis nerenka fiksuoto atsakymo iš duomenų bazės, jis kiekvieną kartą atkuria jį.
Silpnas raginimas / stiprus raginimas
Žinojimas, kad modelis veikia su „tikimybe“, taip pat keičia tai, kaip jį nurodote. Kuo daugiau konteksto pateiksite, tuo didesnė tikimybė, kad bus teisingas tęsinys.
Silpnas raginimas: parašykite įvadinį tekstą.
Rezultatas: modelis sukuria „vidutiškiausią“ ir bendriausią tekstą, nes nežino, kuris produktas, kokia auditorija, koks tonas.
Stiprus raginimas: parašykite Instagram reklaminį tekstą, skirtą mažos kavinės naujai filtruojamai kavai. Auditorija: 25-35 metų, kavos entuziastai. Tonas: draugiškas, trumpas. Ne daugiau kaip 3 sakiniai, 2 žymos su grotelėmis pabaigoje.
Rezultatas: tinkamas naudoti tekstas, kuris yra aktualus, nes kontekstas susiaurina galimybes.
Trys mini dėklai
1 atvejis – rinkodara, didelė įvairovė. Komanda norėjo 30 šūkių naujam produktui. Nustačius aukštą temperatūrą, modelis suteikė įvairių kūrybingų variantų; Komanda atrinko ir sukūrė 4 iš 30. Bendras laikas: 10 minučių. Jei tai būtų daroma rankomis, tai užtruktų pusę dienos.
2 atvejis. Teisė, didelis ryžtas. Tos pačios įmonės teisininkų komanda supaprastino sutarties sąlygą. Jie norėjo nuoseklumo, o ne kūrybiškumo; Esant žemai temperatūrai, modelis kiekvieną kartą pateikė beveik tą pačią, konservatyvią santrauką. Taigi tarp skirtingų bandymų nebuvo jokių prieštaravimų.
3 atvejis – „Kodėl pasikeitė? klausimas. Darbuotojas du kartus paprašė to paties el. laiško juodraščio ir gavo du skirtingus rezultatus; Jis manė, kad tai „klaida“. Tiesą sakant, tai yra natūrali modelio atsitiktinumo pasekmė. Kai darbuotojas išmoko išsaugoti jam patikusią versiją ir prireikus pasakyti „padaryti tokį, kaip ankstesnė“, problemų nekilo.
Ar modelis „supranta“?
Tai pats įdomiausias klausimas. Modelis taip gerai išmoko statistinius ryšius tarp žodžių, kad apsimeta, kad supranta daugybę užduočių. Tačiau jis neturi sąmoningo supratimo, ketinimų ar tikrovės valdymo mechanizmo. Jis gamina „labiausiai tikėtiną tęsinį“; Tai negarantuoja, kad bus pateikta „tiksliausia informacija“. Šis skirtumas yra haliucinacijų temos pagrindas, kurį aptarsime kituose skyriuose.
Dažnos klaidos
Dažnos klaidos
- Supainioti modelį su paieškos varikliu. Modelis neieško internete ir neranda išteklių (nebent yra speciali paieškos funkcija); Sugeneruoja galimą tekstą iš atminties. Taigi jis gali sudaryti šaltinį / skaičių.
- Sklandumas klaidinamas su tikslumu. Tai, kad tekstas gražus ir pasitikintis, nereiškia, kad jo turinys teisingas.
- Tikėtis to paties atsakymo kiekvieną kartą. Atsitiktinumas yra natūralus; Išsaugokite jums patinkančią išvestį svarbioms užduotims atlikti.
- Įklijuojamas labai ilgas, nereikalingas tekstas ir perkeliamas žetonų limitas. Ilgis padidina išlaidas ir gali atitraukti modelio dėmesį; tiesiog pateikite reikiamą kontekstą.
Dėmesio: vien todėl, kad modelis kalba sklandžiai ir užtikrintai, dar nereiškia, kad ji kalba taisyklingai. Sklandumas yra natūrali tikimybės vertinimo pasekmė; Tikslumas yra kažkas, ką reikia patikrinti atskirai ir nepriklausomai.
Apibendrinant
- Generatyvusis AI žingsnis po žingsnio generuoja tekstą, numatydamas kitą labiausiai tikėtiną fragmentą (žetoną); konstruoja sakinį gabalas po gabalo.
- Žetonai yra mažesnės žodžių dalys ir nustato kainos ir ilgio ribas.
- Kiekviename žingsnyje modelis pateikia galimybių sąrašą; Temperatūros nustatymas lemia, koks stabilus ar kūrybingas bus išvestis.
- Skirtingų atsakymų į tą patį klausimą priežastis yra atsitiktinumas, būdingas šiam procesui.
- Modelis kalba laisvai, tačiau tai negarantuoja, kad ji sako tiesą; Sklandumas ir tikslumas yra skirtingi dalykai.
Taikymo užduotis
Du kartus iš eilės duokite savo AI įrankiui tą pačią kūrybinę užduotį (pvz., „parašykite greitą padėkos raštą“) ir stebėkite, kaip skiriasi rezultatai. Tada pakartokite tą pačią užduotį naudodami šabloną „Galingas raginimas“, pridėdami konteksto ir atkreipkite dėmesį į dviejų rezultatų kokybės skirtumą.
Kontrolinis sąrašas
- [ ] Galiu paaiškinti, kad modelis sukuria tekstą „numatydamas kitą galimą gabalą“.
- Aš žinau, kas yra [ ] Token ir kodėl jis reiškia kainą / limitą.
- [ ] Galiu atskirti darbus, kuriems reikia ryžto ir kūrybiškumo.
- [ ] Žinau, kad į tą patį klausimą gauti skirtingus atsakymus yra normalu.
- [ ] Aš supratau, kad sklandumas negarantuoja tikslumo.