Ieguvumi:
- Token var intuitīvi izskaidrot varbūtības un prognozēšanas jēdzienus
- Izprot, kāpēc valodas modelis veido tekstu “pa daļām”
- Prot interpretēt, kāpēc modele reizēm uzvedas izlēmīgi un reizēm radoši
Kad valodas modelī ierakstāt "vislabākā lieta par Stambulu", tas dažu sekunžu laikā rada raitu rindkopu. Kā tas notiek? Vai modelis tiešām "domā" vai aiz tā slēpjas daudz vienkāršāks, bet jaudīgāks mehānisms? Šajā nodaļā mēs izskaidrosim, kā darbojas ģeneratīvais AI, neiedziļinoties tehniskos vienādojumos, bet gan izveidojot pareizo intuīciju. Šī intuīcija ir pamats visam turpmākajam, jo īpaši halucināciju, pārbaudes un labas rakstīšanas tēmām. Ģeneratīvais mākslīgais intelekts, tas ir, "ģeneratīvais mākslīgais intelekts", ir vispārpieņemts nosaukums rīkiem, kas izveido tekstu no jauna, nevis atrod un ienes esošu atbildi.
Pamatideja: nākamā gabala prognozēšana
Pārsteidzoši ir tas, ka vienīgais pamatuzdevums, ko valodas modelis apgūst, ir "kurai teksta daļai, visticamāk, sekos?" ir atbildēt uz jautājumu. Modele nesagatavo pilnu teikumu un neparāda to jūsu priekšā. Tā vietā tas veido teikumu pa gabalu, no kreisās puses uz labo.
Lūk, kā tas darbojas soli pa solim:
- Tas nolasa jūsu rakstīto tekstu (uzvedni).
- Paredz, kura daļa, visticamāk, sekos šim tekstam.
- Pievieno šo gabalu.
- Tas vēlreiz aplūko jaunizveidoto tekstu un uzmin nākamo visticamāko gabalu.
- Atkārto, līdz atbilde ir pabeigta.
Piemērs: ja modelei dotu tekstu "No rīta pamostoties dzer karstu tasi...", visticamākais turpinājums būtu "tēja" vai "kafija"; Nevis "asfalts". Modelis šādas varbūtības ir iemācījies no miljoniem tekstu. Tad viņš pievieno "tēju", tad aplūko jauno teikumu un uzmin nākamo visticamāko daļu utt.
Citiem vārdiem sakot, katrā solī modelis sper nākamo soli, aplūkojot uzrakstīto. Tāpēc to dažreiz sauc par "ļoti progresīvu automātiskās pabeigšanas versiju". Taču šai līdzībai nevajadzētu noniecināt talantu; Pareizā mērogā šī prognoze var radīt rezultātus, kas izskatās pēc argumentācijas.
Žetons: mazi vārda gabaliņi
Modelis faktiski darbojas nevis ar pilniem "vārdiem", bet ar mazākiem gabaliņiem, ko sauc par žetoniem. Žetons; Dažreiz tas ir vesels vārds, dažreiz tā ir daļa no vārda, dažreiz tā ir pieturzīme.
- "grāmata" var būt viens marķieris.
- "no mūsu grāmatām" var iedalīt vairākos žetonos, piemēram, "grāmata", "s", "mūsu", "no".
- Atstarpes un pieturzīmes arī tiek uzskatītas par žetoniem.
Uzmanību: Token nav tikai tehniska detaļa. Lielākā daļa AI rīku iekasē maksu pēc marķieru skaita, un tokenos ir ierobežots arī teksta (konteksta logu) modeļu garums, ko var apstrādāt vienlaikus. Tātad "cik ilgi jūs rakstāt" ir tiešas izmaksas un ierobežojums.
Varbūtība un “siltums”: apņēmība vai radošums?
Katrā solī modelis rada nevis vienu galīgu atbildi, bet iespējamu turpinājumu sarakstu. Piemēram, aiz vārda "karsts": tēja 55%, kafija 35%, piens 7%, citi 3%. Tātad, kuru viņš izvēlas?
Šeit tiek izmantots iestatījums, ko sauc par temperatūru. Temperatūra ir sava veida radošuma poga, kas nosaka, cik daudz modelis "risks".
Iestatījums
uzvedība
Secinājums
Kur tas ir noderīgi?
zema temperatūra
Vienmēr izvēlas visticamāko variantu
Stabils, atkārtojams
Juridiskais kopsavilkums, tehniskais apraksts, datu ieguve
vidēja temperatūra
Līdzsvarota izvēle
Dabiski, bet konsekventi
Vispārējs e-pasts, atskaites melnraksts
augsta temperatūra
Izmēģina mazāk ticamas iespējas
Radošs, daudzveidīgs, neparedzams
Prāta vētra, sauklis, vārdu veidošana
Tas arī izskaidro bieži uzdoto jautājumu: "Kāpēc es saņemu dažādas atbildes, ja es uzdodu vienu un to pašu jautājumu divas reizes?" Jo atlases procesā ir zināma nejaušība; Modelis neizvelk fiksētu atbildi no datu bāzes, tas to atkārto katru reizi.
Vāja uzvedne / spēcīga uzvedne
Zinot, ka modelis darbojas ar "varbūtību", mainās arī tas, kā jūs to instruējat. Jo vairāk konteksta jūs sniedzat, jo lielāka iespējamība, ka būs pareizais turpinājums.
Vāja uzvedne: uzrakstiet ievadtekstu.
Rezultāts: modelis rada "vidējo" un vispārīgāko tekstu, jo tas nezina, kurš produkts, kāda auditorija, kāds tonis.
Spēcīgs aicinājums: uzrakstiet Instagram reklāmas tekstu nelielas kafejnīcas jaunajai filtra kafijai. Auditorija: 25-35 gadi, kafijas entuziasts. Tonis: draudzīgs, īss. Maksimāli 3 teikumi, beigās 2 hashtags.
Rezultāts: lietojams teksts, kas ir būtisks, jo konteksts sašaurina iespējas.
Trīs mini futrāļi
1. gadījums — mārketings, liela dažādība. Kāda komanda jaunam produktam vēlējās 30 saukļus. Ar augstu temperatūras iestatījumu modelis radīja dažādas, radošas iespējas; Komanda izvēlējās un izstrādāja 4 no 30. Kopējais laiks: 10 minūtes. Ja to darītu ar rokām, tas aizņemtu pusi dienas.
2. gadījums — Likums, augsta apņēmība. Tā paša uzņēmuma juridiskā komanda vienkāršoja līguma klauzulu. Viņi vēlējās konsekvenci, nevis radošumu; Ar zemu temperatūru modelis katru reizi sniedza gandrīz tādu pašu, konservatīvu kopsavilkumu. Tādējādi starp dažādiem izmēģinājumiem nebija nekādu pretrunu.
3. gadījums — "Kāpēc tas mainījās?" jautājums. Darbinieks divas reizes pieprasīja vienu un to pašu e-pasta melnrakstu un saņēma divus dažādus rezultātus; Viņš domāja, ka tā ir "kļūda". Faktiski tās ir dabiskas modeļa nejaušības sekas. Kad darbinieks iemācījās saglabāt sev tīkamo versiju un nepieciešamības gadījumā pateikt "taisīt tādu kā iepriekšējo", problēmu nebija.
Vai modelis "saprot"?
Šis ir interesantākais jautājums. Modelis ir tik pamatīgi apguvis statistiskās attiecības starp vārdiem, ka izliekas, ka saprot daudzus uzdevumus. Bet tai nav apzinātas izpratnes, nodoma vai realitāti kontrolējoša mehānisma. Tas rada "iespējamāko turpinājumu"; Tas negarantē "visprecīzākās informācijas" sagatavošanu. Šī atšķirība ir halucinācijas tēmas pamatā, par kuru mēs runāsim nākamajās nodaļās.
Biežākās kļūdas
Biežas kļūdas
- Sajaukt modeli ar meklētājprogrammu. Modelis nemeklē internetā un neizgūst resursus (ja vien nav īpašas meklēšanas funkcijas); Ģenerē iespējamo tekstu no atmiņas. Tātad viņš var izdomāt avotu/skaitli.
- Plūsmu sajauc ar precizitāti. Tas, ka teksts ir skaists un pārliecināts, nenozīmē, ka tā saturs ir pareizs.
- Katru reizi gaida vienu un to pašu atbildi. Nejaušība ir dabiska; Saglabājiet izvadi, kas jums patīk kritiskiem uzdevumiem.
- Ļoti gara, nevajadzīga teksta ielīmēšana un marķiera ierobežojuma palielināšana. Garums gan palielina izmaksas, gan var novērst modeļa uzmanību; vienkārši sniedziet vajadzīgo kontekstu.
Uzmanību: tas, ka modele runā tekoši un pārliecinoši, nenozīmē, ka viņa runā pareizi. Raidums ir dabiskas varbūtības novērtēšanas sekas; Precizitāte ir jāpārbauda atsevišķi un neatkarīgi.
Rezumējot
- Ģeneratīvā AI soli pa solim ģenerē tekstu, paredzot nākamo visticamāko fragmentu (tokenu); konstruē teikumu pa gabalu.
- Žetoni ir mazākas vārdu daļas un nosaka gan izmaksu, gan garuma ierobežojumus.
- Katrā solī modelis izveido iespēju sarakstu; Temperatūras iestatījums nosaka, cik stabils vai radošs būs rezultāts.
- Iemesls dažādām atbildēm uz vienu un to pašu jautājumu ir šim procesam raksturīgā nejaušība.
- Modele runā tekoši, taču tas negarantē, ka viņa stāsta patiesību; Raidums un precizitāte ir dažādas lietas.
Lietojumprogrammas uzdevums
Dodiet savam AI rīkam vienu un to pašu radošo uzdevumu (piemēram, “uzrakstiet ātru pateicības piezīmi”) divas reizes pēc kārtas un novērojiet, kā atšķiras rezultāti. Pēc tam atkārtojiet to pašu uzdevumu ar veidni “Jaudīga uzvedne”, pievienojot kontekstu, un atzīmējiet abu rezultātu kvalitātes atšķirību.
Kontrolsaraksts
- [ ] Es varu paskaidrot, ka modelis veido tekstu, "paredzot nākamo iespējamo gabalu".
- Es zinu, kas ir [ ] Token un kāpēc tas apzīmē izmaksas/limitu.
- [ ] Es varu atšķirt darbus, kas prasa apņēmību, un tos, kas prasa radošumu.
- [ ] Es zinu, ka ir normāli saņemt dažādas atbildes uz vienu un to pašu jautājumu.
- [ ] Esmu sapratis, ka raitums negarantē precizitāti.