Enhet 2 / 12

Hvordan fungerer generativ AI?

Gevinster:

  • Token kan intuitivt forklare begrepene sannsynlighet og prediksjon
  • Forstår hvorfor en språkmodell produserer tekst "stykkevis"
  • Kan tolke hvorfor modellen noen ganger opptrer besluttsomt og noen ganger kreativt

Når du skriver «det beste med Istanbul» inn i en språkmodell, produserer det et flytende avsnitt på noen få sekunder. Hvordan skjer dette? «Tenker» modellen virkelig eller ligger det en mye enklere, men kraftig mekanisme bak? I denne enheten vil vi forklare hvordan generativ AI fungerer, uten å gå inn i tekniske ligninger, men ved å etablere riktig intuisjon. Denne intuisjonen er grunnlaget for alt som følger - spesielt temaene hallusinasjoner, verifisering og god rask skriving. Generativ AI, det vil si «generativ kunstig intelligens», er det vanlige navnet på verktøy som lager tekst fra bunnen av i stedet for å finne og hente et eksisterende svar.

Grunnidé: Forutsi neste stykke

Det overraskende er at den eneste grunnleggende oppgaven en språkmodell lærer er "hvilken del av en tekst vil mest sannsynlig følge?" er å svare på spørsmålet. Modellen forbereder ikke en fullstendig setning og presenterer den foran deg. I stedet produserer den setningen bit for bit, fra venstre til høyre.

Slik fungerer det trinn for trinn:

  1. Den leser teksten (spørsmålet) du skriver.
  2. Forutsier den mest sannsynlige delen som følger denne teksten.
  3. Legger til den biten.
  4. Den ser igjen på den nyopprettede teksten og gjetter det neste mest sannsynlige stykket.
  5. Gjentas til svaret er fullstendig.
Eksempel: Hvis du ga modellen teksten "Ta en varm kopp når du våkner om morgenen...", vil den mest sannsynlige fortsettelsen være "te" eller "kaffe"; Ikke "asfalt". Modellen har lært slike sannsynligheter fra millioner av tekster. Så legger han til "te", så ser han på den nye setningen og gjetter den neste mest sannsynlige delen, og så videre.

Med andre ord, ved hvert trinn tar modellen neste steg ved å se på hva den har skrevet. Det er derfor det noen ganger kalles en «veldig avansert versjon av autofullføring». Men denne analogien bør ikke bagatellisere talent; På riktig skala kan denne forutsigelsen gi resultater som ser ut som resonnement.

Token: Små biter av et ord

Modellen fungerer faktisk ikke med fulle "ord", men med mindre biter kalt tokens. Et symbol; Noen ganger er det et helt ord, noen ganger er det en del av et ord, noen ganger er det et skilletegn.

  • "bok" kan være et enkelt symbol.
  • "fra våre bøker" kan deles inn i flere tokens som "bok", "s", "vår", "fra".
  • Mellomrom og skilletegn teller også som tokens.
Oppmerksomhet: Token er ikke bare en teknisk detalj. De fleste AI-verktøy belastes etter antall tokens, og lengden på tekst (kontekstvindu) modeller kan behandle om gangen er også begrenset i tokens. Så "hvor lenge skriver du" er en direkte kostnad og grense.

Sannsynlighet og "varme": besluttsomhet eller kreativitet?

Ved hvert trinn produserer modellen ikke et eneste definitivt svar, men en sannsynlighetsliste over mulige fortsettelser. For eksempel, etter ordet "varm": te 55 %, kaffe 35 %, melk 7 %, andre 3 %. Så hvilken velger han?

Her spiller en innstilling kalt temperatur inn. Temperatur er en slags kreativitetsknott som bestemmer hvor mye modellen vil "risiko".

Innstilling

oppførsel

Konklusjon

Hvor er det nyttig?

lav temperatur

Tar alltid det mest sannsynlige alternativet

Stabil, repeterbar

Juridisk sammendrag, teknisk beskrivelse, datauttrekk

middels temperatur

Balansert valg

Naturlig, men konsekvent

Generell e-post, rapportutkast

høy temperatur

Prøver mindre sannsynlige alternativer

Kreativ, mangfoldig, uforutsigbar

Brainstorming, slagord, navneproduksjon

Dette forklarer også det ofte stilte spørsmålet: "Hvorfor får jeg forskjellige svar når jeg stiller det samme spørsmålet to ganger?" For det er noe tilfeldighet i utvelgelsesprosessen; Modellen trekker ikke et fast svar fra en database, den gjengir det hver gang.

Svak forespørsel / sterk forespørsel

Å vite at modellen fungerer med «sannsynlighet» endrer også hvordan du instruerer den. Jo mer kontekst du gir, jo mer sannsynlig blir den riktige fortsettelsen.

Svak oppfordring: Skriv en innledende tekst.

Resultat: Modellen produserer mest «gjennomsnittlig» og generisk tekst fordi den ikke vet hvilket produkt, hvilket publikum, hvilken tone.

Sterk oppfordring: Skriv en reklametekst på Instagram for en liten kafés nye filterkaffe. Publikum: 25-35 år, kaffeentusiast. Tone: vennlig, kort. Maks 3 setninger, 2 hashtags på slutten.

Resultat: En brukbar tekst som er relevant fordi kontekst begrenser mulighetene.

Tre minivesker

Case 1 - Markedsføring, stor variasjon. Et team ønsket 30 slagord for et nytt produkt. Med sin høye temperaturinnstilling ga modellen forskjellige, kreative alternativer; Teamet valgte og utviklet 4 av 30. Total tid: 10 minutter. Hvis det ble gjort for hånd, ville det tatt en halv dag.

Sak 2 — Lov, høy besluttsomhet. Det samme selskapets juridiske team var i ferd med å forenkle en kontraktsklausul. De ønsket konsistens, ikke kreativitet; Med lav temperatur ga modellen nesten den samme, konservative oppsummeringen hver gang. Dermed var det ingen inkonsekvens mellom ulike forsøk.

Sak 3 - "Hvorfor endret det seg?" spørsmål. En ansatt ba om samme e-postutkast to ganger og fikk to forskjellige resultater; Han mente det var en «feil». Dette er faktisk en naturlig konsekvens av modellens tilfeldighet. Når den ansatte først lærte å lagre versjonen han likte og si «gjør den som den forrige» om nødvendig, var det ikke noe problem.

Får modellen "det"?

Dette er det mest nysgjerrige spørsmålet. Modellen har lært de statistiske sammenhengene mellom ord så grundig at den later til å forstå mange oppgaver. Men den har ingen bevisst forståelse, intensjon eller virkelighetskontrollerende mekanisme. Den produserer «den mest sannsynlige oppfølgeren»; Det garanterer ikke å produsere den "mest nøyaktige informasjonen". Denne forskjellen er grunnlaget for emnet hallusinasjon, som vi vil diskutere i de neste enhetene.

Vanlige feil

Vanlige feil

  • Forveksler modellen med en søkemotor. Modellen søker ikke på internett og henter ressurser (med mindre det er en spesiell søkefunksjon); Genererer mulig tekst fra minnet. Så han kan lage kilden/figuren.
  • Ta feil av flyt for nøyaktighet. Bare fordi teksten er vakker og selvsikker, betyr det ikke at innholdet er korrekt.
  • Forventer det samme svaret hver gang. Tilfeldighet er naturlig; Lagre utdataene du liker for kritiske oppgaver.
  • Limer inn svært lang, unødvendig tekst og skyver token-grensen. Lengde både øker kostnadene og kan distrahere fokuset til modellen; bare gi den nødvendige konteksten.
Oppmerksomhet: Bare fordi modellen snakker flytende og selvsikkert, betyr det ikke at hun snakker riktig. Flytende er den naturlige konsekvensen av sannsynlighetsestimering; Nøyaktighet er noe som må kontrolleres separat og uavhengig.

Oppsummert

  • Generativ AI genererer tekst trinn for trinn ved å forutsi det neste mest sannsynlige fragmentet (token); konstruerer setningen bit for bit.
  • Tokens er mindre deler av ord og setter både kostnads- og lengdegrenser.
  • Ved hvert trinn produserer modellen en liste over muligheter; Temperaturinnstillingen bestemmer hvor stabil eller kreativ utgangen vil være.
  • Årsaken til ulike svar på det samme spørsmålet er på grunn av tilfeldigheten som ligger i denne prosessen.
  • Modellen snakker flytende, men dette garanterer ikke at hun snakker sant; Flytende og nøyaktighet er forskjellige ting.

Søknadsoppgave

Gi AI-verktøyet ditt den samme kreative oppgaven (f.eks. "skriv en rask takkemelding") to ganger på rad og observer hvordan utdataene varierer. Gjenta deretter den samme oppgaven med malen "Kraftig ledetekst", legg til kontekst og legg merke til forskjellen i kvalitet mellom de to resultatene.

Sjekkliste

  • [ ] Jeg kan forklare at modellen produserer teksten ved å "forutsi neste mulige del".
  • Jeg vet hva [ ] Token er og hvorfor det står for cost/limit.
  • [ ] Jeg kan skille mellom jobber som krever besluttsomhet og de som krever kreativitet.
  • [ ] Jeg vet at det er normalt å få forskjellige svar på det samme spørsmålet.
  • [ ] Jeg har internalisert at flyt ikke er noen garanti for nøyaktighet.