Hogyan működik a generatív AI?

Nyereség:

• A token intuitív módon képes megmagyarázni a valószínűség és az előrejelzés fogalmát
• Megérti, hogy egy nyelvi modell miért hoz létre „darabonként” szöveget
• Tudja értelmezni, hogy a modell hol határozottan, hol kreatívan viselkedik

Ha egy nyelvi modellbe beírja, hogy "a legjobb dolog Isztambulban", az néhány másodperc alatt gördülékeny bekezdést készít. Hogyan történik ez? Tényleg "gondolkodik" a modell, vagy valami sokkal egyszerűbb, de erőteljes mechanizmus áll mögötte? Ebben a részben elmagyarázzuk, hogyan működik a generatív AI, anélkül, hogy belemennénk a technikai egyenletekbe, hanem a megfelelő intuíció kialakításával. Ez az intuíció az alapja mindennek, ami ezután következik – különösen a hallucináció, az ellenőrzés és a jó gyorsírás témáinak. A generatív mesterséges intelligencia, vagyis a „generatív mesterséges intelligencia” az olyan eszközök általános neve, amelyek a semmiből hoznak létre szöveget, ahelyett, hogy egy meglévő választ keresnének és lekérnének.

Alapötlet: A következő darab megjóslása

A meglepő az, hogy a nyelvi modell egyetlen alapvető feladata, hogy „a szöveg melyik részét követi a legvalószínűbb?” a kérdés megválaszolása. A modell nem készít elő egy teljes mondatot és nem mutatja be Ön előtt. Ehelyett darabonként, balról jobbra állítja elő a mondatot.

Lépésről lépésre a következőképpen működik:

1. Felolvassa az Ön által írt szöveget (prompt).
2. Megjósolja azt a részt, amely a legnagyobb valószínűséggel követi ezt a szöveget.
3. Hozzáadja azt a darabot.
4. Újra megnézi az újonnan formált szöveget, és kitalálja a következő legvalószínűbb darabot.
5. Addig ismételjük, amíg a válasz teljes nem lesz.

Példa: Ha a modellnek azt a szöveget adta, hogy "Igyon egy forró csészét, amikor felébred reggel...", a legvalószínűbb folytatás a "tea" vagy a "kávé" lenne; Nem "aszfalt". A modell több millió szövegből tanult meg ilyen valószínűségeket. Majd hozzáteszi a „teát”, majd megnézi az új mondatot, és kitalálja a következő legvalószínűbb részt, és így tovább.

Más szóval, a modell minden lépésnél megteszi a következő lépést, megnézve, amit írt. Ezért nevezik néha „az automatikus kiegészítés nagyon fejlett változatának”. De ennek a hasonlatnak nem szabad lekicsinyelnie a tehetséget; A megfelelő léptékben ez az előrejelzés érvelésnek tűnő eredményeket hozhat.

Token: Kis darabok egy szóból

A modell valójában nem teljes "szavakkal", hanem kisebb darabokkal, úgynevezett tokenekkel működik. Egy token; Néha egy egész szó, néha egy szó része, néha egy írásjel.

• "könyv" lehet egyetlen token.
• A "könyveinkből" több tokenre osztható, mint például "book", "s", "our", "from".
• A szóközök és írásjelek is jelzőnek számítanak.

Figyelem: A token nem csupán technikai részlet. A legtöbb mesterséges intelligencia eszköz a tokenek száma alapján tölt fel, és az egyszerre feldolgozható szöveges (kontextusablak) modellek hossza is korlátozott a tokenekben. Tehát a "meddig írsz" egy közvetlen költség és korlát.

Valószínűség és „melegség”: határozottság vagy kreativitás?

A modell minden lépésben nem egyetlen végleges választ ad, hanem a lehetséges folytatások valószínűségi listáját. Például a "forró" szó után: tea 55%, kávé 35%, tej 7%, egyéb 3%. Tehát melyiket választja?

Itt a hőmérsékletnek nevezett beállítás lép működésbe. A hőmérséklet egyfajta kreativitás gomb, amely meghatározza, hogy a modell mennyit "kockáztat".

Beállítás

viselkedés

Következtetés

Hol hasznos?

alacsony hőmérséklet

Mindig a legvalószínűbb lehetőséget választja

Stabil, ismételhető

Jogi összefoglaló, műszaki leírás, adatkinyerés

közepes hőmérsékletű

Kiegyensúlyozott választás

Természetes, de következetes

Általános email, jelentéstervezet

magas hőmérséklet

Kipróbálja a kevésbé valószínű lehetőségeket

Kreatív, sokszínű, kiszámíthatatlan

Ötletgyűjtés, szlogen, névgyártás

Ez megmagyarázza a gyakran feltett kérdést is: "Miért kapok különböző válaszokat, ha kétszer teszem fel ugyanazt a kérdést?" Mert van némi véletlenszerűség a kiválasztási folyamatban; A modell nem adatbázisból húz fix választ, azt minden alkalommal reprodukálja.

Gyenge felszólítás / Erős felszólítás

Az a tudat, hogy a modell "valószínűséggel" működik, megváltoztatja az utasításokat is. Minél több kontextust adsz meg, annál valószínűbb a helyes folytatás.

Gyenge felszólítás: Írjon bevezető szöveget.

Eredmény: A modell a leginkább "átlagos" és legáltalánosabb szöveget állítja elő, mert nem tudja, melyik termék, melyik közönség, melyik hangnem.

Erős felszólítás: Írjon Instagram-promóciós szöveget egy kis kávézó új filteres kávéjához. Közönség: 25-35 éves, kávérajongó. Hangnem: barátságos, rövid. Maximum 3 mondat, 2 hashtag a végén.

Eredmény: Használható szöveg, amely releváns, mert a kontextus leszűkíti a lehetőségeket.

Három mini tok

1. eset – Marketing, nagy választék. Egy csapat 30 szlogent szeretett volna egy új termékhez. Magas hőmérséklet-beállításával a modell különböző, kreatív lehetőségeket kínált; A csapat 30-ból 4-et kiválasztott és fejlesztett. Teljes idő: 10 perc. Ha kézzel csinálnák, fél napig tartana.

2. eset – Jog, nagy határozottság. Ugyanennek a cégnek a jogi csapata egyszerűsített egy szerződési záradékot. Következetességre vágytak, nem kreativitásra; Alacsony hőmérsékleten a modell minden alkalommal közel azonos, konzervatív összefoglalót adott. Így nem volt következetlenség a különböző vizsgálatok között.

3. eset – „Miért változott meg?” kérdés. Egy alkalmazott kétszer kérte ugyanazt az e-mail piszkozatot, és két különböző eredményt kapott; Azt gondolta, hogy ez "tévedés". Valójában ez a modell véletlenszerűségének természetes következménye. Miután az alkalmazott megtanulta elmenteni a neki tetsző verziót, és szükség esetén azt mondani, hogy "tegye olyan, mint az előző", nem volt probléma.

A modell "érti"?

Ez a legérdekesebb kérdés. A modell olyan alaposan megtanulta a szavak közötti statisztikai összefüggéseket, hogy úgy tesz, mintha sok feladatot megértene. De nincs tudatos megértése, szándéka vagy valóságszabályozási mechanizmusa. "A legvalószínűbb folytatást" produkálja; Nem garantálja a "legpontosabb információ" előállítását. Ez a megkülönböztetés az alapja a hallucináció témájának, amelyet a következő részekben tárgyalunk.

Gyakori hibák

Gyakori hibák

• A modell összetévesztése egy keresőmotorral. A modell nem keres az interneten és nem keres forrásokat (hacsak nincs speciális keresési funkció); Lehetséges szöveget generál a memóriából. Így ő tudja kitalálni a forrást/figurát.
• A folyékonyságot összetéveszti a pontossággal. Az, hogy a szöveg szép és magabiztos, nem jelenti azt, hogy a tartalma helyes.
• Minden alkalommal ugyanazt a választ várja. A véletlenszerűség természetes; Mentse el a kívánt kimenetet a kritikus feladatokhoz.
• Nagyon hosszú, szükségtelen szöveg beillesztése és a token limit túllépése. A hosszúság növeli a költségeket és elvonhatja a modell fókuszát; csak adja meg a szükséges kontextust.

Figyelem: Az, hogy a modell folyékonyan és magabiztosan beszél, még nem jelenti azt, hogy helyesen beszél. A folyékonyság a valószínűségbecslés természetes következménye; A pontosságot külön és függetlenül kell ellenőrizni.

Összefoglalva

• A generatív AI lépésről lépésre generálja a szöveget a következő legvalószínűbb töredék (token) előrejelzésével; darabonként építi fel a mondatot.
• A tokenek a szavak kisebb részei, és költség- és hosszkorlátokat is meghatároznak.
• A modell minden lépésnél elkészíti a lehetőségek listáját; A hőmérséklet-beállítás határozza meg, hogy a kimenet mennyire lesz stabil vagy kreatív.
• Az ugyanarra a kérdésre adott eltérő válaszok oka az ebben a folyamatban rejlő véletlenszerűség.
• A modell folyékonyan beszél, de ez nem garantálja, hogy igazat mond; A folyékonyság és a pontosság különböző dolgok.

Alkalmazási feladat

Adja meg mesterséges intelligencia eszközének ugyanazt a kreatív feladatot (például „írjon egy gyors köszönőlevelet”) kétszer egymás után, és figyelje meg, hogy a kimenetek miben térnek el egymástól. Ezután ismételje meg ugyanazt a feladatot a „Powerful prompt” sablonnal, kontextus hozzáadásával, és vegye figyelembe a két eredmény közötti minőségi különbséget.

Ellenőrzőlista

• [ ] Meg tudom magyarázni, hogy a modell úgy állítja elő a szöveget, hogy "megjósolja a következő lehetséges darabot".
• Tudom, mi az [ ] Token, és miért jelenti a költség/korlátot.
• [ ] Különbséget tudok tenni az elszántságot igénylő és a kreativitást igénylő munkák között.
• [ ] Tudom, hogy normális, ha ugyanarra a kérdésre különböző válaszokat kapunk.
• [ ] Beláttam, hogy a folyékonyság nem garancia a pontosságra.