רווחים:
- Token יכול להסביר באופן אינטואיטיבי את המושגים של הסתברות וחיזוי
- מבין מדוע מודל שפה מייצר טקסט 'בחלק פרטני'
- יכול לפרש מדוע המודל מתנהג לפעמים באופן החלטי ולפעמים יצירתי
כשאתה כותב את "הדבר הכי טוב באיסטנבול" לתוך מודל שפה, זה מייצר פסקה שוטפת תוך כמה שניות. איך זה קורה? האם הדגם באמת "חושב" או שמא מאחוריו מנגנון הרבה יותר פשוט אך חזק? ביחידה זו נסביר כיצד עובד AI גנרטיבי, מבלי להיכנס למשוואות טכניות אלא על ידי ביסוס האינטואיציה הנכונה. האינטואיציה הזו היא הבסיס לכל מה שאחרי - במיוחד לנושאים של הזיה, אימות וכתיבה מהירה טובה. AI גנרטיבי, כלומר "בינה מלאכותית גנרטיבית", הוא השם המקובל לכלים היוצרים טקסט מאפס במקום למצוא ולשחזר תשובה קיימת.
רעיון בסיסי: חיזוי היצירה הבאה
הדבר המפתיע הוא שהמשימה הבסיסית היחידה שמודל שפה לומד היא "על איזה חלק בטקסט יש סבירות גבוהה לעקוב?" הוא לענות על השאלה. המודל לא מכין משפט שלם ומציג אותו לפניכם. במקום זאת, הוא מייצר את המשפט חלק אחר חלק, משמאל לימין.
הנה איך זה עובד צעד אחר צעד:
- זה קורא את הטקסט (הנחיה) שאתה כותב.
- מנבא את החלק הסביר ביותר לעקוב אחר הטקסט הזה.
- מוסיף את הקטע הזה.
- הוא מסתכל שוב על הטקסט החדש שנוצר ומנחש את הקטע הבא בסבירות גבוהה.
- חוזר עד שהתשובה הושלמה.
דוגמה: אם נתת לדגם את הטקסט "שתה כוס חמה כשאתה מתעורר בבוקר...", סביר להניח שההמשך יהיה "תה" או "קפה"; לא "אספלט". המודל למד הסתברויות כאלה ממיליוני טקסטים. ואז הוא מוסיף "תה", ואז מסתכל על המשפט החדש ומנחש את החלק הבא הכי סביר, וכן הלאה.
במילים אחרות, בכל שלב, המודל לוקח את הצעד הבא על ידי התבוננות במה שכתב. לכן זה נקרא לפעמים "גרסה מתקדמת מאוד של השלמה אוטומטית". אבל האנלוגיה הזו לא צריכה לזלזל בכישרון; בקנה המידה הנכון, חיזוי זה יכול לייצר תוצאות שנראות כמו היגיון.
אסימון: חתיכות קטנות של מילה
הדגם למעשה עובד לא עם "מילים" מלאות אלא עם חלקים קטנים יותר הנקראים אסימונים. אסימון; לפעמים זו מילה שלמה, לפעמים היא חלק ממילה, לפעמים היא סימן פיסוק.
- "ספר" יכול להיות אסימון בודד.
- ניתן לחלק את "מהספרים שלנו" למספר אסימונים כגון "ספר", "s", "שלנו", "מן".
- רווחים וסימני פיסוק נחשבים גם כאסימונים.
שימו לב: אסימון הוא לא רק פרט טכני. רוב כלי הבינה המלאכותית נטענים לפי מספר האסימונים, ואורך הטקסט (חלון ההקשר) שיכולים לעבד בכל פעם מוגבל גם באסימונים. אז "כמה זמן אתה כותב" הוא עלות ישירה ומגבלה.
הסתברות ו"חום": נחישות או יצירתיות?
בכל שלב, המודל אינו מייצר תשובה חד-משמעית אחת אלא רשימת הסתברות של המשך אפשרי. למשל, אחרי המילה "חם": תה 55%, קפה 35%, חלב 7%, אחרים 3%. אז באיזה מהם הוא בוחר?
כאן נכנסת לתמונה הגדרה שנקראת טמפרטורה. טמפרטורה היא מעין כפתור יצירתיות שקובע כמה הדגם "יסכן".
הגדרה
התנהגות
מסקנה
איפה זה שימושי?
טמפרטורה נמוכה
תמיד לוקח את האפשרות הסבירה ביותר
יציב, ניתן לחזור על עצמו
סיכום משפטי, תיאור טכני, חילוץ נתונים
טמפרטורה בינונית
בחירה מאוזנת
טבעי אבל עקבי
מייל כללי, טיוטת דיווח
טמפרטורה גבוהה
מנסה אפשרויות פחות סבירות
יצירתי, מגוון, בלתי צפוי
סיעור מוחות, סלוגן, הפקת שמות
זה גם מסביר את השאלה הנפוצה: "מדוע אני מקבל תשובות שונות כשאני שואל את אותה שאלה פעמיים?" כי יש קצת אקראיות בתהליך הבחירה; המודל אינו שואב תשובה קבועה ממסד נתונים, הוא משחזר אותה בכל פעם.
הנחיה חלשה / הנחיה חזקה
הידיעה שהמודל עובד עם "הסתברות" משנה גם את אופן ההוראה שלו. ככל שאתה נותן יותר הקשר, כך גדל הסיכוי להמשך הנכון.
הנחיה חלשה: כתוב טקסט מבוא.
תוצאה: המודל מייצר את הטקסט הכי "ממוצע" וגנרי כי הוא לא יודע איזה מוצר, איזה קהל, איזה טון.
הנחיה חזקה: כתוב טקסט פרסומי באינסטגרם לקפה פילטר חדש של בית קפה קטן. קהל: בני 25-35, חובב קפה. טון: ידידותי, קצר. מקסימום 3 משפטים, 2 האשטאגים בסוף.
תוצאה: טקסט שמיש שרלוונטי כי ההקשר מצמצם את האפשרויות.
שלושה מיני מארזים
מקרה 1 - שיווק, מגוון גבוה. צוות רצה 30 סיסמאות למוצר חדש. עם הגדרת הטמפרטורה הגבוהה שלו, הדגם הפיק אפשרויות שונות ויצירתיות; הצוות בחר ופיתח 4 מתוך 30. זמן כולל: 10 דקות. אם זה היה נעשה ביד זה היה לוקח חצי יום.
מקרה 2 - חוק, נחישות גבוהה. הצוות המשפטי של אותה חברה מפשט סעיף חוזה. הם רצו עקביות, לא יצירתיות; עם טמפרטורה נמוכה המודל נתן כמעט אותו סיכום, שמרני בכל פעם. לפיכך, לא הייתה חוסר עקביות בין ניסויים שונים.
מקרה 3 - "למה זה השתנה?" שְׁאֵלָה. עובד ביקש את אותה טיוטת מייל פעמיים וקיבל שתי תוצאות שונות; הוא חשב שזו "טעות". למעשה, זוהי תוצאה טבעית של האקראיות של המודל. ברגע שהעובד למד לשמור את הגרסה שאהב ולומר "תעשה כמו הקודמת" במידת הצורך, לא הייתה בעיה.
האם הדגם "מבין"?
זו השאלה המוזרה ביותר. המודל למד את הקשרים הסטטיסטיים בין מילים בצורה כה יסודית עד שהוא מתיימר להבין משימות רבות. אבל אין לו הבנה מודעת, כוונה או מנגנון של שליטה במציאות. הוא מייצר את "ההמשך הסביר ביותר"; זה לא מבטיח הפקת "המידע המדויק ביותר". הבחנה זו היא הבסיס לנושא ההזיה, עליו נדון ביחידות הבאות.
טעויות נפוצות
טעויות נפוצות
- טעות במודל למנוע חיפוש. המודל אינו מחפש באינטרנט ומחזיר משאבים (אלא אם כן יש תכונת חיפוש מיוחדת); יוצר טקסט אפשרי מהזיכרון. אז הוא יכול להמציא את המקור/הדמות.
- טועה בשטף הדיוק. זה שהטקסט יפה ובטוח לא אומר שהתוכן שלו נכון.
- מצפה לאותה תשובה בכל פעם. אקראיות היא טבעית; שמור את הפלט שאתה אוהב למשימות קריטיות.
- הדבקת טקסט ארוך מאוד ומיותר ודחיפת מגבלת האסימון. אורך גם מגדיל את העלות וגם יכול להסיח את הפוקוס של הדגם; רק תן את ההקשר הדרוש.
שימו לב: זה שהדוגמנית מדברת בשטף ובביטחון לא אומר שהיא מדברת נכון. שטף היא התוצאה הטבעית של הערכת הסתברות; דיוק הוא דבר שיש לבדוק בנפרד ובאופן עצמאי.
לסיכום
- AI יצירתי מייצר טקסט צעד אחר צעד על ידי חיזוי הפרגמנט הבא (אסימון) הסביר ביותר; בונה את המשפט חלק אחר חלק.
- אסימונים הם חלקים קטנים יותר של מילים וקובעים מגבלות עלות ואורך כאחד.
- בכל שלב, המודל מייצר רשימה של אפשרויות; הגדרת הטמפרטורה קובעת עד כמה הפלט יהיה יציב או יצירתי.
- הסיבה לתשובות שונות לאותה שאלה נובעת מהאקראיות הגלומה בתהליך זה.
- הדוגמנית מדברת בשטף, אבל זה לא מבטיח שהיא דוברת אמת; שטף ודיוק הם דברים שונים.
משימת יישום
תן לכלי הבינה המלאכותית שלך את אותה משימה יצירתית (למשל "כתוב מכתב תודה מהיר") פעמיים ברציפות וראה כיצד התפוקות שונות. לאחר מכן חזור על אותה משימה עם תבנית "הנחיה עוצמתית", הוספת הקשר, ושם לב להבדל באיכות בין שתי התוצאות.
רשימת תיוג
- [ ] אני יכול להסביר שהמודל מייצר את הטקסט על ידי "ניבוי הנתח האפשרי הבא".
- אני יודע מה זה [ ] Token ולמה הוא מייצג עלות/מגבלה.
- [ ] אני יכול להבחין בין עבודות הדורשות נחישות לבין אלו הדורשות יצירתיות.
- [ ] אני יודע שזה נורמלי לקבל תשובות שונות לאותה שאלה.
- [ ] הפנמתי ששטף אינו ערובה לדיוק.