หน่วย 2 / 12

Generative AI ทำงานอย่างไร

กำไร:

  • โทเค็นสามารถอธิบายแนวคิดของความน่าจะเป็นและการทำนายได้อย่างสังหรณ์ใจ
  • เข้าใจว่าทำไมโมเดลภาษาจึงสร้างข้อความ 'ทีละน้อย'
  • สามารถตีความได้ว่าเหตุใดบางครั้งโมเดลจึงมีพฤติกรรมที่เด็ดขาดและบางครั้งก็สร้างสรรค์

เมื่อคุณเขียน "สิ่งที่ดีที่สุดเกี่ยวกับอิสตันบูล" ลงในโมเดลภาษา จะสร้างย่อหน้าได้อย่างคล่องแคล่วภายในไม่กี่วินาที สิ่งนี้เกิดขึ้นได้อย่างไร? โมเดล "คิด" จริงๆ หรือมีกลไกที่ง่ายกว่าแต่ทรงพลังอยู่เบื้องหลังหรือไม่ ในหน่วยนี้ เราจะอธิบายวิธีการทำงานของ generative AI โดยไม่ต้องพูดถึงสมการทางเทคนิค แต่โดยการสร้างสัญชาตญาณที่ถูกต้อง สัญชาตญาณนี้เป็นพื้นฐานของทุกสิ่งที่ตามมา โดยเฉพาะหัวข้อเรื่องภาพหลอน การยืนยัน และการเขียนที่ดีทันที AI เจนเนอเรชั่น ซึ่งก็คือ "ปัญญาประดิษฐ์เจนเนอเรชั่น" เป็นชื่อทั่วไปของเครื่องมือที่สร้างข้อความตั้งแต่เริ่มต้น แทนที่จะค้นหาและดึงคำตอบที่มีอยู่

แนวคิดพื้นฐาน: การทำนายชิ้นต่อไป

สิ่งที่น่าแปลกใจก็คืองานพื้นฐานเพียงอย่างเดียวที่โมเดลภาษาเรียนรู้คือ “ส่วนใดของข้อความที่น่าติดตามมากที่สุด” คือการตอบคำถาม แบบจำลองไม่ได้เตรียมประโยคที่สมบูรณ์และนำเสนอต่อหน้าคุณ แต่จะสร้างประโยคทีละชิ้นจากซ้ายไปขวา

นี่คือวิธีการทำงานทีละขั้นตอน:

  1. มันจะอ่านข้อความ (พร้อมท์) ที่คุณเขียน
  2. คาดการณ์ส่วนที่น่าจะเป็นไปตามข้อความนี้มากที่สุด
  3. เพิ่มชิ้นนั้น
  4. มันจะดูข้อความที่สร้างขึ้นใหม่อีกครั้งและเดาชิ้นถัดไปที่น่าจะเป็นไปได้มากที่สุด
  5. ทำซ้ำจนกว่าคำตอบจะเสร็จสมบูรณ์
ตัวอย่าง: หากคุณให้ข้อความแก่โมเดลว่า "ดื่มแก้วอุ่นๆ เมื่อตื่นนอนตอนเช้า..." ข้อความที่มีแนวโน้มจะตามมามากที่สุดคือ "ชา" หรือ "กาแฟ"; ไม่ใช่ "ยางมะตอย" แบบจำลองได้เรียนรู้ความน่าจะเป็นดังกล่าวจากข้อความนับล้าน จากนั้นเขาก็เติมคำว่า "ชา" จากนั้นดูประโยคใหม่และเดาส่วนถัดไปที่น่าจะเป็นไปได้มากที่สุด เป็นต้น

กล่าวอีกนัยหนึ่ง ในแต่ละขั้นตอน โมเดลจะใช้ขั้นตอนถัดไปโดยพิจารณาจากสิ่งที่เขียนไว้ ด้วยเหตุนี้บางครั้งจึงเรียกว่า "การเติมข้อความอัตโนมัติเวอร์ชันขั้นสูงมาก" แต่การเปรียบเทียบนี้ไม่ควรดูถูกพรสวรรค์ ในระดับที่เหมาะสม การทำนายนี้สามารถสร้างผลลัพธ์ที่ดูเหมือนการใช้เหตุผลได้

โทเค็น: ชิ้นส่วนเล็กๆ ของคำ

แบบจำลองนี้ใช้งานได้จริงไม่ได้กับ "คำ" ที่สมบูรณ์ แต่ใช้ชิ้นเล็กๆ ที่เรียกว่าโทเค็น โทเค็น; บางครั้งก็เป็นทั้งคำ บางครั้งก็เป็นส่วนหนึ่งของคำ บางครั้งก็เป็นเครื่องหมายวรรคตอน

  • "หนังสือ" อาจเป็นโทเค็นเดียวได้
  • "จากหนังสือของเรา" สามารถแบ่งออกเป็นหลายโทเค็นเช่น "หนังสือ", "s", "ของเรา", "จาก"
  • การเว้นวรรคและเครื่องหมายวรรคตอนจะนับเป็นโทเค็นด้วย
ข้อควรสนใจ: โทเค็นไม่ได้เป็นเพียงรายละเอียดทางเทคนิคเท่านั้น เครื่องมือ AI ส่วนใหญ่คิดค่าบริการตามจำนวนโทเค็น และความยาวของโมเดลข้อความ (หน้าต่างบริบท) ที่สามารถประมวลผลได้ในแต่ละครั้งก็ถูกจำกัดด้วยโทเค็นเช่นกัน ดังนั้น "ระยะเวลาที่คุณเขียน" จึงเป็นต้นทุนและขีดจำกัดโดยตรง

ความน่าจะเป็นและ "ความอบอุ่น": ความมุ่งมั่นหรือความคิดสร้างสรรค์?

ในแต่ละขั้นตอน แบบจำลองไม่ได้สร้างคำตอบที่ชัดเจนเพียงคำตอบเดียว แต่เป็นรายการความน่าจะเป็นของความต่อเนื่องที่เป็นไปได้ ตัวอย่างเช่น หลังคำว่า "ร้อน": ชา 55%, กาแฟ 35%, นม 7%, อื่นๆ 3% แล้วเขาจะเลือกอันไหนล่ะ?

ในกรณีนี้ การตั้งค่าที่เรียกว่าอุณหภูมิจะเข้ามามีบทบาท อุณหภูมิเป็นปุ่มควบคุมความคิดสร้างสรรค์ชนิดหนึ่งที่กำหนดว่าโมเดลจะ "เสี่ยง" มากน้อยเพียงใด

การตั้งค่า

พฤติกรรม

บทสรุป

มันมีประโยชน์ตรงไหน?

อุณหภูมิต่ำ

มักจะเลือกตัวเลือกที่เป็นไปได้มากที่สุด

มีเสถียรภาพทำซ้ำได้

สรุปทางกฎหมาย คำอธิบายทางเทคนิค การดึงข้อมูล

อุณหภูมิปานกลาง

ทางเลือกที่สมดุล

เป็นธรรมชาติแต่สม่ำเสมอ

อีเมลทั่วไป ร่างรายงาน

อุณหภูมิสูง

ลองใช้ตัวเลือกที่มีโอกาสน้อยกว่า

สร้างสรรค์ หลากหลาย คาดเดาไม่ได้

การระดมความคิด สโลแกน การสร้างชื่อ

นอกจากนี้ยังอธิบายคำถามที่พบบ่อยอีกด้วย: "ทำไมฉันถึงได้รับคำตอบที่แตกต่างกันเมื่อฉันถามคำถามเดิมสองครั้ง" เนื่องจากกระบวนการคัดเลือกมีความสุ่มอยู่บ้าง โมเดลไม่ได้ดึงคำตอบคงที่จากฐานข้อมูล แต่จะทำซ้ำทุกครั้ง

พรอมต์ที่อ่อนแอ / พรอมต์ที่แข็งแกร่ง

การรู้ว่าแบบจำลองใช้งานได้กับ "ความน่าจะเป็น" จะเปลี่ยนวิธีการสอนของคุณด้วย ยิ่งคุณให้บริบทมากเท่าใด ความต่อเนื่องที่ถูกต้องก็จะยิ่งมากขึ้นเท่านั้น

พรอมต์ที่อ่อนแอ: เขียนข้อความเกริ่นนำ

ผลลัพธ์: แบบจำลองนี้สร้างข้อความที่ "โดยเฉลี่ย" และกว้างที่สุด เนื่องจากไม่รู้ว่าผลิตภัณฑ์ใด ผู้ชมใด และโทนเสียงใด

พร้อมท์ที่ชัดเจน: เขียนข้อความส่งเสริมการขายบน Instagram สำหรับกาแฟกรองใหม่ของร้านกาแฟขนาดเล็ก ผู้ชม: อายุ 25-35 ปี ชื่นชอบกาแฟ น้ำเสียง: เป็นมิตร สั้น สูงสุด 3 ประโยค 2 แฮชแท็กต่อท้าย

ผลลัพธ์: ข้อความที่ใช้งานได้ซึ่งมีความเกี่ยวข้องเนื่องจากบริบททำให้ความเป็นไปได้แคบลง

มินิเคสสามอัน

กรณีที่ 1 — การตลาด ความหลากหลายสูง ทีมงานต้องการสโลแกน 30 คำสำหรับผลิตภัณฑ์ใหม่ ด้วยการตั้งค่าอุณหภูมิสูง โมเดลจึงสร้างทางเลือกที่สร้างสรรค์และแตกต่าง ทีมงานคัดเลือกและพัฒนา 4 จาก 30 รวมเวลา : 10 นาที หากทำด้วยมือจะใช้เวลาครึ่งวัน

กรณีที่ 2 — กฎหมาย ความมุ่งมั่นสูง ทีมกฎหมายของบริษัทเดียวกันกำลังลดความซับซ้อนของข้อสัญญา พวกเขาต้องการความสม่ำเสมอ ไม่ใช่ความคิดสร้างสรรค์ เมื่ออุณหภูมิต่ำ แบบจำลองจะให้ข้อมูลสรุปแบบอนุรักษ์นิยมเกือบจะเหมือนกันในแต่ละครั้ง ดังนั้นจึงไม่มีความไม่สอดคล้องกันระหว่างการทดลองต่างๆ

กรณีที่ 3 — “เหตุใดจึงเปลี่ยนไป” คำถาม. พนักงานขอฉบับร่างอีเมลเดียวกันสองครั้งและได้รับผลลัพธ์ที่แตกต่างกันสองรายการ เขาคิดว่ามันเป็น "ความผิดพลาด" อันที่จริง นี่เป็นผลลัพธ์ตามธรรมชาติของการสุ่มของโมเดล เมื่อพนักงานเรียนรู้ที่จะบันทึกเวอร์ชันที่เขาชอบแล้วพูดว่า "ทำให้เหมือนเวอร์ชันก่อนหน้า" หากจำเป็น ก็ไม่มีปัญหา

โมเดล "เข้าใจ" หรือไม่?

นี่เป็นคำถามที่น่าสงสัยที่สุด แบบจำลองได้เรียนรู้ความสัมพันธ์ทางสถิติระหว่างคำต่างๆ อย่างละเอียดถี่ถ้วนจนแกล้งทำเป็นเข้าใจงานต่างๆ มากมาย แต่ไม่มีความเข้าใจอย่างมีสติ ความตั้งใจ หรือกลไกการควบคุมความเป็นจริง มันสร้าง "ภาคต่อที่น่าจะเป็นไปได้มากที่สุด"; ไม่รับประกันว่าจะสร้าง "ข้อมูลที่แม่นยำที่สุด" ความแตกต่างนี้เป็นพื้นฐานของเรื่องของภาพหลอน ซึ่งเราจะหารือในบทถัดไป

ข้อผิดพลาดทั่วไป

ข้อผิดพลาดทั่วไป

  • การเข้าใจผิดว่าเป็นโมเดลสำหรับเครื่องมือค้นหา โมเดลไม่ค้นหาอินเทอร์เน็ตและดึงทรัพยากร (เว้นแต่จะมีคุณลักษณะการค้นหาพิเศษ) สร้างข้อความที่เป็นไปได้จากหน่วยความจำ เขาจึงสามารถสร้างแหล่งที่มา/รูปขึ้นมาได้
  • เข้าใจผิดว่าคล่องเพื่อความถูกต้อง เพียงเพราะข้อความสวยงามและมั่นใจไม่ได้หมายความว่าเนื้อหาถูกต้อง
  • คาดหวังคำตอบเดียวกันทุกครั้ง ความบังเอิญเป็นเรื่องธรรมชาติ บันทึกผลลัพธ์ที่คุณต้องการสำหรับงานที่สำคัญ
  • วางข้อความที่ยาวและไม่จำเป็นและเกินขีดจำกัดโทเค็น ความยาวทั้งเพิ่มต้นทุนและอาจเบี่ยงเบนความสนใจของโมเดลได้ เพียงให้บริบทที่จำเป็น
ข้อควรสนใจ: เพียงเพราะนางแบบพูดคล่องและมั่นใจไม่ได้หมายความว่าเธอพูดได้อย่างถูกต้อง ความคล่องเป็นผลตามธรรมชาติของการประมาณความน่าจะเป็น ความแม่นยำเป็นสิ่งที่ต้องตรวจสอบแยกกันและเป็นอิสระ

โดยสรุป

  • Generative AI สร้างข้อความทีละขั้นตอนโดยการทำนายส่วนถัดไปที่น่าจะเป็นไปได้มากที่สุด (โทเค็น) สร้างประโยคทีละชิ้น
  • โทเค็นเป็นส่วนเล็กๆ ของคำและกำหนดทั้งต้นทุนและความยาว
  • ในแต่ละขั้นตอน แบบจำลองจะสร้างรายการความเป็นไปได้ การตั้งค่าอุณหภูมิจะกำหนดว่าเอาต์พุตจะมีเสถียรภาพหรือสร้างสรรค์เพียงใด
  • สาเหตุของคำตอบที่แตกต่างกันสำหรับคำถามเดียวกันนั้นเกิดจากการสุ่มที่มีอยู่ในกระบวนการนี้
  • นางแบบพูดได้คล่อง แต่ไม่ได้รับประกันว่าเธอพูดความจริง ความคล่องแคล่วและความแม่นยำเป็นสิ่งที่แตกต่างกัน

งานแอปพลิเคชัน

ให้เครื่องมือ AI ของคุณทำงานสร้างสรรค์แบบเดียวกัน (เช่น "เขียนบันทึกขอบคุณอย่างรวดเร็ว") สองครั้งติดต่อกัน และสังเกตว่าผลลัพธ์ต่างกันอย่างไร จากนั้นทำซ้ำงานเดิมด้วยเทมเพลต "ข้อความแจ้งที่มีประสิทธิภาพ" เพิ่มบริบท และสังเกตความแตกต่างด้านคุณภาพระหว่างผลลัพธ์ทั้งสอง

รายการตรวจสอบ

  • [ ] ฉันสามารถอธิบายได้ว่าโมเดลสร้างข้อความโดย "ทำนายส่วนถัดไปที่เป็นไปได้"
  • ฉันรู้ว่าโทเค็น [ ] คืออะไร และเหตุใดจึงหมายถึงต้นทุน/ขีดจำกัด
  • [ ] ฉันสามารถแยกแยะระหว่างงานที่ต้องใช้ความมุ่งมั่นและงานที่ต้องใช้ความคิดสร้างสรรค์
  • [ ] ฉันรู้ว่าเป็นเรื่องปกติที่จะได้รับคำตอบที่แตกต่างกันสำหรับคำถามเดียวกัน
  • [ ] ฉันเข้าใจแล้วว่าความคล่องแคล่วไม่ได้รับประกันความถูกต้อง