ภาษาศาสตร์และการวิเคราะห์คลังข้อมูล: การอ่านคำศัพท์ด้วยตัวเลข

กำไร:

• ความสามารถในการร่างการวัดคลังข้อมูล เช่น ความถี่ของคำ การจัดเรียง ความสมบูรณ์ของคำศัพท์ และคำสำคัญด้วยปัญญาประดิษฐ์
• การรู้ว่าปัญญาประดิษฐ์นั้นไม่น่าเชื่อถือในการนับที่แม่นยำ และสามารถตรวจสอบการนับแต่ละครั้งด้วยเครื่องมือที่แยกจากกัน
• ความสามารถในการเข้าใจว่าตัวเลขไม่ได้พูดอะไรด้วยตัวมันเอง และการตีความทางภาษาที่สร้างความหมายนั้นเป็นของมนุษย์

การศึกษาวรรณคดีและภาษาไม่ใช่แค่ "การวิจารณ์" เท่านั้น นอกจากนี้ยังมีแง่มุมที่วัดผลและนับได้ ผู้เขียนใช้คำที่แตกต่างกันกี่คำ คำไหนที่เขาชอบใช้กับคำไหน คำไหนกลายเป็นคำที่ใช้กันทั่วไปในช่วงเวลาหนึ่ง - คำเหล่านี้ถูกตรวจสอบผ่านภาษาศาสตร์ (วิทยาศาสตร์ที่ศึกษาเสียง โครงสร้าง ความหมาย และการใช้ภาษา) และโดยเฉพาะภาษาศาสตร์ในคลังข้อมูล คลังข้อมูลคือชุดของข้อความ เช่น ผลงานที่สมบูรณ์ของผู้แต่ง เอกสารสำคัญประจำปีของหนังสือพิมพ์ หรือบทกวีในยุคหนึ่ง การวิเคราะห์คอร์ปัสจะมองหารูปแบบตัวเลขในส่วนนี้

ในหน่วยนี้ เราจะเรียนรู้การใช้ AI เป็นตัวช่วยในการวิเคราะห์คลังข้อมูล: การแยกหน่วยเมตริกอย่างรวดเร็ว เช่น ความถี่ของคำ (จำนวนครั้งที่คำปรากฏในข้อความ) การจัดเรียง (คู่คำที่เกิดขึ้นร่วมกันบ่อยครั้ง เช่น "สีดำ" + "โชคลาภของฉัน") ความสมบูรณ์ของคำศัพท์ และการแปรผันตามฤดูกาล แต่คำเตือนตั้งแต่ต้นว่า AI สามารถทำผิดพลาดได้เมื่อนับเพียงอย่างเดียว จำเป็นต้องมีเครื่องมือพิเศษเพื่อการนับจำนวนมากและแม่นยำ และคุณคือนักภาษาศาสตร์ที่กำหนดความหมายของแต่ละตัวเลข

AI แข็งแกร่งตรงไหน และตรงไหนอ่อนแอในการวิเคราะห์คอร์ปัส?

จุดแข็งของมันคือ: การจดจำรูปแบบในข้อความขนาดเล็กและขนาดกลาง การสร้างสมมติฐานเกี่ยวกับคำศัพท์ของข้อความ การเสนอแนะตัวเลือกสำหรับการจัดตำแหน่ง การตีความผลลัพธ์ การอธิบายวิธีการ AI ถามว่า “วลีใดที่โดดเด่นในตัวผู้เขียนคนนี้” ช่วยให้เริ่มต้นคำถามได้อย่างรวดเร็ว

จุดอ่อน: การนับที่แม่นยำ AI เป็นเพียงโมเดลภาษา ไม่ใช่เครื่องคิดเลข สามารถให้คำตอบโดยประมาณและบางครั้งก็ไม่ถูกต้องสำหรับคำถาม "เกิดขึ้นกี่ครั้ง" ในข้อความขนาดยาว สำหรับความถี่ที่แม่นยำ สถิติการวางตำแหน่งที่แน่นอน หรือการสแกนคลังข้อมูลขนาดใหญ่นับพันคำ ต้องใช้ซอฟต์แวร์พิเศษ (เช่น เครื่องมือคลังข้อมูล เช่น AntConc หรือสเปรดชีต) AI มีคุณค่าในการตีความผลลัพธ์ของเครื่องมือเหล่านี้ แต่อย่าให้เขานับแบบดิบสุ่มสี่สุ่มห้า

เคล็ดลับ: หากคุณต้องการตัวเลขที่แน่นอน ให้ใช้สองวิธี: ให้เครื่องมือนับจำนวนเป็นข้อความขนาดเล็กและให้ AI ตีความ; หรือให้ AI นับและตรวจสอบด้วยวิธีอื่น ห้ามใช้ประโยค “AI บอกว่าเกิดขึ้น 47 ครั้ง” โดยไม่มีการยืนยัน

การศึกษาคลังข้อมูลทีละขั้นตอน

1. ใส่คำถาม. “คำสีต่างๆ กระจายอยู่ในกวีคนนี้อย่างไร” การนับไม่มีความหมายหากไม่มีคำถามที่ชัดเจน เช่น
2. กำหนดคลังข้อมูล ข้อความไหน? ฉบับไหน? ช่วงไหน? ขอบต้องชัดเจน
3. เลือกการวัด ความถี่ การจัดเรียง ความสมบูรณ์ของคำศัพท์?
4. วัดและตรวจสอบ นับแล้วยืนยันวิธีที่สอง
5. ความคิดเห็น ตัวเลขเพียงอย่างเดียวไม่ได้พูดอะไร เป็นความคิดเห็นของคุณที่ทำให้การค้นพบว่า "คำที่มีสีเพิ่มขึ้นสองเท่าในช่วงที่สอง" มีความหมาย

การวัดความสมบูรณ์ของคำศัพท์ที่ใช้บ่อยคืออัตราส่วนของจำนวนคำที่แตกต่างกันต่อจำนวนคำทั้งหมด (อัตราส่วนประเภท/โทเค็น) หากอัตราส่วนนี้สูง แสดงว่าข้อความมีความหลากหลายของคำ และหากต่ำ แสดงว่ามีการใช้คำซ้ำกัน แต่อัตราส่วนนี้จะได้รับผลกระทบจากความยาวของข้อความ โปรดใช้ความระมัดระวังในการเปรียบเทียบข้อความสั้นและยาวโดยตรง

มินิเคสสามอัน

กรณีที่ 1 — การจัดระเบียบแสดงให้เห็นถึงสไตล์ นักวิจัยตรวจสอบการจับคู่คำคุณศัพท์และคำนามในนวนิยาย 3 เรื่องของนักประพันธ์ AI แนะนำว่าคำว่า "ซีด" ตรงกับคำนามที่แตกต่างกัน 5 คำ ผู้วิจัยตรวจสอบข้อความ 4 ชิ้นและตัดข้อความ 1 ชิ้นว่าเป็นการปลอมแปลง รูปแบบที่ได้รับการยืนยันกลายเป็นข้อความวิทยานิพนธ์เกี่ยวกับรูปแบบการพรรณนาของผู้เขียน

กรณีที่ 2 — การนับข้อผิดพลาดที่จับได้ นักเรียนคนหนึ่งถาม AI ว่ามีคำว่า "กลางคืน" ปรากฏในข้อความความยาว 2,000 คำกี่ครั้ง AI บอกว่า "23" เมื่อนักเรียนโยนข้อความลงในสเปรดชีตและนับ จำนวนจริงคือ 17 เป็นที่ชัดเจนว่าการนับดิบของ AI นั้นไม่น่าเชื่อถือ

กรณีที่ 3 — การเปลี่ยนแปลงเป็นระยะก่อให้เกิดความขัดแย้ง กลุ่มหนึ่งเปรียบเทียบสัดส่วนของคำที่เป็นนามธรรมในบทกวียุคแรกและตอนปลายของกวีคนหนึ่ง ร่างแรกของ AI ชี้ให้เห็นถึงแนวโน้ม เมื่อกลุ่มกลับไปที่ข้อความและตรวจสอบการนับ แนวโน้มกลับกลายเป็นเรื่องจริง แต่ "สาเหตุ" ที่แนะนำโดย AI เป็นการคาดเดาที่ไม่สามารถตรวจสอบได้และถูกกำจัดออกไป

เทมเพลตที่สามารถคัดลอกได้สี่แบบ

1) โครงร่างความถี่ของคำ (พร้อมการตรวจสอบ):

ระบุคำที่เป็นเนื้อหา 15 คำที่เกิดขึ้นบ่อยที่สุด (ไม่รวมคำประกอบ เช่น คำสันธานและคำบุพบท) ในข้อความด้านล่าง พร้อมความถี่โดยประมาณ คำเตือน: โปรดทราบว่าการนับอาจไม่ถูกต้อง และโปรดทราบว่า "เพื่อให้แม่นยำ จะต้องตรวจสอบด้วยเครื่องมือนับแยกต่างหาก" ข้อความ: [วางข้อความที่นี่]

2) ผู้สมัครโคโลเคชั่น:

เสนอแนะคู่คำ (collocations) ที่เกิดขึ้นร่วมกันบ่อยในข้อความด้านล่าง ให้คำพูดอย่างน้อยหนึ่งคำพูดจากข้อความสำหรับแต่ละคู่ การประดิษฐ์ซ้ำซ้อนที่ไม่มีค่าเท่ากันในข้อความ หากคุณไม่แน่ใจ ให้ทำเครื่องหมายว่า "ต้องการการยืนยัน" ข้อความ: [วางข้อความ]

3) การเปรียบเทียบคำศัพท์:

ฉันจะให้คุณสองข้อความ สำหรับแต่ละคำ: จำนวนคำทั้งหมดโดยประมาณ การสังเกตเกี่ยวกับความหลากหลายของคำ และขอบเขตคำที่โดดเด่น (เช่น สี ธรรมชาติ อารมณ์) ระบุว่าเป็นตัวเลขโดยประมาณ ปล่อยให้การตีความการเปรียบเทียบเป็นการยืนยันของฉัน ข้อความ A: [...] ข้อความ B: [...]

4) การตีความผลลัพธ์:

ฉันได้ผลลัพธ์ต่อไปนี้จากเครื่องมือนับ: [วางผลลัพธ์] สร้างสมมติฐาน 2-3 ข้อเกี่ยวกับความหมายของตัวเลขเหล่านี้ในทางภาษา ทำเครื่องหมายแต่ละสมมติฐานว่า "ต้องมีหลักฐาน" และบอกฉันว่าฉันจะทดสอบได้อย่างไร หลีกเลี่ยงความคิดเห็นที่มากเกินไป

พรอมต์อ่อน / พรอมต์แรง

อ่อนแอ: "คำใดปรากฏในข้อความนี้มากที่สุด?"

ชัดเจน: "แสดงรายการคำที่มีเนื้อหาบ่อยที่สุดในข้อความนี้พร้อมความถี่โดยประมาณ ไม่รวมคำประกอบ ทำให้ชัดเจนว่าตัวเลขไม่ตรงทั้งหมดและจำเป็นต้องตรวจสอบด้วยเครื่องมือแยกต่างหาก ให้ประโยคตัวอย่างสำหรับแต่ละคำ"

ข้อความแจ้งอันทรงพลังทำให้ AI ยอมรับขีดจำกัดการนับและแจ้งให้คุณทราบล่วงหน้าว่าจำเป็นต้องมีการยืนยัน ในการแจ้งเตือนที่อ่อนแอ AI จะให้หมายเลขเดียวและคุณไม่รู้ว่ามันอาจจะผิด

ตารางการวัดและความน่าเชื่อถือ

การวัด

แสดงให้เห็นอะไร

เอไอคนเดียว

วิธีที่ถูกต้อง

ความถี่ของคำ

คำที่พบบ่อย

เกี่ยวกับความเสี่ยง

ตอบโต้ + ความเห็น AI

การจัดวาง

ผู้ที่ผ่านมาด้วยกัน

ผลิตผู้สมัคร

ยืนยันจากข้อความ

อัตราส่วนประเภท/โทเค็น

ความหลากหลายทางวาจา

อาจทำให้เข้าใจผิดได้

บัญชีพร้อมเครื่องมือ

การเปลี่ยนแปลงตามฤดูกาล

เทรนด์เมื่อเวลาผ่านไป

สร้างสมมติฐาน

วัดและตรวจสอบ

ความเห็นสรุป

ความหมาย

ทรงพลังแต่เกินจริง

การตัดสินของมนุษย์

แนวคิดคำสำคัญและเอ็นแกรม

แนวคิดสองประการทำให้งานของคุณง่ายขึ้นในการวิเคราะห์คลังข้อมูล ประการแรกคือคำหลัก (คำหลักในภาษาอังกฤษ - คำที่ปรากฏในข้อความหรือผู้แต่งบ่อยกว่าที่คาดไว้มากเมื่อเทียบกับภาษาทั่วไป ทำให้ข้อความนั้นเป็น "ตัวละคร") คำสำคัญของผู้เขียนเปิดเผยความสนใจและสไตล์ของเขา ตัวอย่างเช่น หาก "ทะเล" และ "การแยกจากกัน" เกิดขึ้นบ่อยกว่าที่คาดไว้ในกวี ส่วนที่ยื่นออกมาทางสถิตินี้จะกลายเป็นจุดเริ่มต้นสำหรับการตีความ ในการระบุคำหลัก จำเป็นต้องเปรียบเทียบความถี่ของข้อความกับความถี่ของคลังข้อมูลอ้างอิง (ข้อความทั่วไปขนาดใหญ่ที่ใช้สำหรับการเปรียบเทียบ) การเปรียบเทียบนี้เป็นงานเครื่องมือขั้นสุดท้าย เป็นการคำนวณที่ AI ไม่สามารถเชื่อถือได้ด้วยตัวเอง

ลำดับที่สองคือ n-gram (ลำดับของคำที่ต่อเนื่องกัน n คำในข้อความ ลำดับของสองคำเรียกว่า "bigram" ลำดับของสามคำเรียกว่า "trigram") การวิเคราะห์ N-gram เผยให้เห็นสำนวนเชิงสูตรของผู้เขียนและวลีที่ใช้บ่อย ตัวอย่างเช่น หากนักเขียนใช้วลีเช่น "kind of" หรือ "however" บ่อยมาก สิ่งนี้บ่งบอกถึงนิสัยของเขาในการสร้างประโยค AI สามารถแนะนำวลีเหล่านี้ในฐานะผู้สมัครได้ แต่สำหรับความถี่ที่แท้จริงและนัยสำคัญทางสถิติ จำเป็นต้องกลับไปที่เครื่องมือการนับ

คำแนะนำ: บอก AI ว่า "เขียนวลีเด่น (สองหรือสามคำ) ในข้อความนี้ให้เป็นตัวเลือก และยกตัวอย่างจากข้อความสำหรับแต่ละรายการ" นำรายชื่อผู้สมัครและวัดความถี่จริงด้วยเครื่องมือแยกต่างหาก วางตำแหน่ง AI เป็น “ผู้สังเกต” ตัวแทนเป็น “ผู้ตอบโต้” และตัวคุณเองเป็น “ล่าม”

ข้อผิดพลาดทั่วไป

• อาศัยการนับดิบของ AI AI ไม่ใช่เครื่องคิดเลข ตรวจสอบหมายเลขที่แน่นอนด้วยเครื่องมือแยกต่างหาก
• นำเสนอหมายเลขโดยไม่มีความคิดเห็น “ผ่านไป 47 ครั้ง” ไม่พูดอะไร; คุณสร้างความหมาย
• ละเว้นความยาวของข้อความ อัตราความหลากหลายของเนื้อเพลงขึ้นอยู่กับความยาว
• การทำวิทยานิพนธ์โดยไม่ตรวจสอบการจัดวาง คู่รักที่ไม่ใช่ AI อาจแนะนำ; ยืนยันจากข้อความ.
• ความคิดเห็นสุดขีด. อย่ายอมรับ "เหตุผล" ที่ AI แนะนำโดยไม่มีหลักฐาน

โดยสรุป

การวิเคราะห์คอร์ปัสเปิดแง่มุมที่นับได้ของวรรณกรรม: ความถี่ การจัดระเบียบ คำศัพท์ การเปลี่ยนแปลงเป็นระยะ AI มีประสิทธิภาพในด้านนี้ในการจดจำรูปแบบและการตีความผลลัพธ์ แต่การนับแบบสัมบูรณ์นั้นไม่น่าเชื่อถือ ตรวจสอบหมายเลขด้วยเครื่องมือแยกต่างหาก ยืนยันการจัดเรียงจากข้อความ และสร้างความหมายของแต่ละหมายเลขด้วยตนเอง ตัวเลขไม่ใช่หลักฐาน แต่เป็นประตูสู่หลักฐาน

งานสมัคร

เลือกข้อความสั้น (500-1,000 คำ) ระบุคำที่เป็นเนื้อหา (เช่น "กลางคืน" หรือ "ถนน") ขั้นแรก นับตัวเองในข้อความ แล้วให้ AI นับได้เลย เปรียบเทียบผลลัพธ์ทั้งสอง หากมีความแตกต่างให้ตรวจสอบสาเหตุ จากนั้นเขียนความคิดเห็นหนึ่งย่อหน้าเกี่ยวกับหน้าที่ของคำนั้นในข้อความ โดยเปลี่ยนตัวเลขให้เป็นความหมาย

รายการตรวจสอบ

• [ ] ฉันตั้งคำถามทางภาษาที่ชัดเจน
• [ ] ฉันกำหนดขอบเขตของคลังข้อมูล (ข้อความ ฉบับ ช่วงเวลา)
• [ ] ฉันตรวจสอบการนับของ AI ด้วยวิธีที่สอง
• [ ] ฉันยืนยันการจัดตำแหน่งจากข้อความ
• [ ] ฉันไม่ได้ทิ้งเบอร์ไว้โดยไม่แสดงความคิดเห็น ฉันสร้างความหมายขึ้นมาเอง