กำไร:
- ความสามารถในการตรวจจับการเลือกปฏิบัติที่ซ่อนอยู่โดยการทำความเข้าใจว่าอคตินั้นมาจากข้อมูล (ทางประวัติศาสตร์ การเป็นตัวแทน การวัดผล การรวมกลุ่ม) และการประเมินแบบจำลองบนพื้นฐานของกลุ่มย่อย
- ความสามารถในการอธิบาย การกำกับดูแลโดยมนุษย์ และความรับผิดชอบในการตัดสินใจที่มีผลกระทบสูง และความโปร่งใสของเอกสารด้วยการ์ดแบบจำลอง
- ความสามารถในการจัดการต้นทุนทางการเงินและสิ่งแวดล้อมโดยไม่กระทบต่อคุณภาพด้วยแบบจำลองที่เล็กที่สุดที่เหมาะสม การย่อให้สั้นลงทันที แคชและแบทช์
แบบจำลองอาจทำงานได้อย่างสมบูรณ์แบบในทางเทคนิค แต่ก็ยังมีข้อผิดพลาดอยู่ หากไม่ยุติธรรมสำหรับบางคน อธิบายไม่ได้ หรือก่อให้เกิดต้นทุนที่ไม่ยั่งยืน ในหน่วยนี้ เราครอบคลุมมิติที่ "มองไม่เห็น" แต่มีความสำคัญสามประการของวิศวกรรม ML: อคติและความยุติธรรม จริยธรรมและความโปร่งใส ต้นทุนและความยั่งยืน สิ่งเหล่านี้ไม่ใช่เครื่องประดับที่เพิ่มเข้ามาในภายหลัง แต่เป็นส่วนสำคัญของคุณภาพทางวิศวกรรม
อคติมาจากไหน?
อคติแบบจำลอง (การปฏิบัติอย่างเป็นระบบของแบบจำลองต่อกลุ่มบางกลุ่มอย่างแตกต่าง/ไม่ยุติธรรม) มักมาจากข้อมูล ไม่ใช่แบบจำลอง แหล่งที่มา:
- อคติทางประวัติศาสตร์: ข้อมูลสะท้อนถึงความอยุติธรรมในอดีต หากกลุ่มใดกลุ่มหนึ่งได้รับเครดิตน้อยลงในอดีต โมเดลที่ได้รับการฝึกอบรมเกี่ยวกับข้อมูลนั้นจะเรียนรู้และขยายเวลาการเลือกปฏิบัตินี้
- อคติในการเป็นตัวแทน: บางกลุ่มมีบทบาทน้อยในข้อมูล โมเดลทำงานได้ไม่ดีสำหรับพวกเขา (เช่น ความแม่นยำต่ำในกลุ่มประชากรตัวอย่างขนาดเล็ก)
- อคติในการวัดผล: ตัวป้ายกำกับเองก็มีอคติ (เช่น หากคำจำกัดความของ "พนักงานที่ดี" ขึ้นอยู่กับการตัดสินใจเลื่อนตำแหน่งในอดีต)
- อคติในการรวมกลุ่ม: เนื่องจากข้อมูลมาจากช่องทางใดช่องทางหนึ่ง จึงไม่ได้เป็นตัวแทนของจักรวาล
แบบจำลองนี้ไม่เพียงแต่เรียนรู้ถึงอคติเหล่านี้เท่านั้น ขยายขนาดโดยการทำให้เป็นอัตโนมัติ การตัดสินใจที่มีอคติของบุคคลหนึ่งส่งผลกระทบต่อบุคคลอื่น คำตัดสินของแบบจำลองที่มีอคติคือล้าน
ข้อควรระวัง: อย่าพลาดที่จะพูดว่า "แบบจำลองนี้เป็นกลางเพราะมันเป็นเพียงคณิตศาสตร์" โมเดลเรียนรู้และทำให้อคติของมนุษย์ในข้อมูลเป็นแบบอัตโนมัติ ความเป็นกลางไม่ใช่สิ่งผิดนัด แต่เป็นผลลัพธ์ที่ต้องวัดและรับรอง
การวัดความยุติธรรม
ในการจัดการความยุติธรรมจำเป็นต้องวัดผลก่อน ในการดำเนินการนี้ ให้ประเมินแบบจำลองตามกลุ่มย่อย: ตัวชี้วัด เช่น ความแม่นยำ การเรียกคืน อัตราผลบวกลวงเท่ากันในกลุ่มประชากรที่แตกต่างกันหรือไม่ แนวคิดบางประการเกี่ยวกับความยุติธรรม:
- ความเป็นธรรมของกลุ่ม: แบบจำลองปฏิบัติต่อกลุ่มต่างๆ อย่างถูกต้อง/ไม่ถูกต้องในอัตราที่ใกล้เคียงกันหรือไม่
- ความเท่าเทียมกันของโอกาส: โมเดลจับโอกาสเชิงบวกอย่างแท้จริงอย่างเท่าเทียมกันในทุกกลุ่ม (การเรียกคืนที่เท่าเทียมกัน) หรือไม่?
ข้อเท็จจริงที่สำคัญ: คำจำกัดความของความยุติธรรมที่แตกต่างกันอาจไม่เป็นที่พอใจในเวลาเดียวกัน (นี่คือผลลัพธ์ทางคณิตศาสตร์) คำจำกัดความของความยุติธรรมใดที่ให้ความสำคัญเป็นอันดับแรกในบริบทนี้คือการตัดสินใจด้านจริยธรรมและธุรกิจ ไม่ใช่การตัดสินใจทางเทคนิค และดำเนินการร่วมกับผู้มีส่วนได้ส่วนเสีย
แนวทางที่อ่อนแอ / แนวทางที่แข็งแกร่ง
แย่: "ความแม่นยำโดยรวมของโมเดลคือ 88% ซึ่งถือว่ายุติธรรม"
Güçlü: "ความแม่นยำโดยรวมคือ 88% แต่เมื่อเราแบ่งออกเป็นกลุ่มย่อย การเรียกคืนคือ 91% ในกลุ่มหนึ่งและ 67% ในอีกกลุ่มหนึ่ง โมเดลดังกล่าวขาดกลุ่มนั้นอย่างเป็นระบบ เราได้จัดทำเอกสารเหตุผล (ขาดการเป็นตัวแทน) รวบรวมข้อมูลสำหรับกลุ่มนั้น และประเมินอีกครั้งโดยมีเป้าหมายการเรียกคืนที่เท่าเทียมกัน เราตัดสินใจร่วมกับผู้มีส่วนได้ส่วนเสียว่าเราจะจัดลำดับความสำคัญของคำจำกัดความของความยุติธรรมแบบใด"
ความแตกต่าง: แนวทางที่ชัดเจนไม่ได้ซ่อนอยู่หลังตัวชี้วัดทั่วไป แต่แยกกลุ่มย่อยและถือว่าความยุติธรรมเป็นการตัดสินใจที่เปิดกว้าง
จริยธรรมและความโปร่งใส
หลักการสำคัญของ AI ที่รับผิดชอบคือ:
- อธิบายได้: สามารถอธิบายได้ไหมว่าทำไมแบบจำลองจึงตัดสินใจเช่นนี้ ในการตัดสินใจที่มีผลกระทบสูง (สินเชื่อ การจ้างงาน การดูแลสุขภาพ) เรามีสิทธิ์ในการอธิบาย ไม่ควรใช้แบบจำลองที่ไม่สามารถอธิบายได้ในพื้นที่เหล่านี้ หรือควรได้รับการสนับสนุนโดยวิธีการที่อธิบายได้
- การกำกับดูแลโดยมนุษย์: การตัดสินใจที่มีผลกระทบสูงไม่ควรกระทำโดยอัตโนมัติ แบบจำลองแนะนำ มนุษย์ยืนยัน
- ความรับผิดชอบ: ควรชัดเจนว่าใครเป็นผู้รับผิดชอบเมื่อแบบจำลองเกิดข้อผิดพลาด “แบบจำลองที่ตัดสินใจ” ไม่ใช่ข้อแก้ตัว
- ความโปร่งใส: ผู้ใช้ควรรู้ว่าพวกเขากำลังโต้ตอบกับ AI และวิธีการใช้ข้อมูลของพวกเขา
ในหลายประเทศและภาคส่วน หลักการเหล่านี้ยังฝังอยู่ในกฎหมายด้วย (ภาระผูกพันด้านความโปร่งใส การตรวจสอบ และการกำกับดูแลของมนุษย์สำหรับระบบ AI ที่มีความเสี่ยงสูง) วิศวกรมีหน้าที่รับผิดชอบในการทราบกฎระเบียบในสาขาของตน
เคล็ดลับ: เก็บ "การ์ดโมเดล" ไว้สำหรับโมเดลที่มีผลกระทบสูงแต่ละโมเดล เช่น โมเดลทำอะไร ข้อมูลใดบ้างที่ได้รับการฝึก ทำงานได้ดี/ไม่ดีในกลุ่มใด ขีดจำกัดที่ทราบคืออะไร เอกสารนี้เป็นทั้งเครื่องมือที่โปร่งใสและมีความรับผิดชอบ
ต้นทุนและความยั่งยืน
AI ไม่ถูกเลย ต้นทุนได้รับการจัดการในสองมิติ:
ต้นทุนทางการเงิน:
- ค่าใช้จ่ายโทเค็น (LLM): คำขอและการตอบกลับแต่ละรายการมีค่าใช้จ่ายโทเค็น เมื่อปริมาณเพิ่มขึ้น บิลก็เพิ่มขึ้น การแจ้งที่ยาวโดยไม่จำเป็น การเลือกโมเดลที่ใหญ่เกินไป และลูปเอเจนต์ที่ไม่สามารถควบคุมได้ (หน่วยที่ 5) จะทำให้ต้นทุนสูงขึ้น
- การฝึกอบรมและการโฮสต์: การปรับแต่งอย่างละเอียดและการนำเสนอโมเดลจะต้องเสียค่าใช้จ่ายด้านฮาร์ดแวร์
- การเพิ่มประสิทธิภาพ: อย่าใช้โมเดลขนาดใหญ่หากโมเดลขนาดเล็กเพียงพอ แคชคำถามที่พบบ่อย ลดขนาดพรอมต์; ชุดสิ่งที่สามารถประมวลผลได้
ต้นทุนด้านสิ่งแวดล้อม: การฝึกอบรมและการอนุมานแบบจำลองขนาดใหญ่ใช้พลังงานอย่างมาก ความยั่งยืนทำให้การหลีกเลี่ยงการคำนวณที่ไม่จำเป็น (แบบจำลองขนาดที่ถูกต้อง สถาปัตยกรรมที่มีประสิทธิภาพ) เป็นความรับผิดชอบทางวิชาชีพ
เคล็ดลับ: กฎข้อแรกของการปรับต้นทุนให้เหมาะสม: "แบบจำลองที่เหมาะสมที่สุดสำหรับงานนี้คืออะไร" การใส่โมเดลที่ทรงพลังที่สุดไปทุกที่ก็เหมือนกับการตอกตะปูด้วยค้อนขนาดใหญ่ ซึ่งมีราคาแพงและไม่จำเป็น
มินิเคสสามอัน
กรณีที่ 1 - การเลือกปฏิบัติที่ซ่อนอยู่ รูปแบบการคัดกรองการสรรหาบุคลากรโดยรวมดูดี การวิเคราะห์กลุ่มย่อยพบว่าแบบจำลองนี้เน้นย้ำผู้สมัครที่เป็นผู้หญิงอย่างเป็นระบบ เนื่องจากข้อมูลในอดีตมีผู้ชายเป็นส่วนใหญ่ ซึ่งได้เรียนรู้ถึงอคติทางประวัติศาสตร์แล้ว โมเดลหยุดทำงาน สมดุลข้อมูล และตรวจสอบเมตริกความยุติธรรม ความชอบธรรมทั่วไปปกปิดการเลือกปฏิบัติที่ซ่อนเร้น
กรณีที่ 2 - การปฏิเสธโดยไม่ทราบสาเหตุ โมเดลเครดิตปฏิเสธการสมัคร แต่ไม่มีใครสามารถอธิบายได้ว่าทำไม เมื่อลูกค้าขอคำชี้แจงทางกฎหมาย ทีมงานไม่สามารถตอบกลับได้ แบบจำลองถูกถอนออกจากการใช้งานในการตัดสินใจที่มีผลกระทบสูง จนกว่าจะมีการเพิ่มวิธีการที่อธิบายได้ และมีการให้เหตุผลสำหรับการปฏิเสธแต่ละครั้ง บทเรียน: การอธิบายเป็นสิ่งสำคัญในการตัดสินใจที่มีผลกระทบสูง
กรณีที่ 3 - บิลช็อค ทีมหนึ่งใช้ LLM ที่ใหญ่ที่สุดและพร้อมท์ยาวมากสำหรับแต่ละคำขอ บิลรายเดือนก็เพิ่มขึ้นอย่างไม่คาดคิด การวิเคราะห์ภายหลัง: คำขอส่วนใหญ่สามารถแก้ไขได้ด้วยโมเดลขนาดเล็ก ข้อความแจ้งครึ่งหนึ่งซ้ำซ้อน และคำถามที่พบบ่อยอาจถูกแคชไว้ การปรับให้เหมาะสมทั้งสามประการนี้ช่วยลดต้นทุนลงได้อย่างมาก โดยไม่กระทบต่อคุณภาพ บทเรียน: โมเดลที่ทรงพลังที่สุดไม่จำเป็นในทุกที่
เทมเพลตที่คัดลอกได้
ช่วยฉันประเมินโมเดลนี้มีอคติ/ยุติธรรม ฉันควรแบ่งและวัดผลกลุ่มย่อยใด (ข้อมูลประชากร/กลุ่ม) ฉันควรเปรียบเทียบตัวชี้วัดใด (ความแม่นยำ การเรียกคืน อัตราผลบวกลวงตามกลุ่ม) คำจำกัดความที่แตกต่างกันของความยุติธรรมสามารถขัดแย้งกันได้หรือไม่ ฉันควรจัดลำดับความสำคัญในบริบทนี้ และเพราะเหตุใด รูปแบบ/บริบทการตัดสินใจ: [คำอธิบาย]
สร้างการ์ดโมเดลแบบร่างสำหรับโมเดลที่มีผลกระทบสูงนี้ ควรรวมถึง: วัตถุประสงค์ ข้อมูลและวันที่การฝึกอบรม ผลการปฏิบัติงานในกลุ่มย่อย ขีดจำกัดที่ทราบ การใช้งานที่เหมาะสม/ไม่เหมาะสม สถานะที่สามารถอธิบายได้ จุดของการกำกับดูแลโดยมนุษย์ รุ่น: [คำอธิบาย]
ช่วยฉันลดต้นทุนของการใช้งาน LLM นี้ โดยไม่กระทบต่อคุณภาพ มีให้เลือก: ขนาดโมเดล ความยาวแจ้งโดยเฉลี่ย ปริมาณคำขอ มีแคชหรือไม่ ประเมิน:1) โมเดลที่เล็กกว่าเพียงพอหรือไม่ (สำหรับงานใดบ้าง)2) สามารถลดพรอมต์ให้สั้นลงได้หรือไม่3) สามารถแคชคำขอที่ใช้บ่อยได้หรือไม่4) มีงานสำหรับแบทช์หรือไม่ เขียนผลกระทบโดยประมาณของแต่ละข้อเสนอแนะ
จัดทำรายการตรวจสอบด้านจริยธรรม/ความรับผิดชอบสำหรับระบบการตัดสินใจที่มีผลกระทบสูงนี้ - คำอธิบายได้: สามารถสร้างเหตุผลในการตัดสินใจได้หรือไม่ - การกำกับดูแลโดยมนุษย์: การตัดสินใจที่มีผลกระทบสูงต้องได้รับการอนุมัติหรือไม่ - ความรับผิดชอบ: ใครเป็นผู้รับผิดชอบในกรณีที่เกิดข้อผิดพลาด - ความโปร่งใส: ผู้ใช้ทราบหรือไม่ว่ามีการใช้ AI หรือไม่ - กฎระเบียบ: ภาระผูกพันทางกฎหมายที่เกี่ยวข้องมีอะไรบ้าง ระบบ: [คำอธิบาย]
ตารางแหล่งที่มาอคติ
แหล่งที่มา
อาการ
ข้อควรระวัง
อคติทางประวัติศาสตร์
การเลือกปฏิบัติในอดีตยังคงดำเนินต่อไป
การตรวจสอบข้อมูล + ตัวชี้วัดความเป็นธรรม
อคติในการเป็นตัวแทน
ความแม่นยำต่ำในกลุ่มตัวอย่างขนาดเล็ก
การวิเคราะห์กลุ่มย่อย + การปรับสมดุล
อคติในการวัด
ป้ายกำกับเอนเอียง
การทบทวนกระบวนการติดฉลาก
อคติการรวมตัว
จักรวาลไม่ได้เป็นตัวแทน
การกระจายทรัพยากร
ข้อผิดพลาดทั่วไป
- ขึ้นอยู่กับตัวชี้วัดโดยรวม การเลือกปฏิบัติที่ซ่อนอยู่จะไม่สามารถมองเห็นได้หากไม่มีการวิเคราะห์กลุ่มย่อย
- สมมติว่า "โมเดลเป็นกลาง" โมเดลเรียนรู้และขยายอคติในข้อมูล
- ทิ้งการตัดสินใจที่มีผลกระทบสูงไว้กับโมเดลที่ไม่สามารถอธิบายได้ ความเสี่ยงทางกฎหมายและจริยธรรม
- ผ่านการกำกับดูแลของมนุษย์ "แบบจำลองที่ตัดสินใจ" ไม่ใช่ข้อแก้ตัว
- วางโมเดลที่ใหญ่ที่สุดทุกที่ ต้นทุนและพลังงานที่ไม่จำเป็น
- ไม่ติดตามต้นทุน บิลพองตัวอย่างเงียบ ๆ
โดยสรุป
โมเดลที่ถูกต้องทางเทคนิคยังคงล้มเหลวหากไม่ยุติธรรม อธิบายได้ และยั่งยืน อคติส่วนใหญ่มาจากข้อมูลและแบบจำลองจะขยายขนาดตามขนาด วัดความเป็นธรรมตามกลุ่มย่อยและตกลงกับผู้มีส่วนได้ส่วนเสียว่าจะให้คำจำกัดความของความเป็นธรรมเป็นลำดับความสำคัญ ความสามารถในการอธิบาย การกำกับดูแลของมนุษย์ และความรับผิดชอบเป็นสิ่งสำคัญในการตัดสินใจที่มีผลกระทบสูง ความโปร่งใสของเอกสารด้วยการ์ดโมเดล จัดการต้นทุนและพลังงาน: เลือกรุ่นที่เล็กที่สุดที่เหมาะสม ลดขนาดข้อความแจ้ง ใช้แคชและแบตช์ มิติเหล่านี้เป็นส่วนสำคัญของคุณภาพทางวิศวกรรม ไม่มีการเพิ่มเติมในภายหลัง
งานสมัคร
แบ่งแบบจำลองออกเป็นกลุ่มย่อยอย่างน้อยสองกลุ่ม และเปรียบเทียบการเรียกคืนและอัตราผลบวกลวงตามกลุ่ม หากมีความแตกต่างอย่างมีนัยสำคัญ ให้เขียนเหตุผลและข้อควรระวัง ร่างการ์ดโมเดลโดยสรุปสำหรับโมเดลที่มีผลกระทบสูง (วัตถุประสงค์ ข้อมูล ประสิทธิภาพกลุ่มย่อย ขอบเขต ความสามารถในการอธิบาย) ระบุการปรับให้เหมาะสมที่เป็นรูปธรรมอย่างน้อยสองครั้ง (การตัดทอนขั้นต่ำ / ทันที / แคช / แบทช์) เพื่อลดต้นทุนในการใช้งาน LLM และจดบันทึกผลกระทบที่คาดการณ์ไว้
รายการตรวจสอบ
- [ ] ฉันประเมินแบบจำลองตามกลุ่มย่อย ฉันไม่ได้พึ่งพาตัวชี้วัดทั่วไป
- [ ] ฉันตัดสินใจร่วมกับผู้มีส่วนได้ส่วนเสียว่าฉันจะจัดลำดับความสำคัญของคำจำกัดความของความยุติธรรม
- [ ] สามารถอธิบายการตัดสินใจที่มีผลกระทบสูงได้และต้องได้รับการอนุมัติจากมนุษย์
- [ ] ฉันบันทึกความโปร่งใสและขอบเขตด้วยการ์ดรูปแบบ
- [ ] ฉันเลือกรุ่นที่เล็กที่สุดที่เหมาะสม; ฉันปรับ prompt/cache/batch ให้เหมาะสมแล้ว
- [ ] ฉันติดตามผลกระทบด้านต้นทุนและพลังงาน