กำไร:
- ความสามารถในการแยกแยะว่าจุดใดในเวิร์กโฟลว์ ML (โค้ด ข้อมูล เอกสาร) ปัญญาประดิษฐ์จะช่วยประหยัดเวลาโดยมีความเสี่ยงต่ำ และจุดใดที่การตัดสินใจ เช่น เมตริก/ข้อมูล/การผลิตเป็นหน้าที่ของมนุษย์ ตามระดับความเสี่ยงของงาน
- ความสามารถในการใช้ระเบียบวินัยที่ตรวจสอบเอาต์พุต AI แต่ละรายการโดยเชื่อมต่อกับแหล่งที่มา รันใหม่ วัดและส่งผ่านตัวกรองทางวิศวกรรม
- ความสามารถในการสร้างนิสัยในการไม่ส่งข้อมูลดิบและข้อมูลส่วนบุคคลไปยังเครื่องมือภายนอก โดยใช้เครื่องมือที่ได้รับการอนุมัติจากองค์กร และจัดการปัญหาด้านความปลอดภัยเพื่อวัตถุประสงค์ในการป้องกันเท่านั้น
ปัญญาประดิษฐ์ในวิศวกรรมการเรียนรู้ของเครื่อง: บทบาท ขอบเขต การตรวจสอบความถูกต้อง และความรับผิดชอบ
วิศวกรการเรียนรู้ของเครื่อง (วิศวกร ML: ผู้เชี่ยวชาญด้านซอฟต์แวร์ที่ออกแบบ ฝึกอบรม และนำแบบจำลองที่เรียนรู้จากข้อมูลมาสู่การผลิต) ปัจจุบันทำงานร่วมกับเครื่องมือปัญญาประดิษฐ์อีกตัวในทุกขั้นตอนของงาน ผู้ช่วยเขียนโค้ดจะมีผลเมื่อเขียนโค้ด โมเดลการสนทนาเมื่อสำรวจข้อมูล และโมเดลภาษาขนาดใหญ่ (LLM: โครงข่ายประสาทเทียมที่มีพารามิเตอร์นับพันล้านรายการที่เข้าใจและสร้างข้อความ) เมื่อจัดทำเอกสาร โมดูลนี้ถือว่าปัญญาประดิษฐ์เป็นทั้งผลิตภัณฑ์ที่พัฒนาขึ้นและเป็นเครื่องมือทำงานประจำวันของวิศวกร ML ดำเนินงานโดยแบ่งขอบเขตความรับผิดชอบให้ชัดเจน โดยไม่แยกทั้งสองบทบาทออกไป
ในหน่วยแรกนี้ เราตอบคำถามพื้นฐาน: ปัญญาประดิษฐ์ (AI) ช่วยประหยัดเวลาจริงได้ตรงไหนบ้างในวิศวกรรม ML และเราต้องปล่อยให้การตัดสินใจเป็นหน้าที่ของมนุษย์ที่ไหน คำตอบคือหัวใจสำคัญของวินัยทางวิศวกรรม: ผู้สร้างได้รวดเร็ว ผู้ที่ตรวจสอบคือผู้รับผิดชอบ
ปัญญาประดิษฐ์มีประโยชน์อย่างไรในวิศวกรรม ML
โปรเจ็กต์ ML ดำเนินไปในบรรทัดต่อไปนี้โดยประมาณ: การรวบรวมข้อมูล การล้างข้อมูล วิศวกรรมคุณลักษณะ (การแปลข้อมูลดิบเป็นสัญญาณดิจิทัลที่โมเดลสามารถเข้าใจได้) การฝึกโมเดล การประเมิน การปรับใช้ (การปรับใช้: การเปิดโมเดลให้กับผู้ใช้จริง) และการตรวจสอบ AI ช่วยทุกจุดในสายนี้ แต่ระดับอำนาจจะแตกต่างกันไป
พื้นที่ที่ให้รางวัลสูงและมีความเสี่ยงต่ำ: การสร้างโครงกระดูกโค้ด การร่างฟังก์ชันการแปลงข้อมูล การตีความข้อความบันทึก การอธิบายการติดตามสแต็ก การสรุปบันทึกการทดลอง การเขียนเอกสารและ README การเสนอกรณีทดสอบ ข้อผิดพลาดของปัญญาประดิษฐ์นั้นมีราคาถูก เพราะผลงานจะต้องผ่านการทดสอบและทบทวนแล้ว
พื้นที่ที่มีความเสี่ยงสูง: การตัดสินใจเลือกข้อมูลที่จะเข้าสู่การฝึกอบรม การยืนยันว่าโมเดลควรนำไปใช้จริงหรือไม่ การตัดสินว่าตัวชี้วัดนั้น "ดีเพียงพอ" การตัดสินใจในการประมวลผลข้อมูลส่วนบุคคล ปิดช่องโหว่ด้านความปลอดภัยว่าเป็น "ขยะ" สิ่งเหล่านี้ส่งผลต่อเงิน ความเป็นส่วนตัว ความรับผิดทางกฎหมาย และความไว้วางใจของผู้ใช้ ปัญญาประดิษฐ์ให้คำแนะนำที่นี่ การตัดสินใจกระทำโดยวิศวกรผู้มีความสามารถและทีมงานที่รับผิดชอบ
เคล็ดลับ: ก่อนที่จะจ้างงานให้กับ AI ให้ถาม: “จะมีค่าใช้จ่ายเท่าไรหากผลลัพธ์นี้ผิดพลาด และทุกคนจะจับข้อผิดพลาดได้ง่ายเพียงใด” ถ้าราคาต่ำและแคปง่ายก็ส่งต่อ หากราคาสูงหรือการจับยาก ให้ใช้ AI เฉพาะสำหรับดราฟท์แล้วคุณเป็นผู้ตัดสินใจ
วินัยในการตรวจสอบ: สามขั้นตอน
ในงานวิศวกรรม ML เอาท์พุตของ AI ไม่เคยเป็น "งานที่เสร็จสมบูรณ์"; มันเป็นร่าง รันแต่ละเอาต์พุตผ่านสามขั้นตอนเหล่านี้:
- เชื่อมต่อกับแหล่งที่มา หากโมเดลระบุตัวเลข เกณฑ์ หรือ "แนวปฏิบัติที่ดีที่สุด" ให้ยึดตามเอกสารอย่างเป็นทางการ ค่าจริงในโค้ดเบส หรือหน่วยเมตริกที่วัดได้ “การปรับแบบจำลองให้เหมาะสม” (ภาพหลอน: การสร้างข้อมูลที่ไม่เป็นจริงด้วยแบบจำลองภาษาอย่างมั่นใจ) มักพบเห็นได้บ่อยที่สุด
- รีสตาร์ทและวัดผล เรียกใช้โค้ดที่สร้างขึ้น คำนวณหน่วยเมตริกที่สร้างจากชุดทดสอบของคุณเองใหม่ ตรวจสอบความถูกต้องของการสืบค้น SQL ที่เสนอในตัวอย่างขนาดเล็ก รหัสที่ใช้งานไม่ได้นั้นไร้ค่าถึงแม้ว่ามันจะดูดีก็ตาม
- ผ่านตัวกรองทางวิศวกรรม เอาท์พุตมีระดับหรือไม่? มีการพิจารณากรณี Edge (ข้อมูลว่างเปล่า อินพุตขนาดใหญ่มาก ฟิลด์ที่ขาดหายไป) หรือไม่ มีการละเมิดความปลอดภัยและความเป็นส่วนตัวหรือไม่? มีเพียงผู้ที่รู้สาขาเท่านั้นที่สามารถทำตามขั้นตอนนี้ได้
พรอมต์อ่อน / พรอมต์แข็งแกร่ง
ข้อความแจ้งที่อ่อนแอ: "เขียนโค้ดการฝึกโมเดลให้ฉันหน่อย"
พร้อมท์ที่มีประสิทธิภาพ: "เขียนสคริปต์การฝึกอบรมสำหรับการจำแนกไบนารีด้วย scikit-learn อินพุต: data/train.parquet, คอลัมน์เป้าหมาย is_churn มีคลาสไม่สมดุล (อัตราบวก ~ 8%) จัดการด้วย class_weight ใช้ PR-AUC (พื้นที่ใต้เส้นโค้งการเรียกคืนความแม่นยำ) เป็นเมตริกการประเมิน เนื่องจากความแม่นยำทำให้เข้าใจผิดสำหรับข้อมูลที่ไม่สมดุล แก้ไขเมล็ดสุ่มเป็น 42 ทดสอบที่ส่วนท้ายของชุดการพิมพ์โค้ด พีอาร์-AUC"
ความแตกต่าง: งานพร้อมท์ที่สองประกอบด้วยความจริงของข้อมูล ตัวชี้วัดที่ถูกต้อง ข้อมูลที่ไม่สมดุล และข้อกำหนดความสามารถในการทำซ้ำ จากบริบทนี้เองที่เอาต์พุตสามารถตรวจสอบและใช้งานได้
ความเป็นส่วนตัวและความปลอดภัยของข้อมูล: ความรับผิดชอบอันดับแรกของวิศวกร
วิศวกร ML มักจะสัมผัสกับข้อมูลที่ละเอียดอ่อนที่สุดของบริษัท: บันทึกลูกค้า ประวัติการทำธุรกรรม ข้อมูลสุขภาพหรือทางการเงิน บันทึกของระบบการผลิต กฎสามประการในการให้ข้อมูลแก่เครื่องมือปัญญาประดิษฐ์:
- อย่าส่งข้อมูลส่วนบุคคลและข้อมูลลับดิบไปยังเครื่องมือภายนอก ตัวอย่างเช่น แทนที่จะวางอีเมลของลูกค้าลงในพร้อมท์ ให้ส่งตัวอย่างสคีมาและตัวอย่าง (สังเคราะห์) ใช้ตัวอย่างที่ปกปิด เช่น "ex: ahmet@example.com" แทนข้อมูลจริง
- ใช้รถที่บริษัทรับรอง. เลือกเครื่องมือที่มีความชัดเจนตามสัญญาว่าข้อมูลได้รับการประมวลผลที่ไหน ไม่ว่าจะจัดเก็บไว้ ไม่ว่าจะใช้เพื่อการศึกษาหรือไม่ก็ตาม การประมวลผลข้อมูลองค์กรด้วยบัญชีส่วนบุคคลถือเป็นการละเมิดในบริษัทส่วนใหญ่
- นโยบายข้อมูลขั้นต่ำ ให้บริบทขั้นต่ำที่จำเป็นในการแก้ปัญหางาน ไม่ใช่ทั้งตาราง แต่เป็น 5 คอลัมน์และสคีมาที่เกี่ยวข้อง
ข้อควรระวัง: สมมติว่าข้อความที่คุณให้กับโมเดลภาษาไม่สามารถยกเลิกได้ อย่าส่งข้อมูลส่วนบุคคลดิบโดยคิดว่า "ฉันจะลบมันในภายหลัง"; ความเสี่ยงเกิดขึ้นทันทีที่ถูกส่งไป
การใช้ป้องกันในด้านการรักษาความปลอดภัย
วิศวกร ML มักจะติดตั้งระบบรักษาความปลอดภัย: การตรวจจับการฉ้อโกง การจัดประเภทการรับส่งข้อมูลที่เป็นอันตราย การตรวจสอบสิทธิ์ ตลอดโมดูลนี้ เราครอบคลุมประเด็นด้านความปลอดภัยเพื่อวัตถุประสงค์ในการป้องกันเท่านั้น: การตรวจจับการโจมตี การทำให้ระบบแข็งแกร่งขึ้น การปิดช่องโหว่ การใช้ปัญญาประดิษฐ์เพื่อการเข้าถึงโดยไม่ได้รับอนุญาต ข้อมูลรั่วไหล หรือการแทรกแซงระบบของผู้อื่นโดยไม่ได้รับอนุญาตถือเป็นทั้งสิ่งผิดกฎหมายและขัดต่อจรรยาบรรณทางวิชาชีพ เมื่อคุณพบช่องโหว่ วิธีที่ถูกต้องคือการรายงานอย่างมีความรับผิดชอบและแก้ไข ไม่แสวงหาผลประโยชน์
มินิเคสสามอัน
กรณีที่ 1 - ประหยัดเวลา โดยปกติวิศวกร ML จะใช้เวลาครึ่งวันในการวิเคราะห์ข้อมูลเชิงสำรวจ (EDA) ของชุดข้อมูล 40 คอลัมน์ เขาให้เอาต์พุตสคีมาและ df.describe() แก่ปัญญาประดิษฐ์ และถามว่า "คอลัมน์ใดมีค่าผิดปกติสูงและอัตราขาดหายไป คุณแนะนำการแปลงแบบใด" ภายใน 20 นาที เขาได้รับรายการที่ได้รับการจัดลำดับความสำคัญ โดยตรวจสอบแต่ละรายการด้วยรหัสของตัวเอง ประหยัดเวลา: ประมาณ 3 ชั่วโมง มีความเสี่ยงต่ำที่จะเกิดข้อผิดพลาดเนื่องจากวัดผลทุกการเคลม
กรณีที่ 2 - ข้อผิดพลาดที่ตรวจพบ “ความแม่นยำในการฝึกอยู่ที่ 99% เยี่ยมมาก” โมเดลดังกล่าวมีผู้ช่วยแชทกล่าว วิศวกรใช้ขั้นตอนที่สาม (ตัวกรองทางวิศวกรรม) และตระหนักว่าคอลัมน์เป้าหมายมีแอตทริบิวต์รั่วไหลโดยไม่ได้ตั้งใจ (ข้อมูลรั่วไหล: โมเดลเห็นข้อมูลที่ไม่ควรเห็นในการฝึกอบรม) ประสิทธิภาพที่แท้จริงต่ำกว่ามาก ความสงสัยของวิศวกร ไม่ใช่การตีความที่ "ยอดเยี่ยม" ของ AI ช่วยให้งานสำเร็จได้
กรณีที่ 3 - การป้องกันการละเมิดความเป็นส่วนตัว ทีมงานกำลังวางบันทึกข้อผิดพลาดในการผลิตลงในโมเดลภายนอกและพูดว่า "แก้ไขข้อผิดพลาดนี้" มีหมายเลขประจำตัวลูกค้าอยู่ในบันทึก ทีมงานสร้างกฎในการเขียนสคริปต์ขนาดเล็กที่ปกปิดบันทึกก่อน (สร้างหมายเลข ID ของพวกเขา ***) แล้วส่งด้วยวิธีนั้น ความเสี่ยงในการฝ่าฝืนหายไป ความเร็วของความช่วยเหลือไม่เปลี่ยนแปลง
เทมเพลตที่คัดลอกได้
งาน: [สิ่งที่ต้องทำ ประโยคเดียว]บริบท: [สคีมาข้อมูล ขนาด ข้อจำกัด; ไม่มีข้อมูลส่วนบุคคลที่เกิดขึ้นจริง]ข้อจำกัด: [ภาษา/ไลบรารี ประสิทธิภาพ ความสามารถในการทำซ้ำ]ตัวชี้วัด: [วิธีวัดความสำเร็จ]ผลลัพธ์ที่ต้องการ: [รหัส/คำอธิบาย/รายการ] และเหตุผลในรูปแบบนี้
ตรวจสอบรหัสนี้ ประเมินไม่เพียงแต่ว่ามันใช้งานได้ แต่ยังรวมถึง:1) กรณี Edge (อินพุตว่างเปล่า คอลัมน์หายไป ข้อมูลขนาดใหญ่มาก)2) ความเสี่ยงของข้อมูลรั่วไหล3) ความสามารถในการทำซ้ำ (เริ่มต้น เวอร์ชัน)แนะนำการแก้ไขสำหรับแต่ละปัญหาที่คุณพบ ทำเครื่องหมาย "ยืนยัน" ในกรณีที่คุณไม่แน่ใจ รหัส: [รหัส]
ตีความผลลัพธ์ของตัวชี้วัดนี้ แต่ก่อนอื่นให้ถาม: ตัวชี้วัดนี้ถูกต้องสำหรับปัญหานี้หรือไม่ ปัญหา: [การจำแนกประเภทที่สมดุล/ไม่สมดุล การถดถอย การจัดอันดับ...] ตัวชี้วัดและค่าที่รายงาน: [เช่น ความแม่นยำ 0.99]คุณจะแนะนำตัวชี้วัดใด และเพราะเหตุใด และควรมองหาสัญญาณใดที่ทำให้ฉันสงสัยในผลลัพธ์ปัจจุบัน
ตรวจสอบว่ามีข้อมูลส่วนบุคคล/ข้อมูลที่เป็นความลับในข้อมูลที่ฉันจะให้ตามพร้อมท์ต่อไปนี้หรือไม่ ระบุช่องต่างๆ (ชื่อ อีเมล หมายเลขประจำตัว โทรศัพท์ ที่อยู่) ที่ต้องปกปิดไว้ในข้อความด้านล่าง ข้อความ: [ข้อความ]
ตารางบทบาทและอำนาจ
ภารกิจ
บทบาทของปัญญาประดิษฐ์
เจ้าของการตัดสินใจ
โครงกระดูกโค้ด / ฟังก์ชันการแปลง
เครื่องกำเนิดร่าง
วิศวกร (บทวิจารณ์)
EDA/ข้อมูลสรุป
คันเร่ง
วิศวกร (ตรวจสอบโดยการวัด)
การตีความเมตริก
ข้อเสนอแนะ
วิศวกร
ข้อมูลใดบ้างที่จะเข้าสู่การฝึกอบรม?
ข้อเสนอแนะ
ทีม + เจ้าของข้อมูล
นำโมเดลไปใช้งานจริง
การแจ้งเตือนรายการตรวจสอบ
วิศวกรที่รับผิดชอบ+ทีมงาน
การประมวลผลข้อมูลส่วนบุคคล
ไม่มี (ไม่ได้ใช้)
ผู้ควบคุมกฎหมาย + ข้อมูล
ข้อผิดพลาดทั่วไป
- การใช้เอาต์พุตโดยไม่ตรวจสอบความถูกต้อง ข้อผิดพลาดที่พบบ่อยที่สุดและแพงที่สุด โค้ดหรือเมตริกที่ดูดีไม่ได้หมายความว่าถูกต้อง
- วางข้อมูลดิบที่เป็นความลับลงในเครื่องมือ เมื่อส่งแล้วไม่สามารถนำกลับได้
- อาศัยการวัดที่ผิด ตัวชี้วัดที่เข้ากันไม่ได้ เช่น ความแม่นยำในข้อมูลที่ไม่สมดุล และ RMSE ในปัญหาการจัดอันดับกำลังทำให้เข้าใจผิด
- เข้าใจผิดว่าปัญญาประดิษฐ์เป็นผู้ตัดสินใจ เขาให้คำแนะนำ ความรับผิดชอบอยู่ที่ผู้ลงนาม
- พรอมต์แบบไม่มีบริบท คำขอที่ไม่ชัดเจน เช่น "เขียนแบบจำลอง" จะสร้างผลลัพธ์ที่ไม่สามารถตรวจสอบได้
โดยสรุป
ปัญญาประดิษฐ์เป็นทั้งผลิตภัณฑ์ที่พัฒนาโดยวิศวกร ML และผู้จำลองแบบรายวัน มีค่าสูงสุดในงานที่มีความเสี่ยงต่ำและตรวจสอบได้ง่าย เช่น รหัส-ข้อมูล-เอกสาร การตัดสินใจที่มีผลกระทบต่อเงิน ความเป็นส่วนตัว และความปลอดภัยยังคงเป็นของบุคคลนั้น เชื่อมต่อแต่ละเอาต์พุตเข้ากับแหล่งกำเนิด วัดอีกครั้ง ผ่านตัวกรองทางวิศวกรรม ปกป้องข้อมูลที่เป็นความลับ ใช้ยานพาหนะที่ได้รับอนุมัติ ทำงานในการรักษาความปลอดภัยเพื่อวัตถุประสงค์ในการป้องกันเท่านั้น ระเบียบวินัยนี้เป็นพื้นฐานสำหรับหน่วยที่ตามมาทั้งหมด
งานสมัคร
เลือกงานจากโครงการของคุณเอง (เช่น การเขียนฟังก์ชันการล้างข้อมูล) ขั้นแรกให้เขียนพรอมต์ที่ไม่รัดกุม จากนั้นจึงเขียนพรอมต์ที่รัดกุมโดยใช้เทมเพลตในหน่วยนี้ ใช้เอาต์พุตทั้งสอง ใช้การตรวจสอบยืนยันสามขั้นตอน (ลิงก์ไปยังแหล่งที่มา รันซ้ำ ตัวกรองทางวิศวกรรม) โปรดทราบว่าพรอมต์ใดจะบันทึกจำนวนนาทีและจำนวนการแก้ไข
รายการตรวจสอบ
- [ ] ฉันได้กำหนดระดับความเสี่ยง (ต่ำ/สูง) ในงานของฉันแล้ว
- [ ] ฉันไม่ได้ใส่ข้อมูลส่วนบุคคล/ข้อมูลลับใดๆ ที่เกิดขึ้นจริงในข้อความแจ้ง ฉันปกปิดมันหรือใช้ตัวอย่างสังเคราะห์
- [ ] ฉันเชื่อมต่อเอาต์พุตกับแหล่งที่มา รันอีกครั้ง กรองจากมุมมองทางวิศวกรรม
- [ ] ฉันตรวจสอบแล้วว่าฉันเลือกเมตริกที่ถูกต้อง
- [ ] ฉันได้ตัดสินใจครั้งสำคัญ (นำไปใช้จริงและประมวลผลข้อมูล) ด้วยตัวเอง/กับทีม ฉันไม่ได้ปล่อยให้มันเป็นหน้าที่ของปัญญาประดิษฐ์
- [ ] ฉันใช้รถที่ได้รับการอนุมัติจากบริษัท