רווחים:
- יכולת להסביר כיצד פגמים על פני הבד מזוהים ומסווגים על ידי עיבוד תמונה ולמידת מכונה.
- יכולת לפרש איזון חיובי/שלילי שגוי, מערכת ניקוד של 4 נקודות ומדדי ביצועים של מודל
- יכולת לתכנן מערך אימות שבודק פלט זיהוי פגמים אוטומטי עם בדיקה אנושית ובדיקה פיזית
במשך שנים רבות, בקרת איכות הבד נשענת על העין האנושית: מפעיל צופה בבד במשך שעות על גבי שולחן בדיקה מואר, מסמן ומנקד כל פגמים שהוא רואה. עבודה זו מעייפת, סובייקטיבית ונוטה לעייפות וטעויות; תשומת הלב אינה חדה בסוף משמרת כפי שהיא בהתחלה. ראיית מחשב ולמידת מכונה מבטיחים להפוך את הבדיקה הזו לאוטומטית: מצלמה במהירות גבוהה סורקת את הבד, מזהה ומסווגת דפוס של פגמים בשניות. ביחידה זו, נדון כיצד מערכת זו פועלת, בקריטריונים לפיהם היא מוערכת ומדוע שליטה אנושית עדיין הכרחית.
פגמי בד ושפת הבדיקה
כדי להבין את הזיהוי האוטומטי, תחילה יש צורך לדעת את שם הליקויים. פגמים אופייניים בבד ארוג: שבר עיוות (חוסר חוט אורכי), פגם ערבב/ממשק (קו רוחבי), חור, כתם, מקום עבה/דק, הקפצת עיוות. בבד סרוג: סימן מחט (קו אורך, מתקלה במחט), תפר תועה, חור, הפרש עובי. בהדפסה וצביעה: הבדל צבע, שחיקה (אי סדירות בצביעה), החלקה, התזה.
תוצאות הבדיקה ניתנות לרוב באמצעות מערכת של ארבע נקודות: לכל פגם ניתנות 1-4 נקודות בהתאם לאורכו האורכי (למשל נקודה אחת עד 8 ס"מ, 4 נקודות מעל 15 ס"מ) והציון הכולל ל-100 מ"ר מחושב. מתחת לסף (למשל 40 נקודות/100 מ"ר) נחשב "קבלה", למעלה נחשב "דחייה". ניקוד אוטומטי עם AI צריך לחקות את הסטנדרט הזה; זה לא צריך לייצר ציון שרירותי משלו.
טיפ: הפלט של המערכת האוטומטית צריך תמיד להיות ניתן להמרה לתקן הניקוד המקובל שלך (כגון 4 נקודות) וסובלנות הלקוח. "המודל מצא 12 חריגות" לבדו אינו מקבל החלטה עסקית; יש להמיר אותו לנקודות והחלטות.
כיצד פועל זיהוי פגמים אוטומטי?
מערכות מודרניות משלבות לרוב את שתי הגישות. סיווג מפוקח הוא כאשר רשת עצבית מלאכותית (במיוחד רשת עצבית קונבולוציונית מתאימה לתמונה, באנגלית CNN) מאומנת באלפי דוגמאות פגמים שסומנו בעבר מנבאת אם יש פגם בתמונה החדשה ובסוג שלה. איתור חריגות, לעומת זאת, לומד את הבד ה"רגיל" ומסמן כל דבר החורג מהרגיל כמועמד לפגם; זה עובד עבור פגמים נדירים שטרם נראו כי אין צורך לסמן כל סוג פגם מראש.
אנו קוראים את ביצועי המערכת לפי שני קריטריונים בסיסיים. רגישות (היזכרות): איזה אחוז מהליקויים האמיתיים הוא זיהה? דיוק: כמה אחוז ממה שהם אמרו שהוא פגם הוא בעצם פגם? יש איזון בין שני אלה. שלילי כוזב (חסר הפגם) פירושו מסירת סחורה פגומה ללקוח; חיובי כוזב (סימון המושלם כפגום) פירושו בזבוז והאטה מיותרים. ביישום קריטי לאיכות, סף נבחר בדרך כלל כדי לשמור על שליליות כוזבות נמוך, בעוד שתוצאות חיוביות כוזבות מוגברות עוברות בדיקה שנייה מהירה על ידי מפעיל אנושי.
יש כאן מלכודת קריטית: הדיוק לבדו מטעה. בפס ייצור, אולי 2% מהבד פגום. דגם טיפשי שקורא להכל "מושלם" מדווח על דיוק של 98% אבל לא תופס אף פגם. לכן, בנתונים לא מאוזנים, הרגישות והדיוק של מחלקת הפגמים אינם נחשבים, אלא הדיוק.
שלב אחר שלב: הערכת מערכת איתור
- איסוף נתונים מייצגים. תמונות המכסות את מגוון הבדים בפועל (צבע, מרקם, תאורה) שהמערכת תראה; כולל פגמים נדירים.
- בדוק את איכות התווית. אם תוויות האימון שגויות, המודל גם לומד לא נכון; דגום את התוויות בעין מומחית.
- מדידת רגישות/דיוק. בנפרד עבור מחלקת הפגמים; אל תסתכל רק על הדיוק הכללי.
- בדוק שליליות כוזבות. האם לפגמים שהוחמצו יש תכונה משותפת (צבע מסוים, אור מסוים)?
- הגדר את האדם בלולאה. תן למפעיל לאשר את מה שהדגם סימן; להפנות את אי הוודאות לאנשים.
- מעקב ואימון מחדש. עדכן את מערך הנתונים עם הופעת סוגי פגמים חדשים (סחיפה של מושג).
שלושה מיני מארזים: לפי המספרים
מקרה 1 - דיוק מטעה. ספק מכר מערכת שאומרת "הדגם שלנו מדויק ב-97%". התשואות הלקוחות גדלו בשטח. הניתוח הראה כי הרגישות של מחלקת הפגמים הייתה רק 61%, כלומר 39 מתוך כל 100 פגמים אמיתיים הוחמצו. הדיוק היה גבוה מכיוון שרוב הבד כבר היה ללא רבב. סף מותאם מחדש ונוספה שליטה אנושית; הרגישות עלתה ל-92%, תוצאות חיוביות כוזבות בוטלו על ידי המפעיל.
מקרה 2 - משמרת תאורה. בשורה אחת, תוצאות שווא שולשו כאשר אור שמש אחר הצהריים פגע באזור הבדיקה; הדוגמנית חשבה שהצללים הם כתמים. הבעיה נפתרה כאשר מצב הצפייה (ארון סגור, תאורת לד קבועה) היה סטנדרטי. לקח: הגדרת ההדמיה עוסקת באיכות לא פחות מהדגם.
מקרה 3 - זמן ועבודה. עסק בילה בממוצע 9 דקות בבדיקה ידנית של 100 מטרים של בד. עם דגם סריקה מוקדמת + אישור מפעיל המצלמה, הזמן הצטמצם ל-4 דקות והדליפה צומצמה מכיוון שהמפעיל שם לב רק לאזורים המסומנים. מה שהיה קריטי הוא שהאוטומציה חידדה לא את המפעיל, אלא את העין של המפעיל.
הנחיה חלשה / הנחיה חזקה
הערה: מערכות ייעודיות המנתחות ישירות את תמונת הפגם הן נפרדות; כאן אנו משתמשים בבינה מלאכותית לתכנון תהליכים, הערכת נתונים ודיווח.
הנחיה חלשה:
תגיד לי, האם מודל זיהוי הפגמים שלנו טוב?
הנחיה עוצמתית:
תפקידך: מהנדס איכות טקסטיל ומנתח נתונים. להלן תוצאות הבדיקה של מודל גילוי הפגמים (מטריצת בלבול: חיובי אמיתי, חיובי שקרי, שלילי שקרי, שלילי אמיתי). משימה: 1) חשב את הרגישות והדיוק עבור מחלקת הפגמים, הראה את הנוסחה. 2) הסביר עם המספרים הללו מדוע הדיוק הכולל יכול להטעות את ההשפעה השלילית של הייצור בעסק הזה.3) תן הצעה קונקרטית להגדרת סף ובדיקה אנושית. מספרים: [מטריקס]
תבניות הניתנות להעתקה
1) חישוב ופרשנות מטרי:
חשב רגישות, דיוק וציון F1 ממטריצת הבלבול הבאה, כתוב כל נוסחה והנמק איזו מהן קריטית יותר מבחינת איכות. מטריצה: [TP, FP, FN, TN]
2) גורם שורש שלילי כוזב:
להלן רשימת התכונות של פגמים שהוחמצו (שלילי כוזב) (סוג הפגם, צבע, אור, מהירות). צור השערות דפוס נפוצות והצע ניסוי אימות עבור כל השערה. נתונים: [רשימה]
3) המרה ל-4 נקודות:
המר את פלט הזיהוי הבא למערכת של 4 נקודות: ציון כל פגם לפי אורכו, חשב את הציון הכולל ל-100 מ"ר, השווה עם ציון [סף] והמליץ על קבלה/דחייה. רשימת פגמים: [רשימה]
4) טיוטת דוח בדיקה:
הפקת תקציר מנהלים מנתוני ליקוי המשמרת הבאים: 3 הליקויים המובילים, מקור תהליך אפשרי (השערה), שיעור הדחייה הכולל ופעולות מומלצות. אל תמציא את המספרים, פשוט השתמש במה שניתן. נתונים: [טבלה]
תרשים השוואה מדדים
קריטריון
איזה אמצעים
האם זה טוב להיות גבוה?
חשיבות באיכות
דיוק
שיעור נכון בסך הכל
יכול להיות מטעה
דל בנתונים לא מאוזנים
רגישות (היזכרות)
נתפס שיעור הפגמים בפועל
כן
נופל False negative (קריטי)
דיוק
האמת של מה שאתה אומר הוא פגם
כן
מפחית תוצאות שווא/בזבוז
שלילית שקר
נמלט מפגם
לא, זה צריך להיות נמוך
סיכון של סחורה פגומה ללקוח
חיובי שגוי
אזעקה ריקה
לא אבל זה נסבל
אובדן יעילות/מהירות
שימו לב: המערכת האוטומטית היא "מסנן מראש", לא "מאשר". החלטת קבלת האיכות הסופית מחייבת אישור של קצין איכות מוסמך, במיוחד עבור קבוצות הכפופות לחוזה הלקוח. המודל מאיץ את השליטה האנושית, אך אינו פוטר אותה.
טעויות נפוצות
- להסתכל על הצדק ולהסתפק. דיוק גבוה מסתיר חפצים בנתונים לא מאוזנים.
- הזנחת מצב הצפייה. ללא תאורה קבועה ומהירות קבועה הדגם אינו אמין.
- לא בודק את איכות התווית. הדגם שאומן עם התווית הלא נכונה לומד בצורה שגויה.
- שוכחים את הסוג החדש של הפגם. אם הנתונים לא מתעדכנים עבור פגמים חדשים שמופיעים לאורך זמן, הביצועים ידרדרו בשקט.
- לחתוך אנשים. החלטת הקבלה הקריטית דורשת אישור אנושי.
לסיכום
עיבוד תמונה מאיץ מאוד את בדיקת הבד ומפצה על עייפות האדם. אבל הביצועים שלו נקראים לא בדיוק, אלא ברגישות ובדיוק של מחלקת הפגמים; שלילי כוזב היא השגיאה המסוכנת ביותר באיכות. מצב הדמיה יציב, תווית איכות ובדיקת אדם בתוך הלולאה הם שלושת עמודי התווך של אמינות המערכת. פלט אוטומטי הוא סינון ראשוני; החלטת הקבלה הסופית נותרה באישור המהנדס.
משימת יישום
הגדר מטריצת בלבול לדוגמה עבור מערכת זיהוי פגמים (למשל 100 פגומים, 4900 דגימות מושלמות). יש לחשב רגישות, דיוק ו-F1 עם תבנית "חישוב מטרי" ביחידה זו; לאחר מכן בדוק את התוצאות באופן ידני. דנו בפסקה מה קורה לתוצאות חיוביות שגויות כאשר אתם משנים את הסף כדי להפחית בחצי את השלילי השגוי באותה מטריצה, והחליטו איזו איזון מתאים למוצר שלכם.
רשימת בדיקה
- [ ] אני מעריך ביצועים לפי רגישות/דיוק, לא דיוק.
- [ ] אני מפרש את הסיכון של שליליות כוזבות יחד עם ההשפעה העסקית.
- [ ] תקניתי את תנאי הצפייה (אור, מהירות).
- [ ] אני בודק באופן קבוע את איכות התווית וסוגי פגמים חדשים.
- [ ] אני מציב אישור אנושי על החלטת הקבלה הסופית; הדגם הוא מראש סינון בלבד.