Прибыль:
- Способность объяснить, как дефекты на поверхности ткани обнаруживаются и классифицируются с помощью обработки изображений и машинного обучения.
- Способность интерпретировать ложноположительный/отрицательный баланс, 4-балльную систему оценки и моделировать показатели производительности.
- Возможность разработать установку проверки, которая проверяет результаты автоматического обнаружения дефектов с помощью человеческого и физического осмотра.
На протяжении многих лет контроль качества ткани основывался на человеческом глазе: оператор часами наблюдает за тканью на освещенном инспекционном столе, отмечая и отмечая любые дефекты, которые он видит. Эта работа утомительна, субъективна и склонна к утомлению и ошибкам; В конце смены внимание не такое острое, как в начале. Компьютерное зрение и машинное обучение обещают автоматизировать этот осмотр: высокоскоростная камера сканирует ткань, обнаруживая и классифицируя дефекты за считанные секунды. В этом разделе мы обсудим, как работает эта система, критерии, по которым она оценивается, и почему человеческий контроль по-прежнему необходим.
Дефекты ткани и язык проверки
Чтобы понять автоматическое обнаружение, сначала необходимо знать название дефектов. Типичные дефекты ткани: обрыв основы (отсутствие продольной нити), дефект/стыковка утка (поперечная линия), дыра, пятно, утолщение/тонкое место, отскок основы. В трикотажном полотне: след иглы (продольная линия, от неисправности иглы), сбившийся стежок, дырка, разница толщины. При печати и крашении: разница в цвете, потертость (неравномерность окрашивания), проскальзывание, разбрызгивание.
Результаты контроля часто оцениваются по четырехбалльной системе: каждому дефекту присваивается 1–4 балла в зависимости от его продольной длины (например, 1 балл до 8 см, 4 балла свыше 15 см) и подсчитывается общая оценка на 100 м². Ниже порогового значения (например, 40 баллов/100 м²) считается «принятием», выше — «отклонением». Автоматизированная оценка с помощью ИИ должна имитировать этот стандарт; Он не должен выдавать свою собственную произвольную оценку.
Совет: Результаты автоматизированной системы всегда должны быть конвертированы в принятый вами стандарт оценки (например, 4 балла) и терпимость клиента. «Модель обнаружила 12 аномалий» сама по себе не является принятием бизнес-решения; Его необходимо конвертировать в очки и решения.
Как работает автоматическое обнаружение дефектов?
Современные системы часто сочетают в себе два подхода. Контролируемая классификация — это когда искусственная нейронная сеть (особенно сверточная нейронная сеть, соответствующая изображению, англ. CNN), обученная на тысячах ранее помеченных примеров дефектов, предсказывает, есть ли дефект в новом изображении и его тип. С другой стороны, обнаружение аномалий изучает «нормальную» структуру и отмечает все, что отклоняется от нормального, как кандидата на дефект; Он работает для редких, никогда ранее не встречавшихся дефектов, поскольку нет необходимости заранее маркировать каждый тип дефекта.
Мы оцениваем производительность системы по двум основным критериям. Чувствительность (напомним): какой процент реальных дефектов он обнаружил? Точность: какой процент того, что они назвали недостатком, на самом деле был недостатком? Между этими двумя существует баланс. Ложноотрицательный результат (отсутствие дефекта) означает, что покупателю доставлен бракованный товар; Ложное срабатывание (маркировка идеального как дефектного) означает ненужные траты и замедление работы. В приложениях, где качество критически важно, пороговое значение обычно выбирается таким образом, чтобы количество ложноотрицательных результатов было низким, в то время как повышенное количество ложноположительных результатов подвергается быстрой повторной проверке человеком-оператором.
Здесь есть серьезная ловушка: сама по себе точность вводит в заблуждение. На производственной линии около 2% ткани бывает бракованной. Глупая модель, которая называет все «идеальным», показывает точность 98%, но не обнаруживает ни одного недостатка. Поэтому в несбалансированных данных учитываются не чувствительность и точность класса дефекта, а точность.
Шаг за шагом: оценка системы обнаружения
- Соберите репрезентативные данные. Изображения, отражающие фактическую разновидность ткани (цвет, текстуру, освещение), которую увидит система; Включая редкие дефекты.
- Проверьте качество этикетки. Если обучающие метки неверны, модель также обучается неправильно; Пробуйте этикетки экспертным взглядом.
- Измерьте чувствительность/точность. Отдельно по классу дефекта; Не смотрите только на общую точность.
- Изучите ложноотрицательные результаты. Есть ли у пропущенных дефектов общий признак (определенный цвет, определенный свет)?
- Настройте функцию «человек в курсе». Пусть оператор подтвердит, что отметила модель; направляйте неопределенное к людям.
- Контролируйте и переобучайте. Обновляйте набор данных по мере появления новых типов дефектов (дрейф концепции).
Три мини-кейса: в цифрах
Случай 1 — Вводящая в заблуждение точность. Поставщик продал систему, заявив, что «наша модель точна на 97 %». Возврат клиентов на местах увеличился. Анализ показал, что чувствительность класса дефектов составила всего 61%, а это означает, что 39 из каждых 100 истинных дефектов были пропущены. Точность была высокой, поскольку большая часть ткани уже была безупречной. Порог изменен и добавлен человеческий контроль; чувствительность увеличена до 92%, ложные срабатывания исключены оператором.
Случай 2 — Смена освещения. В одной строке количество ложных срабатываний утроилось, когда послеполуденный солнечный свет падал на зону проверки; Модель подумала, что тени — это пятна. Проблема была решена, когда были стандартизированы условия просмотра (закрытый шкаф, постоянное светодиодное освещение). Урок: качество изображения зависит не только от модели, но и от настройки изображения.
Случай 3 — Время и труд. Предприятие тратило в среднем 9 минут на проверку вручную 100 метров ткани. При использовании модели предварительного сканирования камеры + подтверждения оператора время сократилось до 4 минут, а утечки были уменьшены, поскольку оператор обращал внимание только на отмеченные области. Важным было то, что автоматизация обостряла не оператора, а глаз оператора.
Слабая подсказка/Сильная подсказка
Примечание. Специальные системы, которые непосредственно анализируют изображение дефекта, являются отдельными; здесь мы используем ИИ для проектирования процессов, оценки данных и составления отчетов.
Слабая подсказка:
Скажите, хороша ли наша модель обнаружения дефектов?
Мощная подсказка:
Ваша роль: инженер по качеству текстиля и аналитик данных. Ниже приведены результаты испытаний модели обнаружения дефектов (матрица путаницы: истинно положительный, ложный положительный, ложный отрицательный, истинно отрицательный). Задача: 1) Рассчитайте чувствительность и точность для класса дефекта, покажите формулу. 2) Объясните с помощью этих цифр, почему общая точность может вводить в заблуждение. 3) Прокомментируйте влияние на бизнес риска ложноотрицательных результатов в этом производстве. 4) Дайте конкретные предложения по установке пороговых значений и проверке человеком. Цифры: [матрица]
Копируемые шаблоны
1) Расчет и интерпретация метрики:
Рассчитайте чувствительность, точность и показатель F1 из следующей матрицы путаницы, запишите каждую формулу и обоснуйте, какая из них более важна с точки зрения качества. Матрица: [TP, FP, FN, TN]
2) Ложноотрицательная первопричина:
Ниже приведен список признаков пропущенных (ложноотрицательных) дефектов (тип дефекта, цвет, освещенность, скорость). Сгенерируйте общие гипотезы и предложите проверочное испытание для каждой гипотезы. Данные: [список]
3) Конвертация в 4-балльные баллы:
Преобразуйте следующий результат обнаружения в 4-балльную систему: оцените каждый дефект в соответствии с его длиной, подсчитайте общий балл на 100 м², сравните с [пороговым] баллом и порекомендуйте принять/отклонить. Список дефектов: [список]
4) Проект отчета об инспекции:
Получите краткое описание на основе следующих данных о дефектах смены: 3 основных дефекта, возможный источник процесса (гипотеза), общий процент отказов и рекомендуемые действия. Не выдумывайте цифры, просто используйте то, что дано. Данные: [таблица]
Сравнительная таблица показателей
критерий
Какие меры
Хорошо ли быть высоким?
Важность качества
Точность
В целом правильная ставка
Может вводить в заблуждение
Мало несбалансированных данных
Чувствительность (напоминание)
Фактический процент выявленных дефектов
Да
Сбрасывает ложноотрицательный результат (критический)
Точность
Правда в том, что вы говорите, является недостатком
Да
Снижает количество ложных срабатываний/отходов
ложноотрицательный результат
избежавший дефект
Нет, оно должно быть низким.
Риск передачи покупателю некачественного товара
ложное срабатывание
пустой сигнал тревоги
Нет, но это терпимо
Потеря эффективности/скорости
Внимание: автоматизированная система является «предварительным проверяющим», а не «утверждающим». Окончательное решение о приемке качества требует одобрения компетентного специалиста по качеству, особенно для партий, подлежащих контракту с клиентом. Модель ускоряет контроль человека, но не освобождает его от него.
Распространенные ошибки
- Взглянуть на праведность и быть удовлетворенным. Высокая точность скрывает артефакты в несбалансированных данных.
- Пренебрежение условиями просмотра. Без постоянной освещенности и постоянной скорости модель ненадежна.
- Не проверяю качество этикетки. Модель, обученная с неправильной меткой, обучается неправильно.
- Забывание нового типа дефекта. Если данные не обновляются с учетом новых дефектов, которые появляются с течением времени, производительность будет незаметно снижаться.
- Вырезаем людей. Критическое решение о приемке требует одобрения человека.
В итоге
Обработка изображений значительно ускоряет проверку ткани и компенсирует усталость человека. Но его исполнение читается не с точностью, а с чуткостью и точностью класса дефекта; Ложноотрицательный результат – самая опасная ошибка качества. Стабильное качество изображения, знак качества и контроль человеком в процессе работы — три столпа надежности системы. Автоматический вывод — предварительный отбор; Окончательное решение о приемке остается за утверждением инженера.
Задача приложения
Определите пример матрицы путаницы для системы обнаружения дефектов (например, 100 дефектных, 4900 идеальных образцов). В этом блоке чувствительность, точность и F1 рассчитываются с помощью шаблона «метрического расчета»; затем проверьте результаты вручную. Обсудите в параграфе, что происходит с ложными срабатываниями, когда вы меняете порог, чтобы уменьшить вдвое количество ложных отрицательных результатов в той же матрице, и решите, какой баланс подходит для вашего продукта.
контрольный список
- [ ] Я оцениваю производительность по чувствительности/точности, а не точности.
- [ ] Я интерпретирую риск ложноотрицательных результатов наряду с влиянием на бизнес.
- [ ] Я стандартизировал условия просмотра (освещенность, скорость).
- [ ] Я регулярно проверяю качество этикеток и выявляю новые типы дефектов.
- [ ] Я полагаюсь на человеческое одобрение окончательного решения о приемке; Модель предназначена только для предварительного просеивания.