КАРТОЧКА ПРОЕКТА ФУНДАМЕНТАЛЬНЫХ И ПОИСКОВЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ

Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.

 

ОБЩИЕ СВЕДЕНИЯ


Номер 22-21-00605

НазваниеРазработка системы автоматизированного визуального контроля сварных швов на основе нейросетевых технологий

РуководительИванов Михаил Александрович, Кандидат технических наук

Организация финансирования, регион Федеральное государственное автономное образовательное учреждение высшего образования "Южно-Уральский государственный университет (национальный исследовательский университет)", Челябинская обл

Период выполнения при поддержке РНФ 2022 г. - 2023 г. 

Конкурс№64 - Конкурс 2021 года «Проведение фундаментальных научных исследований и поисковых научных исследований малыми отдельными научными группами».

Область знания, основной код классификатора 01 - Математика, информатика и науки о системах, 01-727 - Специализированные системы обработки и анализа изображений и сигналов

Ключевые словасварное соединение, неразрушающий контроль, нейронные сети, визуальный контроль, компьютерное зрение

Код ГРНТИ28.23.29


СтатусУспешно завершен


 

ИНФОРМАЦИЯ ИЗ ЗАЯВКИ


Аннотация
Целью проекта является разработка системы автоматизированного визуального контроля сварных швов на основе нейросетевых технологий. Автоматизация процессов на крупных промышленных предприятиях является важнейшим направлением развития технологий индустрии 4.0. Контроль качества сварных швов в настоящее проводится преимущественно вручную. Предлагаемая к реализации система позволит проводить контроль качества сварного шва в автоматизированном режиме. Качество сварного шва предлагается определять на основе фотографий шва, полученных со сварочного робота. Данные для построения модели машинного обучения будут получены и размечены силами коллектива на основе работы сварочного робота Fanuc, имеющегося в лаборатории сварочного производства ЮУрГУ. Оценка качества сварного шва будет проводится с применением искусственных нейронных сетей. Предполагается использование сверточных нейронных сетей для получения признаков с фотографий работы сварочного робота и рекуррентных нейронных сетей для использования фотографий, полученных в предыдущие моменты времени. Подобная комбинация сверточных и рекуррентных нейронных сетей позволит улучшить качество работы всей системы по сравнению с применением только сверточных сетей.

Ожидаемые результаты
Основным результатом работы над проектом будет являться программное обеспечение для определения качества сварного шва. Данное ПО позволит автоматизировать процесс контроля качества, что сократит расходы и исключит человеческий фактор.


 

ОТЧЁТНЫЕ МАТЕРИАЛЫ


Аннотация результатов, полученных в 2022 году
Планом первого года было исследование системы технического зрения iRVision 3DL сварочного робота FANUC 120iC/10L для получения изображений дефектов сварного шва. На втором этапе планируется анализ полученных данных методами машинного обучения с применением нейросетевых технологий. За первый год были выполнены следующие работы: 1. Для визуального контроля сварного шва использовался сварочный робот FANUC 120iC/10L с системой технического зрения iRVision 3DL и двухосевой позиционер, на котором сориентирована рабочая поверхность. Эксперимент базировался на способности системы iRVision 3DL, установленной на сварочном роботе FANUC получить данные, которые эксперт сможет использовать для распознавания поверхностных дефектов сварного шва. В процессе оценки анализировалась способность лазерного сенсора на конкретном участке сканирования системой iRVision 3DL обнаружить характерные искажения профиля сварного шва в месте присутствия поры. 2. Для проведения исследования были изготовлены стандартные образцы предприятия с дефектами сварки (далее образцы). Например, для имитации поверхностных пор на образце были просверлены отверстия с диаметром от 1 до 5 мм с шагом 10±2 мм. Размер отверстий изменялся по возрастающей. Используемые размеры диаметров поры: 1; 1,5; 2; 2,5; 3; 3,2; 3,5; 4; 4,5; 5 мм. Образец представляет собой сваренные встык без разделки кромок две пластины. Поверхностную трещину анализировали на пробе «Тэккен». Подрезы были получены на специально сваренном образце, с «нарушенным» режимом сварки, который привел к появлению дефектов сварки. 3. Получены данные после сканирования изготовленных образцов: изображения с оптического сенсора, лазера и 3DL изображения (суммарно более 45000 тысяч), которые являются отображением, но не точной копией профиля сканируемой поверхности. Каждое изображение имеет размер 640х480 пикселей. Результаты идентификации различных дефектов сварки приведены в изданной статье Visual control of weld defects using computer vision system on FANUC robot. https://www.scopus.com/record/display.uri?eid=2-s2.0-85133137775&origin=resultslist&sort=plf-f 4. Для анализа чувствительности системы iRVision 3DL к получению качественных исходных данных было проведено сканирование образца при различных значениях углов α и β. Последующие эксперименты проводились с целью выявить наиболее предпочтительное положение камеры и лазерного сенсора, при котором видимость профиля дефекта на линии лазера при сканировании была бы наиболее четко выраженной. Для этого в ходе экспериментов варьировали углами наклона «руки» робота α и β. Сначала был зафиксирован угол β=0, а угол α изменялся от 0 до 75 с шагом 15 градусов. После чего были выполнены эксперименты с фиксированным углом α=0, при этом β изменялся от 0 до 45 с шагом 15 градусов. Изображения, на которых присутствует результат сканирования дефектов сварки, были сделаны при следующих углах наклона оборудования: – α в диапазоне от 0 до 75 градусов с шагом 15 градусов; – β в диапазоне от 0 до 45 градусов с шагом 15 градусов. Движение сканирующей системы проходило вдоль сварного шва, при этом луч лазера, которым проводилось сканирование образца, был направлен поперек сварного шва и захватывал как сварной шов, так и основной металл. В зависимости от изменения углов наклона изменялось и конечное изображение исследуемой поверхности. Результаты различимости дефектов методом экспертного анализа были усреднены для каждого отдельного случая, что помогло прийти к объективной оценке и определить углы наклона, при которых признаки дефектов сварки поддаются идентификации. Результаты приведены в статье Sensitivity Analysis of Computer Vision System for Visual Control of Butt Joints Weld Defects https://www.scopus.com/record/display.uri?eid=2-s2.0-85133135710&origin=resultslist&sort=plf-f Научными результаты проекта стали следующие результаты: 1. Разработана методика и программа для сварочного робота Fanuc для сканирования сварных образцов с дефектами. Выполнена калибровка системы технического зрения iRVision 3DL. Разработанная методика позволяет проводить визуальный контроль качества сварного шва в автоматизированном режиме. Установлено, что оценку качества следует проводить на основании данных системы 3D Laser Vision Sensor и фото шва. 2. Обоснована целесообразность проведения визуального контроля дефектов сварки с помощью системы технического зрения iRVision 3DL на роботе Fanuc. Установлено, что система технического зрения Fanuc iRVision 3DL наиболее чувствительна к определению пор. Результаты исследования показали, что существует тенденция: чем крупнее пора, тем сильнее искажается профиль линии лазера и тем более выраженно относительно общего фона совокупность признаков, указывающих на наличие поры. Наложение линий лазера вдоль исследуемого образца рисует силуэт профиля шва, что при дальнейшей обработке и систематизации изображений позволило по соответствующим изменениям признаков искажений профиля линии лазера предсказывать возможное место наличия поры. Поиск подреза показал схожие тенденции, что и выявление поры. Чем сильнее проявлен дефект, тем он лучше виден на профиле линии лазера. Также из-за того, что подрез имеет вполне конкретное место дислокации, то в отличие от поры и трещины, легче выработать алгоритм точного распознавания дефекта. Поиск трещины оказался наиболее сложным с точки зрения её идентификации, поскольку ширина раскрытия трещины и форма расположения затрудняют выделение признаков искажений профиля линии лазера на общем фоне всплесков. Установлено, что возможность определить наличие дефекта требует большого количества получаемых данных, которые требуют определенного алгоритма их обработки (сортировки). 3. Выявлены наиболее предпочтительные углы α и β положения робота FANUC с установленной на него системой технического зрения iRVision 3DL, при которых поры имеют ярко выраженные всплески на линии лазера. Наиболее универсальной комбинацией является сочетание углов α=45 β =0 градусов. 4. Исследования показали влияние различных положений углов сварочного робота на выявляемость пор. Обнаружено, что увеличение величины дефекта сварки позволяет использовать более широкий диапазон углов лазера. Как правило на промышленных предприятиях России при проведении визуального измерительного контроля сварных соединений допускается наличие единичной поры размером 3 мм. Как видно из опубликованной авторами гранта статьи Sensitivity analysis of computer vision system for visual control of butt joints weld defects, пора диаметром 1,5 мм дает небольшой отклик при α=45 градусов. При изменении угла α не целесообразно изменять угол более 45 градусов. Что касается угла β, то при поиске поверхностных пор малых диаметров изменять угол работа сильнее 30 градусов нецелесообразно. Поры диаметром более 3 мм хорошо различимы по характерному отклику при значениях угла β в интервале от 0 до 45 градусов. Причина потенциального неудовлетворительного качества идентификации сварных дефектов при угле α=0 градусов связана с отражением лазерного луча от дефекта. Увеличение угла α на величину более чем 45 градусов приводит к значительному шуму на изображении и потере характерных признаков дефектов сварного шва, полученных системой технического зрения iRVision 3DL. Это связано с перекрытием дефекта профилем сварного шва. 5. Собран фотоархив с изображениями, полученных от системы технического зрения iRVision 3DL при проведении исследований (более 45000 изображений). Проведена предварительная предобработка, аугментация и разметка данных для детекции дефектов стыковых сварных соединений на основе нейросетевых технологий. 6. Написаны, переведены и опубликованы 2 научные статьи в соавторстве для журнала из списка Scopus (IEEE Xplore) на английском языке. 6.1 Visual control of weld defects using computer vision system on FANUC robot 6.2 Sensitivity Analysis of Computer Vision System for Visual Control of Butt Joints Weld Defects

 

Публикации

1. Иванов М.А., Уланов А.М., Черкасов Н.Д. Visual Control of Weld Defects Using Computer Vision System on FANUC Robot Proceedings - 2022 International Conference on Industrial Engineering, Applications and Manufacturing, ICIEAM 2022, Proceedings - 2022 International Conference on Industrial Engineering, Applications and Manufacturing, ICIEAM 2022, pp. 859 – 863. (год публикации - 2022) https://doi.org/10.1109/icieam54945.2022.9787245

2. Иванов М.А., Уланов А.М., Черкасов Н.Д. Sensitivity Analysis of Computer Vision System for Visual Control of Butt Joints Weld Defects Proceedings - 2022 International Conference on Industrial Engineering, Applications and Manufacturing, ICIEAM 2022, Proceedings - 2022 International Conference on Industrial Engineering, Applications and Manufacturing, ICIEAM 2022, pp. 869 – 873 (год публикации - 2022) https://doi.org/10.1109/icieam54945.2022.9787274

3. - Семь проектов ЮУрГУ получили грантовую поддержку РНФ ФГАОУ ВО «ЮУрГУ (НИУ)», - (год публикации - )


Аннотация результатов, полученных в 2023 году
На втором этапе в 2023 году запланирован анализ полученных на первом этапе данных о дефектах сварных швов методами машинного обучения с применением нейросетевых технологий. За второй год были выполнены следующие работы: 1. Выполнена экспертная оценка наличия дефектов на каждом изображении, которая заключалась в следующем: каждым экспертом были отсмотрены и отсортированы фотографии, по наличию и отсутствию искомых поверхностных дефектов. Изображения были разделены по профилям непосредственно от лазера и от черно-белого профиля, полученного от системы 3DL. 2. Разметка положения и наличия дефектов на изображениях выполнялась с помощью экспертной оценки специалистов и инструментов разметки Roboflow; была проведена разметка изображений с классами «дефектный шов», и «нулевой», который обозначает отсутствие какого-либо дефекта. Качество работы модели оцениваются по средним значениям accuracy, precision and recall. 3. Первый набор размеченных данных (изображений 3DL), полученный с помощью лазерного сканирования системой iRVision образцов, составил 445 изображения шва без дефектов и 148 изображений шва с дефектами. Всего 593 изображений 3DL. Второй набор размеченных данных (изображений лазера), полученный с помощью лазерного сканирования системой iRVision образцов, составил 494 изображения без дефектов. Количество изображений с дефектами сварки в поперечном сечении составило 113 изображений размером 640x480 пикселей. Исходный размер всех изображений был приведен к размеру 416x416. Всего 607 изображений лазера. 4. Для подбора топологии искусственной нейронной сети на основе результатов численных экспериментов был выбран метод снижения размерности входных данных, основывающийся на информации о положении камеры на роботе относительно поверхности сварного соединения. На основе этой информации исходное изображение складывалось в одномерный вектор таким образом, чтобы каждое значение в полученном векторе соответствовало сумме значений нечерных пикселей, параллельных боковой диагонали в исходном двумерном векторе. Для контроля качества обучения модели использовалась 5- блочная валидация. 5. Для обучения модели на данных изображений 3DL Для большей эффективности и достижения стабильной работы алгоритма было выбрано 200 эпох для обучения, однако во время обучения алгоритм был остановлен автоматически на 173 эпохе. Критерием обучения было уменьшение значения функции потерь более, чем на 0.01, что было задано в параметрах обучения. Для обучения модели на данных изображений лазера процесс обучения длился 353 эпохи. На данной эпохе алгоритм сам остановился, так как дальнейшего обучения в течение 100 эпох не происходило. Критерием обучения было уменьшение значения функции потерь более, чем на 0.01, что было задано в параметрах обучения. При этом изначально было задано 500 эпох. 6. Результаты сравнительной оценки точности моделей. Модели на основе одномерных сверток имеют преимущество по метрике Precision, это означает, что найденные ими изображения с классом «дефект» действительно будут с дефектом, но вероятность пропустить дефект будет выше, чем у моделей YOLOv5. И наоборот, модели на основе архитектуры YOLOv5 с большей вероятностью выявят большее количество изображений с дефектом среди всех изображений, но найденные «дефектные» изображения возможно и не будут иметь дефекта, что означает перебраковку. Поскольку мы имеем дело с дефектами, то нашей задачей являлось получения значений по метрике recall приближенное к 1.0, даже в ущерб общей точности. Поскольку пропущенный дефект принесет больше ущерба, чем дополнительный контроль в местах, где реально нет дефектов. 7. Отбор финальных версий топологий моделей осуществлялся на основе оценки качества работы всех полученных нейронных сетей. При использовании системы изображений 3DL: – для выявления наибольшего количества дефектов сварных швов необходимо использовать модель на основе архитектуры YOLO, где значение по метрике охвата было наибольшим – 0,94 Recall с точностью 0,68 Presicion; – для выявления количества дефектов сварных швов наиболее с наименьшей «перебраковкой» необходимо использовать модель на основе архитектуры одномерных сверток, где значение по метрике точности было наибольшим – 1,0 и охватом 0,91. При использовании системы изображений лазера: – для выявления наибольшего количества дефектов сварных швов необходимо использовать модель на основе архитектуры YOLO, где значение по метрике охвата было наибольшим – 0,92 Recall с точностью 0,86 Presicion; – для выявления количества дефектов сварных швов наиболее с наименьшей «перебраковкой» необходимо использовать модель на основе архитектуры одномерных сверток, где значение по метрике точности было наибольшим – 0,90 Presicion и охватом 0,81 Recall . Сведения о достигнутых конкретных научных результатах в отчетном периоде 1. Собран уникальный набор данных дефектов сварки для обучения нейронных сетей. Из общего набора собранных с помощью системы компьютерного зрения iRVision на предыдущем этапе из 45000 изображений группой экспертов на основании выбора наилучшего угла наклона камеры сварочного робота для анализа дефектов было отобрано 593 изображений 3DL (445 изображения шва без дефектов и 148 изображений шва с дефектами) и 607 изображений лазера (494 изображения шва без дефектов и 113 изображений шва с дефектами). 2. Для применения на системах компьютерного зрения в целях обнаружения поверхностных дефектов стыковых сварных соединений после роботизированной сварки были разработаны и оценены на тестовом наборе данных две различных топологий нейронных сетей. Каждая, из которых потребовала своей разметки набора данных: 2.1 Разработана модель на основе одномерных свёрток. 2.1.1 Проведена разметка собранных на предыдущем этапе данных для решения задачи классификации с помощью искусственных нейронных сетей прямого распространения. Разметка была осуществлена группой экспертов. Каждому изображению была поставлена метка 0 – нет дефекта или 1 – дефект есть. 2.1.2 Разработан алгоритм предварительной обработки данных, позволяющего выделить область дефекта и преобразовать её в одномерный массив точек. 2.1.3 Разработана топология искусственной нейронной сети прямого распространения на основе слоёв одномерных свёрток. Качество работы искусственной нейронной сети на тестовом наборе данных: Accuracy 0.99, Precision 1.0, Recall 0.92. Образцы, которые мы не можем обнаружить, относятся к пограничным областям между дефектом и нормальной поверхностью сварного соединения. Поскольку мы сканируем поверхность сварного соединения с шагом 0,5 мм, полученная модель сможет обнаружить дефект, даже если он отсутствует на одном изображении. 2.2 Апробирована модель, основанная на улучшенной архитектуре YOLOv5 2.2.1 Произведена дополнительная разметка набора данных для однопроходного детектора на основе топологии YOLOv5. На каждом изображении группой экспертов была выделена область дефекта. 2.2.2 Качество работы искусственной нейронной сети на тестовом наборе данных: Accuracy 0.87, Precision 0.68, Recall 0.94 и с заданным значением Confidence threshold 0.19. 3. Доказана применимость нейросетевого подхода к задаче обнаружения сварных дефектов с помощью лазерного сканирования и системы компьютерного зрения. Внедрение разработанных моделей позволит повысить выявляемость поверхностных дефектов визуального контроля. Обе модели нейронных сетей обучались для получения наилучшего значения метрики recall даже в ущерб общей точности, поскольку пропуск дефекта намного хуже, чем ложное срабатывание. 8. На основе полученных результатов был разработан веб-сервис для локального развёртывания на основе технологии Docker, включающий в себя обученную нейронную сеть и алгоритм предварительной обработки изображений, для классификации дефектов сварных соединений и дополнительные файлы, необходимые для монтажа и запуска Docker-образа (https://github.com/Cherkasovnd/iRVision). Уникальный размеченный набор данных для обучения нейронных сетей можно скачать по ссылке: https://disk.yandex.ru/d/sNQX5vzALsIFSg

 

Публикации

1. Черкасов Н.Д, Иванов М.А., Уланов А.М. Classification of Weld Defects Based on Computer Vision System Data and Deep Learning Proceedings - 2023 International Conference on Industrial Engineering, Applications and Manufacturing, ICIEAM 2023, 856–860 (год публикации - 2023) https://doi.org/10.1109/ICIEAM57311.2023.10139093

2. Черкасов Н.Д., Иванов М.А., Уланов А.М. Weld Surface Defect Detection Based on a Laser Scanning System and YOLOv5 2023 International Conference on Industrial Engineering, Applications and Manufacturing (ICIEAM), 851-855 (год публикации - 2023) https://doi.org/10.1109/ICIEAM57311.2023.10139295

3. Черкасов Н.Д., Иванов С.А., Иванов М.А., Уланов А.М. Detection of Defects in Welded Joints Based on Data from the Computer Vision System Using YOLOv5 2023 International Ural Conference on Electrical Power Engineering (UralCon), 780-784 (год публикации - 2023) https://doi.org/10.1109/UralCon59258.2023.10291074

4. Черкасов Н.Д., Иванов С.А., Иванов М.А., Уланов А.М. Detection of Defects in Welded Butt Joints Based on Laser Scanning: Neural Networks Approach 2023 International Ural Conference on Electrical Power Engineering (UralCon), 775-779 (год публикации - 2023) https://doi.org/10.1109/UralCon59258.2023.10291060

5. - ЧЕЛЯБИНСКИЕ УЧЕНЫЕ НАУЧИЛИ РОБОТА-СВАРЩИКА УЧИТЫВАТЬ ДЕФЕКТЫ ПРИ РАБОТЕ ООО «Предприятие «Инфо-ТВ», Видео репортаж в новостях (год публикации - )

6. - Ученые ЮУрГУ с помощью нейросети усовершенствовали робота-сварщика Министерство промышленности, новых технологий и природных ресурсов Челябинской области, - (год публикации - )

7. - Искусственный интеллект на службе у сварщиков: челябинские ученые реализовали уникальный проект Федеральное государственное автономное образовательное учреждение высшего образования «Южно-Уральский государственный университет (национальный исследовательский университет)», - (год публикации - )


Возможность практического использования результатов
Контроль качества сварных соединений является обязательной технологической операцией и в настоящее время проводится преимущественно вручную, что нивелирует эффект от роботизации сварочного производства. Использование сварочных роботов не только для сварки, но для контроля качества позволит повысить уровень автоматизации производства и увеличит производительность труда. Разработанные научные положения найдут применение при создании автоматических сварочных линий, развитии промышленных безлюдных технологий в РФ, а также на отечественных заводах по производству роботов и систем технического зрения для них.