Аннотация результатов, полученных в 2022 году
Планом первого года было исследование системы технического зрения iRVision 3DL сварочного робота FANUC 120iC/10L для получения изображений дефектов сварного шва. На втором этапе планируется анализ полученных данных методами машинного обучения с применением нейросетевых технологий. За первый год были выполнены следующие работы: 1. Для визуального контроля сварного шва использовался сварочный робот FANUC 120iC/10L с системой технического зрения iRVision 3DL и двухосевой позиционер, на котором сориентирована рабочая поверхность. Эксперимент базировался на способности системы iRVision 3DL, установленной на сварочном роботе FANUC получить данные, которые эксперт сможет использовать для распознавания поверхностных дефектов сварного шва. В процессе оценки анализировалась способность лазерного сенсора на конкретном участке сканирования системой iRVision 3DL обнаружить характерные искажения профиля сварного шва в месте присутствия поры. 2. Для проведения исследования были изготовлены стандартные образцы предприятия с дефектами сварки (далее образцы). Например, для имитации поверхностных пор на образце были просверлены отверстия с диаметром от 1 до 5 мм с шагом 10±2 мм. Размер отверстий изменялся по возрастающей. Используемые размеры диаметров поры: 1; 1,5; 2; 2,5; 3; 3,2; 3,5; 4; 4,5; 5 мм. Образец представляет собой сваренные встык без разделки кромок две пластины. Поверхностную трещину анализировали на пробе «Тэккен». Подрезы были получены на специально сваренном образце, с «нарушенным» режимом сварки, который привел к появлению дефектов сварки. 3. Получены данные после сканирования изготовленных образцов: изображения с оптического сенсора, лазера и 3DL изображения (суммарно более 45000 тысяч), которые являются отображением, но не точной копией профиля сканируемой поверхности. Каждое изображение имеет размер 640х480 пикселей. Результаты идентификации различных дефектов сварки приведены в изданной статье Visual control of weld defects using computer vision system on FANUC robot. https://www.scopus.com/record/display.uri?eid=2-s2.0-85133137775&origin=resultslist&sort=plf-f 4. Для анализа чувствительности системы iRVision 3DL к получению качественных исходных данных было проведено сканирование образца при различных значениях углов α и β. Последующие эксперименты проводились с целью выявить наиболее предпочтительное положение камеры и лазерного сенсора, при котором видимость профиля дефекта на линии лазера при сканировании была бы наиболее четко выраженной. Для этого в ходе экспериментов варьировали углами наклона «руки» робота α и β. Сначала был зафиксирован угол β=0, а угол α изменялся от 0 до 75 с шагом 15 градусов. После чего были выполнены эксперименты с фиксированным углом α=0, при этом β изменялся от 0 до 45 с шагом 15 градусов. Изображения, на которых присутствует результат сканирования дефектов сварки, были сделаны при следующих углах наклона оборудования: – α в диапазоне от 0 до 75 градусов с шагом 15 градусов; – β в диапазоне от 0 до 45 градусов с шагом 15 градусов. Движение сканирующей системы проходило вдоль сварного шва, при этом луч лазера, которым проводилось сканирование образца, был направлен поперек сварного шва и захватывал как сварной шов, так и основной металл. В зависимости от изменения углов наклона изменялось и конечное изображение исследуемой поверхности. Результаты различимости дефектов методом экспертного анализа были усреднены для каждого отдельного случая, что помогло прийти к объективной оценке и определить углы наклона, при которых признаки дефектов сварки поддаются идентификации. Результаты приведены в статье Sensitivity Analysis of Computer Vision System for Visual Control of Butt Joints Weld Defects https://www.scopus.com/record/display.uri?eid=2-s2.0-85133135710&origin=resultslist&sort=plf-f Научными результаты проекта стали следующие результаты: 1. Разработана методика и программа для сварочного робота Fanuc для сканирования сварных образцов с дефектами. Выполнена калибровка системы технического зрения iRVision 3DL. Разработанная методика позволяет проводить визуальный контроль качества сварного шва в автоматизированном режиме. Установлено, что оценку качества следует проводить на основании данных системы 3D Laser Vision Sensor и фото шва. 2. Обоснована целесообразность проведения визуального контроля дефектов сварки с помощью системы технического зрения iRVision 3DL на роботе Fanuc. Установлено, что система технического зрения Fanuc iRVision 3DL наиболее чувствительна к определению пор. Результаты исследования показали, что существует тенденция: чем крупнее пора, тем сильнее искажается профиль линии лазера и тем более выраженно относительно общего фона совокупность признаков, указывающих на наличие поры. Наложение линий лазера вдоль исследуемого образца рисует силуэт профиля шва, что при дальнейшей обработке и систематизации изображений позволило по соответствующим изменениям признаков искажений профиля линии лазера предсказывать возможное место наличия поры. Поиск подреза показал схожие тенденции, что и выявление поры. Чем сильнее проявлен дефект, тем он лучше виден на профиле линии лазера. Также из-за того, что подрез имеет вполне конкретное место дислокации, то в отличие от поры и трещины, легче выработать алгоритм точного распознавания дефекта. Поиск трещины оказался наиболее сложным с точки зрения её идентификации, поскольку ширина раскрытия трещины и форма расположения затрудняют выделение признаков искажений профиля линии лазера на общем фоне всплесков. Установлено, что возможность определить наличие дефекта требует большого количества получаемых данных, которые требуют определенного алгоритма их обработки (сортировки). 3. Выявлены наиболее предпочтительные углы α и β положения робота FANUC с установленной на него системой технического зрения iRVision 3DL, при которых поры имеют ярко выраженные всплески на линии лазера. Наиболее универсальной комбинацией является сочетание углов α=45 β =0 градусов. 4. Исследования показали влияние различных положений углов сварочного робота на выявляемость пор. Обнаружено, что увеличение величины дефекта сварки позволяет использовать более широкий диапазон углов лазера. Как правило на промышленных предприятиях России при проведении визуального измерительного контроля сварных соединений допускается наличие единичной поры размером 3 мм. Как видно из опубликованной авторами гранта статьи Sensitivity analysis of computer vision system for visual control of butt joints weld defects, пора диаметром 1,5 мм дает небольшой отклик при α=45 градусов. При изменении угла α не целесообразно изменять угол более 45 градусов. Что касается угла β, то при поиске поверхностных пор малых диаметров изменять угол работа сильнее 30 градусов нецелесообразно. Поры диаметром более 3 мм хорошо различимы по характерному отклику при значениях угла β в интервале от 0 до 45 градусов. Причина потенциального неудовлетворительного качества идентификации сварных дефектов при угле α=0 градусов связана с отражением лазерного луча от дефекта. Увеличение угла α на величину более чем 45 градусов приводит к значительному шуму на изображении и потере характерных признаков дефектов сварного шва, полученных системой технического зрения iRVision 3DL. Это связано с перекрытием дефекта профилем сварного шва. 5. Собран фотоархив с изображениями, полученных от системы технического зрения iRVision 3DL при проведении исследований (более 45000 изображений). Проведена предварительная предобработка, аугментация и разметка данных для детекции дефектов стыковых сварных соединений на основе нейросетевых технологий. 6. Написаны, переведены и опубликованы 2 научные статьи в соавторстве для журнала из списка Scopus (IEEE Xplore) на английском языке. 6.1 Visual control of weld defects using computer vision system on FANUC robot 6.2 Sensitivity Analysis of Computer Vision System for Visual Control of Butt Joints Weld Defects

Аннотация результатов, полученных в 2023 году
На втором этапе в 2023 году запланирован анализ полученных на первом этапе данных о дефектах сварных швов методами машинного обучения с применением нейросетевых технологий. За второй год были выполнены следующие работы: 1. Выполнена экспертная оценка наличия дефектов на каждом изображении, которая заключалась в следующем: каждым экспертом были отсмотрены и отсортированы фотографии, по наличию и отсутствию искомых поверхностных дефектов. Изображения были разделены по профилям непосредственно от лазера и от черно-белого профиля, полученного от системы 3DL. 2. Разметка положения и наличия дефектов на изображениях выполнялась с помощью экспертной оценки специалистов и инструментов разметки Roboflow; была проведена разметка изображений с классами «дефектный шов», и «нулевой», который обозначает отсутствие какого-либо дефекта. Качество работы модели оцениваются по средним значениям accuracy, precision and recall. 3. Первый набор размеченных данных (изображений 3DL), полученный с помощью лазерного сканирования системой iRVision образцов, составил 445 изображения шва без дефектов и 148 изображений шва с дефектами. Всего 593 изображений 3DL. Второй набор размеченных данных (изображений лазера), полученный с помощью лазерного сканирования системой iRVision образцов, составил 494 изображения без дефектов. Количество изображений с дефектами сварки в поперечном сечении составило 113 изображений размером 640x480 пикселей. Исходный размер всех изображений был приведен к размеру 416x416. Всего 607 изображений лазера. 4. Для подбора топологии искусственной нейронной сети на основе результатов численных экспериментов был выбран метод снижения размерности входных данных, основывающийся на информации о положении камеры на роботе относительно поверхности сварного соединения. На основе этой информации исходное изображение складывалось в одномерный вектор таким образом, чтобы каждое значение в полученном векторе соответствовало сумме значений нечерных пикселей, параллельных боковой диагонали в исходном двумерном векторе. Для контроля качества обучения модели использовалась 5- блочная валидация. 5. Для обучения модели на данных изображений 3DL Для большей эффективности и достижения стабильной работы алгоритма было выбрано 200 эпох для обучения, однако во время обучения алгоритм был остановлен автоматически на 173 эпохе. Критерием обучения было уменьшение значения функции потерь более, чем на 0.01, что было задано в параметрах обучения. Для обучения модели на данных изображений лазера процесс обучения длился 353 эпохи. На данной эпохе алгоритм сам остановился, так как дальнейшего обучения в течение 100 эпох не происходило. Критерием обучения было уменьшение значения функции потерь более, чем на 0.01, что было задано в параметрах обучения. При этом изначально было задано 500 эпох. 6. Результаты сравнительной оценки точности моделей. Модели на основе одномерных сверток имеют преимущество по метрике Precision, это означает, что найденные ими изображения с классом «дефект» действительно будут с дефектом, но вероятность пропустить дефект будет выше, чем у моделей YOLOv5. И наоборот, модели на основе архитектуры YOLOv5 с большей вероятностью выявят большее количество изображений с дефектом среди всех изображений, но найденные «дефектные» изображения возможно и не будут иметь дефекта, что означает перебраковку. Поскольку мы имеем дело с дефектами, то нашей задачей являлось получения значений по метрике recall приближенное к 1.0, даже в ущерб общей точности. Поскольку пропущенный дефект принесет больше ущерба, чем дополнительный контроль в местах, где реально нет дефектов. 7. Отбор финальных версий топологий моделей осуществлялся на основе оценки качества работы всех полученных нейронных сетей. При использовании системы изображений 3DL: – для выявления наибольшего количества дефектов сварных швов необходимо использовать модель на основе архитектуры YOLO, где значение по метрике охвата было наибольшим – 0,94 Recall с точностью 0,68 Presicion; – для выявления количества дефектов сварных швов наиболее с наименьшей «перебраковкой» необходимо использовать модель на основе архитектуры одномерных сверток, где значение по метрике точности было наибольшим – 1,0 и охватом 0,91. При использовании системы изображений лазера: – для выявления наибольшего количества дефектов сварных швов необходимо использовать модель на основе архитектуры YOLO, где значение по метрике охвата было наибольшим – 0,92 Recall с точностью 0,86 Presicion; – для выявления количества дефектов сварных швов наиболее с наименьшей «перебраковкой» необходимо использовать модель на основе архитектуры одномерных сверток, где значение по метрике точности было наибольшим – 0,90 Presicion и охватом 0,81 Recall . Сведения о достигнутых конкретных научных результатах в отчетном периоде 1. Собран уникальный набор данных дефектов сварки для обучения нейронных сетей. Из общего набора собранных с помощью системы компьютерного зрения iRVision на предыдущем этапе из 45000 изображений группой экспертов на основании выбора наилучшего угла наклона камеры сварочного робота для анализа дефектов было отобрано 593 изображений 3DL (445 изображения шва без дефектов и 148 изображений шва с дефектами) и 607 изображений лазера (494 изображения шва без дефектов и 113 изображений шва с дефектами). 2. Для применения на системах компьютерного зрения в целях обнаружения поверхностных дефектов стыковых сварных соединений после роботизированной сварки были разработаны и оценены на тестовом наборе данных две различных топологий нейронных сетей. Каждая, из которых потребовала своей разметки набора данных: 2.1 Разработана модель на основе одномерных свёрток. 2.1.1 Проведена разметка собранных на предыдущем этапе данных для решения задачи классификации с помощью искусственных нейронных сетей прямого распространения. Разметка была осуществлена группой экспертов. Каждому изображению была поставлена метка 0 – нет дефекта или 1 – дефект есть. 2.1.2 Разработан алгоритм предварительной обработки данных, позволяющего выделить область дефекта и преобразовать её в одномерный массив точек. 2.1.3 Разработана топология искусственной нейронной сети прямого распространения на основе слоёв одномерных свёрток. Качество работы искусственной нейронной сети на тестовом наборе данных: Accuracy 0.99, Precision 1.0, Recall 0.92. Образцы, которые мы не можем обнаружить, относятся к пограничным областям между дефектом и нормальной поверхностью сварного соединения. Поскольку мы сканируем поверхность сварного соединения с шагом 0,5 мм, полученная модель сможет обнаружить дефект, даже если он отсутствует на одном изображении. 2.2 Апробирована модель, основанная на улучшенной архитектуре YOLOv5 2.2.1 Произведена дополнительная разметка набора данных для однопроходного детектора на основе топологии YOLOv5. На каждом изображении группой экспертов была выделена область дефекта. 2.2.2 Качество работы искусственной нейронной сети на тестовом наборе данных: Accuracy 0.87, Precision 0.68, Recall 0.94 и с заданным значением Confidence threshold 0.19. 3. Доказана применимость нейросетевого подхода к задаче обнаружения сварных дефектов с помощью лазерного сканирования и системы компьютерного зрения. Внедрение разработанных моделей позволит повысить выявляемость поверхностных дефектов визуального контроля. Обе модели нейронных сетей обучались для получения наилучшего значения метрики recall даже в ущерб общей точности, поскольку пропуск дефекта намного хуже, чем ложное срабатывание. 8. На основе полученных результатов был разработан веб-сервис для локального развёртывания на основе технологии Docker, включающий в себя обученную нейронную сеть и алгоритм предварительной обработки изображений, для классификации дефектов сварных соединений и дополнительные файлы, необходимые для монтажа и запуска Docker-образа (https://github.com/Cherkasovnd/iRVision). Уникальный размеченный набор данных для обучения нейронных сетей можно скачать по ссылке: https://disk.yandex.ru/d/sNQX5vzALsIFSg