Исследование методов визуальной навигации, локализации и управления автономными подводными роботами с идентификацией и пространственной реконструкцией подводных объектов по видео– и гидролокационной информации в задачах инспекции объектов донной промышленной инфраструктуры

КАРТОЧКА ПРОЕКТА ФУНДАМЕНТАЛЬНЫХ И ПОИСКОВЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ

Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.

ОБЩИЕ СВЕДЕНИЯ

Номер проекта 22-11-00032

НазваниеИсследование методов визуальной навигации, локализации и управления автономными подводными роботами с идентификацией и пространственной реконструкцией подводных объектов по видео– и гидролокационной информации в задачах инспекции объектов донной промышленной инфраструктуры

Руководитель Бобков Валерий Александрович, Доктор технических наук

Организация финансирования, регион Федеральное государственное бюджетное учреждение науки Институт автоматики и процессов управления Дальневосточного отделения Российской академии наук , Приморский край

Конкурс №68 - Конкурс 2022 года «Проведение фундаментальных научных исследований и поисковых научных исследований отдельными научными группами»

Область знания, основной код классификатора 01 - Математика, информатика и науки о системах; 01-520 - Интеллектуальные технологии для робототехнических и мехатронных систем

Ключевые слова компьютерное зрение, автономный необитаемый подводный аппарат-робот (АНПА), инспекция подводных объектов, стереоизображения, гидроакустические изображения, визуальная навигация, распознавание и классификация объектов, планирование перемещений робота, 3D реконструкция по изображениям

Код ГРНТИ28.23.27, 28.23.15

ИНФОРМАЦИЯ ИЗ ЗАЯВКИ

Аннотация
Проект направлен на решение фундаментальной в компьютерном зрении проблемы восстановления структуры из движения SfM (Structure from Motion) и распознавания/идентификации объектов с расчетом движения автономного робота в координатном пространстве объекта. В робототехнике проблема известна как SLAM (Simultaneous Localization and Mapping) - метод ее решения позволяет строить карту местности и управлять движением автономного робота в условиях априори неизвестной среды. Исследования по указанной проблеме рассматриваются в проекте в контексте решения актуальной задачи инспекции объектов подводной инфраструктуры с помощью автономных необитаемых подводных аппаратов-роботов (АНПА) на основе обработки видео- и гидролокационных данных. Развитие подводной промышленной инфраструктуры, включая подводные добычные комплексы, газовые и нефтяные трубопроводы и др., требует регулярной проверки их состояния, как в плане поддержания функциональности, так и в плане мониторинга и предотвращения загрязнения среды. В задачи инспекции входит, в частности, фиксация состояния объектов подводной инфраструктуры, а также построение прецизионной 3D-модели обследуемых объектов. Традиционно для этих целей используются телеуправляемые подводные аппараты или различные измерительные устройства, опускаемые с борта обеспечивающих судов. Применение автономных необитаемых подводных аппаратов-роботов позволит экономить существенные средства за счёт сокращения сроков проведения работ, а также размеров привлекаемых для этих целей людских и материальных ресурсов (уменьшение срока аренды и тоннажа обеспечивающих судов). Кроме того, АНПА имеет неоспоримые преимущества при работе подо льдом, что особенно актуально при освоении шельфовой зоны Северного ледовитого океана. Инспекция подводных объектов локального и протяженного характера с применением АНПА включает предварительный и прецизионный этапы. Первый этап предполагает обнаружение объекта на фоне морского дна, его предварительную классификацию и сближение с объектом. Обычно для этих целей используются дальнодействующие (гидролокационные) средства обнаружения. Для решения задачи первого этапа должны быть разработаны алгоритмы распознавания и классификации донных объектов на акустических изображениях, получаемых от гидролокаторов бокового и секторного обзора, батиметрических гидролокаторов и многолучевых эхолокационных систем. Решение задачи распознавания объектов (в том числе малоразмерных) на гидроакустических снимках морского дна планируется осуществлять с использованием методов, связанных с классификацией образов, иерархическим группированием и разбиением множества объектов на классы. Для идентификации заранее неизвестного количества малоразмерных объектов на акустическом изображении предполагается использовать методы и алгоритмы анализа структуры многомерных данных. При этом возможно применение процедур объединения или разделения кластеров («акустических пикселей» эхограммы). Для решения задачи кластеризации необходимо: исследовать вопрос о выборе пространства признаков, определиться с метрикой данного пространства, ввести меру близости (например, «расстояние ближайшего соседа» или «расстояние центров масс») и разработать алгоритм последовательного объединения кластеров в группы с учетом специфики акустического изображения (в частности, последовательное появления эхограммы «строчка-за-строчкой»). Кроме того, планируется ряд экспериментов по использованию сверточных нейронных сетей для решения задачи классификации образов. Новизна методов для решения задач первого этапа заключается в разработке эффективных алгоритмов распознавания подводных объектов в реальном времени и в способе применения данных алгоритмов к построчно формирующимся гидролокационным изображениям. На втором этапе инспекции требуется прецизионная навигация АНПА по отношению к исследуемым объектам, что не всегда обеспечивается средствами гидролокации, но потенциально может быть достигнуто за счет обработки поступающей видеоинформации. Для расчета точного движения АНПА относительно объектов по стереоизображениям в проекте планируется решение задач распознавания / идентификации объектов на снимках, прослеживания протяженных объектов и точной координатной привязки АНПА к локальным подводным объектам. С использованием получаемых результатов визуальной навигации будут разработаны адаптивные методы управления движением АНПА. Также будет решаться сопутствующая задача 3D реконструкции инспектируемых объектов по изображениям на основе интеграции реконструируемых видов в воксельном пространстве. Для решения задачи распознавания и трекинга протяженных линейных объектов с помощью АНПА предлагается оригинальный подход, основанный на применении методов компьютерного зрения и обработки комплексной сенсорной информации, отличительными чертами которого являются: • применение метода визуальной навигации; • распознавание линейного объекта (трубопровод и др.) на основе: а) сопоставления точечных и линейных особенностей на снимках стереопары с применением эпиполярных ограничений), б) выделения контуров на снимках алгоритмом «голосования»; в) обработки комплексной информации, включающей наряду с видеоданными измерения сенсоров другого типа; • расчет необходимых для управления движением АНПА параметров его пространственного положения относительно трубопровода на основе 3D информации, извлекаемой из снимков. Новизна предлагаемого подхода к решению задачи координатной привязки АНПА к пространственно распределенному комплексу подводных объектов на основе обработки изображений (направленного на повышение навигационной точности АНПА при выполнении инспекционной миссии) заключается в: • способе автоматического формирования геометрической модели объекта, используемой при его идентификации; • применении принципа структурной когерентности в методе распознавания / идентификации подводных объектов; • разработке модели подводного объекта с использованием геометрических макропримитивов, упрощающей сопоставление получаемых из 3D облака данных с моделью и снижающей вычислительные затраты. Предлагается модификация метода визуальной навигации АНПА за счет использовании виртуальной сети координатной привязки для повышения точности локализации АНПА в координатном пространстве инспектируемого объекта. Для оценки эффективности, сокращения сроков разработки и внедрения полученных результатов в процессе реализации проекта предполагается использование ранее созданного моделирующего комплекса, интегрированного с системой управления реальных АНПА (проект РФФИ 16-07-00350 «Моделирующий программный комплекс для автономных подводных роботов обследовательского класса с реализацией распределенных параллельных вычислений»). На заключительном этапе проекта предполагается проведение серии натурных экспериментов с использованием действующих образцов АНПА. Коллективом исполнителей проекта уже накоплен опыт и разработана материальная и методологическая база для успешного создания нового подхода к решению указанной проблемы. Ряд членов коллектива имеет также опыт разработки и эксплуатации действующих АНПА.

ОТЧЁТНЫЕ МАТЕРИАЛЫ

Публикации

1. Бобков В.А., Кудряшов А.П., Инзарцев А.В. A Technique to Navigate Autonomous Underwater Vehicles Using a Virtual Coordinate Reference Network during Inspection of Industrial Subsea Structures Remote Sensing, V. 14. Issue 20. 5123 (год публикации - 2022)
10.3390/rs14205123

2. Бобков В.А., Кудряшов А.П., Инзарцев А.В. Object Recognition and Coordinate Referencing of an Autonomous Underwater Vehicle to Objects via Video Stream Programming and Computer Software, V. 48. № 5. P. 301–311 (год публикации - 2022)
10.1134/S036176822050024

3. Абрамов В.А., Кудряшов А.П. Визуальный метод обнаружения трубопровода автономным подводным аппаратом с помощью стереокамеры Информационные технологии, Т. 28. № 10. С. 539-545 (год публикации - 2022)
10.17587/issn.1684-6400

4. Павин А.М., Шилин К.Д. Моделирование сигнала гидролокационных систем с веерообразной диаграммой направленности приемной антенны Подводные исследования и робототехника, №. 2 (40). С. 19–28 (год публикации - 2022)
10.37102/1992-4429_2022_40_02_03

Публикации

1. Бобков В., Шупикова А., Инзарцев А. Recognition and Tracking of an Underwater Pipeline from Stereo Images during AUV-Based Inspection Marine science and engineering, 11(10), 2002 (год публикации - 2023)
10.3390/jmse11102002

2. Бобков В. А., Морозов М. А., Кудряшов А. П., Инзарцев А. В. Инспекция корпуса судна с использованием автономного подводного робота, оснащенного стереофотокамерой Мехатроника, автоматизация, управление, Т. 24. № 4. С. 206-215 (год публикации - 2023)
10.17587/mau.24.206-215

3. Кудряшов А. П. Визуальная навигация для обследования промышленных подводных сооружений с использованием виртуальной координатной сети Сборник трудов 33-я Международная конференция по компьютерной графике и машинному зрению GraphiCon2023, С. 549-556 (год публикации - 2023)
10.20948/graphicon-2023-549-556

4. Багницкий А.В., Инзарцев А.В., Панин М.А. Алгоритмическое обеспечение работы АНПА подо льдом в приполярных районах Морские интеллектуальные технологии, № 3 часть 1. С. 98—109 (год публикации - 2023)
10.37220/MIT.2023.61.3.011

5. Павин А.М, Ходоренко М.С. Автоматическое выравнивание яркости эхограмм гидролокатора бокового обзора Морские интеллектуальные технологии, № 4 часть 1, С. 153—160 (год публикации - 2023)
10.37220/MIT.2023.62.4.019

6. Павин А., Шилин К. Side-scan sonar images modeling for recognition algorithms development and neural networks training AIP Conference Proceedings 13 October 2023, V. 2910, Issue 1 (год публикации - 2023)
10.1063/5.0175250

7. Павин А., Ходоренко М. Automatic brightness correction method for side scan sonar echograms Proceedings of the 2022 International Conference on Ocean Studies (ICOS-2022), 05-07 October, 2022, Vladivostok, Russia, p. 91-95 (год публикации - 2023)
10.1109/ICOS55803.2022.10033413

8. Инзарцев А., Багницкий А., Панин М. Algorithms of the AUV control system for operation under the lower ice edge Proceedings of the 2022 International Conference on Ocean Studies (ICOS-2022), 05-07 October, 2022, Vladivostok, Russia, p. 11-14 (год публикации - 2023)
10.1109/ICOS55803.2022.10033351

Аннотация результатов, полученных в 2024 году
В 2024 году завершена разработка заявленных в Проекте методов, алгоритмов, моделей и методик решения задач инспекции объектов донной промышленной инфраструктуры по видео– и гидролокационной информации с использованием автономных подводных роботов. Получены следующие научные результаты: 1. Методы распознавания и слежения за ТП с использованием АПР по стереовидеопотоку (применительно к режимам локального распознавания и слежения за ТП): • три альтернативных метода локального распознавания (в начальный момент инспекции) ТП по стереоизображениям (метод с выделением видимых границ ТП на изображениях и с сопоставлением 3D точечных особенностей; метод касательных плоскостей (с проецированием видимых границ ТП на фокальную плоскость); метод с выделением медианных плоскостей ТП на изображениях стереопары). В качестве сравнительных оценок рассматривались точность навигации и вычислительная трудоемкость. Результаты экспериментов показали оптимальность метода касательных плоскостей; • для ускорения этапа выделения видимых границ на изображениях была предложена модификация алгоритма Хафа, которая в среднем на порядок сократила вычислительную трудоемкость в сравнении с классической реализацией алгоритма Хафа; • оригинальный метод слежения за ТП, основанный на поиске и вычислении осевой линии ТП с применением критерия достоверности проверяемых решений. Реализованы две модификации метода с разными критериями достоверности – соответствие вычисленных границ ТП границам на векторизованных изображениях, и критерий принадлежности 3D точек цилиндрической поверхности ТП; • методика вычисления пространственном положении АПР относительно прослеживаемого ТП (значения параметров положения передаются системе управления АПР). 2. Метод распознавания объектов подводных добычных комплексов (ПДК) и координатной привязки к ним АПР, основанный на обработке стереоизображений. Его отличительными особенностями являются: использование предложенной методики формирования геометрической модели объекта по его видам (ракурсам), полученным с позиций предварительно полученной обзорной траектории; использование разного типа характерных геометрических элементов (ХГЭ) (точки, отрезки, углы) при распознавании объектов; оригинальные алгоритмы сопоставления визуальных данных рабочей траектории осмотра объектов с априорной моделью объекта. Эксперименты с модельными и реальными данными показали преимущество использования нескольких видов обзорной траектории в сравнении с использованием одного вида при вычислении координатной привязки АПР к объекту ПДК. 3. Разработан метод 3D реконструкции объектов ПДК, основанный на использовании множеств распознанных ХГЭ, получаемых в результате обработки стереоизображений. 4. Алгоритмы и модель поведения АПР при обнаружении и последующем отслеживании ТП на базе методов, представленных в п.1. Алгоритмы используются для организации движения АПР вдоль ТП на требуемом отстоянии. При этом учитывается, что ТП может быть частично скрыт грунтом или находиться на некотором расстоянии от дна. Результаты модельных экспериментов подтверждают возможность устойчивого движения АПР вдоль обследуемого ТП для различных вариантов прокладки ТП. 5. Алгоритмы и модель поведения АПР во время инспекции подводных промышленных объектов с использованием методики видеораспознавания ХГЭ на обследуемом оборудовании (см. п. 2), которые предварительно определяются на моделях объектов, и метода визуальной навигации. Процедура инспекции состоит из этапов спецификации задания для АПР (включая загрузку описаний ХГЭ), сближения с объектами инспекции, определения последовательности осмотра объектов, выполнения процедуры поиска ХГЭ и навигационной привязки к ним, и последующей инспекции заданных фрагментов оборудования. Предусмотрено динамическое изменение плана инспекции в случае неудачи при обнаружении каких-либо ХГЭ. Модельные эксперименты показали работоспособность алгоритмов для различных конфигураций обследуемого оборудования. 6. Метод обследования ТП с использованием данных гидролокационных средств АПР, основанный на коррекции траектории подводного робота относительно проектных координат трубопровода. Коррекция производится в результате распознавания ТП на снимках ГБО с применением специальной архитектуры сегментационной нейронной сети. Нейронная сеть, обученная на смеси модельной и реальной выборок с изображением ТП, показала выигрыш в производительности, размере и эффективности в сравнении с известными реализациями (Xception U-Net и Segformer B0). Результаты экспериментов по обнаружению ТП позволяют сделать выводы о возможности применения разработки в составе ИУС АПР. 7. Результаты с анализом и оценками эффективности предложенных решений на данных натурных экспериментов: • прослеживание ТП в реальных морских условиях с использованием АПР ММТ-3500, оснащенного штатным навигационным оборудованием и монофотокамерой: а) с получением и обработкой гидролокационных изображений ТП; б) с получением и обработкой видеопотока моноизображений. Метод слежения был адаптирован к обработке моноизображений; • применительно к задаче координатной привязки и расчета движения АПР в координатном пространстве объекта ПДК был проведен эксперимент в условиях, приближенных к реальной подводной миссии: установка на морском дне макета подводного объекта; фотосъемка камерой (Karmin2 (Nerian’s 3D Stereo Camera 25 см) из нескольких позиций обзорной траектории, и из позиции рабочей траектории; вычисление матрицы перехода из системы координат (СК) данного вида в собственную СК объекта. 8. Проведены полномасштабные эксперименты по моделированию работы предложенных в проекте методов /алгоритмов / методик / прототипных программных средств визуальной навигации, распознавания, локализации и управления АПР для решения задач инспекции подводных объектов (применительно к ТП и к распределенным ПДК). Моделирование осуществлялось в среде программного моделирующего комплекса (авторская разработка). Проведенный анализ результатов экспериментов на модельных и реальных данных подтвердил эффективность предложенных в проекте методов, алгоритмов, программных средств и перспективность их применения в задачах инспекции объектов ПДК. url -адрес: https://rutube.ru/video/private/76e136d4e31739c46ff4f816f947dcf8/?r=wd&p=XmbQer9Th8s3RRhOJGNvHQ – Моделирование распознавания и прослеживания ТП по стереоизображениям с использованием АПР и разработанного «метода слежения».

Публикации

1. Бобков В.А., Морозов М.А., Инзарцев А.В., Панин М.А., Елисеенко Г.Д. Выполнение инспекции подводных трубопроводов с помощью АНПА на базе информации от бортовой стереофотокамеры Морские интеллектуальные технологии, № 4 часть 1, С. 248—258 (год публикации - 2024)
10.37220/MIT.2024.66.4.030

2. Кудряшов А.П. Повышение точности визуальной навигации автономных необитаемых подводных аппаратов АВТОМАТИЗАЦИЯ В ПРОМЫШЛЕННОСТИ, № 01. С. 41-44 (год публикации - 2024)
10.25728/avtprom.2024.01.10

3. Бобков В.А., Кудряшов А.П. Method for Recognition and Coordinate Reference of Autonomous Underwater Vehicles to Inspected Objects of Industrial Subsea Structures Using Stereo Images Marine Science and Engineering, 12(9), 1514 (год публикации - 2024)
10.3390/jmse12091514

4. Бобков В.А., Шупикова А.А. Метод слежения за подводным трубопроводом по стереоизображениям с использованием автономного подводного аппарата ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ, №10. Том 30. C. 528-536 (год публикации - 2024)
10.17587/ it .30.528-536

5. Бобков В.А., Морозов М.А., Шупикова А.А. Алгоритм распознавания подводного трубопровода по стереоизображениям Информационные технологии, №12. Том 29. С. 639–649 (год публикации - 2023)
10.17587/ it .29.639-649

6. Бобков В.А., Шупикова А.А., Инзарцев А.В. A Method for Underwater Pipeline Tracking from Stereo Images Proceedings of the 2024 International Conference on Ocean Studies (ICOS-2024), p. 157-162 (год публикации - 2024)

7. Шилин К., Павин А. Light Neural Network for Pipeline Segmentation on a Side-Scan Sonar Images Proceedings of the 2024 International Conference on Ocean Studies (ICOS-2024), p. 49-52 (год публикации - 2024)

8. Бобков В.А., Морозов М.А., Инзарцев А.В., Панин М. AUV Inspection of Subsea Pipelines Using Information from an Onboard Stereo Camera Proceedings of the 2024 International Conference on Ocean Studies (ICOS-2024), p. 71-75 (год публикации - 2024)

9. Бобков В.А., Кудряшов А.П. Координатная привязка автономного подводного аппарата к объектам подводного добычного комплекса по стереоизображениям GraphiCon2024. Материалы 34-й Международной конференции по компьютерной графике и машинному зрению. Омск, 2024., C. 467-475 (год публикации - 2024)
10.25206/978-5-8149-3873-2-2024-467-475

10. Павин А.М., Шилин К.Д. Сегментационная нейронная сеть для обнаружения трубопроводов на эхограммах гидролокатора бокового обзора Морские интеллектуальные технологии, № 4 часть 1, С. 277—284 (год публикации - 2024)
10.37220/MIT.2024.66.4.033

Возможность практического использования результатов
Потенциальными потребителями АПР, способных выполнять инспекционные работы, являются: • предприятия нефтегазовой отрасли, осуществляющие добычу сырья в морской зоне (периодическая автоматическая инспекция состояния донных трубопроводов и сооружений, обнаружение потенциально опасных искусственных объектов вблизи трубопроводов); • спасательные и поисковые команды (поиск и обнаружение затонувших малоразмерных объектов на морском дне); • организации, осуществляющие разведку подводных месторождений; • научные центры, проводящие разноплановые исследования Мирового океана; • силовые структуры (автоматизация противоминных операций, патрулирование и мониторинг водных акваторий).