Разработка математических моделей, технологий дополненной реальности и машинного зрения для задач автоматизации сбора данных в рыбоводных хозяйствах

КАРТОЧКА ПРОЕКТА ФУНДАМЕНТАЛЬНЫХ И ПОИСКОВЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ

Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.

ОБЩИЕ СВЕДЕНИЯ

Номер проекта 23-21-00010

НазваниеРазработка математических моделей, технологий дополненной реальности и машинного зрения для задач автоматизации сбора данных в рыбоводных хозяйствах

Руководитель Ражев Алексей Олегович, Кандидат технических наук

Организация финансирования, регион ОБЩЕСТВО С ОГРАНИЧЕННОЙ ОТВЕТСТВЕННОСТЬЮ "ЛАБОРАТОРИЯ ЦИФРОВЫХ ТЕХНОЛОГИЙ" , Калининградская обл

Конкурс №78 - Конкурс 2022 года «Проведение фундаментальных научных исследований и поисковых научных исследований малыми отдельными научными группами»

Область знания, основной код классификатора 01 - Математика, информатика и науки о системах; 01-202 - Интеллектуальный анализ данных и распознавание образов

Ключевые слова математическая модель, машинное зрение, дополненная реальность, искусственный интеллект, автоматизация, механика, гидродинамика, аквакультура

Код ГРНТИ50.53.17

ИНФОРМАЦИЯ ИЗ ЗАЯВКИ

Аннотация
Отсутствие технологий машинного зрения с последующим интеллектуальным анализом полученных данных с применением математических моделей, описывающих механику и гидродинамику живых систем (гидробионтов) в водной среде, автоматизации сбора статистики с последующей визуализацией характеристик гидробионтов с применением технологий дополненной реальности является научной проблемой, на решение которой направлено настоящее исследование. Применение цифровых технологий для задач моделирования механики гидробионтов в сочетании с технологиями машинного зрения актуально, позволит оптимизировать технологические процессы, увеличить продуктивность бассейнов УЗВ и сократить расходы. В ходе проведенного анализа ранее выполненных исследований выявлено, что на сегодняшний день отсутствуют методы комплексного описания механики гидробионтов с применением математического аппарата, информационных технологий, технологий виртуальной и дополненной реальности и машинного зрения с учетом абиотических факторов окружающей среды, в том числе в рыбоводных хозяйствах. В результате предлагаемого исследования будут получены: математические и имитационные модели, описывающие механику гидробионтов в технических средствах аквакультуры с учетом их реакции на воздействие абиотических и биотических факторов, оптимизированные для применения в многоядерных и гетерогенных вычислительных системах; методы мультифизического подобия рыбоводных ферм для проведения экспериментов на предмет выявления связей между поведенческими характеристиками гидробионтов, их размерными характеристиками и параметрами рыбоводных ферм; технология машинного распознавания движущихся объектов (гидробионтов) в водной среде, определения их пространственно-временных характеристик (формы, положения и ориентации в пространстве в динамике) с применением технических средств трехмерной регистрации во времени (стереовидеосъемки, акустической съемки), семантической сегментации регистрирующих данных; имитационные модели, вычисляющие механические характеристики и видовые признаки гидробионта и их скоплений по траекториям движения; компьютерные программы сбора и анализа данных. Применение технологий дополненной реальности позволит наложить на наблюдаемые в натуре скопления гидробионтов их числовые характеристики (вид, размеры, массу) в режиме реального времени с детализацией до особи. Собранные данные, включая траектории движения (с временными маркерами) будут накапливаться в базе данных с возможностью их дальнейшего извлечения по заданным критериям отбора как с целью дальнейшего изучения их поведения, так и для целей сбора статистики по рыбоводной ферме, их анализа при автоматизации процесса выращивания, в том числе средствами искусственного интеллекта. Данные, накопленным в базе данных, в дальнейшем можно будет использовать при разработке систем имитации (тренажерных комплексах) поведения гидробионтов как в ограниченной (садки аквакультуры) и искусственной (установки замкнутого водоснабжения) среде обитания, так и в естественных водоемах. Результаты научного исследования будут внедрены в разрабатываемую ООО "ЛЦТ" систему автоматизированного проектирования орудий промышленного рыболовства и средств аквакультуры.

ОТЧЁТНЫЕ МАТЕРИАЛЫ

Публикации

1. Недоступ А.А., Ражев А.О., Багрова А.А., Васильев Д.Е. Theory of multiphysical similarity of hydrobionts Vestnik of Astrakhan State Technical University. Series: Fishing industry, No 3. С. 19–27 (год публикации - 2023)
10.24143/2073-5529-2023-3-19-2

2. Недоступ А.А., Ражев А.О. Постановка задач разработки математических и имитационных моделей, описывающих механику гидробионтов в УЗВ с учетом различных мультифизических факторов Состояние и перспективы развития агропромышленного комплекса : сборник научных трудов ХVI Международной научно-практической конференции в рамках XXVI Агропромышленного форума юга России и выставки «Интерагромаш» и «Агротехнологии», С. 212-215 (год публикации - 2023)
10.23947/interagro.2023.212-215

3. Недоступ А.А., Ражев А.О. Автоматизация расчета масштабов и критериев мультифизического подобия для задач аквакультуры Актуальные проблемы прикладной биотехнологии и инженерии [Электронный ресурс]: сборник материалов Международной научно-практической конференции, С. 184-187 (год публикации - 2023)

4. Ражев А.О., Недоступ А.А., Багрова А.А. Компьютерная природоподобная имитация механики рыб в искусственной среде обитания Сборник статей XI Международного Балтийского морского форума (25-30 сентября 2023 г.) (год публикации - 2023)

5. Недоступ А.А., Ражев А.О., Багрова А.А., Васильев Д.Е. К теории мультифизического подобия гидробионтов. Часть I Природные ресурсы, их современное состояние, охрана, промысловое и техническое использование : материалы XIV Национальной (всероссийской) научно-практической конференции (21–22 марта 2023 г.) [Электронный ресурс], 76-78 (год публикации - 2023)

6. Ражев А.О., Недоступ А.А. Визуализация гидробионта в процессе движения с учетом изменения его формы Математические методы в технологиях и технике, № 9. С. 92-97 (год публикации - 2023)
10.52348/2712-8873_MMTT_2023_9_92

7. Ражев А.О., Недоступ А.А. Моделирование поведения рыб в ограниченном пространстве Морские интеллектуальные технологии, № 4 часть 1, С. 277—284 (год публикации - 2023)
10.37220/MIT.2023.62.4.033

8. Ражев А.О., Недоступ А.А. Моделирование биомеханики гидробионтов в технических средствах аквакультуры на гетерогенной вычислительной системе Рациональная эксплуатация водных биологических ресурсов : материалы Междунар. науч.-техн. конф., С. 286-293 (год публикации - 2023)

9. Недоступ А.А., Ражев А.О. Правила мультифизического подобия биомеханики гидробионтов Состояние и перспективы развития агропромышленного комплекса : сборник научных трудов ХVI Международной научно-практической конференции в рамках XXVI Агропромышленного форума юга России и выставки «Интерагромаш» и «Агротехнологии», С.216-218 (год публикации - 2023)
10.23947/interagro.2023.216-218

10. Недоступ А.А., Ражев А.О., Багрова А.А., Васильев Д.Е. К теории мультифизического подобия гидробионтов. Часть II Природные ресурсы, их современное состояние, охрана, промысловое и техническое использование : материалы XIV Национальной (всероссийской) научно-практической конференции (21–22 марта 2023 г.) [Электронный ресурс], С. 79-82 (год публикации - 2023)

11. Ражев А.О., Недоступ А.А. Применение технологий машинного зрения для выращивания гидробионтов в установке замкнутого водоснабжения Будущее аквакультуры. Прогрессивные биотехнологии: материалы международной научно-практической конференции, 2 февраля 2024 г., С. 149—153 (год публикации - 2024)

12. Недоступ А.А., Ражев А.О., Суконнов Д.В. Мультифизическое подобие в замкнутой системе «УЗВ - гидробионт» Научные труды Дальрыбвтуза, Т. 68, № 2. С. 111–120 (год публикации - 2024)
10.48612/dalrybvtuz/2024-68-12

13. Ражев А.О., Недоступ А.А. Разработка математической модели, технологии дополненной реальности и машинного зрения для задач автоматизации сбора данных в рыбоводных хозяйствах Морские интеллектуальные технологии, № 4 часть 1, С. 340—349 (год публикации - 2024)
10.37220/MIT.2024.66.4.041

14. Недоступ А.А., Ражев А.О., Кондрашов Л.А., Суконнов Д.В. Экспериментальные исследования карпа (Cyprinus Carpio L.) в установке замкнутого водоснабжения Материалы XII Международного балтийского морского форума: Т. 3: Водные биоресурсы, аквакультура и экология водоемов, XII Национальная научная конференция, 2 октября 2024 г., С. 117—123 (год публикации - 2024)

15. Ражев А.О., Недоступ А.А. Определение параметров математической модели поведения гидробионтов в установке замкнутого водоснабжения с применением технологий машинного зрения Материалы XII Международного балтийского морского форума: Т. 6: Цифровые технологии в отраслевых и смежных областях, III Национальная научная конференция, 4 октября 2024 г., Т. 6, С. 153-161 (год публикации - 2024)

16. Ражев А.О., Недоступ А.А. Метод определения поведенческих характеристик стаи рыб с применением технологий математического моделирования и искусственного интеллекта Морские интеллектуальные технологии, № 4 часть 1, С. 331—339 (год публикации - 2024)
10.37220/MIT.2024.66.4.040

17. Ражев А.О., Недоступ А.А., Кондрашов Л.А. Деформация трехмерных моделей на ГПУ для задач виртуальной реальности на примере рыбы в УЗВ Научные труды Дальрыбвтуза, Т. 69, № 3. С. 183–195 (год публикации - 2024)
10.48612/dalrybvtuz/2024-69-18

Аннотация результатов, полученных в 2024 году
В процессе второго года работы над проектом разработана технология машинного распознавания гидробионтов в водной среде для автоматизации процессов выращивания в установках замкнутого водоснабжения (УЗВ) и соответствующая математическая база. Технология предполагает совместное применение семантической сегментации с использованием сверточной нейронной сети, предсказательной математической модели поведения гидробионтов и фильтра Калмана для наблюдения и оптимизации процессов рыбоводства. Поскольку в бассейне УЗВ находятся особи одного вида и возраста, поведение их в среднем одинаково. Поэтому можно считать, что у параметров есть математическое ожидание, одинаковое для всех особей, и дисперсия, характерная отдельной особи. При этом величина дисперсии для особи характеризует отклонение в ее поведении. Задачу выявления величин отклонения, а также определения математического ожидания поведенческих параметров гидробионтов решает разработанный корректор поведенческих параметров гидробионтов. Применение для определения параметров математической модели метода их коррекции на основании ошибки математической модели, полученной от фильтра Калмана, позволяет следить за изменением состояния гидробионтов по текущим их параметрам, выявлять отклонения в параметрах для единичных особей при их сравнении со средневзвешенными параметрами стада. С целью визуализации характеристик гидробионтов в УЗВ с пространственной привязкой к натурному объекту разработана технология, позволяющая на технических средствах дополненной реальности наложить на натурное изображение гидробионта, полученное при помощи видеокамеры, дополнительную текстовую информацию о массе и состоянии гидробионта. Разработанная технология позволяет использовать в качестве технического средства дополненной реальности обычного смартфона, что позволяет существенно удешевить систему. Поскольку при разработке ставилась задача оптимизации алгоритмов для многоядерных и гетерогенных вычислительных систем, разработанные алгоритмы и имитационные модели используют программные интерфейсы DirectCompute, DirectML и способны работать как на центральном, так и на различных графических процессорах. Разработаны алгоритмы слежения за движущимися объектами ByteTrack, корректора параметров поведенческой математической модели, основанный на генерации наборов измененных поведенческих параметров с последующим выбором наиболее подходящего набора. Генерация параметра происходит путем изменения его значения на случайную величину. Выбор из набора параметров происходит методом минимизации ошибки предсказания, вычисляемой фильтром Калмана на каждом временном шаге. При вычислении ошибки предсказания (ошибки моделирования) используется информация, полученная от системы распознавания гидробионтов. Проведен анализ результатов работы алгоритма коррекции параметров поведенческой математической модели гидробионтов в УЗВ. По результатам работы алгоритма коррекции были сняты скорректированные поведенческие параметры для каждой особи. Среднеквадратичное отклонение скорректированных поведенческих параметров особей составило 23 %, что приемлемо для задач рыбоводства. Проведен анализ существующих архитектур сверточных нейронных сетей для задач детектирования объектов и их сегментации применительно к гидробионтам в УЗВ. По результатам анализа были выбраны две архитектуры: YOLO и RetinaNet. Для выбранных архитектур в процессе обучения были получены модели формата ONNX. В качестве модели сверточной нейронной сети была использована модель формата ONNX, что позволяет использовать программные интерфейсы DirectML. Это способствует работе системы машинного зрения на широком спектре многоядерных и гетерогенных вычислительных систем с использованием как графических процессоров различных производителей, так и специализированных нейронных процессоров, не ограничиваясь технологией CUDA и оборудованием компании NVIDIA. Обучение сверточной нейронной сети проводилось на виртуальных моделях гидробионтов, видеозаписях с натурного бассейна и наборах выборок, находящихся в открытом доступе. При обучении были использованы архитектуры нейронных сетей YOLO и RetinaNet. Разработана программа для ЭВМ «Выращивание гидробионтов в искусственной среде обитания», предназначенная для имитации процесса выращивания гидробионтов в искусственной среде обитания, сбора и анализа данных в УЗВ с возможностью сохранения результатов в базу данных с последующей выборкой данных по заданным критериям отбора, формирования траекторий движения гидробионтов с устройств видео-захвата и с имитатора, загрузки различных моделей нейронной сети. Для апробации работы предсказательной математической модели и системы машинного зрения были проведены эксперименты в мобильной рыбоводной лаборатории Калининградского государственного технического университета c особями карпа (Cyprinus Carpio L.) двух возрастных групп. В качестве технических средств системы машинного зрения использовались видеокамера Hiseeu 4K 8MP PTZ WIFI IP и подводная видеокамера Lucky Seeker FL180AR. На основе данных с видеокамер программой для ЭВМ были получены траектории движения гидробионтов и плотность их распределения в объеме бассейна на часовом интервале. В результате анализа влияния различных компоновок устройств видеофиксации и их количества на итоговую погрешность результатов, полученных при помощи разработанной технологии, выяснилось, что количество устройств видеофиксации не сильно влияет на расчетные значения параметров гидробионтов. Применение только одной видеокамеры камеры позволяет свести задачу по их определению к двухмерной. Это связано с выбором параметров, одинаково оказывающих на динамику движения гидробионта в трех координатных измерениях. По результатам второго года исследования опубликованы 7 публикаций, из них 2 - Web of Science, 2 – в издании, индексируемом в CorssRef. Принято участие в 1 международной и 2-х национальных научных конференциях, тематика которых соответствует тематике проекта, с 3 докладами, два из которых - очно. Результаты исследования можно применять как в системах виртуальной реальности (тренажерных комплексах), так и на рыбоводных фермах для систем наблюдения с целью сбора статистики, предсказательного моделирования процессов рыбоводства, научных исследований в области автоматизации и информатизации процессов рыбоводства и технических средств аквакультуры. Результаты исследования внедрены в разрабатываемую ООО "ЛЦТ" систему автоматизированного проектирования орудий промышленного рыболовства и средств аквакультуры. Ссылка на сайт проекта - https://digitechlab.ru/aqua.html

Публикации