КАРТОЧКА
ПРОЕКТА ФУНДАМЕНТАЛЬНЫХ И ПОИСКОВЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ
Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.
ОБЩИЕ СВЕДЕНИЯ
Номер 23-21-00010
НазваниеРазработка математических моделей, технологий дополненной реальности и машинного зрения для задач автоматизации сбора данных в рыбоводных хозяйствах
РуководительРажев Алексей Олегович, Кандидат технических наук
Организация финансирования, регион ОБЩЕСТВО С ОГРАНИЧЕННОЙ ОТВЕТСТВЕННОСТЬЮ "ЛАБОРАТОРИЯ ЦИФРОВЫХ ТЕХНОЛОГИЙ", Калининградская обл
Период выполнения при поддержке РНФ | 2023 г. - 2024 г. |
Конкурс№78 - Конкурс 2022 года «Проведение фундаментальных научных исследований и поисковых научных исследований малыми отдельными научными группами».
Область знания, основной код классификатора 01 - Математика, информатика и науки о системах, 01-202 - Интеллектуальный анализ данных и распознавание образов
Ключевые словаматематическая модель, машинное зрение, дополненная реальность, искусственный интеллект, автоматизация, механика, гидродинамика, аквакультура
Код ГРНТИ50.53.17
ИНФОРМАЦИЯ ИЗ ЗАЯВКИ
Аннотация
Отсутствие технологий машинного зрения с последующим интеллектуальным анализом полученных данных с применением математических моделей, описывающих механику и гидродинамику живых систем (гидробионтов) в водной среде, автоматизации сбора статистики с последующей визуализацией характеристик гидробионтов с применением технологий дополненной реальности является научной проблемой, на решение которой направлено настоящее исследование. Применение цифровых технологий для задач моделирования механики гидробионтов в сочетании с технологиями машинного зрения актуально, позволит оптимизировать технологические процессы, увеличить продуктивность бассейнов УЗВ и сократить расходы. В ходе проведенного анализа ранее выполненных исследований выявлено, что на сегодняшний день отсутствуют методы комплексного описания механики гидробионтов с применением математического аппарата, информационных технологий, технологий виртуальной и дополненной реальности и машинного зрения с учетом абиотических факторов окружающей среды, в том числе в рыбоводных хозяйствах.
В результате предлагаемого исследования будут получены: математические и имитационные модели, описывающие механику гидробионтов в технических средствах аквакультуры с учетом их реакции на воздействие абиотических и биотических факторов, оптимизированные для применения в многоядерных и гетерогенных вычислительных системах; методы мультифизического подобия рыбоводных ферм для проведения экспериментов на предмет выявления связей между поведенческими характеристиками гидробионтов, их размерными характеристиками и параметрами рыбоводных ферм; технология машинного распознавания движущихся объектов (гидробионтов) в водной среде, определения их пространственно-временных характеристик (формы, положения и ориентации в пространстве в динамике) с применением технических средств трехмерной регистрации во времени (стереовидеосъемки, акустической съемки), семантической сегментации регистрирующих данных; имитационные модели, вычисляющие механические характеристики и видовые признаки гидробионта и их скоплений по траекториям движения; компьютерные программы сбора и анализа данных.
Применение технологий дополненной реальности позволит наложить на наблюдаемые в натуре скопления гидробионтов их числовые характеристики (вид, размеры, массу) в режиме реального времени с детализацией до особи. Собранные данные, включая траектории движения (с временными маркерами) будут накапливаться в базе данных с возможностью их дальнейшего извлечения по заданным критериям отбора как с целью дальнейшего изучения их поведения, так и для целей сбора статистики по рыбоводной ферме, их анализа при автоматизации процесса выращивания, в том числе средствами искусственного интеллекта. Данные, накопленным в базе данных, в дальнейшем можно будет использовать при разработке систем имитации (тренажерных комплексах) поведения гидробионтов как в ограниченной (садки аквакультуры) и искусственной (установки замкнутого водоснабжения) среде обитания, так и в естественных водоемах.
Результаты научного исследования будут внедрены в разрабатываемую ООО "ЛЦТ" систему автоматизированного проектирования орудий промышленного рыболовства и средств аквакультуры.
Ожидаемые результаты
1. Математические модели, описывающие механику гидробионтов в технических средствах аквакультуры с учетом их реакции на воздействие абиотических и биотических факторов, оптимизированные для применения в многоядерных и гетерогенных вычислительных системах. Значимость разработанных моделей заключается в описании механики гидробионтов как в рыбоводных хозяйствах, так и в естественных водоемах с целью их дальнейшего применения для средств автоматизации сбора данных и их анализа, в том числе средствами искусственного интеллекта.
2. Методы мультифизического подобия рыбоводных ферм для проведения экспериментов на предмет выявления связей между поведенческими характеристиками гидробионтов и их размерными характеристиками, а также параметрами рыбоводных ферм. Значимость заключается в связи механических, гидродинамических, термодинамических, акустических, оптических и параметров освещенности посредством критериальных уравнений.
3. Технология машинного распознавания движущихся объектов (гидробионтов) в водной среде, определения их пространственно-временных характеристик (формы, положения и ориентации в пространстве в динамике) с применением технических средств трехмерной регистрации во времени (стереовидеосъемки, акустической съемки), семантической сегментации регистрирующих данных. Значимость разработанной технологии заключается в создании средств определения механических характеристик движущихся в водной среде формоизменяемых объектов (гидробионтов), средств сбора и расшифровки данных эхозаписей для их последующего анализа, в создании задела для научного коллектива с целью его последующего использования в будущих научных и прикладных исследованиях поведенческих характеристик гидробионтов.
4. Имитационные модели (программные модули), основанные на разработанных в ходе исследования математических моделях, критериях и критериальных уравнениях мультифизического подобия рыбоводных ферм и технологии машинного распознавания движущихся объектов (гидробионтов) в водной среде, вычисляющие механические характеристики и видовые признаки гидробионта и их скоплений по траекториям движения. Имитационные модели будут оптимизированы для вычислений на многоядерных и гетерогенных вычислительных системах. Значимость разрабатываемых имитационных моделей заключается в возможности их дальнейшего применения как для численных экспериментов в будущих научных исследованиях, посвященных проблемам механики гидробионтов, так и в прикладных задачах в виде программных модулей, в том числе модулей расширения разрабатываемой системы автоматизированного проектирования орудий промышленного рыболовства и аквакультуры.
5. Компьютерные программы сбора и анализа данных, разработанные с использованием полученных в ходе научного исследования имитационных моделей. Применение технологий дополненной реальности позволит наложить на наблюдаемые в натуре скопления гидробионтов их числовые характеристики (вид, размеры, массу) в режиме реального времени с детализацией до особи. Собранные данные, включая траектории движения (с временными маркерами) будут накапливаться в базе данных с возможностью их дальнейшего извлечения по заданным критериям отбора как с целью дальнейшего изучения их поведения, так и для целей сбора статистики по рыбоводной ферме и автоматизации процесса выращивания, в том числе средствами искусственного интеллекта. Данные, накопленным в базе данных, в дальнейшем можно будет использовать при разработке систем имитации (тренажерных комплексах) поведения гидробионтов как в ограниченной (садки аквакультуры) и искусственной (установки замкнутого водоснабжения) среде обитания, так и в естественных водоемах.
6. Результаты сравнительного анализа характеристик (количественных, размерных, массовых), полученных в ходе проведения выборочных обловов гидробионтов в экспериментальной установке, с данными, полученными при помощи разработанных программ для ЭВМ и систем видео- и эхо- регистрации.
В ходе исследований будут получены данные, которые позволят оценить поведение различных видов гидробионтов на разных этапах выращивания с целью получения максимально возможной рыбопродуктивности. Будут предложены методика визуализации характеристик гидробионтов и их скоплений для дальнейшего освоения в производственных условиях, определены входные и выходные данные нейронной сети для интеллектуального анализа полученных и накопленных данных. Используя результаты исследования рыбоводные хозяйства смогут автоматизировать процесс сбора статистики и оперативного определения требуемых режимов выращивания гидробионтов. Используя технологию дополненной реальности рыбоводные хозяйства смогут наблюдать за физическими характеристиками отдельных особей в режиме реального времени.
В процессе выполнения проекта будут опубликовано 5 научных публикаций, 3 из которых в источниках, входящих в международные реферативные базы Web of Science. Будет принято участие в конференциях международного уровня. На разработанные в ходе выполнения проекта программы для ЭВМ будут получены свидетельства о государственной регистрации программ для ЭВМ.
Результаты научного исследования будут внедрены в разрабатываемую ООО "ЛЦТ" систему автоматизированного проектирования орудий промышленного рыболовства и средств аквакультуры.
ОТЧЁТНЫЕ МАТЕРИАЛЫ
Аннотация результатов, полученных в 2023 году
В процессе первого года работы над проектом разработаны методы мультифизического подобия физических характеристик установок замкнутого водоснабжения (УЗВ), поведенческих и физических характеристик гидробионтов; выявлены взаимосвязи поведенческих характеристик гидробионтов с траекториями их движения; определены основные технические характеристики УЗВ, характеристики окружающей среды, биомеханические характеристики гидробионтов и параметры, влияющие на их поведенческие характеристики, для которых найдены масштабы подобия, выраженные через масштаб линейных размеров, их диапазоны, выведены критерии подобия в индикаторном виде и через масштаб линейных размеров. Обоснованы выведенные зависимости масштабов подобия на основании экспериментальных данных о росте карпа (темпа роста, его зависимости от возраста), полученных в экспериментальной мобильной рыбоводной лаборатории (МРЛ) Калининградского государственного технического университета (https://digitechlab.ru/мрл.pdf). Разработаны вычислительные алгоритмы и программа для ЭВМ для автоматизации расчета масштабов и критериев подобия. Проведенный анализ результатов подтвердил возможность применения теории мультифизического подобия для гидробионтов разного возраста одного видового состава.
Разработаны математические, имитационные модели и программы для ЭВМ, описывающие механику гидробионтов в технических средствах аквакультуры с учетом их реакции на воздействие абиотических и биотических факторов, оптимизированные для применения в многоядерных и гетерогенных вычислительных системах; математическая база и вычислительный алгоритм деформации статических трехмерных цифровых моделей, полученных с применением устройств пространственного сканирования, способные видоизменять модель тела в процессе визуализации на графическом процессоре в режиме реального времени; математическая модель расчета изгиба рыбы при визуализации, алгоритм реализации на графическом процессоре в виде вершинного шейдера на языке программирования HLSL. Деформация проводится с применением секущих поверхностей, описываемых математическими зависимостями, связанными как с параметрами деформации, так и с модельным временем. Проведена оценка разработанных математической модели и алгоритма как на цифровых трехмерных моделях рыб, взятых из открытых ресурсов, так и полученных при помощи оцифровки зеркального карпа в лабораторных условиях. Оцифровка производилась с применением 3D-сканера Spectrum RangeVision (https://rangevision3d.com/rangevision-spectrum).
Разработана математическая модель поведения рыб в ограниченной в пространстве искусственной среде обитания; определены силы (зависящие от текущей скорости особи, скорости приближения особи к препятствиям и удаления от них, от удаленности до движущегося объекта или особи и его относительной скорости), развиваемые рыбой, зависящие от ее восприятия внешней обстановки и ее внутреннего состояния; выведены соответствующие математические зависимости; определены параметры математической модели, зависящие от вида и размера рыбы, ее внутреннего состояния (наличия стресса и др.), текущего состояния окружающей среды; предложен метод определения параметров и их последующей коррекции в режиме реального времени в процессе наблюдения на основе сопоставления при помощи фильтра Калмана вычисленных математической моделью и определенных средствами машинного зрения траекторий и скоростей движения рыб с применением сверточной нейронный сети (CNN) и алгоритма ByteTrack, технологий искусственного интеллекта.
Разработана имитационная модель, оптимизированная для работы на многоядерных и гетерогенных вычислительных системах (на центральном и графическом процессоре) способная моделировать движение группы особей в бассейне УЗВ в реальном времени в трехмерном пространстве. Разработанная имитационная модель хорошо распараллеливается во времени, в ней отсутствуют пересечения выходных данных, нет необходимости выполнять их синхронизацию в процессе параллельной обработки. Совместный доступ возможен только к входным данным, которые в процессе расчета временного шага неизменны и эффективно кэшируются. Данная особенность имитационной модели позволяет существенно ускорить процесс расчета и производить его на таких гетерогенных вычислительных системах, как современные персональные ЭВМ с многоядерным центральным и графическим процессорами. В имитационной модели реализованы обработка столкновений, расчет ориентации и формы гидробионта. Разработанная имитационная модель будет использована в рамках настоящего исследования для предоставления информации, предсказывающей движение рыб для фильтра Калмана.
Разработана программа для ЭВМ "Мультифизическое подобие рыбоводных ферм". Назначение программы – анализ, в том числе визуальный в трехмерном представлении, зависимостей между масштабами подобия, степени подобия по масштабным эффектам, выполнимости критериев подобия в мультифизических областях (биомеханика, механика, гидродинамика и др.) применительно к рыбоводным фермам и объектам выращивания (рыбам).
Разработаны программы для ЭВМ "Механика гидробионтов в искусственной среде обитания" и "Замкнутая система "УЗВ - гидробионт". Назначение программ - имитация поведения гидробионтов в рыбоводных фермах, в частности - в УЗВ с бассейнами прямоугольного или цилиндрического типа, в том числе в сетных садках аквакультуры с детализацией до особи; предусмотрены загрузка и выгрузка проекта УЗВ и результатов моделирования (траекторий движения с временными маркерами), пополняемая библиотека рыб различного вида и бассейнов; реализованы поддержка устройств стереоскопического вывода (3D-телевизор, стерео-очки, стереопроектор и др.) и пространственного управления сценой при помощи рук Leap Motion, предусмотрена пополняемая библиотека рыб различного вида, бассейнов прямоугольной и цилиндрической формы, их трехмерных моделей.
При разработке программного обеспечения использовалось инструментальное средство визуального проектирования программного обеспечения Embarcadero RAD Studio с библиотекой FMX, компилятор кода для графического процессора Microsoft HLSL, языки программирования C++, HLSL, Ассемблер. Все разработанные программы для ЭВМ работают в операционной системе MS Windows, взаимодействие с графическим процессором осуществляется через программные интерфейсы DirectX.
С использованием подводной камеры Lucky Seeker FL180AR получены пробные видеозаписи движения карпа в МРЛ для последующего обучения и отладки алгоритмов машинного зрения.
По результатам первого года исследования опубликованы, приняты в печать и находятся на рецензировании 13 публикаций, из них 1 - Web of Science, 1 - Scopus, 3 - RSCI. В ходе исследования принято участие в 5 международных и 1 национальной конференции с 8 докладами. Разработаны и зарегистрированы 3 программы для ЭВМ.
Результаты исследования можно применять как в системах виртуальной реальности (тренажерных комплексах), так и на рыбоводных фермах для систем наблюдения с целью сбора статистики, предсказательного моделирования процессов рыбоводства, научных исследований в области автоматизации и информатизации процессов рыбоводства и технических средств аквакультуры. Разработанные математическая и имитационная модели будут использованы при отладке алгоритмов машинного зрения и слежения за гидробионтами на разработанном на их основе программном обеспечении "Замкнутая система "УЗВ - гидробионт" в процессе выполнения настоящего исследования.
Результаты исследования внедрены в разрабатываемую ООО "ЛЦТ" систему автоматизированного проектирования орудий промышленного рыболовства и средств аквакультуры, что позволит расширить функциональность, в том числе при разработке конструкторской документации на рыбоводные фермы и УЗВ.
Ссылка на сайт проекта - https://digitechlab.ru/aqua.html
Публикации
1. Недоступ А.А., Ражев А.О. Постановка задач разработки математических и имитационных моделей, описывающих механику гидробионтов в УЗВ с учетом различных мультифизических факторов Состояние и перспективы развития агропромышленного комплекса : сборник научных трудов ХVI Международной научно-практической конференции в рамках XXVI Агропромышленного форума юга России и выставки «Интерагромаш» и «Агротехнологии», С. 212-215 (год публикации - 2023) https://doi.org/10.23947/interagro.2023.212-215
2. Недоступ А.А., Ражев А.О. Правила мультифизического подобия биомеханики гидробионтов Состояние и перспективы развития агропромышленного комплекса : сборник научных трудов ХVI Международной научно-практической конференции в рамках XXVI Агропромышленного форума юга России и выставки «Интерагромаш» и «Агротехнологии», С.216-218 (год публикации - 2023) https://doi.org/10.23947/interagro.2023.216-218
3. Недоступ А.А., Ражев А.О. Автоматизация расчета масштабов и критериев мультифизического подобия для задач аквакультуры Актуальные проблемы прикладной биотехнологии и инженерии [Электронный ресурс]: сборник материалов Международной научно-практической конференции, С. 184-187 (год публикации - 2023)
4. Недоступ А.А., Ражев А.О., Багрова А.А., Васильев Д.Е. К теории мультифизического подобия гидробионтов. Часть I Природные ресурсы, их современное состояние, охрана, промысловое и техническое использование : материалы XIV Национальной (всероссийской) научно-практической конференции (21–22 марта 2023 г.) [Электронный ресурс], 76-78 (год публикации - 2023)
5. Недоступ А.А., Ражев А.О., Багрова А.А., Васильев Д.Е. К теории мультифизического подобия гидробионтов. Часть II Природные ресурсы, их современное состояние, охрана, промысловое и техническое использование : материалы XIV Национальной (всероссийской) научно-практической конференции (21–22 марта 2023 г.) [Электронный ресурс], С. 79-82 (год публикации - 2023)
6. Недоступ А.А., Ражев А.О., Багрова А.А., Васильев Д.Е. Theory of multiphysical similarity of hydrobionts Vestnik of Astrakhan State Technical University. Series: Fishing industry, No 3. С. 19–27 (год публикации - 2023) https://doi.org/10.24143/2073-5529-2023-3-19-2
7. Ражев А.О., Недоступ А.А. Моделирование поведения рыб в ограниченном пространстве Морские интеллектуальные технологии, № 4 часть 1, С. 277—284 (год публикации - 2023) https://doi.org/10.37220/MIT.2023.62.4.033
8. Ражев А.О., Недоступ А.А. Моделирование биомеханики гидробионтов в технических средствах аквакультуры на гетерогенной вычислительной системе Рациональная эксплуатация водных биологических ресурсов : материалы Междунар. науч.-техн. конф., С. 286-293 (год публикации - 2023)
9. Ражев А.О., Недоступ А.А. Визуализация гидробионта в процессе движения с учетом изменения его формы Математические методы в технологиях и технике, № 9. С. 92-97 (год публикации - 2023) https://doi.org/10.52348/2712-8873_MMTT_2023_9_92
10. Ражев А.О., Недоступ А.А., Багрова А.А. Компьютерная природоподобная имитация механики рыб в искусственной среде обитания Сборник статей XI Международного Балтийского морского форума (25-30 сентября 2023 г.), - (год публикации - 2023)
11. Ражев Алексей Олегович (RU), Недоступ Александр Алексеевич (RU) Мультифизическое подобие рыбоводных ферм -, 2023669392 (год публикации - )
12. Ражев Алексей Олегович (RU), Недоступ Александр Алексеевич (RU) Замкнутая система "УЗВ - гидробионт" -, 2023682021 (год публикации - )
13. Ражев Алексей Олегович (RU), Недоступ Александр Алексеевич (RU), Багрова Анастасия Артуровна (RU) Механика гидробионтов в искусственной среде обитания -, 2023669007 (год публикации - )