КАРТОЧКА ПРОЕКТА ФУНДАМЕНТАЛЬНЫХ И ПОИСКОВЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ
Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.
ОБЩИЕ СВЕДЕНИЯ
Номер проекта 23-29-00558
НазваниеОбнаружение аномалий в данных активности моллюсков алгоритмами машинного обучения для формирования сигнала тревоги в комплексах автоматизированного биомониторинга водной среды
Руководитель Вышкваркова Елена Васильевна, Кандидат географических наук
Организация финансирования, регион Федеральное государственное бюджетное научное учреждение "Институт природно-технических систем" , г Севастополь
Конкурс №78 - Конкурс 2022 года «Проведение фундаментальных научных исследований и поисковых научных исследований малыми отдельными научными группами»
Область знания, основной код классификатора 09 - Инженерные науки; 09-608 - Инженерно-технические и информационные автоматизированные системы мониторинга биоресурсов, биосферы и технических систем
Ключевые слова биологические системы раннего обнаружения, закономерности, обнаружение аномалий, мидии, машинное обучение
Код ГРНТИ87.19.81
ИНФОРМАЦИЯ ИЗ ЗАЯВКИ
Аннотация
Использование двустворчатых моллюсков в качестве биоиндикаторов в системах автоматизированного мониторинга водной среды позволяет в режиме реального времени обнаружить чрезвычайную ситуацию, связанную с загрязнением водной среды. Существующие системы контроля, основанные преимущественно на физико-химических методах, трудоемки, дорогостоящи, дают фрагментарные сведения, охватывают традиционный узкий круг загрязняющих агентов, не обеспечивают непрерывного мониторинга и своевременного обнаружения внезапного выброса загрязнений. Объективная оценка состояния водных экосистем невозможна без использования биологических методов экологического мониторинга. В настоящее время для контроля вод во всех сферах современного водопользования широко и успешно используются биоэлектронные системы (например, Musselmonitor и Driessenamonitor), чье действие основано на регистрации поведенческих реакций двустворчатых моллюсков (морских и пресноводных), т.е. способности их закрывать створки на продолжительное время или изменять ритмику движений при воздействии неблагоприятных факторов, так называемые системы раннего реагирования (BEWS – Biological Early Warning Systems). В проекте будут использованы данные полученные с разработанного в Институте природно-технических систем комплекса биомониторинга водной среды на основе двустворчатых моллюсков. Данные о поведенческих реакциях пресноводных двустворчатых моллюсков Unio pictorum (Linnaeus, 1758) и черноморской мидии Mytilus galloprovicialis Lam, 1897 будут использованы для выделения закономерностей (паттернов) поведения и обнаружения аномалий с использованием алгоритмов машинного обучения. Полученные результаты будут использованы в разработанном программном обеспечении комплекса для формирования сигнала тревоги в режиме реального времени для своевременного информирования заинтересованных лиц о неблагоприятных условиях (загрязнении) водной среды.
ОТЧЁТНЫЕ МАТЕРИАЛЫ
Публикации
1.
Вышкваркова Е.В., Греков А.Н., Маврин А.С., Трусевич В.В.
Применение модели ARIMA для обнаружения аномалий в рядах активности двустворчатых моллюсков
Системы контроля окружающей среды, № 3 (53), С.141-147 (год публикации - 2023)
10.33075/2220-5861-2023-3-141-147
2.
Греков А.Н., Вышкваркова Е.В., Ивакин Я.А., Селезнев И.А., Греков Н.А., Кузьмин К.А.
Биологическая система раннего обнаружения для экологического контроля водной среды
Экологические системы и приборы, №1, С. 38-48 (год публикации - 2023)
10.25791/esip.1.2024.1425
3.
Греков А.Н., Селезнев И.А., Ивакин Я.А., Греков Н.А., Вышкваркова Е.В., Трусевич В.В.
Биологические системы раннего обнаружения для экологического мониторинга водной среды
Редакционно-издательский отдел ИПТС, Севастополь, 2023. 131 с., ил. 54, табл. 19, библиогр. 155. (год публикации - 2023)
10.33075/978-5-6048608-5-4
4.
Греков А.Н., Вышкваркова Е.В., Маврин А.С.
Forecasting and Anomaly Detection in BEWS: Comparative Study of Theta, Croston, and Prophet Algorithms
Forecasting, Vol. 6, p. 343–356. (год публикации - 2024)
https://doi.org/10.3390/ forecast6020019
5.
Греков А.Н., Вышкваркова Е.В., Маврин А.С.
Алгоритм обнаружения аномалий с помощью модели SARIMA для программного обеспечения автоматизированного комплекса биомониторинга водной среды
Искусственный интеллект и принятие решений, №1, стр. 52-67 (год публикации - 2024)
https.//doi.org/10.14357/20718594240105
6. Греков А.Н., Вышкваркова Е.В., Трусевич В.В. Выявление закономерностей в данных активности двустворчатых моллюсков с помощью матричного профиля Экологические системы и приборы, № 12, с. 26-36 (год публикации - 2024)
7.
Греков А.Н., Вышкваркова Е.В., Трусевич В.В.
Применение метода ядерной оценки плотности для обнаружения аномалий в данных активности двустворчатых моллюсков
Системы контроля окружающей среды, № 4 (58), с. 135-144 (год публикации - 2024)
DOI: 10.33075/2220-5861-2024-4-135-144
Аннотация результатов, полученных в 2024 году
Во второй год проекта были продолжены исследования по обнаружению аномалий в данных активности двустворчатых моллюсков прогнозными моделями. При применении прогнозных алгоритмов (Theta, Croston и Prophet) для каждого метода выбраны фиксированные пороги метрики СКО, при котором возникает наибольшая ошибка при отсутствии аномалии плюс десятипроцентный запас прочности необходимый для работы в реальной системе, для исключения ложных срабатываний. Лучшее время (17:20) обнаружения первой аномалии (19 марта 2017 года) получено методом Prophet при 20-минутном осреднении и количестве точек прогнозирования равным 3 (одночасовой прогноз). Лучшее время обнаружения второй аномалии (14 апреля 2017 года) оказалось одинаковым для трех методов при одних и тех же настройках модели (5 минут осреднение данных и 6 точек прогнозирования). Третья аномалия (24 апреля 2017 г.) аналогично со второй, обнаружена тремя методами в одно время. Количество дней в обучающей выборке не повлияло на время обнаружения аномалии, хотя и оказывало воздействие на уровень порога.
Для обнаружения аномалий методом ядерной оценки плотности (ЯОП) сначала была построена оценка плотности на основании «нормальных» данных, а затем значения временного ряда, которые существенно отклоняются от этой оцененной плотности («аномальные»). Использованы несколько функций ядра (например, Гауссово ядро, Экспоненциальное ядро и др.), а параметр сглаживания (ширина окна) рассчитывался двумя способами: с помощью правил Скотта и Сильвермана. Сравнение результатов по времени обнаружения аномалий при расчете ширины окна разными способами показало отсутствие различий между правилами Скотта и Сильвермана.
Сравнение прогнозных моделей показало, что для одной из аномалий наилучшим методом оказался Prophet, а для двух других время обнаружения аномалии не различалось между методами. Метод Prophet смог обнаружить первую аномалию на 1 час 20 минут быстрее, чем модель SARIMA. Время обнаружения второй аномалии тремя проанализированными алгоритмами улучшилось на 25 минут, а третьей аномалии улучшилось на 40 минут по сравнению с моделью SARIMA.
Время обнаружения аномалий методом ЯОП по сравнению с исследованными ранее алгоритмами прогнозирования Theta, Croston и Prophet, а также моделью SARIMA показало, что для обнаружения первой и второй аномалии лучшим методом оказался алгоритм прогнозирования Prophet, что касается аномалии 24 апреля, то результаты показывают лучшее время обнаружения аномалии методом ЯОП с использованием Епанечниковского ядра, осреднением данных за 20 минут и расчетом ширины окна по правилу Скотта. По вычислительной сложности лучшим методом оказался Croston.
Выделение закономерностей (паттернов) в данных проведено методами классификации (Алгоритм k-ближайших соседей (k-nearest neighbors, KNN) и классификатор области ближайших соседей (Radius Neighbors -RN), кластеризации (k-means и K-medoids) и методом матричный профиль. Лучшие результаты по всему набору данных показал метод KNN.
Выделение мотивов проведено для трех временных промежутков – дневное время, ночное время и период с аномалиями. Результаты показали, что поиск типичных подпоследовательностей с помощью матричного профиля приводит к выделению простых областей в данных активности двустворчатых моллюсков. Коррекция матричного профиля с помощью вектора аннотации на основе оценки сложности значительно улучшило результаты поиска мотивов в данных.
Анализ данных и реализация разработанного алгоритма проводились на языке программирования Python (V3.10.13) с использованием пакета машинного обучения scikit-learn (V 1.5.2), пакета статистических моделей statsmodels (V 0.14.0), библиотеки для обработки и анализа табличных данных pandas (V 2.2.2), библиотеки для работы с многомерными массивами numpy (V 1.26.4), библиотеки sktime (V 0.33.0) и библиотеки для эффективного вычисления матричного профиля STUMPY (V 1.12.0)
Наши результаты показали, что природные и технические аномалии в наборах данных об активности двустворчатых моллюсков можно обнаружить с помощью алгоритмов машинного обучения без учителя и прогнозными моделями. Лучшим методом по скорости обнаружения аномалий оказался метод Prophet. Разработанный алгоритм будет внедрен в программное обеспечение автоматизированного комплекса биомониторинга водной среды.
Исследование получило широкое освещение в СМИ. Информация с результатами, полученными в ходе реализации проекта, опубликована на сайте Российского научного фонда, на федеральном канале “РЕН-ТВ”, в газетах “Аргументы и факты” и “Севастопольская газета”, на сайте государственного информационного агентства ТАСС, и на более чем десяти информационных порталах.
https://rscf.ru/news/release/ne-tolko-delikates-s-pomoshchyu-midiy-i-metodov-mashinnogo-obucheniya-sozdan-algoritm-dlya-monitorin/
https://иптс.рф/ru/2024/05/29/mollyuski-budut-vyyavlyat-anomalii/
https://nauka.tass.ru/nauka/21251119
https://scientificrussia.ru/articles/ne-tolko-delikates-midii-i-masinnoe-obucenie-pomogut-sledit-za-vodnoj-sredoj
https://poisknews.ru/ekologiya/ne-tolko-delikates-s-pomoshhyu-midij-i-metodov-mashinnogo-obucheniya-sozdan-algoritm-dlya-monitoringa-vodnoj-sredy/
https://inscience.news/ru/article/russian-science/midii-i-mashinnoye-obuchenie-pomogli-otsledit
https://news.rambler.ru/tech/53019484-midiy-prisposobili-dlya-ii-monitoringa-sostoyaniya-vodnoy-sredy/
https://www.ferra.ru/news/v-rossii/rossiiskie-uchyonye-sozdali-ii-dlya-monitoringa-vodoyomov-po-sostoyaniyu-midii-02-07-2024.htm?utm_source=rnews
https://ai-news.ru/2024/07/ne_tolko_delikates_midii_i_mashinnoe_obuchenie_pomogut_sledit_za_vodno.html
https://recyclemag.ru/news/midii-datchikami-ispolzuyut-iimonitoringa-vodnoi-sredi
https://aif.ru/natsionalniye_proekti_rossii/digital_economy/neyroseti-vokrug-nas-oblasti-primeneniya-umnyh-tehnologiy-bezgranichny
https://lifehacker.ru/primenenie-iskusstvennogo-intellekta/
https://sevastopol.press/2024/11/25/chistotu-vody-smogut-kontrolirovat-molljuski/
Публикации
1.
Вышкваркова Е.В., Греков А.Н., Маврин А.С., Трусевич В.В.
Применение модели ARIMA для обнаружения аномалий в рядах активности двустворчатых моллюсков
Системы контроля окружающей среды, № 3 (53), С.141-147 (год публикации - 2023)
10.33075/2220-5861-2023-3-141-147
2.
Греков А.Н., Вышкваркова Е.В., Ивакин Я.А., Селезнев И.А., Греков Н.А., Кузьмин К.А.
Биологическая система раннего обнаружения для экологического контроля водной среды
Экологические системы и приборы, №1, С. 38-48 (год публикации - 2023)
10.25791/esip.1.2024.1425
3.
Греков А.Н., Селезнев И.А., Ивакин Я.А., Греков Н.А., Вышкваркова Е.В., Трусевич В.В.
Биологические системы раннего обнаружения для экологического мониторинга водной среды
Редакционно-издательский отдел ИПТС, Севастополь, 2023. 131 с., ил. 54, табл. 19, библиогр. 155. (год публикации - 2023)
10.33075/978-5-6048608-5-4
4.
Греков А.Н., Вышкваркова Е.В., Маврин А.С.
Forecasting and Anomaly Detection in BEWS: Comparative Study of Theta, Croston, and Prophet Algorithms
Forecasting, Vol. 6, p. 343–356. (год публикации - 2024)
https://doi.org/10.3390/ forecast6020019
5.
Греков А.Н., Вышкваркова Е.В., Маврин А.С.
Алгоритм обнаружения аномалий с помощью модели SARIMA для программного обеспечения автоматизированного комплекса биомониторинга водной среды
Искусственный интеллект и принятие решений, №1, стр. 52-67 (год публикации - 2024)
https.//doi.org/10.14357/20718594240105
6. Греков А.Н., Вышкваркова Е.В., Трусевич В.В. Выявление закономерностей в данных активности двустворчатых моллюсков с помощью матричного профиля Экологические системы и приборы, № 12, с. 26-36 (год публикации - 2024)
7.
Греков А.Н., Вышкваркова Е.В., Трусевич В.В.
Применение метода ядерной оценки плотности для обнаружения аномалий в данных активности двустворчатых моллюсков
Системы контроля окружающей среды, № 4 (58), с. 135-144 (год публикации - 2024)
DOI: 10.33075/2220-5861-2024-4-135-144
Возможность практического использования результатов
Полученный в ходе работы над проектом алгоритм обнаружения аномалий будет внедрен в разработанный участниками проекта комплекс автоматизированного биомониторинга водной среды (биологическая система раннего оповещения). Раннее обнаружение загрязнений, благодаря усовершенствованной системе мониторинга, повысит уровень экологической безопасности и улучшит качество жизни для населения. Экологически чистая среда способствует поддержанию здоровья населения и снижению рисков, связанных с загрязнением воды. Подобные комплексы будут использоваться для экологического контроля водных объектов, таких как водозаборы, пляжи, объекты аквакультуры. Технологии, разработанные в рамках проекта, будут использованы для создания нового продукта, который будет востребован на внутреннем и международном рынках экологического мониторинга. Использование автономных биосенсорных систем снизит расходы на мониторинг по сравнению с традиционными методами. Промышленные предприятия смогут проводить более экономичный экологический контроль, что положительно отразится на эффективности работы и снизит издержки, связанные с потенциальными экологическими рисками.