Аннотация результатов, полученных в 2022 году
Сформировано поисковое научное направление исследований «интеллектуальная сенсорика», которое предполагает, что методы сенсорики реализуют не только функции сбора данных и измерения, но и следующие «интеллектуальные» функции: а) Распознавание образов в сенсорных данных (на основе ИИ-технологий и технологий периферийных интернет-вычислений). б) Сетевое взаимодействие с другими участниками интернет-системы (на основе мобильных интернет-технологий, технологий центров обработки данных). в) Виртуализация объекта наблюдения сенсорной системы (на основе технологий цифровых двойников). г) Оценка качества получаемых сенсорных данных - (само)диагностика, достоверность (на основе ИИ-технологий и технологий периферийных интернет-вычислений). В рамках такого исследования организованы еженедельные научные семинары в центре искусственного интеллекта Петрозаводского государственного университета: - Интеллектуальная сенсорика и видеоаналитика в интернете вещей, https://ai.petrsu.ru/events/iot - Задачи анализа человекоподобного движения и робототехнические интернет-системы, https://ai.petrsu.ru/events/robots Интеллектуальная сенсорика позволяет отслеживать работу трех функций человека: двигательная, когнитивная и автономная. Двигательная функция требует отслеживания и распознавания движения человека и окружающих его физических объектов. Когнитивная функция требует отслеживания, как человек мыслит и рассуждает, в каком (эмоциональном) состоянии находится. Автономная функция требует отслеживания, как работает организм человека. Выделены следующие прикладные области для разработки и применения бионических методов сенсорики и окружающего интеллекта в интернет-системах мониторинга жизнестойкости человека в условиях северных территорий. 1. Отслеживание движения человека, в т.ч. по отношению человека к другим объектам физического окружения (сенсорика движения). Связана с работой двигательной функции человека. 2. Разработка цифровых ассистентов, сопровождающих человека в повседневной жизни (мобильная сенсорика). Связана с работой двигательной, когнитивной и автономной функций человека. 3. Роботизированные датчики, обеспечивающие дистанционное усиление органов чувств человека - дистанционный оператор оборудования или мониторинг дистанционных объектов (мобильная роботизированная сенсорика). Связана с работой двигательной, когнитивной и автономной функций человека. 4. Диагностика состояния здоровья человека (сенсорика тела/организма). Связана с работой автономной функции человека. 5. Технологии тактильного интернета на основе датчиков деформации (тактильная сенсорика). Связана с работой двигательной и когнитивной функций человека. Для каждой прикладной области разработаны модели и алгоритмы, необходимые для реализации программно-аппаратных прототипов бионического костюма.

Аннотация результатов, полученных в 2023 году
Свойство жизнестойкости человека определяет объект постоянного мониторинга –наблюдение за процессом, в котором задействованы автономная, когнитивная или двигательная функции человека. Сенсорные данные об объекте мониторинга: параметры здоровья (оперативная информация, накопленная клиническая информация), параметры физической среды (местоположение, климат, окружающие объекты, происходящие рядом события), параметры выполняемых человеком автономной, когнитивной и/или двигательной функции (ЭМК, интервью, аудио, инерциальные данные, видео, текст, экспертные оценки, справочники, социальные медиа). Определено понятие «интеллектуальная сенсорика человека» на основе расширения функций сбора данных и измерения, в том числе для условий северных территорий. Разработаны концептуальные модели и алгоритмы для построения бионического костюма, обеспечивающие постоянный мониторинг человека в повседневных условиях. Бионический костюм реализует эффективное взаимодействие человека с объектами свойств жизнестойкости. Реализуется цифровой ассистент, обеспечивающий следующие виды поддержки жизнестойкости человека: а) сопротивляемость ментального здоровья к стрессам и другим негативным внешним факторам; б) адаптация к условиям работы и проживания; в) сопротивляемость к усталости; г) мотивация к сохранению здоровья в условиях северных территорий. Понятие «сенсорика человека» предполагает использование комплексного набора датчиков и разнообразных сенсорных систем для отслеживания: а) двигательной функции (как двигается человек), б) когнитивной функции (как воспринимает информацию) и в) автономной функции (как работает организм) человека, а также ситуации вокруг человека. Жизнестойкость тесно связана с работой этих функций человека, в т.ч. для поддержания жизнестойкости человека необходимо дать ему возможность наблюдать и анализировать работу этих функций. «Интеллектуальность» сенсорики проявляется в виде следующим образом. а) Обучаемый датчик. Алгоритмы распознавания (ИИ) работают рядом с местом сбора данных, т.е. на самом датчике или вычислительном устройстве рядом. Соответствует подходу периферийной аналитики (edge computing). б) Самоотслеживание (активный контроль наблюдений). Оценка качества сенсорных данных. Реакция в случае обнаружения снижения качества (так называемые self-* свойства датчика). в) Мобильность коммуникаций (мобильная сенсорика). Датчик определяет, когда, кому и какие данные передать далее. В том числе, с учетом имеющихся ресурсов мобильной сети (переход к технологиям 5G/6G). г) Дистанционная автономность (роботизированная сенсорика). Датчик может быть удаленным от самого человека, способен управлять мониторингом без участия человека (роботизация датчика). д) Человеко-машинное взаимодействие (цифровое расширение органов чувств человека). Персонализированная доставка информации человеку, в т.ч. использование технологий дополненной и виртуальной реальности, технологий бионических костюмов. Выделены следующие условия северных территорий, влияющие на мониторинг жизнестойкости человека. а) Датчики интернет-системы мониторинга должны быть способны работать в тяжелых условиях внешней среды (климат, снег, грязь, передвижение и др.). б) Предлагаемые к реализации интернет-системы мониторинга должны ориентироваться на существующее производство на территории РК, способствуя цифровой трансформации производственных процессов. В частности, цифровые сервисы реализуются в виде ассистентов для сотрудников. Должна обеспечиваться возможность работы сотрудника на открытом воздухе или в цехе. в) Возможной целевой группой являются пожилые люди. Многие из них одинокие. Малая плотность населения и удаленность места проживания от крупных населенных пунктов или от центров помощи. В частности, цифровые сервисы реализуются в виде ассистентов для пожилых одиноких людей, помогая человеку в повседневной жизни, в бытовых задачах. г) Возможной целевой группой являются люди, приезжающие в РК с южных территорий. Частный случай - студенты, приезжающие на учебу в ПетрГУ и другие учебные заведения. Необходимо отслеживать и усиливать жизнестойкость, помогая адаптироваться к новым условиям проживания. д) Территория Региона привлекательна для создания рабочих мест для дистанционных сотрудников различных организаций РФ. Возможная целевая группа людей для мониторинга жизнестойкости человека - это операторы, диспетчеры, ИТ-специалисты, эксперты. В рамках такого исследования организованы еженедельные научные семинары в центре искусственного интеллекта Петрозаводского государственного университета: - Интеллектуальная сенсорика и видеоаналитика в интернете вещей, https://ai.petrsu.ru/events/iot - Задачи анализа человекоподобного движения и робототехнические интернет-системы, https://ai.petrsu.ru/events/robots Разработаны и экспериментально исследованы следующие прототипы для цифрового ассистирования. 1. Прототип цифрового ассистента, обеспечивающий отслеживание движения человека и формирования 3D-модели движения. Работа прототипа представлена в докладе и статье: - Assessment of Operation Quality for Robotic Manipulator in Real-Time / N. Bazhenov, G. Rego, E. Rybin, D. Korzun // Conference of Open Innovations Association, FRUCT. – 2023. – No. 34. – P. 200-203. https://elibrary.ru/item.asp?id=54884910 - Сосновский, И. В. Визуализация 3D-пространства в виде облака точек на основе технологий дополненной реальности / И. В. Сосновский, Т. С. Кипрушкина // Путь в науку: прикладная математика, информатика и информационные технологии : Тезисы докладов Всероссийской молодёжной научно-практической конференции, Ярославль, 17–21 апреля 2023 года. – Ярославль: Ярославский государственный университет им. П.Г. Демидова, 2023. – С. 67-69. https://elibrary.ru/item.asp?id=53843935 2. Прототип цифрового ассистента, отслеживающий результаты работы человека при выполнении физических упражнений, в т.ч. на спортивных тренажерах. Работа прототипа представлена в докладе и статье: - A Mobile Application for Assessing the Strength Exercises on Sports Training Equipment / K. Smirnov, V. Ermakov, E. Topchiy, D. Korzun // Conference of Open Innovations Association, FRUCT. – 2023. – No. 33. – P. 391-394. https://elibrary.ru/item.asp?id=53943950 - Real-Time Evaluation of Hands Position at Sport Training Machine / K. Smirnov, E. Topchiy, V. Ermakov, D. Korzun // Conference of Open Innovations Association, FRUCT. – 2023. – No. 34. – P. 278-281. https://elibrary.ru/item.asp?id=54884926 3. Прототип цифрового ассистента, обеспечивающий усиление органов чувств человека за счет роботизированных датчиков с частично автономным движением Работа прототипа представлена в докладе и статье: Костин Д.А. СЕНСОРНАЯ СИСТЕМА МОБИЛЬНОГО РОБОТА ДЛЯ ОРИЕНТАЦИИ, ПОСТРОЕНИЯ КАРТЫ МЕСТНОСТИ И РАСПОЗНАВАНИЯ ПРЕПЯТСТВИЙ / Д.А. Костин, Д.С. Мельников, Д.А. Устинов, С.Д. Яскеляйнен, В.А. Ермаков, Д.Ж. Корзун // Материалы XVII всероссийской научно-практической конференции «Цифровые технологии в образовании, науке, обществе» / Издательство ПетрГУ. - г. Петрозаводск, 2023. - С.55-57. - https://it2023.petrsu.ru/. 4. Прототип цифрового ассистента, обеспечивающий диагностику состояния здоровья человека (сенсорика тела/организма). В качестве примера болезни используется болезннь Паркинсона. Работа прототипа представлена в M.Belyaev, M.Murugappan, A.Velichko, D.Korzun. Entropy-Based Machine Learning Model for Fast Diagnosis and Monitoring of Parkinson’s Disease. Sensors 2023, 23, 8609. https://doi.org/10.3390/s23208609. 5. Прототип цифрового ассистента, обеспечивающего наблюдение за территорией на предмет движения человека и использования человеком технологического оборудования. Работа прототипа представлена в докладе и статье: - Evaluation of the Human Use for Sport Training Equipment based on Multicamera Video Surveillance / N. Bazhenov, E. Rybin, S. Zavyalov, D. Korzun // Conference of Open Innovations Association, FRUCT. – 2023. – No. 33. – P. 342-345. https://elibrary.ru/item.asp?id=53943941