КАРТОЧКА ПРОЕКТА ФУНДАМЕНТАЛЬНЫХ И ПОИСКОВЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ
Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.
ОБЩИЕ СВЕДЕНИЯ
Номер проекта 23-25-00512
НазваниеИсследование индивидуальных изменений функционирования опорно-двигательного аппарата и автоматизация процедуры построения биометрического образа на базе носимых устройств
Руководитель Дорофеев Николай Викторович, Доктор технических наук
Организация финансирования, регион федеральное государственное бюджетное образовательное учреждение высшего образования "Владимирский государственный университет имени Александра Григорьевича и Николая Григорьевича Столетовых" , Владимирская обл
Конкурс №78 - Конкурс 2022 года «Проведение фундаментальных научных исследований и поисковых научных исследований малыми отдельными научными группами»
Область знания, основной код классификатора 05 - Фундаментальные исследования для медицины; 05-304 - Информационные технологии в здравоохранении
Ключевые слова изменение, движения, опорно-двигательный аппарат, биометрия, диагностика, носимые устройства, автоматизация, биометрический образ
Код ГРНТИ76.01.85
ИНФОРМАЦИЯ ИЗ ЗАЯВКИ
Аннотация
Развитие персонализированной медицины предполагает функционирование информационно-телеметрических медицинских сервисов в "прозрачном" для человека режиме, т.е. по согласию человека сбор, обработка и анализ биомедицинских параметров может осуществляться в незаметном для него и постоянном режиме. В зависимости от уровня автоматизации по результатам обработки биомедицинских параметров человеку могут выдаваться рекомендации (об изменении образа жизни, приема пищевых добавок и т.п.), либо организовываться консультация с сотрудником медицинского учреждения.
На данный момент имеются различные технические средства, которые позволяют измерять и передавать некоторые параметры здоровья человека (артериальное давление, температуру тела, двигательную активность) вырабатывать рекомендации и работать в одной информационной системе. В рамках проекта рассматривается функционирование опорно-двигательного аппарата по совершаемым движениям. Научно-технические наработки по данной тематике существуют не одно десятилетие, а методы и средства диагностики опорно-двигательного аппарата на основе носимых устройств активно развиваются около 15 лет.
Однако, существующие научно-технических наработки в области диагностики опорно-двигательного аппарата по данным носимых устройств (мобильные телефоны, смарт часы) на практике имеют определенные недостатки, которые существенно снижают качество диагностики. Проблема низкой надежности оценки здоровья опорно-двигательного аппарата по данным движения (шаблоны движений, манера ношения и работа с носимым устройством, характер взаимодействия) пользователей носимых устройств обусловлена недостаточной проработанностью влияния различных факторов на результаты измерения индивидуальных параметров во времени (физиологические особенности, жизненные ритмы, климатические параметры и т.п.). Так например, в проанализированных работах других научных коллективов "идеализируется" расположение носимого устройства (например, осуществляется жесткое крепление мобильного телефона к телу человека, что не бывает в реальных условиях), не учитываются взаимосвязи изменения индивидуальных особенностей движений человека с внешними (климатические (температура, световой день, осадки, атмосферное давление), временные (сезонные, месячные, недельные, суточные)) и внутренними факторами (физиологические особенности, образ жизни, изменение артериального давления). Большинство работ останавливается на том факте, что наблюдение с помощью носимого устройства за изменением функционирования опорно-двигательного аппарата возможно, и не доходит до применения в реальной практике из-за неудобства применения предлагаемых методик в повседневной жизни и низкой надежностью оценки из-за влияния мешающих факторов. Отдельные технические средства (смарт часы) ограничиваются лишь подсчетом количества шагов, анализом общей активностью человека без оценки изменений и особенностей опорно-двигательного аппарата. Таким образом, необходима разработка методологического и алгоритмического обеспечения, позволяющего выявлять и компенсировать мешающих факторов в процессе сбора показателей функционирования опорно-двигательного аппарата в привычных для человека условиях на основе носимых устройств с целью повышения надежности оценки функционирования опорно-двигательного аппарата, проводимой с применением носимых устройств.
Настоящий проект как раз направлен на развитие технологии диагностики опорно-двигательного аппарата в условиях "свободного" (привычного) использования носимых устройств за счет выявления и компенсации мешающих факторов (типы одежды, свободного перемещения носимого устройства, произвольных движений, ложных движений, например при поездке на транспорте и т.п.), в показаниях акселерометра носимых устройств, выявления взаимосвязей изменения функционирования опорно-двигательного аппарата от различных факторов (индивидуальных особенностей организма и образа жизни, типа одежды, климатических факторов)
ОТЧЁТНЫЕ МАТЕРИАЛЫ
Публикации
1.
Дорофеев Н.В., Горячев М.С., Шарапов Р.В., Костюхина А.М.
Особенности архитектуры персонализированной телемедицинской системы на базе носимых и IoT устройств
Известия Тульского государственного университета. Технические науки, № 9. С. 96-100 (год публикации - 2023)
10.24412/2071-6168-2023-9-96-97
2.
Дорофеев Н.В.,Горячев М.С., Шарапов Р.В., Романов Р.В.
Features of Smartphone Diagnostics of Human Health Based on Gait Parameters
2023 IEEE XVI International Scientific and Technical Conference "Actual Problems of Electronic Instrument Engineering" (APEIE), pp. 280-283 (год публикации - 2023)
10.1109/APEIE59731.2023.10347741
3. Дорофеев Н.В., Костюхина А.М. Информационные технологии для индивидуального подхода в диагностике и реабилитации опорно-двигательного аппарата VIII Пироговский форум травматологов-ортопедов. Сборник материалов, VIII Пироговский форум травматологов-ортопедов. Сборник материалов (Москва, 15-16 ноября 2023 г.). - Казань: Медицинский издательский дом "Практика", 2023. С. 169 (год публикации - 2023)
4. Дорофеев Н.В.,Шарапов Р.В., Горячев М.С., Костюхина А.М. Architecture of the Information System for Personalized Medicine Based on Portable Devices and Internet of Things Proceedings - ICCSIT 2023 (год публикации - 2023)
5. Дорофеев Н.В., Горячев М.С., Шарапов Р.В. Classification of Smartphone Gait Data and Assessment of Human Health Proceedings - ICCSIT 2023 (год публикации - 2023)
6.
Дорофеев Н.В., Горячев М.С., Романов Р.В., Кочеткова С.С.
Искажения данных акселерометра смартфона при измерениях параметров походки
Известия Тульского государственного университета. Технические науки, № 9. С. 119-125 (год публикации - 2023)
10.24412/2071-6168-2023-9-119-120
7. Кочанова А.М, Кочеткова С.С., Кузнецова О.А. Методика предварительной обработки данных в системе мониторинга функционирования опорно-двигательного аппарата на основе мобильного телефона Наука и образование в развитии промышленной, социальной и экономической сфер регионов России. XV Всероссийские научные Зворыкинские чтения, С. 291 (год публикации - 2023)
8. Ашина А.Д., Кочеткова С.С., Кузнецова О.А. Система персонализированной медицины на базе носимых устройств Наука и образование в развитии промышленной, социальной и экономической сфер регионов России. XV Всероссийские научные Зворыкинские чтения, С. 284 (год публикации - 2023)
9. Дорофеев Н.В., Кочеткова С.С., Костюхина А.М. Оценка здоровья человека на основе мобильных данных о параметрах походки Sechenov International Biomedical Summit 2023. VII СЕЧЕНОВСКИЙ МЕЖДУНАРОДНЫЙ БИОМЕДИЦИНСКИЙ САММИТ. 2023, 2023. С. 337 (год публикации - 2023)
10. Шарапов Р.В., Дорофеев Н.В. Хранение данных наблюдений в системе персонализированной медицины Машиностроение и безопасность жизнедеятельности, № 1, С. 49-52 (год публикации - 2023)
Аннотация результатов, полученных в 2024 году
1. Разработано базовое информационно-аналитическое программное обеспечение под сервер и мобильные устройства с расширенным функционалом, реализующее разработанные алгоритмы, методики и модели. Программное обеспечение под мобильные устройства размещено в сети Интернет на платформах приложений RuStore, AppStore, Google Play под iOS и Android. Интернет сервер для взаимодействия с мобильными устройствами располагается в домене www.hi-nt.ru (http://hi-nt.ru/About_project.htm).
2. Собраны новые статистические данные для сформированной базы данных (общее количество записей составило более 1800), построены пространства движений исследуемых, скорректированы результаты, полученные в первый год выполнения проекта с учетом новых данных.
4. Выделены основные факторы временной изменчивости движений с учетом наличия годовых данных на основе анализа участков данных с идентичным трендом в полной картине двигательной активности (проявляющихся во взаимосвязанном изменении пространственно-временных параметров движений), построенной по данным носимых персональных устройств. В ходе коррекции были замечены изменения типа тренда по дням недели в сравнении с первым годом. Для добровольцев, у которых прослеживалась средняя и слабая отрицательная корреляция изменения температуры окружающей среды и временных изменений акселерограмм были получены коэффициенты функции взаимной корреляции по каждому отсчету шаблона движения Отрицательная корреляция с температурой окружающей среды составляла не более -0.45. Взаимосвязь с атмосферным давлением в ходе исследования не была выявлена ни у одного из добровольцев – значение корреляции по модулю не превышала 0,1. Скорректированы общие тренды изменения среднего значения функции взаимной корреляции измерений в сутках. Были скорректированы данные об изменениях расстояния между группами облаков, характеризующих отдельные измерения в многомерном пространстве параметров.
5. Разработана адаптированная под особенности собираемых данных архитектуры нейронной сети. Для повышения эффективности алгоритмов выделения информативных участков данных и алгоритмов классификации предложена адаптированная архитектура нейронной сети. Отличительной особенностью предлагаемой архитектуры является состав и связи основных блоков. Архитектура состоит из следующих блоков рекуррентной нейронной сети для выполнения процедуры сегментации, сверточной нейронной сети для формирования эмбеддинга для различных типов движений, а также выходного блока в виде сети прямого распространения для классификации по вектору признаков типа движения. Рекуррентная нейронная сеть предназначена для выделения кратковременных последовательностей кратных двойному шагу. Количество блоков рекуррентной сети равняется 560. На выходе рекуррентной нейронной сети формируется выделенный шаблон движения, который поступает на сверточную сеть для формирования эмбеддинга. По эмбеддингу выполняется классификация 7 видов походки: ходьба по прямой, бег по прямой, подъем по лестнице, бег по лестнице вверх, спуск по лестнице, бег по лестнице вниз, поворот.
6. Повышена эффективность алгоритмов выделения информативных участков данных о движениях и алгоритмов их классификации за счет применения адаптированной под особенности собираемых данных архитектуры нейронной сети. За счет применения разработанного алгоритма обработки информативных эмбэддингов классификатором на основе нейронной сети прямого распространения точность классификации собственных двойных шагов составляет 99,4%. Дальнейшая фильтрация осуществляется по корреляции выделенного сегмента с сегментом из банка данных.
7. Разработан алгоритм построения персональной информационной карты движений на основе разработанных алгоритмов классификации, и содержащей индивидуальные пространства параметров движений и учитывающей уникальные признаки, проявляющиеся во взаимосвязанном изменении пространственно-временных параметров движений при различных условиях (внешних и внутренних факторов). Отличительной особенностью предлагаемой информационной карты движений является её многокритериальность, которая позволяет выделять информативные параметры по выбранной группе критериев и формировать полноценные эмбеддинги на этапах прогнозирования негативных состояний.
8. Разработан алгоритм построения информационной модели биомеханики человека на основе алгоритмов выделения информативных участков и персональной информационной карты движений - информационная модель движений, учитывающая внешние (климатические (температура, световой день, осадки, атмосферное давление), временные (сезонные, месячные, недельные, суточные)) и внутренних факторов (физиологические особенности, образ жизни). Алгоритм построен на основе сверточных нейронных сетей с фильтрами размером 2х2, 3х3, 5х5 и 10х10 и нейронной сети, которая по группам эмбеддингов сверточных сетей формирует разметку пространства диагнозов по признакам движений
9. Разработан алгоритм интеллектуальной оценки изменения индивидуальной нормы движения, позволяющий выявлять индивидуальные взаимосвязи изменения нормы функционирования опорно-двигательного аппарата под влиянием внешних и внутренних факторов, позволяющий производить совмещение пространств регистрируемых параметров движений со сформированной персональной информационной картой движений пользователя, а также выполнять последующую оценку и решение о соответствии регистрируемых параметров походки индивидуальной норме движений пользователя. Вероятность правильного прогнозирования с использованием рассмотренных алгоритмов, составляет не менее 0.7, что позволяет использовать их в качестве базовых (начальных). Время прогноза составляет 4-5 часов и соответствует интервалу измерений.
10. Определены требования к разработанной технологии - к оценке изменений индивидуальной нормы функционирования опорно-двигательного аппарата в разрабатываемой технологии на основе биометрических данных о параметрах движений по данным датчиков носимых устройств в процессе эксплуатации.
Публикации
1. Дорофеев Н.В., Шарапов Р.В., Горячев М.С. Analysis of individual health changes by gait using a smartphone Компьютерные технологии и анализ данных (CTDA'2024), Белорусский государственный университет, г. Минск (год публикации - 2024)
2. Дорофеев Н.В., Шарапов Р.В., Горячев М.С. Predicting Health Status Based on Human Gait Parameters Using a Smartphone Communications in Computer and Information Science (год публикации - 2024)
3. Дорофеев Н.В., Шарапов Р.В., Горячев М.С., Сергеева В.С. Изменение и выявление индивидуальных особенностей походки человека на основе смартфона XVI Международная научная конференция «Физика и радиоэлектроника в медицине и экологии – ФРЭМЭ’2024» – Владимир-Суздаль, C. 94 (год публикации - 2024)
4.
Дорофеев Н.В., Шарапов Р.В., Горячев М.С., Кочеткова С.С., Костюхина А.М.
Observing temporary changes in gait using a mobile phone
E3S Web of Conferences, 541, 03007, pp. 1-6 (год публикации - 2024)
10.1051/e3sconf/202454103007
5. Горячев М. С., Кочанова А. М. Особенности комплексного измерения параметров здоровья на основе походки Наука и образование в развитии промышленной, социальной и экономической сфер регионов России. XVI Всероссийские научные Зворыкинские чтения, МИ ВлГУ, г. Муром., Т. XVI. С. 346 (год публикации - 2024)
6. Дорофеев Н.В., Шарапов Р.В., Романов Р.В. Персонализированный подход к диагностике здоровья по движениям на основе смартфона Клиническая диагностика и персонализированная медицина (год публикации - 2024)
7. Дорофеев Н.В., Шарапов Р.В., Горячев М.С., Романов Р.В. Информационное обеспечение для диагностики состояния здоровья человека по параметрам движений на основе данных смартфона Актуальные проблемы медицинской науки и образования (АПМНО-2024) : сб. ст. по материалам X Междунар. науч. конф. (г. Пенза) (год публикации - 2024)
8. Дорофеев Н.В., Шарапов Р.В. Повышение точности принятия решений в системе диагностики здоровья человека по походке с применением смартфона Искусственный интеллект и принятие решений (год публикации - 2025)
9. Дорофеев Н.В., Шарапов Р.В., Горячев М.С. Использование смартфона для прогнозирования появления головной боли по акселерограмме походки Биомедицинская радиоэлектроника (год публикации - 2025)
Возможность практического использования результатов
Развитие и внедрение полученных в проекте результатов на практике позволит не только повысить переход на персонализированную медицину, выявлять в реальном масштабе времени изменения опорно-двигательного аппарата человека в "прозрачном" (не заметном, без необходимости проводить измерения по специальным методикам и перестраивать свой режим и распорядок) для него режиме. Автоматизация и повышение точности измеряемых параметров функционирования опорно-двигательного аппарата позволит собирать (с разрешения пользователей носимых устройств) базу данных о состоянии опорно-двигательной системы (по городам, областям, регионам), отслеживать во времени изменение состояния опорно-двигательной системы, проводить более глубокий анализ проблем и заболеваний опорно-двигательного аппарата в зависимости от региона, сферы деятельности.
Полученные в ходе проекта результаты могут быть полезны не только в области персонализированной медицины, но так же в области защиты информации (биометрические данные о походке человека используются для аутентификации), человеко-машинных интерфейса и роботизированных системах гражданской (управление умными устройствами, спортивные и реабилитационные экзоскелеты), промышленной (роботы манипуляторы, роботы погрузчики) и военных отраслях (цифровые двойники, отслеживание и анализ действий (движений) солдат в экстремальных ситуациях).