Разработка и исследование методов, алгоритмов и программных средств перемещения и взаимодействия человека с виртуальной реальностью

КАРТОЧКА ПРОЕКТА ФУНДАМЕНТАЛЬНЫХ И ПОИСКОВЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ

Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.

ОБЩИЕ СВЕДЕНИЯ

Номер проекта 22-71-10057

НазваниеРазработка и исследование методов, алгоритмов и программных средств перемещения и взаимодействия человека с виртуальной реальностью

Руководитель Дедов Денис Леонидович, Кандидат технических наук

Организация финансирования, регион Федеральное государственное бюджетное образовательное учреждение высшего образования "Тамбовский государственный технический университет" , Тамбовская обл

Конкурс №71 - Конкурс 2022 года «Проведение исследований научными группами под руководством молодых ученых» Президентской программы исследовательских проектов, реализуемых ведущими учеными, в том числе молодыми учеными

Область знания, основной код классификатора 01 - Математика, информатика и науки о системах; 01-511 - Системы визуализации и виртуального окружения

Ключевые слова виртуальная реальность, машинное зрение, нейронные сети, перемещение в VR, взаимодействие с VR, алгоритмы сбора данных о действиях человека, методы захвата движения, методы синтеза следящих систем, методы синтеза систем взаимодействия

Код ГРНТИ28.15.23 28.17.33 28.23.29

ИНФОРМАЦИЯ ИЗ ЗАЯВКИ

Аннотация
В рамках государственной программы «Цифровая экономика Российской Федерации» предполагается расширение применения цифровых технологий в системе образования, увеличение доли цифровых инструментов в рамках контрольных процедур, интеграция с цифровой информационной средой. В настоящее время технологии виртуальной реальности активно применяются в различных сферах деятельности человека: для профессиональной подготовки в форме тренажерных систем, для диагностики и реабилитации в неврологии и психиатрии, в сфере развлечений и игровой индустрии. Однако в области взаимодействия человека с виртуальной средой существует множество неразрешенных противоречий: - существующее многообразие платформ для перемещения в виртуальной реальности функционирует на кардинально отличающихся принципах (пассивные и активные платформы, однонаправленные и всенаправленные), что требует индивидуального подхода к реализации систем управления подобными платформами и их интеграции в системы виртуальной реальности; - большинство комплексов виртуальной реальности использует в качестве метода взаимодействия с виртуальной реальностью специализированные контроллеры, что снижает иммерсивность в ходе работы с виртуальным пространством и требует адаптации пользователя к схеме управления каждого комплекса; - системы жестового управления и распознавания пальцев для взаимодействия с виртуальным пространством не позволяют реализовать сложные и высокоточные операции, отличаются высокой погрешностью, даже с применением специализированных устройств. Все перечисленное существенно снижает область применения технологий VR при разработке тренажерных и диагностических VR систем, поскольку не позволяет обеспечить требуемый уровень повторяемости процесса взаимодействия. Научная проблема исследования заключается в необходимости разработки теоретических основ, методов и алгоритмов, основанных на технологиях машинного обучения и компьютерного зрения, для повышения адаптивности систем перемещения в виртуальной реальности, точности взаимодействия с виртуальными объектами и уровня иммерсивности в тренажерных, реабилитационных и диагностических системах, системах ручного удаленного управления роботизированными комплексами и манипуляторами. Также научную ценность представляют объединенная в наборы данных (датасеты) информация о процессах перемещения человека и взаимодействия с реальными объектами с последующим переносом траекторий движений в виртуальное пространство, что может использоваться в процессе интеллектуальной обработки данных алгоритмами машинного обучения и в дальнейшем интегрировано для имитации реалистичного поведения людей в виртуальной среде. Проблема исследования соответствует Стратегии НТР Н1 в области создания систем виртуальной реальности, функционирующих на основе новых методов обработки больших объемов данных с применением технологий машинного обучения, компьютерного зрения для эффективного решения задач перемещения и взаимодействия человека с виртуальной реальностью. Тематика проекта соответствует направлениям деятельности комитета медицинских технологий НОЦ мирового уровня "Инженерия будущего" и лаборатории медицинских VR тренажерных систем для обучения, диагностики и реабилитации. Научная новизна исследования включает следующие положения: 1. Метод захвата движений человека на основе различных аппаратных решений (трекинг виртуальной реальности, набор камер, датчики глубины, лазерные сетки) для создания цифровой тени процесса перемещения человека для последующего применения в алгоритмах синхронизации с виртуальной реальностью, отличающийся учетом положения, направления и скорости перемещения человека, а также специфики функционирования аппаратного части используемой беговой платформы. 2. Нейросетевой алгоритм краткосрочного прогнозирования изменения скорости человека и его положения в пространстве в условиях неопределенности на основе отслеживаемой информации, отличающийся использованием комбинаций рекуррентных и многослойных нейронных сетей для определения актуальных значений с учетом эффектов аппаратного запаздывания и смещения полотна системы перемещения. 3. Алгоритм управления скоростью и ускорением аппаратных систем для синхронизации с перемещением в виртуальном пространстве для обеспечения соответствия реального процесса перемещения человека с минимизацией эффекта инерции и негативного стрессового состояния на вестибулярный аппарат пользователя. 4. Определение оптимального количества и расположения точек отслеживания на человеке в процессе движения для получения необходимой точности при минимизации количества отслеживаемых точек в зависимости от выбранного подхода к получению ключевых точек тела человека (трекинг виртуальной реальности, набор камер, датчики глубины, лазерные сетки). 5. Алгоритм сбора информации о процессе взаимодействия человека с реальными объектами для формирования цифровой тени процесса взаимодействия рук человека с реальными объектами и создания набора больших данных о траектории и положении ключевых точек руки человека, отличающийся комбинацией технологий трекинга виртуальной реальности и технологий машинного зрения для повышения точности построения трехмерной модели рук и пальцев человека. 6. Метод синтеза следящих систем на основе различных технологий (трекинг виртуальной реальности, набор камер, датчики глубины, лазерные сетки), работающих в условиях неконтролируемых внешних воздействий, модель которых неизвестна, обеспечивающих инвариантность в асимптотике замкнутой системы слежения. 7. Метод синтеза программно-аппаратных систем организации взаимодействия с виртуальной реальностью, основанный на использовании цифровых теней процесса взаимодействия рук человека с реальными объектами, для моделирования реалистичного и синхронизированного процесса взаимодействия с виртуальными объектами, отличающийся анализом мелкой моторики человека. Теоретическая значимость исследования определяется тем, что разработанные методы и алгоритмы содержат решение крупной научной проблемы обеспечения условий повышения точности и качества перемещения и взаимодействия человека с виртуальной реальностью. Практическая значимость исследования обусловлена возможностью широкого использования его результатов в системах виртуальной реальности, тренажерных комплексах, реабилитационных и диагностических виртуальных системах. Разработка методов перемещения и взаимодействия с виртуальными объектами позволит также расширить функциональность существующих систем профессиональной подготовки, в которых требуется реализация высокоточных операций и отслеживание мелкой моторики. На основе полученных теоретических и практических результатов планируется разработка тренажерных комплексов (для профессиональной подготовки, обучения персонала горнодобывающей отрасли), реабилитационных и диагностических систем (для выявления неврологических заболеваний, фобических расстройств, опорно-двигательной реабилитации) на основе виртуальной реальности и разработанных методов перемещения и взаимодействия с виртуальной реальностью совместно с «Корпорация «Росхимзащита», «СУЭК», партнерами НОЦ «Инженерия будущего», ТОГБУЗ «Городская клиническая больница №3 им. И.С. Долгушина г. Тамбова» и ОГБУЗ «Тамбовская психиатрическая клиническая больница».

ОТЧЁТНЫЕ МАТЕРИАЛЫ

Аннотация результатов, полученных в 2025 году
За 3 год выполнения проекта получены следующие конкретные научные результаты: 1. Разработан и формализован алгоритм сбора информации о процессе взаимодействия человека с реальными объектами на основе различных аппаратных платформ (перчатки виртуальной реальности, камеры, трекеры, шлемы VR с отслеживанием рук) для формирования цифровой тени процесса взаимодействия рук человека с реальными объектами. Алгоритм включает 6 основных этапов: калибровка и настройка сенсоров; сбор данных с датчиков в реальном времени; предварительная обработка; объединение данных; отслеживание событий; формирование цифровой тени. Выявлены и сравнены основные характеристики различных аппаратных платформ с целью определения их применимости при разработке тренажерных систем различной сложности. Осуществлена формализация процесса взаимодействия рук человека с реальными объектами, которая включает описание основных объектов (реальной и виртуальной руки, внешних объектов), их состояний, процесса взаимодействия объектов между собой, необходимых преобразований для реконструкции и отображения модели руки в виртуальном пространстве. 2. Разработаны тестовые сцены для 5 упражнений и проведено 1809 испытаний с привлечением 107 испытуемых для формирования базы данных движения рук и работы мелкой моторики. Отслеживание движений руки будет осуществлено по 21 точкам, что определено в ходе предварительного сравнения, которое показало, что меньшее количество точек не позволяет осуществить корректную реконструкцию. Осуществлена оценка полученных результатов, которая показала, что физические контроллеры позволяют быстрее и точнее выполнять упражнения по сравнению с технологиями компьютерного зрения для захвата движений, однако, последние могут быть интегрированы в виртуальные тренажеры в случаях, когда не требуется избыточная точность. 3. Разработан и формализован метод синтеза следящих систем на основе различных технологий, работающих в условиях неконтролируемых внешних воздействий, модель которых неизвестна, обеспечивающих инвариантность в асимптотике замкнутой системы слежения, то есть гарантируется, что система будет устойчиво следить за объектом, несмотря на возможные помехи и изменения во внешней среде. В ходе реализации метода разработана технология повышения точности отслеживания пользователя в условиях неконтролируемых внешних воздействий. В качестве предметной области апробации технологии рассматривается человеко-машинная система, включающаяся управляемую беговую платформу и человека, произвольно перемещающегося по ней. Рассмотрены различных архитектуры моделей машинного обучения и нейросетевые методы управления, направленные на повышение точности позиционирования и определения скорости движения человека. Формализация метода синтеза следящих систем осуществлена на базе разработанной технологии, бесстрессового алгоритма управления и цифровой тени перемещения пользователя. При реализации метода учтены ограничения существующих систем отслеживания, интегрированы алгоритмы обработки данных от них, формализованы характеристики объекта слежения (человека или отдельных его фрагментов) и внешней среды, проведен анализ поведения замкнутой системы при длительном слежении за объектом. 4. Разработан и формализован метод синтеза программно-аппаратных систем организации взаимодействия с виртуальной реальностью, основанный на использовании цифровых теней процесса взаимодействия рук человека с реальными объектами, для моделирования реалистичного и синхронизированного процесса взаимодействия с виртуальными объектами; в рамках метода определены ограничения аппаратной составляющей систем виртуальной реальности. Для реализации метода также рассмотрены существующие методы компьютерного зрения, обработки изображений и машинного обучения, инструментов для создания 3D-моделей и анимации. 5. Проведены эксперименты по совместному применению методов, основанных на компьютерном зрении, обработке изображений и машинном обучения для построения цифровых теней, отвечающих за отслеживание движений рук и перемещения человека, а также их интеграция с виртуальной сценой. Это позволило исследовать совместное применение разработанных алгоритмов и программного обеспечения взаимодействия с виртуальными объектами и алгоритмами перемещения в VR для создания комплексов полного погружения в виртуальное пространство. Алгоритмы взаимодействия с виртуальными объектами демонстрируют точность и стабильность, что обеспечивает естественное взаимодействие с виртуальной средой. 6. Выполнение индикаторов, публикация результатов исследования. В рамках третьего года запланированные показатели выполнены в полном объеме. Выполнена публикация: - 6 статей в журналах, индексируемых Scopus/WoS/RSCI, из которых 1 статья - в журнале Q1/Q2. - 6 статей в журналах, индексируемых РИНЦ. Участие с 8 докладами на Международных и Всероссийских конференциях. Оформление 3 свидетельств на регистрацию программы для ЭВМ.

Публикации

1. Архипов А.Е., Николюкин М.С., Недосып Н.С. Применение компьютерного зрения для мониторинга и анализа процессов на промышленных объектах Виртуальное моделирование, прототипирование и промышленный дизайн : Материалы X Международной научно-практической конференции, Архипов, А.Е. Применение компьютерного зрения для мониторинга и анализа процессов на промышленных объектах / А.Е. Архипов, М.С. Николюкин, Н.С. Недосып// Виртуальное моделирование, прототипирование и промышленный дизайн : Материалы X Международной научно-практической конференции, Тамбов, 21–22 октября 2024 года. Выпуск 10. – Тамбов: Издательский центр ФГБОУ ВО "Тамбовский государственный технический университет", 2024. – С. 249-251. (год публикации - 2024)

2. Волков А.А., Дедов Д.Л., Назарова А.О., Обухов А.Д., Теселкин Д.В. Бесстрессовый алгоритм управления беговыми платформами на основе нейросетевых технологий Информатика и автоматизация, Бесстрессовый алгоритм управления беговыми платформами на основе нейросетевых технологий / А. Д. Обухов, Д. Л. Дедов, Д. В. Теселкин [и др.] // Информатика и автоматизация. – 2024. – Т. 23, № 3. – С. 909-935. – DOI 10.15622/ia.23.3.10. – EDN SAPSSN. (год публикации - 2024)
10.15622/ia.23.3.10

3. Обухов А.Д, Николюкин М.С. Адаптивная обработка видеопотока, полученного с камер, при ограничениях на пропускную способность сети передачи данных Информационные технологии, Николюкин, М. С. Адаптивная обработка видеопотока, полученного с камер, при ограничениях на пропускную способность сети передачи данных / М. С. Николюкин, А. Д. Обухов // Информационные технологии. – 2024. – Т. 30, № 5. – С. 252-260. – DOI 10.17587/it.30.252-260. (год публикации - 2024)
10.17587/it.30.252-260

4. Дедов Д.Л., Лопатко А.С. Прогнозирование действий человека в условиях неопределенности с использованием нейросетевых технологий Виртуальное моделирование, прототипирование и промышленный дизайн : Материалы X Международной научно-практической конференции, Дедов Д.Л. Прогнозирование действий человека в условиях неопределенности с использованием нейросетевых технологий / Д.Л. Дедов, А.С. Лопатко // Виртуальное моделирование, прототипирование и промышленный дизайн : Материалы X Международной научно-практической конференции, Тамбов, 21–22 октября 2024 года. Выпуск 10. – Тамбов: Издательский центр ФГБОУ ВО "Тамбовский государственный технический университет", 2024. – С. 219-222. (год публикации - 2024)

5. Карпушкин С.В., Обухов А.Д., Сиухин А.А. Компенсация запаздывания систем управления устройствами имитации физических нагрузок Инженерные технологии, Карпушкин, С. В. Компенсация запаздывания систем управления устройствами имитации физических нагрузок / С. В. Карпушкин, А. Д. Обухов, А. А. Сиухин // Инженерные технологии. – 2024. – № 2(6). – С. 36-44. (год публикации - 2024)

6. Вехтева Н.А., Свешников А.Ю., Теселкин Д.В. Распознавание человека по цифровой тени движений тела на основе нейросетевых технологий Виртуальное моделирование, прототипирование и промышленный дизайн : Материалы X Международной научно-практической конференции, Теселкин, Д.В. Распознавание человека по цифровой тени движений тела на основе нейросетевых технологий / Д.В. Теселкин, Н.А. Вехтева, А.Ю. Свешников // Виртуальное моделирование, прототипирование и промышленный дизайн : Материалы X Международной научно-практической конференции, Тамбов, 21–22 октября 2024 года. Выпуск 10. – Тамбов: Издательский центр ФГБОУ ВО "Тамбовский государственный технический университет", 2024. – С. 227-230. (год публикации - 2024)

7. Волков А.А., Меркурьев Я.В. Расчет метрического положения человека в пространстве на основе компьютерного зрения Виртуальное моделирование, прототипирование и промышленный дизайн : Материалы X Международной научно-практической конференции, Волков, А.А. Расчет метрического положения человека в пространстве на основе компьютерного зрения / А.А. Волков, Я.В.Х. Меркурьев // Виртуальное моделирование, прототипирование и промышленный дизайн : Материалы X Международной научно-практической конференции, Тамбов, 21–22 октября 2024 года. Выпуск 10. – Тамбов: Издательский центр ФГБОУ ВО "Тамбовский государственный технический университет", 2024. – С. 203-206. (год публикации - 2024)

8. Архипов А.Е., Карпушкин С.В., Суркова Е.О. Система распознавания модели тела человека на основе компьютерного зрения и машинного обучения Виртуальное моделирование, прототипирование и промышленный дизайн : Материалы X Международной научно-практической конференции, Карпушкин С.В. Система распознавания модели тела человека на основе компьютерного зрения и машинного обучения / С.В. Карпушкин, А.Е. Архипов, К.О. Суркова // Виртуальное моделирование, прототипирование и промышленный дизайн : Материалы X Международной научно-практической конференции, Тамбов, 21–22 октября 2024 года. Выпуск 10. – Тамбов: Издательский центр ФГБОУ ВО "Тамбовский государственный технический университет", 2024. – С. 215-218. (год публикации - 2024)

9. Обухов А.Д., Дедов Д.Л., Волков А.А., Рыбачок М.В. Technology for improving the accuracy of predicting the position and speed of human movement based on machine learning models Technologies , 2025, 13, 101 (год публикации - 2025)
10.3390/technologies13030101

10. Дедов Д.Л., Суркова Е.О., Теселкин Д.В. Creating digital shadows of human movement with musculoskeletal disorders based on 3D computer visions AIP Conference Proceedings (год публикации - 2025)

11. Обухов А.Д., Круглов В.С., Никитников Ю.В., Шильцын М.А. Formation of a human body digital model in virtual reality based on computer vision AIP Conference Proceedings (год публикации - 2025)

12. Обухов А.Д., Лопатко А.С., Архипов А.Е. Method for Synthesizing Systems for Organizing Interaction with Virtual Reality AIP Conference Proceedings (год публикации - 2025)

Возможность практического использования результатов
В результате проведенных трехлетних исследований разработаны и апробированы комплексные аппаратно-программные решения для создания цифровой теневой модели движений человека, включающие методики многоканальной съемки движений с помощью VR-трекеров, камер и костюмов захвата движений, а также нейросетевые алгоритмы для краткосрочного прогнозирования скорости и безстрессового управления беговыми платформами. Полученные технологии могут быть использованы при создании медицинских тренажеров и диагностических систем для реабилитации пациентов с двигательными нарушениями, что позволит снизить затраты на долгосрочную терапию и повысить качество и доступность качественной реабилитации за счет автоматизации сбора и анализа показателей походки и моторики . Помимо этого, разработанные программные модули представляют собой основу для интеграции в системы теле- и цифровой медицины. Формализация и реализация цифровых теней движения человека и взаимодействия с объектами создает теоретическую и технологическую платформу для разработки систем цифровых двойников в производстве, строительстве и логистике, где требуется симуляция поведения оператора или работника в виртуальной среде. Алгоритмы синтеза программно-аппаратных комплексов с устойчивым слежением за человеком могут лечь в основу отечественных VR-решений для обучения персонала на критически важных производствах (энергетика, авиастроение, нефтегазовая отрасль) без привлечения иностранного программного обеспечения. Таким образом, разработанные в проекте методы (нейросетевой алгоритм краткосрочного прогнозирования траектории, метод синтеза следящих систем, алгоритм формирования цифровой тени рук и другие полученные результаты), дают целостную теоретическую основу для описания и анализа человеческого движения в реальном и виртуальном пространствах. Эта теоретическая база может найти применение в новых продуктах и технологиях: системах управления беговыми тренажерами и дорожками с повышенным комфортом; модулях безопасности, заранее прогнозирующих траекторию движения оператора; бюджетных системах трекинга на основе компьютерного зрения или малого количества датчиков, обеспечивающих высокую точность за счет переходных моделей и, наконец, медицинских системах наблюдения, мониторинга и анализа, что особенно актуально в сфере опорно-двигательной реабилитации.