КАРТОЧКА ПРОЕКТА ФУНДАМЕНТАЛЬНЫХ И ПОИСКОВЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ

Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.

 

ОБЩИЕ СВЕДЕНИЯ


Номер 23-21-00349

НазваниеМетоды повышения точности позиционирования с использованием технологии дополненной реальности как способа навигации в хирургическом вмешательстве

РуководительИванов Владимир Михайлович, Доктор физико-математических наук

Организация финансирования, регион федеральное государственное автономное образовательное учреждение высшего образования "Санкт-Петербургский политехнический университет Петра Великого", г Санкт-Петербург

Период выполнения при поддержке РНФ 2023 г. - 2024 г. 

Конкурс№78 - Конкурс 2022 года «Проведение фундаментальных научных исследований и поисковых научных исследований малыми отдельными научными группами».

Область знания, основной код классификатора 01 - Математика, информатика и науки о системах, 01-511 - Системы визуализации и виртуального окружения

Ключевые словасмешанная реальность, дополненная реальность, визуализация анатомических структур, очки дополненной реальности, голограмма, интраоперационная навигация

Код ГРНТИ20.53.21


 

ИНФОРМАЦИЯ ИЗ ЗАЯВКИ


Аннотация
Одним из наиболее актуальных и перспективных направлений в медицине является применение дополненной реальности (Augmented reality, AR) для планирования и проведения операций. Эта технология дает возможность наблюдателю видеть виртуальные объекты в контексте реального мира, что позволяет проецировать их изображение перед глазами в виде голограммы, используя для этого очки дополненной реальности. В контексте медицины дополненная реальность позволяет хирургу во время операции видеть 3D-визуализацию данных КТ и МРТ пациента, совмещенных с реальной интраоперационной картиной, за счёт чего он меньше переводит взгляд на монитор с данными диагностических исследований и непрерывно контролирует состояние операционной зоны. Дополненная реальность помогает хирургу во время операции не только видеть, где находятся важные анатомические структуры (сосуды, нервы, кости, воздухоносные пазухи), но и увеличивать точность проводимых манипуляций во время операции, сокращать её продолжительность. Также подобные системы позволяют отказаться от индивидуальных хирургических шаблонов сверления или резекции за счет отслеживания положения инструментов и контроля выполнения действий хирургов. На текущий момент в мире разрабатываются различные системы дополненной реальности для планирования и проведения операций, такие как: MEDIVIS, Lucina AR, Brainlab, Medtronic, Augmedics xvision и другие. Однако в Российской Федерации ни одна из них еще не зарегистрирована в качестве медицинского изделия. Несмотря на активное распространение AR-технологий, проблемы точности совмещения виртуальной модели анатомии пациента с телом пациента, иными словами, позиционирования, решены слабо. В связи с этим все разработанные AR-системы используются как дополнительное, вспомогательное оборудование, а не как основное. Для развития данных технологий в отечественной медицине требуется фундаментальное изучение подходов к повышению точности позиционирования, чтобы голографические данные были не просто визуализацией, но и опороспособными данными для проведения лечения. Это поможет вывести технологию из лаборатории в медицинскую практику. Целью проекта является разработка фундаментальных основ и методов повышения точности позиционирования данных анатомии и инструментов в дополненной реальности для хирургии. Задачами проекта являются: оценка требуемой точности визуализации анатомии пациента и инструментов в режиме дополненной реальности в зависимости от области хирургии; позиционирование с использованием камеры в очках дополненной реальности и оптической метки с изображением (QR-код): определение основных критериев, влияющих на точность при данном методе; анализ рисков потери точности во время проведения операции; разработка системы и метода позиционирования данных анатомии и инструментов; анализ точности разработанной системы и метода; позиционирование с использованием внешней инфракрасной системы отслеживания и светоотражающих сфер-маркеров: определение основных критериев, влияющих на точность при данном методе; анализ рисков потери точности во время проведения операции; разработка системы и метода позиционирования данных анатомии и инструментов; анализ точности разработанной системы и метода; сравнительный анализ обоих систем и методов позиционирования, разработка рекомендаций по их применению в хирургии; разработка комбинированной системы и метода позиционирования данных анатомии и инструментов, для повышения надежности и устойчивости работы системы дополненной реальности. Результатом проекта будет являться разработка фундаментальных основ повышения точности интраоперационного позиционирования виртуальной модели анатомии пациента и инструментов относительно его реального тела для навигационных хирургических систем на основе технологий дополненной реальности, а также прототипы систем отслеживания и методы их использования. Полученные результаты станут фундаментом для проектирования систем дополненной реальности для хирургии на территории РФ.

Ожидаемые результаты
Результатами проекта будут: Фундаментальные требования к точности визуализации анатомии пациента и инструментов в зависимости от назначения использования в медицине. Требования станут исходными данными для проектирования систем дополненной реальности для различных областей хирургии. Результаты будут опубликованы в отдельной научной статье. Фундаментальное исследование метода позиционирования с использованием камеры в очках дополненной реальности и оптической метки с изображением (QR-код): Анализ факторов, влияющих на точность позиционирования. Анализ рисков потери точности системы во время проведения операции, формализация рисков, определение слабых мест метода позиционирования. Результаты анализа будут являться исходными данными для разработки системы и метода позиционирования данных анатомии и инструментов. Разработка системы и метода позиционирования с помощью оптической метки и вспомогательного каркаса, закрепляемого на теле пациента и инструментах. Создание прототипа системы. Стендовые испытания прототипа системы согласно разработанному методу, определение точности разработанных системы и метода, формулирование принципиальных подходов к разработке исследовательского оборудования для подобных систем. Результаты работы могут быть использованы другими научными коллективами для оценки точности собственных систем, и разработки оборудования для проведения технических испытаний при регистрации медицинских изделий. Все результаты, полученные по данному методу позиционирования, будут опубликованы в отдельной научной статье. Фундаментальное исследование метода позиционирования с использованием внешней инфракрасной системы отслеживания и светоотражающих сфер-маркеров: Анализ факторов, влияющих на точность позиционирования. Анализ рисков потери точности системы во время проведения операции, формализация рисков, определение слабых мест метода позиционирования. Результаты анализа будут являться исходными данными для разработки системы и метода позиционирования данных анатомии и инструментов. Разработка системы и метода позиционирования с помощью внешней инфракрасной оптической системы отслеживания и светоотражающих сфер-маркеров, закрепляемых на теле пациента и инструментах. Создание прототипа системы. Стендовые испытания прототипа системы согласно разработанному методу, определение точности разработанных системы и метода, формулирование принципиальных подходов к разработке исследовательского оборудования для подобных систем. Результаты работы могут быть использованы другими научными коллективами для оценки точности собственных систем, и разработки оборудования для проведения технических испытаний при регистрации медицинских изделий. Все результаты, полученные по данному методу позиционирования, будут опубликованы в отдельной научной статье. Сравнительный анализ обоих методов позиционирования, разработка рекомендаций по их использованию в различных сферах хирургии. Результаты будут опубликованы в отдельной научной статье. Разработка гибридной системы и метода позиционирования, включающего оптический и инфракрасный методы, для повышения надежности и устойчивости работы системы визуализации данных анатомии и инструментов в режиме дополненной реальности. Итогом станет прототип системы и метод позиционирования, совмещающий оптический и инфракрасный методы. Результаты работы могут использоваться другими научными коллективами для проектирования собственных систем дополненной реальности в хирургии. Результаты будут опубликованы в отдельной научной статье.


 

ОТЧЁТНЫЕ МАТЕРИАЛЫ


Аннотация результатов, полученных в 2023 году
Проведена оценка требуемой точности визуализации данных анатомии пациента при хирургическом воздействии в режиме дополненной реальности, в зависимости от вида хирургического лечения. Разработана система, метод и конструкция для позиционирования виртуальной модели анатомии к реальному телу пациента с помощью оптической метки и вспомогательного каркаса для фиксации метки на теле пациента. Проанализированы основные риски потери точности системы дополненной реальности во время проведения хирургической операций. Выполнен анализ точности позиционирования при помощи разработанной системы и метода, на разработанном измерительном стенде, где совокупная ошибка позиционирования, при замирениях составила не более 2мм. Создано 4 объектов РИД. Опубликовано 11 научных статей в международных и российских базах.

 

Публикации

1. Мадалиев А., Иванов В. М. Методика позиционирования хирургической системы смешанной реальности Графикон-конференции по компьютерной графике и зрению, Графикон-конференции по компьютерной графике и зрению. – 2023. – Т. 33. – С. 139-145. (год публикации - 2023)

2. Опыт применения технологии дополненной реальности при хирургическом лечении больных первичными и рецидивирующими опухолями органов малого таза Experience in the Application of Augmented Reality Technology in the Surgical Treatment of Patients Suffering Primary and Recurrent Pelvic Tumors Journal of Personalized Medicine, 2023, pp 13. (год публикации - 2023)

3. ПОЗИЦИОНИРОВАНИЕ ХИРУРГИЧЕСКОЙ СИСТЕМЫ СМЕШАННОЙ РЕАЛЬНОСТИ ПОЗИЦИОНИРОВАНИЕ ХИРУРГИЧЕСКОЙ СИСТЕМЫ СМЕШАННОЙ РЕАЛЬНОСТИ Автоматизация в промышленности, Январь 2023 (год публикации - 2023)

4. Иванов Владимир Михайлович, Стрелков Сергей Васильевич, Синегуб Андрей Владимирович, Коскин Валерий Сергеевич Держатель маркеров для подготовки и выполнения хирургической операции с использованием технологии смешанной реальности -, RU 2 809 175 C1 (год публикации - )

5. Иванов Владимир Михайлович, Стрелков Сергей Васильевич, Синегуб Андрей Владимирович, Коскин Валерий Сергеевич Способ фиксации держателя маркеров на теле пациента для подготовки и выполнения хирургической операции с использованием технологии смешанной реальности -, RU 2 808 923 C1 (год публикации - )

6. Иванов Владимир Михайлович, Стрелков Сергей Васильевич, Синегуб Андрей Владимирович, Лысенко Анна Валерьевна Держатель маркера для выполнения хирургических операций на нижней челюсти с использованием технологии смешанной реальности -, RU 218 805 U1 (год публикации - )

7. Иванов Владимир Михайлович, Стрелков Сергей Васильевич, Смирнов Антон Юрьевич Программа визуализации данных для навигации в челюстно - лицевой хирургии и позиционирования стоматологических имплантатов с использованием технологии дополненной реальности -, RU 2 809 175 C1 (год публикации - )