Методы повышения точности позиционирования с использованием технологии дополненной реальности как способа навигации в хирургическом вмешательстве

КАРТОЧКА ПРОЕКТА ФУНДАМЕНТАЛЬНЫХ И ПОИСКОВЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ

Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.

ОБЩИЕ СВЕДЕНИЯ

Номер проекта 23-21-00349

НазваниеМетоды повышения точности позиционирования с использованием технологии дополненной реальности как способа навигации в хирургическом вмешательстве

Руководитель Иванов Владимир Михайлович, Доктор физико-математических наук

Организация финансирования, регион федеральное государственное автономное образовательное учреждение высшего образования "Санкт-Петербургский политехнический университет Петра Великого" , г Санкт-Петербург

Конкурс №78 - Конкурс 2022 года «Проведение фундаментальных научных исследований и поисковых научных исследований малыми отдельными научными группами»

Область знания, основной код классификатора 01 - Математика, информатика и науки о системах; 01-511 - Системы визуализации и виртуального окружения

Ключевые слова смешанная реальность, дополненная реальность, визуализация анатомических структур, очки дополненной реальности, голограмма, интраоперационная навигация

Код ГРНТИ20.53.21

ИНФОРМАЦИЯ ИЗ ЗАЯВКИ

Аннотация
Одним из наиболее актуальных и перспективных направлений в медицине является применение дополненной реальности (Augmented reality, AR) для планирования и проведения операций. Эта технология дает возможность наблюдателю видеть виртуальные объекты в контексте реального мира, что позволяет проецировать их изображение перед глазами в виде голограммы, используя для этого очки дополненной реальности. В контексте медицины дополненная реальность позволяет хирургу во время операции видеть 3D-визуализацию данных КТ и МРТ пациента, совмещенных с реальной интраоперационной картиной, за счёт чего он меньше переводит взгляд на монитор с данными диагностических исследований и непрерывно контролирует состояние операционной зоны. Дополненная реальность помогает хирургу во время операции не только видеть, где находятся важные анатомические структуры (сосуды, нервы, кости, воздухоносные пазухи), но и увеличивать точность проводимых манипуляций во время операции, сокращать её продолжительность. Также подобные системы позволяют отказаться от индивидуальных хирургических шаблонов сверления или резекции за счет отслеживания положения инструментов и контроля выполнения действий хирургов. На текущий момент в мире разрабатываются различные системы дополненной реальности для планирования и проведения операций, такие как: MEDIVIS, Lucina AR, Brainlab, Medtronic, Augmedics xvision и другие. Однако в Российской Федерации ни одна из них еще не зарегистрирована в качестве медицинского изделия. Несмотря на активное распространение AR-технологий, проблемы точности совмещения виртуальной модели анатомии пациента с телом пациента, иными словами, позиционирования, решены слабо. В связи с этим все разработанные AR-системы используются как дополнительное, вспомогательное оборудование, а не как основное. Для развития данных технологий в отечественной медицине требуется фундаментальное изучение подходов к повышению точности позиционирования, чтобы голографические данные были не просто визуализацией, но и опороспособными данными для проведения лечения. Это поможет вывести технологию из лаборатории в медицинскую практику. Целью проекта является разработка фундаментальных основ и методов повышения точности позиционирования данных анатомии и инструментов в дополненной реальности для хирургии. Задачами проекта являются: оценка требуемой точности визуализации анатомии пациента и инструментов в режиме дополненной реальности в зависимости от области хирургии; позиционирование с использованием камеры в очках дополненной реальности и оптической метки с изображением (QR-код): определение основных критериев, влияющих на точность при данном методе; анализ рисков потери точности во время проведения операции; разработка системы и метода позиционирования данных анатомии и инструментов; анализ точности разработанной системы и метода; позиционирование с использованием внешней инфракрасной системы отслеживания и светоотражающих сфер-маркеров: определение основных критериев, влияющих на точность при данном методе; анализ рисков потери точности во время проведения операции; разработка системы и метода позиционирования данных анатомии и инструментов; анализ точности разработанной системы и метода; сравнительный анализ обоих систем и методов позиционирования, разработка рекомендаций по их применению в хирургии; разработка комбинированной системы и метода позиционирования данных анатомии и инструментов, для повышения надежности и устойчивости работы системы дополненной реальности. Результатом проекта будет являться разработка фундаментальных основ повышения точности интраоперационного позиционирования виртуальной модели анатомии пациента и инструментов относительно его реального тела для навигационных хирургических систем на основе технологий дополненной реальности, а также прототипы систем отслеживания и методы их использования. Полученные результаты станут фундаментом для проектирования систем дополненной реальности для хирургии на территории РФ.

ОТЧЁТНЫЕ МАТЕРИАЛЫ

Публикации

1. Мадалиев А., Иванов В. М. Методика позиционирования хирургической системы смешанной реальности Графикон-конференции по компьютерной графике и зрению, Графикон-конференции по компьютерной графике и зрению. – 2023. – Т. 33. – С. 139-145. (год публикации - 2023)

2. Опыт применения технологии дополненной реальности при хирургическом лечении больных первичными и рецидивирующими опухолями органов малого таза Experience in the Application of Augmented Reality Technology in the Surgical Treatment of Patients Suffering Primary and Recurrent Pelvic Tumors Journal of Personalized Medicine, 2023, pp 13. (год публикации - 2023)

3. ПОЗИЦИОНИРОВАНИЕ ХИРУРГИЧЕСКОЙ СИСТЕМЫ СМЕШАННОЙ РЕАЛЬНОСТИ ПОЗИЦИОНИРОВАНИЕ ХИРУРГИЧЕСКОЙ СИСТЕМЫ СМЕШАННОЙ РЕАЛЬНОСТИ Автоматизация в промышленности, Январь 2023 (год публикации - 2023)

4. Иванов В.М., Князев А.В., Стрелков С.В., Синегуб А.В., Смирнов А.Ю. Использование методов сегментации на базе технологий искусственного интеллекта для построения трехмерных моделей Вестник неврологии, психиатрии и нейрохирургии (год публикации - 2024)

5. Иванов В.М., Мамаев И.Р., Князев А.В., Стрелков С.В., Синегуб А.В., Смирнов А.Ю., Коновалов А. Н. Обзор методов наложения 3D модели на пациента при использовании дополненной реальности в хирургии Вестник неврологии, психиатрии и нейрохирургии (год публикации - 2024)

6. Трофимова Т.Н., Завражнов А.А., Кащенко В.А., Иванов В.М., Кушнерова Д.А., Синегуб А.В. Технология дополненной реальности в хирургическом лечении новообразований поджелудочной железы. Обзор литературы и собственное наблюдение Медицинская техника/Biomedical Enginiring (год публикации - 2025)

7. Лысенко А.В., Яременко А.И., Иванов В.М., Смирнов А.Ю., Любимов А.И., C. S. M. Izzard, Прокофьева А.А. Применение навигационной системы на основе технологии дополненной реальности в челюстно-лицевой хирургии. Клиническое исследование. Digital Diagnostics, Лысенко А.В., Яременко А.И., Иванов В.М., Смирнов А.Ю., Любимов А.И., Izzard C.M., Прокофьева А.А. Применение навигационной системы на основе технологии дополненной реальности в челюстно-лицевой хирургии // Digital Diagnostics. - 2024. - Т. 5. - №3. - C. 450-466. doi: 10.17816/DD624183 (год публикации - 2024)
https://doi.org/10.17816/DD624183

8. Коновалов А.Н., Пилипенко Ю.В., Окишев Д.Н., Элиава Ш.Ш., Артемьев А.А., Мамедбекова Г.Ш., Иванов В.М., Смирнов А.Ю., Стрелков С.В., Блинова Е.В., Дыдыкин С.С. Технология дополненной реальности как метода нейронавигации при выполнении экстраинтракраниального микроанастомоза Оперативная хирургия и клиническая анатомия, КОНОВАЛОВ, А., ПИЛИПЕНКО, Ю., ОКИШЕВ, Д., АРТЕМЬЕВ, А., МАМЕДБЕКОВА, Г., ИВАНОВ, В., ... & ЭЛИАВА, Ш. Использование дополненной реальности как метода нейронавигации при выполнении экстра-интракраниального микроанастомоза. Оперативная хирургия и клиническая анатомия (Пироговский научный журнал). 2024;8(3): 28‑34 (год публикации - 2024)

Аннотация результатов, полученных в 2024 году
В отчетном году в рамках проекта, направленного на разработку фундаментальных методов повышения точности позиционирования анатомических структур и инструментов в дополненной реальности (AR) для хирургии, был достигнут значительный научно-технический прогресс. Основная задача исследования – обеспечить устойчивое и точное сопоставление виртуальной 3D-модели анатомии пациента с реальным положением его тела во время оперативных вмешательств. Основные направления проведенных работ: 1. Исследование методов позиционирования с применением электромагнитного трекинга На втором году особое внимание уделено перспективным системам отслеживания на базе магнитной индукции и датчиков магнитного поля. Был выполнен анализ литературных данных и проведены лабораторные тесты, позволившие определить основные факторы, влияющие на точность электромагнитных систем (чувствительность к наличию металлических предметов, стабильность магнитного поля, необходимость регулярной калибровки). Полученные результаты стали основой для формирования технических требований к таким системам и рекомендаций по их практическому применению. 2. Формализация рисков и ограничений при использовании электромагнитных систем Были проанализированы и классифицированы потенциальные источники погрешностей при работе электромагнитных датчиков в условиях операционной. Установлено, что нестабильность магнитного поля может быть обусловлена присутствием металлических инструментов и оборудования, а также перемещением пациента и хирургических приспособлений. Разработаны рекомендации по минимизации рисков, включая применение экранирования и корректирующих алгоритмов, а также проведение повторной калибровки в ключевые моменты операции. 3. Сравнительный анализ оптических и электромагнитных систем отслеживания Проведен комплексный сравнительный анализ существующих оптических технологий трекинга и разрабатываемых электромагнитных решений. Оптические системы обеспечивают высокую точность (около 1-2 мм), но подвержены потере надежности при перекрытии маркеров или недостаточной видимости. Электромагнитные системы не зависят от прямой видимости, что обеспечивает устойчивую работу в условиях ограниченного визуального доступа, однако они более чувствительны к металлическим помехам. На этой основе сформулирован вывод о целесообразности гибридного подхода, сочетающего преимущества обоих методов. 4. Разработка концепта гибридной системы и первичного прототипа Для повышения надежности и точности было инициировано создание гибридной системы, интегрирующей оптические и электромагнитные методы отслеживания. Такая система должна позволить оперативно переходить от оптической навигации к электромагнитной или использовать их параллельно, компенсируя недостатки каждого из методов. Подготовлены конструктивные решения и программные алгоритмы, определены принципы калибровки, синхронизации данных и фильтрации помех. 5. Публикации и патентование результатов По итогам работы опубликован и принят к печати ряд научных статей, отражающих достигнутые результаты. В статьях рассматриваются методы сегментации анатомических структур с применением искусственного интеллекта, принципы наложения 3D-моделей на пациента при использовании AR-технологий, опыт применения дополненной реальности в челюстно-лицевой и абдоминальной хирургии, а также перспектива использования AR как метода нейронавигации. Кроме того, подготовлены заявки на патентование разработанных методик калибровки и программных решений, призванных обеспечить правовую защиту интеллектуальной собственности и создать условия для дальнейшей коммерциализации технологий.

Публикации

Возможность практического использования результатов
ходе реализации проекта в 2023–2024 гг. были созданы научно-технические решения, направленные на повышение точности и устойчивости навигации при хирургических вмешательствах с использованием технологий дополненной и смешанной реальности (AR/MR). Практический потенциал результатов очевиден и может быть реализован в нескольких направлениях, оказывая положительное влияние на экономику и социальную сферу: 1. Повышение качества медицинской помощи и снижение рисков для пациентов: Внедрение точных AR-навигационных систем позволит снизить вероятность ошибок при оперативных вмешательствах, ускорить их проведение, а также улучшить послеоперационные исходы. Это приведёт к сокращению затрат на повторные вмешательства, реабилитацию и лечение осложнений, что позитивно отразится на экономической нагрузке на здравоохранение. 2. Развитие отечественной медицинской индустрии и высокотехнологичного производства: Создание и совершенствование навигационных AR-систем может способствовать формированию целой экосистемы предприятий, производящих специализированное оборудование и программное обеспечение. Это стимулирует внутренний рынок высокотехнологичной медицинской продукции, способствует формированию новых рабочих мест и снижает зависимость от импорта. Российские компании, опираясь на полученные результаты, смогут предлагать конкурентоспособные решения как на внутреннем, так и на международном рынках. 3. Улучшение подготовки медицинских кадров и повышение уровня медицинского образования: Применение AR-технологий в учебных центрах и симуляционных лабораториях позволит оперативно обучать хирургов, совершенствовать их навыки и повышать квалификацию. Это снизит временные и экономические затраты на обучение, а также повысит общую квалификацию медицинского персонала, улучшая качество медицинской помощи в долгосрочной перспективе. 4. Развитие научного и технологического задела для инноваций: Созданные в рамках проекта методики, программно-аппаратные решения и результаты исследований формируют фундамент для дальнейших инноваций в области хирургической навигации, телемедицины и персонализированной медицины. Расширение применения AR-технологий может оказать мультипликативный эффект, стимулируя появление смежных разработок (например, в реабилитации, диагностике, дистанционном консультировании), обеспечивая при этом экономический рост и социальное развитие. 5. Содействие импортозамещению и технологическому суверенитету: Разработанные технологии и решения позволяют снизить потребность в зарубежных системах навигации и программного обеспечения, укрепляя технологический суверенитет России и создавая условия для более устойчивого развития отечественного сектора медицинских технологий. Таким образом, результаты проекта могут быть практически применены в клинической практике, образовательных программах и промышленном производстве. Их внедрение будет способствовать повышению качества и доступности медицинской помощи, стимулировать инновационную активность, укреплять позиции отечественных компаний на высокотехнологичных рынках и в целом содействовать экономическому и социальному развитию Российской Федерации.