КАРТОЧКА ПРОЕКТА ФУНДАМЕНТАЛЬНЫХ И ПОИСКОВЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ
Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.
ОБЩИЕ СВЕДЕНИЯ
Номер проекта 23-75-10045
НазваниеНейросетевые инструменты в задачах автоматизации магнитно-резонансной морфометрии сердца
Руководитель Бруй Екатерина Алексеевна, Кандидат технических наук
Организация финансирования, регион федеральное государственное автономное образовательное учреждение высшего образования "Национальный исследовательский университет ИТМО" , г Санкт-Петербург
Конкурс №85 - Конкурс 2023 года «Проведение исследований научными группами под руководством молодых ученых» Президентской программы исследовательских проектов, реализуемых ведущими учеными, в том числе молодыми учеными
Область знания, основной код классификатора 05 - Фундаментальные исследования для медицины; 05-702 - Медицинская информатика
Ключевые слова Магнитно-резонансная морфометрия, автоматическая сегментация, нейронные сети, постинфарктный кардиосклероз, гипертрофическая кардиомиопатия, фиброз миокарда
Код ГРНТИ76.01.85
ИНФОРМАЦИЯ ИЗ ЗАЯВКИ
Аннотация
На сегодняшний день задачи МР-морфометрии, в большинстве случаев подразумевающие проведение сегментации изображений, зачастую решаются полуавтоматически прямо на консоли томографа с помощью встроенного программного обеспечения, когда оператор вручную выделяет интересующую область, настраивает порог интенсивности для выделения нужного сигнала, и вручную же корректирует результаты порогового выделения. Однако пороговые методы не всегда позволяют провести качественную сегментацию в виду того, что часто изображения, содержащие важную клиническую информацию, не обладают резким контрастом, и соседние структуры, которые необходимо разделить перед измерением их площади или объема, не имеют четкого отличия по интенсивности сигнала. При этом полностью ручное выделение неоднородных, многоочаговых, диффузно распределенных структур, к которым относится, например, фиброз миокарда, является очень трудоемкой задачей, требующей большой концентрации внимания и больших затрат времени, которое является самым ценным ресурсом квалифицированных специалистов-рентгенологов. Кроме того, в последние годы наблюдается тенденция к повышению пространственного разрешения МРТ снимков и переход от двумерной к трехмерной визуализации. С одной стороны, это приводит к повышению качества диагностической информации, а с другой - к увеличению количества получаемых двумерных срезов для каждого МРТ изображения. В связи с этим, объем информации, который врачу-рентгенологу необходимо обработать для проведения измерений, неминуемо повышается. Так, обработка данных одного пациента для экстракции количественных характеристик может занимать несколько часов. По этим причинам, автоматизация сложных задач морфометрии является актуальной задачей в настоящее время. Развитие и возрастающая доступность для населения современных технологий в области МРТ позволяют накапливать большие данные при исследовании пациентов, а доступность больших вычислительных мощностей предоставляет возможность внедрения технологий глубокого обучения для целей диагностики. Такие методы, требуют тщательной подготовки данных и значительных вычислительных ресурсов на стадии обучения, однако, позволяют научить искусственную нейронную сеть эффективно воспроизводить подход эксперта-рентгенолога и проводить сегментацию изображений в десятки тысяч раз быстрее него.
В рамках предлагаемого проекта общий подход к автоматизации задач МР-морфометрии сердца будет отработан на задачах, поставленных практикующими врачами-рентгенологами и кардиологами НМИЦ им. В.А. Алмазова, с которыми они сталкиваются в ежедневной практике. Результаты реализации запланированной исследовательской программы послужат отправной точкой для развития количественных морфометрических методов для оценки степени поражения миокарда, а отработанные подходы смогут быть транслированы на другие области применения. Научная новизна решения каждой из задач будет заключаться в создании уникальных тонко настроенных инструментов для извлечения диагностически значимой количественной информации о процессах фибротизации миокарда при определенных заболеваниях. С клинической точки зрения поставленные задачи также являются актуальными, поскольку направлены на повышение скорости и качества оценки состояния миокарда при широко распространенных заболеваниях, приводящих к внезапной сердечной смерти. В связи с ростом распространенности сердечно-сосудистых заболеваний среди населения важность решения этих задач сложно переоценить.
ОТЧЁТНЫЕ МАТЕРИАЛЫ
Аннотация результатов, полученных в 2025 году
Важным результатом настоящей работы является создание уникальной базы данных, содержащей, как морфометрическую, так и клиническую информацию о миокарде левого желудочка пациентов с постинфарктным кардиосклерозом. База данных была охарактеризована посредством статистического и корреляционного анализа для подтверждения ее репрезентативности. Три из четырех групп по степеням сердечной недостаточности (группы 2, 3 и 4), по которым имелась достаточная выборка, демонстрируют значимые различия по ФВ ЛЖ в тесте Крускала-Уоллиса при p <0,003 и p <0,0003 для МРТ и ЭхоКГ значений. Данные результаты позволяют сделать вывод о том, что данная выборка является репрезентативной и хорошо отражает клинические характеристики, хорошо известные для пациентов с постинфартным кардиосклерозом. В представленной выборке была выявлена слабая положительная корреляция между относительным объемом фиброза в бассейне LAD и всеми степенями СН (p <0,05) за исключением I степени СН (ввиду недостаточной выборки пациентов, результаты этой группы не следует учитывать). Существующая корреляционная связь между ФВ ЛЖ и относительным объемом фиброза в бассейнах RCA и LCx (p <0,01) может косвенно свидетельствовать о наличии корреляции относительного объема фиброза в этих бассейнах и степенью СН. Данные результаты свидетельствуют о перспективности дальнейших исследований связи локализации и объема фиброза с функциональными характеристиками сердца, и, как следствие с выбором стратегии терапии.
Дальнейшая работа была посвящена адаптации разработанного на предыдущем этапе программного комплекса, для обработки МРТ изображений сердца с признаками гипертрофической кардиомиопатии (ГКМП). Была составлена выборка МРТ изображений сердца пациентов с ГКМП. В работе были использованы серии МРТ изображений 100 пациентов с ГКМП. Средние возраст, рост, вес, индекс массы тела пациентов выборки составили, соответственно: 57.92 года, 168.82 см, 82.45 кг, 28.83. В выборке наиболее представлены пациенты со второй степенью сердечной недостаточности (60 человек). 19 и 14 человек имеют 3ю и 1ю степень, 1 – 4ю, и у трех человек сердечная недостаточность клинически не наблюдалась.
Была проведена ручная разметка вышеуказанной выборки МРТ изображений. Для каждого среза МРТ были выделены три ключевые структуры сердца левого желудочка: полость левого желудочка (ЛЖ), здоровый миокард (непатологическая мышечная ткань ЛЖ) и фиброз миокарда. Для каждого среза также были вручную идентифицированы координаты референтной точки в самой верхней части межжелудочковой перегородки. Кроме того, получены результаты ручной классификации МРТ-срезов путем категоризации каждого среза на одном из четырех анатомических уровней: базальном, срединном, апикальном и верхушечном. Эталонные маски были обработаны с использованием алгоритма для локализации сегментов миокарда, разработанного на предыдущем этапе, в ручном режиме, и были составлены эталонные 17-ти сегментные диаграммы для каждого из пациентов выборки. В результате получен набор эталонных маркированных данных для обучения нейросетевых алгоритмов.
Сперва, обученные на предыдущем этапе Проекта нейросетевые модели CoreU-Net и ResNet50, входящие в программный комплекс, были протестированы на тестовой подвыборке из 20ти пациентов из выборки ANMRC-HCM без какого-либо дообучения. Дообучение далее было проведено на данных 80-ти пациентов из выборки ANMRC-HCM, не попавших в тестовую выборку. Для модели CoreU-Net рассмотрены два варианта дообучения: дообучение всей сети и дообучение только последних слоев сети. Для модели ResNet50 был рассмотрен один вариант тонкой настройки с дообучением последних слоев. Далее в программный комплекс были внедрены наиболее успешные дообученнные модели ResNet50 и CoreU-Net. Адаптированный программный комплекс продемонстрировал высокую эффективность при анализе МРТ изображений сердца пациентов с гипертрофической кардиомиопатией. Он обеспечил высокое качество обнаружения наличия фиброза (F1-мера 0.81) в сегментах, а также показал высокую точность количественной оценки объема фиброза, достигнув средней абсолютной ошибки всего 3.1%. При этом, учитывая, что среднее процентное содержание фиброза при ГКМП в рассматриваемой выборке составило 4%, при столь малых степенях поражения, ошибка в 3.1% делает нецелесообразным использование разработанного инструмента для точной количественной оценки объема фиброза. При этом известно, что пороговым значением, коррелирующим с риском внезапной сердечной смерти при ГКМП у взрослых, является относительный объем фиброза в 15%. Выборка ANMRC_HCM содержала крайне мало настолько сложных случаев. Тем не менее, учитывая высокие показатели бинарной классификации, разработанный комплекс целесообразно использовать для детекции фиброза в отдельных сегментах миокарда ЛЖ. Проведенные исследования также свидетельствуют о наличии потенциала к улучшению точности алгоритма за счет увеличения размера обучающей выборки.
Были проведены статистические тесты, по результатам которых было показано, что показатели относительного объема фиброза значимо отличаются для эталонных данных и полученных при использовании подхода без дообучения (p-value = 0.000). При этом, между данными, полученными при помощи подхода с дообучением, и эталонными данными статистически значимых различий (p-value = 0.38) при уровне значимости 0.05 нет. Коэффициент корреляции Спирмана в случае без дообучения составил 0.15 (p-value = 0.005), а в случае с дообучением - 0.63 (p-value = 0.000). Это говорит о более выраженной корреляции между показателями относительных объемов фиброза полученных с помощью подхода с дообучением и эталонными значениями
На данном этапе имеющиеся алгоритмы были объединены в программный комплекс, для которого был создан графический интерфейс, что значительно облегчило использование алгоритмов. Кроме того, наработки первого года также позволили решить смежную задачу – сегментацию позвонков поясничного отдела позвоночника. Начата работа по созданию альтернативного метода картирования фиброза миокарда.
Публикации
1. Валид Аль-Хайдри, Анатолий Левчук, Ксения Белоусова, Владимир Фокин, Давид Бендан, Екатерина Бруй Deep Learning-Assisted 17-Segment Myocardial Scar Segmentation and Analysis IEEE Xplore (год публикации - 2025)
2. Зиля Бадриева, Анна Конаныхина, Екатерина Бруй Feasibility of Neural Network-Assisted T2 Mapping Utilizing Bloch Equation Simulations for Training Dataset Generation IEEE Xplore (год публикации - 2025)
3. Левчук А. Г., Аль-Хайдри В. А. А., Зотов Н. М., Бруй Е. А. КОМПЬЮТЕРНОЕ ЗРЕНИЕ В ЗАДАЧАХ ЛОКАЛИЗАЦИИ И КОЛИЧЕСТВЕННОЙ ОЦЕНКИ ПОСТИНФАРКТНОГО КАРДИОСКЛЕРОЗА ПО ДАННЫМ МАГНИТНО-РЕЗОНАНСНОЙ ТОМОГРАФИИ СЕРДЦА С ОТСРОЧЕННЫМ КОНТРАСТИРОВАНИЕМ Физика и Радиоэлектроника в Медицине и Экологии (год публикации - 2024)
4.
Валид Аль-Хайдри, Анатолий Левчук, Никита Зотов, Ксения Белоусова, Антон Рыжков, Владимир Фокин, Максим Лукин, Давид Бендахан, Екатерина Бруй
Quantitative analysis of myocardial fibrosis using a deep learning-based framework applied to the 17-Segment model
Biomedical Signal Processing and Control, 105 (2025) 107555 (год публикации - 2025)
10.1016/j.bspc.2025.107555
5.
Валид Аль-Хайдри, Айнур Ахатов, Индира Усманова, Фархад Салимов, Мохаммед Аль-Хабиб, Камиль А. Ильясов, Екатерина А. Бруй
Deep learning-assisted framework for automation of lumbar vertebral body segmentation, measurement, and deformity detection in MR images
Biomedical Signal Processing and Control, 106 (2025) 107770 (год публикации - 2025)
10.1016/j.bspc.2025.107770
Аннотация результатов, полученных в 2026 году
Первым результатом данного этапа работ является создание базы данных, содержащей морфометрическую и клиническую информацию о миокарде левого желудочка взрослых пациентов с гипертрофической кардиомиопатией (ГКМП). На основании базы данных был проведен статистический анализ (сравнение по группам и корреляционный анализ), подтверждающий репрезентативность выборки. Обращают на себя внимание различия в группах пациентов с сакромерными мутациями и без. Обнаружены статистически значимые различия по возрасту, относительному объему фиброза (как в целом по всем ЛЖ, так и в базальном и срединном отделах), толщине МЖП и отношению толщины МЖП к толщине задней стенки левого желудочка. Такие различия говорят о том, что у пациентов с саркомерными мутациями заболевание проявляется в более раннем возрасте и протекает тяжелее. Данные результаты указывают на перспективность дальнейших исследований обеих групп пациентов и связи наличия или отсутствия саркомерных мутаций с различными клиническими и морфометрическими показателями, а также оценкой потенциальных рисков.
Дальнейшая работа была посвящена адаптации программного комплекса для работы с данными пациентов детского возраста с ГКМП. В первую очередь был проведен отбор МР-изображений из рентгенологической базы. Финальная выборка МР-изображений (LGE) с признаками фиброза миокарда левого желудочка, вызванного ГКМП, составила 89 серий от 87 пациентов от 6 до 18 лет (далее – набор ANMRC_HCM_СH). Все исследования выполнялись на аппарате МРТ 3Тл (Magnetom TrioTim 3T, Siemens Healthineers, Эрланген, Германия). Использовалась импульсная последовательность фазо-чувствительной инверсии восстановления (PSIR) с отсроченным контрастированием. Средние показатели по выборке: возраст - 12,75лет, вес - 53.5, рост - 159.8, индекс массы тела - 20.8, площадь поверхности тела -1.52. Мальчиков было 66% и девочек – 34%. Дополнительная клиническая информация была доступна для 47 детей.
Далее была проведена ручная разметка вышеуказанной выборки МРТ изображений. Для каждого среза МРТ были выделены три ключевые структуры сердца левого желудочка: полость левого желудочка (ЛЖ), здоровый миокард (непатологическая мышечная ткань ЛЖ) и фиброз миокарда. В результате, каждому изображению соответствует эталонная маска, состоящая из матрицы целых чисел от 0 до 3 той же размерности, что и изображение, где 0 – задний фон; 1 – полость левого желудочка; 2 – здоровый миокард; 3 – фиброз миокарда. Для каждого среза также были вручную идентифицированы координаты референтной точки в самой верхней части межжелудочковой перегородки. Кроме того, получены результаты ручной классификации МРТ-срезов путем категоризации каждого среза на одном из четырех анатомических уровней: базальном, срединном, апикальном и верхушечном. Эталонные маски были обработаны с использованием алгоритма для локализации сегментов миокарда, разработанного на первом этапе Проекта, в ручном режиме, и были составлены эталонные 17-ти сегментные диаграммы для каждого из пациентов выборки. В результате получен набор эталонных маркированных данных для обучения нейросетевых алгоритмов. 79 серий изображений (632 среза) составили тренировочную выборку, а 10- тестовую (83 среза).
Далее отдельные нейросетевые алгоритмы, являющиеся частью программного комплекса, были дообучены и протестированы на данных пациентов детского возраста с ГКМП. Было рассмотрено несколько схем дообучения для моделей CoreU-Net и ResNet50.
Наилучшее качество сегментации было достигнуто при использовании метода предобработки изображений CLAHE (медианный коэффициент DSC = 0.894 для здорового миокарда и DSC = 0.624 для фиброза) и дообучения всех слоев (без заморозки весов) предобученной модели CoreU-Net. Кроме того, в качестве альтернативы CoreU-Net были обучены 2 современные модели с архитектурами U-Mamba и Swin-U-Mamba, которые показали DSC = 0.904 и DSC = 0.906 для здорового миокарда, но сниженные DSC = 0.392 и DSC = 0.397 для фиброза, соответственно.
Наилучшие показатели по классификации срезов и регрессии координат референтных точек были достигнуты при разных подходах к обучению (чего не наблюдалось ранее), по этой причине, для классификации срезов были сохранены веса модели, которая обеспечила точность классификации срезов на уровне 0.91, и веса, которые обеспечили регрессию координат референтных точек с наименьшими средними абсолютными ошибками (для P (X) - 3.8, P (Y) - 2.8, C (X) - 8.3, C (Y) - 3.8 пикселей)
Качество работы программного комплекса для локализованного количественного анализа фиброза миокарда, адаптированного для работы с данными детей с ГКМП, оценивалось через расчет метрик качества локализации (медианный коэффициент DSC для сегментов миокарда на уровне 0.88), качества бинарной детекции фиброза (точность, полнота и F-мера: 0.94, 0.67, 0.78) и качества измерения относительного объема фиброза (средняя абсолютная ошибка – 3.9%). Количественные данные, полученные автоматически требуют внимания врача-рентгенолога, проводящего анализ изображений, в особенности, для случаев малым количеством фиброза.
Далее был проведен статистический тест, по результатам которого было показано, что показатели относительного объема фиброза при ГКМП у детей имеют разные распределения для эталонных данных и полученных автоматически (p-value = 0.000) - значения для эталонных данных выше. Коэффициент корреляции Спирмана составил 0.75 (p-value = 0.005). Это говорит о выраженной корреляции между показателями относительных объемов фиброза полученных с помощью разработанного подхода и эталонными значениями. Однако, анализ Бланда-Алтмана показал наличие систематического занижения относительного объема фиброза в среднем на 4.3% при использовании программного комплекса.
Таким образом, впервые разработан автоматический программный комплекс для количественного локализованного анализа фиброза миокарда левого желудочка у детей с ГКМП. Ввиду большого разнообразия фенотипов фиброза при ГКМП у детей, количественные данные, полученные программным комплексом требуют внимания врача-рентгенолога, проводящего анализ изображений, в особенности, для случаев малым количеством фиброза. Ручная коррекция может быть проведена при использовании разработанного программного комплекса.
Возможность практического использования результатов
Разработанный программный комплекс на данном этапе может потенциально использоваться в научно-медицинских учреждениях в научных целях. Результаты исследования получены в сотрудничестве с врачами-рентгенологами отделения магнитно-резонансной томографии ФГБУ «НМИЦ им. В.А. Алмазова» и внедрены в научно-исследовательскую деятельность отделения магнитно-резонансной томографии. Разработанный программный комплекс применяется в научных исследования для изучения корреляции объема и локализации постишемического фиброза с клиническими характеристиками сердца, а также внедряется в разрабатываемые диагностические алгоритмы по прогнозированию возможных исходов лечения в рамках таких нозологий как гипертрофическая кардиомиопатия у детей и взрослых. Для клинического применения в лечебных учреждениях программный комплекс может быть использован после прохождения клинических испытаний и получения регистрационного удостоверения на медицинское изделие.