Интерпретация моделей машинного обучения на примере прогнозирования в кардиологии

КАРТОЧКА ПРОЕКТА ФУНДАМЕНТАЛЬНЫХ И ПОИСКОВЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ

Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.

ОБЩИЕ СВЕДЕНИЯ

Номер проекта 23-21-00250

НазваниеИнтерпретация моделей машинного обучения на примере прогнозирования в кардиологии

Руководитель Шахгельдян Карина Иосифовна, Доктор технических наук

Организация финансирования, регион Федеральное государственное бюджетное образовательное учреждение высшего образования "Владивостокский государственный университет" , Приморский край

Конкурс №78 - Конкурс 2022 года «Проведение фундаментальных научных исследований и поисковых научных исследований малыми отдельными научными группами»

Область знания, основной код классификатора 01 - Математика, информатика и науки о системах; 01-202 - Интеллектуальный анализ данных и распознавание образов

Ключевые слова объяснимый искусственный интеллект, интерпретируемые модели машинного обучения, прогностические модели, ближайший прогноз кардиологических операций, предтестовая вероятность обструктивного поражения коронарных артерий

Код ГРНТИ28.23.25

ИНФОРМАЦИЯ ИЗ ЗАЯВКИ

Аннотация
В последние годы в клинических исследованиях в качестве инструментов прогнозирования все шире используются методы машинного обучения (МО), позволяющие моделировать выходные переменные на основе входных факторов, характеризующих клинико-функциональный статус пациентов при различных заболеваниях. К факторам, ограничивающим внедрение моделей МО в клиническую медицину относят низкий уровень прозрачности (“объяснимости”) и интерпретируемости разработанных моделей, что вызывает недоверие у практикующих врачей. Отчасти, это обусловлено тем, что помимо точности прогноза требуются доказательства валидности используемых предикторов с уточнением их пороговых значений в изолированной и комбинированной форме, оценкой степени влияния на результирующую переменную и формализацией взаимосвязей анализируемых факторов. Кроме того, для выработки клинических рекомендаций требуется детализированная интерпретация результатов прогноза на основе моделей МО, в том числе ансамблевых. Наличие таких знаний увеличивает “объяснимость” моделей МО и, следовательно, повышает доверие к ним, позволяет объяснить причины, условия и механизмы развития тех или иных событий, в том числе, летальности и развития осложнений после кардиохирургических операций. Это, в свою очередь, является важным условием для персонификации программ профилактики и терапии. Проект будет реализован для повышения уровня доказательности прогностических моделей в области кардиологии, повышению уровня прозрачности и “объяснимости” прогностических моделей неблагоприятных событий после кардиохирургических операций за счет разработки алгоритмов поиска и валидации предикторов, их пороговых значений, позволяющих дать клиническую интерпретацию их взаимосвязей с конечными точками наблюдения, обеспечить более высокое качество прогноза и создать доказательную базу для применения прогностических моделей в клинической практике в качестве инструментов поддержки принятия врачебных решений. В рамках реализации проекта будут разработаны: 1. новый метод поиска и валидации пороговых значений предикторов развития заболеваний и осложнений - метод автоматического формирования изолированных правил; 2. новый метод поиска пороговых значений предикторов в межфакторных взаимосвязях, обеспечивающих формирование кластеров пациентов со схожими триггерами неблагоприятных событий (осложнение заболеваний или летальный исход) - метод автоматического формирования комбинированных правил; 3. усовершенствованные методы поиска пороговых значений предикторов и межфакторных взаимосвязей с учетом специфики этой области знаний (несбалансированные выборки, различные причины у одного следствия, непрерывная и категориальная форма предикторов, интеграции предикторов с усилением влияния на конечную точку и др.); 4. новые методы интерпретации результата прогноза, в том числе для ансамблевого подхода к разработке моделей машинного обучения; 5. новые прогностические модели фатальных и нефатальных сердечно-сосудистых событий после операций КШ и ЧКВ (внутригоспитальная летальность и послеоперационная фибрилляция предсердий), а также модель прогноза обструктивного поражения коронарных артерий при остром коронарном синдроме.

ОТЧЁТНЫЕ МАТЕРИАЛЫ

Публикации

1. ГЕЛЬЦЕР Б.И., ШАХГЕЛЬДЯН К.И., ДОМЖАЛОВ И.Г., КУКСИН Н.С., КОКАРЕВ Е.А., КОТЕЛЬНИКОВ В.Н., РУБЛЕВ В.Ю. ПРОГНОЗИРОВАНИЕ ВНУТРИГОСПИТАЛЬНОЙ ЛЕТАЛЬНОСТИ У БОЛЬНЫХ ОСТРЫМ ИНФАРКТОМ МИОКАРДА С ПОДЪЕМОМ СЕГМЕНТА ST ПОСЛЕ ЧРЕСКОЖНОГО КОРОНАРНОГО ВМЕШАТЕЛЬСТВА РОССИЙСКИЙ КАРДИОЛОГИЧЕСКИЙ ЖУРНАЛ, Т. 28. № 6. С. 31-39 (год публикации - 2023)
10.15829/1560-4071-2023-5414

2. Сравнительный анализ методов синтеза данных для разработки прогностических моделей в кардиологии Comparative Analysis of Data Synthesis Methods for Prognostic Models Development in Cardiology Lecture Notes in Networks and Systems, 776 LNNS, pp 35–44 (год публикации - 2023)
10.1007/978-3-031-43789-2_3

3. Шахгельдян К.И., Гельцер Б.И., Куксин Н.С., Домжалов И.Г. МНОГОУРОВНЕВАЯ КАТЕГОРИЗАЦИЯ НЕПРЕРЫВНЫХ ПЕРЕМЕННЫХ В ЗАДАЧАХ ОБЪЯСНЕНИЯ ПРОГНОЗНЫХ ОЦЕНОК МОДЕЛЕЙ МАШИННОГО ОБУЧЕНИЯ В КЛИНИЧЕСКОЙ МЕДИЦИНЕ Врач и информационные технологии, #3 (год публикации - 2023)
10.25881/18110193_2023_3_44

4. К.И. Шахгельдян, Б.И. Гельцер, Н.С. Куксин, И.Г. Домжалов Анализ эффективности прогностических моделей внутригоспитальной летальности у больных инфарктом миокарда с подъемом сегмента ST на основе предикторов в категориальной и непрерывной формах СОВРЕМЕННЫЕ ТЕХНОЛОГИИ В МЕДИЦИНЕ (год публикации - 2024)

5. Шахгельдян К.И., Куксин Н.С., Домжалов И.Г., Гельцер Б.И. METHODS OF PROGNOSTIC ANALYSIS FOR THE PREDICTION OF IN-HOSPITAL MORTALITY IN PATIENTS WITH ACUTE ST-ELEVATION MYOCARDIAL INFARCTION AFTER PERCUTANEOUS CORONARY INTERVENTIONS PATTERN RECOGNITION AND IMAGE ANALYSIS. ADVANCES IN MATHEMATICAL THEORY AND APPLICATIONS Учредители: Федеральный исследовательский центр "Информатика и управление" РАН, Российская академия наук, Shakhgeldyan, K.J., Kuksin, N.S., Domzhalov, I.G. et al. Methods of Prognostic Analysis for the Prediction of In-Hospital Mortality in Patients with Acute ST-Elevation Myocardial Infarction after Percutaneous Coronary Interventions. Pattern Recognit. Image Anal. 34, 786–796 (2024). https://doi.org/10.1134/S1054661824700676 (год публикации - 2024)
10.1134/S1054661824700676

6. Шахгельдян К.И., Костерин В.В., Рублев В.Ю., Гельцер Б.И. Сравнительный анализ методов синтеза данных в задачах прогнозирования фибрилляции предсердий и внутригоспитальной летальности у больных ишемической болезнью сердца после коронарного шунтирования ВРАЧ И ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ, Врач и информационные технологии. 2024. №4 (год публикации - 2024)

7. Шахгельдян К.И., Рублев В.Ю., Куксин Н.С., Гельцер Б.И., Пак Р.Л. Predicting atrial fibrillation in patients with ischemic heart disease based on multilevel categorization Lecture Notes in Networks and Systems (год публикации - 2025)

8. Циванюк М.М., Шахгельдян К.И., Гельцер Б.И., Марков М.А., Широбоков В.Г. Прогнозирование обструктивного поражения коронарных артерий у больных острым коронарным синдромом без подъема сегмента ST в первые часы госпитализации Современные технологии в медицине , Современные технологии в медицине. 2025 (год публикации - 2025)

9. Шахгельдян К.И., Грибова В.В., Гельцер Б.И., Шалфеева Е.А., Потапенко Б.В. Hybrid Clinical Decision Support for Cardiology: Architectural Foundations for Integrations Proceedings Volume 13074, Fifth International Conference on Image, Video Processing, and Artificial Intelligence (IVPAI 2023), Karina J. Shakhgeldyan, Valeriya V. Gribova, Boris I. Geltser, Elena A. Shalfeyeva, Bogdan V. Potapenko, "Hybrid clinical decision support for cardiology: architectural foundations for integrations," Proc. SPIE 13074, Fifth International Conference on Image, Video Processing, and Artificial Intelligence (IVPAI 2023), 130740M (14 March 2024); (год публикации - 2024)
10.1117/12.3023751

10. Гренкин Г.В., Шахгельдян К.И. Учет сочетаний факторов риска в модели прогнозирования внутригоспитальной летальности Сборник трудов Всероссийской научно-технической конференции. в г. Ижевск, Гренкин Г.В., Шахгельдян К.И. Учет сочетания факторов риска в модели прогнозирования внутригоспитальной летальности. Сборник трудов всероссийской научно-технической конференции "Информационные технологии в наук, промышленности и образовании". Ижевск 23-24 мая 2024 г. стр. 72-77 (год публикации - 2024)

Аннотация результатов, полученных в 2024 году
При реализации второго этапа проекта были актуализированы 3 датасета. Первый - содержит данные о 1305 пациентах с ишемической болезнью сердца (ИБС), которым выполнялось коронарное шунтирование (КШ), и рассматриваются прогностические задачи с двумя конечными точками: внутригоспитальной летальностью (ВГЛ) и впервые возникшей послеоперационной фибрилляцией предсердий (ФП). Второй датасет включал данные о 5616 пациентов с острым инфарктом миокарда с подъемом сегмента ST (ИМnST), которым выполнялось экстренное чрескожное коронарное вмешательство (ЧКВ) с двумя конечными точками: ВГЛ и ПоФП. Третий датасет представлен 658 пациентами с острым коронарным синдромом (ОКС) без подъема сегмента ST (ОКСбпST) с конечной точкой - наличием или отсутствием обструктивного поражения коронарных артерий (ОПКА). Рассмотрены 4 задачи по прогнозированию неблагоприятных событий и диагностике заболеваний. Первая задача - предтестовая диагностика ОПКА у больных с впервые диагностированным ОКСбпST с целью снижения неоправданных рисков осложнений при назначении инвазивной коронарографии. Разработаны 3 прогностические модели ОПКА, соответствующие этапам предтестовой диагностики, выполняемой в первые часы госпитализации больных. Первая модель оценивает вероятность ОПКА непосредственно в приемном отделении стационара, используя минимальный набор предикторов (демографические, антропометрические, анамнестические показатели и результаты ЭКГ). Вторая - спустя 1 час после поступления в стационар, используя дополнительно показатели клинического анализа крови, полученные в этот период. Третья модель была дополнена предикторами, полученными через 3 часа после госпитализации больных (результаты биохимического исследования крови и эхокардиографического исследования). Все модели демонстрировали преимущество по сравнению с baseline-моделью (AUC baseline-модели = 0.713, AUC лучшей модели первого сценария на тестовых данных - 0.846, второго сценария - 0.899, третьего - 0.949). Для каждой модели были выделены диапазоны вероятностей, ассоциированные с низким, средним и высоким риском наличия ОПКА. Точность оценки низкого и высокого риска обеспечивает врачей инструментом маршрутизации пациентов с ОКСбпST, исключает необоснованное назначение инвазивной коронарографии, риски ее осложнений и нерациональные расходы здравоохранения. Для решения второй задачи прогнозирования были разработаны прогностические модели развития ФП у больных ИМnST после ЧКВ, лучшая из которых имела AUC=0.903 при итоговом тестировании. С помощью мультиметрической категоризации определены факторы риска (ФР) развития ФП, оценены особенности и сила их влияния на конечную точку. Так, например, были установлены нелинейные взаимосвязи показателей креатинина, нейтрофилов, эозинофилов крови с риском развития фибрилляции предсердий. Третья задача прогнозирования состояла в разработке прогностических моделей ВГЛ у больных ИБС после планового КШ, лучшая из которых имела AUC=0.856. С помощью мультиметрической категоризации были выделены ФР, оценены особенности и интенсивность их влияния на конечную точку. Используя в качестве предикторов ФР была разработана прогностическая модель ВГЛ, которая превосходила по точности модель с непрерывными предикторами (AUC 0.882 vs 0.856). Анализ взаимосвязи предикторов с конечной точкой методом Шепли выявил новые нелинейные закономерности. Так, например, риск ВГЛ увеличивается не только при высоком уровне креатинина крови, но и при его низких значениях (<60 ммоль/л). Четвертая задача прогнозирования была решена с помощью разработанного метода поиска межфакторных взаимосвязей для категоризированных предикторов. Использованы целевые функции - минимальная энтропия и максимальная AUC, и полученные с помощью метода мультиметрической категоризации ФР. Выделены фенотипы предикторов ВГЛ у больных ИМnST после ЧКВ. Например, комбинации таких ФР, как: уровень нейтрофилов в крови >83% или фракция выброса крови левого желудочка <41% на фоне содержания глюкозы в крови > 8.96 ммоль/л были связаны с возрастающим риском ВГЛ. Используя фенотипы в качестве предикторов, были разработаны модели ВГЛ и оценена их прогностическая ценность. Метрика AUC от 0.83 до 0.901 подтверждает корректность сформированных фенотипов ФР, объясняющих врачу причины предсказания высокой вероятности фатальных событий у больных ИМnST. В рамках четвертой задачи прогнозирования был разработан метод модифицикации дерева решений с учетом категоризированных предикторов. Используя ФР, полученные на основе метода мультиметрической категоризации, изменен алгоритм построения дерева решений, где поиск точки принятия решений ограничен только предлагаемыми ФР. Это позволяет сформировать фенотипы ФР и значимо повысить качество прогноза дерева решений. Так, лучшая авторская модель дерева решений, прогнозирующая ВГЛ у больных ИМnST после ЧКВ, имела AUC - 0.813 vs AUC- 0.765, который демонстрировало лучшее классическое дерево решений. Сформированные в проекте датасеты, как и большинство клинических данных, не сбалансированы относительно конечной точки. Предложен новый подход к генерации табличных данных, обеспечивающий баланс классов и повышение качества прогностических моделей. Метод синтезирует образцы для класса меньшинства, используя оценку плотности распределения признаков и добавление шума, контролируемого важностью признаков, был применен к данным больных ИБС с конечной точкой ВГЛ после КШ и выполнено сравнение с другими методами. Анализ показал, что метод позволяет несколько улучшить прогностические модели МЛР (AUC - 0.823 vs 0.819) и СГБ (AUC - 0.805 vs 0.778) по сравнению с обучением на реальных данных, но не влияет на качество моделей СЛ. Все другие 9 методов синтеза снижали качество прогноза в аналогичных условиях. Подготовлено 5 статей в журналах и 3 доклада на конференции. Из них опубликовано/принято к печати - 3 статьи в журналах, индексируемых в Scopus, 2 - в WoS, 3 - в RCSI. Подготовлена кандидатская диссертация и представлена в диссертационный совет.

Публикации

Возможность практического использования результатов
Применение прогностических и диагностических моделей машинного обучения в клинической медицине позволяет увеличить эффективность оказания медицинской помощи, снизить инвалидизацию и смертность населения, а также расходы системы здравоохранения. Но для полномасштабного их применения необходимы не только исследования по разработке таких моделей, но и усилия по обеспечению их прозрачности, надежности и валидности. Разработанные в рамках проекта методы обеспечивают такую возможность, а разработанные модели могут быть встроены в системы поддержки принятия врачебных решений в стационарах с сердечно-сосудистыми центрами.