КАРТОЧКА ПРОЕКТА ФУНДАМЕНТАЛЬНЫХ И ПОИСКОВЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ

Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.

 

ОБЩИЕ СВЕДЕНИЯ


Номер 23-21-00250

НазваниеИнтерпретация моделей машинного обучения на примере прогнозирования в кардиологии

РуководительШахгельдян Карина Иосифовна, Доктор технических наук

Организация финансирования, регион Федеральное государственное бюджетное образовательное учреждение высшего образования "Владивостокский государственный университет", Приморский край

Период выполнения при поддержке РНФ 2023 г. - 2024 г. 

Конкурс№78 - Конкурс 2022 года «Проведение фундаментальных научных исследований и поисковых научных исследований малыми отдельными научными группами».

Область знания, основной код классификатора 01 - Математика, информатика и науки о системах, 01-202 - Интеллектуальный анализ данных и распознавание образов

Ключевые словаобъяснимый искусственный интеллект, интерпретируемые модели машинного обучения, прогностические модели, ближайший прогноз кардиологических операций, предтестовая вероятность обструктивного поражения коронарных артерий

Код ГРНТИ28.23.25


 

ИНФОРМАЦИЯ ИЗ ЗАЯВКИ


Аннотация
В последние годы в клинических исследованиях в качестве инструментов прогнозирования все шире используются методы машинного обучения (МО), позволяющие моделировать выходные переменные на основе входных факторов, характеризующих клинико-функциональный статус пациентов при различных заболеваниях. К факторам, ограничивающим внедрение моделей МО в клиническую медицину относят низкий уровень прозрачности (“объяснимости”) и интерпретируемости разработанных моделей, что вызывает недоверие у практикующих врачей. Отчасти, это обусловлено тем, что помимо точности прогноза требуются доказательства валидности используемых предикторов с уточнением их пороговых значений в изолированной и комбинированной форме, оценкой степени влияния на результирующую переменную и формализацией взаимосвязей анализируемых факторов. Кроме того, для выработки клинических рекомендаций требуется детализированная интерпретация результатов прогноза на основе моделей МО, в том числе ансамблевых. Наличие таких знаний увеличивает “объяснимость” моделей МО и, следовательно, повышает доверие к ним, позволяет объяснить причины, условия и механизмы развития тех или иных событий, в том числе, летальности и развития осложнений после кардиохирургических операций. Это, в свою очередь, является важным условием для персонификации программ профилактики и терапии. Проект будет реализован для повышения уровня доказательности прогностических моделей в области кардиологии, повышению уровня прозрачности и “объяснимости” прогностических моделей неблагоприятных событий после кардиохирургических операций за счет разработки алгоритмов поиска и валидации предикторов, их пороговых значений, позволяющих дать клиническую интерпретацию их взаимосвязей с конечными точками наблюдения, обеспечить более высокое качество прогноза и создать доказательную базу для применения прогностических моделей в клинической практике в качестве инструментов поддержки принятия врачебных решений. В рамках реализации проекта будут разработаны: 1. новый метод поиска и валидации пороговых значений предикторов развития заболеваний и осложнений - метод автоматического формирования изолированных правил; 2. новый метод поиска пороговых значений предикторов в межфакторных взаимосвязях, обеспечивающих формирование кластеров пациентов со схожими триггерами неблагоприятных событий (осложнение заболеваний или летальный исход) - метод автоматического формирования комбинированных правил; 3. усовершенствованные методы поиска пороговых значений предикторов и межфакторных взаимосвязей с учетом специфики этой области знаний (несбалансированные выборки, различные причины у одного следствия, непрерывная и категориальная форма предикторов, интеграции предикторов с усилением влияния на конечную точку и др.); 4. новые методы интерпретации результата прогноза, в том числе для ансамблевого подхода к разработке моделей машинного обучения; 5. новые прогностические модели фатальных и нефатальных сердечно-сосудистых событий после операций КШ и ЧКВ (внутригоспитальная летальность и послеоперационная фибрилляция предсердий), а также модель прогноза обструктивного поражения коронарных артерий при остром коронарном синдроме.

Ожидаемые результаты
Основные ожидаемые результаты включают 1. новый метод поиска и валидации пороговых значений предикторов развития заболеваний и осложнений - метод автоматического формирования изолированных правил; 2. новый метод поиска пороговых значений предикторов в межфакторных взаимосвязях, обеспечивающих формирование кластеров пациентов со схожими триггерами неблагоприятных событий (осложнение заболеваний или летальный исход) - метод автоматического формирования комбинированных правил; 3. усовершенствованные методы поиска пороговых значений предикторов и межфакторных взаимосвязей с учетом специфики этой области знаний (несбалансированные выборки, различные причины у одного следствия, непрерывная и категориальная форма предикторов, интеграции предикторов с усилением влияния на конечную точку и др.); 4. новые методы интерпретации результата прогноза, в том числе для ансамблевого подхода к разработке моделей машинного обучения; 5. новые прогностические модели фатальных и нефатальных сердечно-сосудистых событий после кардиохирургических операций (внутригоспитальная летальность и послеоперационная фибрилляция предсердий), а также модель прогноза обструктивного поражения коронарных артерий при остром коронарном синдроме; 6. актуализированные, валидированные датасеты пациентов с ИБС, содержащий около 1000 записей пациентов после коронарного шунтирования и 1500 записей пациентов после чрезкожноое коронарное вмешательство , а также датасет пациентов с острым коронарным синдромом с обструктивным и необструктивным поражением коронарных артерий; 7. подготовлены 6 публикаций, 4 из которых будут индексированы в международных базах данных (WoS или Scopus). Результаты проекты направлены на развитие подходов к “отбеливанию” черного ящика моделей МО и созданию “объяснимого” искусственного интеллекта. Одной из важных составляющих последнего является гарантия того, что в разработанных моделях используются только те предикторы, которые имеют доказанное влияние на конечную переменную. Для повышения уровня доверия к полученным решениям необходимо не только найти и доказать наличие взаимосвязей между входными факторами и выходными переменными, но и найти и валидировать условия их осуществления. Гипотеза, которая является основной исследования данного проекта, состоит в том, что значимое влияние на конечную точку можно фиксировать при определенных ограничениях значений предикторов в изолированной и в комбинированной форме. Разработка методов поиска таких ограничений и составляет суть проекта. Кроме того, интерпретация результатов прогноза в клинической медицине имеет существенное влияние на назначение терапии или дальнейших исследований. Для синхронизации результатов прогноза и клинических рекомендаций необходимы новые методы интерпретации моделей МО.


 

ОТЧЁТНЫЕ МАТЕРИАЛЫ


Аннотация результатов, полученных в 2023 году
В результате реализации первого года исследований были актуализированы и валидированы 2 датасета: истории болезни 999 пациентов с ишемической болезнью сердца (ИБС) и операцией коронарного шунтирования (КШ) с двумя конечными точками: внутригоспитальной летальности (ВГЛ) и фибрилляцией предсердий (ФП) (150 факторов) и 4677 историй болезни пациентов с инфарктом миокарда с подъемом сегмента ST (ИМnST) и операцией чрескожного коронарного вмешательства (ЧКВ) с конечной точкой ВГЛ (136 факторов). Был выполнен интеллектуальный анализ данных, выделены и валидированы новые предикторы ВГЛ после ЧКВ, к которым относились показатели фракции выброса левого желудочка (ФВ ЛЖ), содержание в крови нейтрофилов и эозинофилов, уровень тромбокрита, концентрация глюкозы. Разработаны прогностические модели ВГЛ после ЧКВ на основе методов многофакторной логистической регрессии (МЛР), случайного леса (СЛ) и стохастического градиентного бустинга (СГБ). В моделях помимо 5 базовых показателей шкалы GRACE в непрерывной форме (систолическое артериальное давление - САД, частота сердечных сокращения - ЧСС, креатинин, возраст и класс острой сердечной недостаточной (ОСН) по T.Killip) использовали 5 новых прогностических факторов (ФВ ЛЖ, нейтрофилы, эозинофилы, тромбокрит и глюкоза). Новая предиктивная модель демонстрировала более высокую точность прогноза ВГЛ по сравнению со шкалой GRACE (увеличение площади под ROC-кривой - AUC с 0,836 до 0,9). Оценка важности предикторов с помощью метода аддитивного объяснения Шепли (SHAP) показала, что наибольшее влияние на фатальное событие оказывают ФВ ЛЖ, креатинин, нейтрофилы, ЧСС и глюкоза. Был предложен метод изолированной дихотомизации для поиска пороговых значений, обеспечивающих формирование бинаризированных факторов риска. Предлагается использовать метод SHAP на всем диапазоне значений непрерывных показателей. К категориальным факторам, выделенным этим методом, относились следующие признаки: возраст > 70 лет, ЧСС > 89 уд./мин, САД < 95 мм рт.ст., класс ОСН по Т.Killip > 2, креатинин крови > 166 ммоль/л, ФВ ЛЖ< 45%, NEUT > 77%, эозинофилы < 0.22%, тромбокрит > 0.32%, глюкоза крови > 8.9 ммоль/л. Разработанные на основе этих факторов риска прогностические модели МЛР, СЛ и СГБ имели метрики сопоставимые с моделями на основе непрерывных предикторов. Вместе с тем их преимущество заключалось в том что они обладали элементами объяснения, позволяющие врачу более точно оценить риск ВГЛ за счет анализа пороговых значений предикторов, отклонение от которых ассоциируется с возрастающей вероятностью фатального события. Был предложен метод многоуровневой мультиметрической категоризации для поиска пороговых значений с учетом их многофакторного взаимодействия и неравномерной интенсивности влияния на конечную точку. Результаты исследования показали, что пороговые значения, полученные различными методами бинаризации часто отличались между собой. Метод SHAP позволил выявить неравномерность в интенсивности влияния факторов риска на конечную точку. Например, согласно SHAP вероятность ВГЛ последовательно увеличивается в диапазоне значений ФВ ЛЖ от 44% до 31% и резко возрастает при ее уровне < 30%. Повышение концентрации глюкозы в крови более 8.9 ммоль/л увеличивает риск ВГЛ, но вероятность фатального исхода значительно возрастает при ее уровне более 17 ммоль/л. Оценка динамики изменений SHAP-value, позволяющая объяснить взаимосвязь различных значений предикторов с конечной точкой исследования, явилась основанием для использования этого метода как базового в процедурах многоуровневой категоризации. Для выполнения многоуровневой категоризации нами предложено 2 новых подхода. Первый из них предполагал использование пороговых значений, полученных по результатам анализа SHAP-value. Второй, мультиметрический, объединял все пороговые значения, выделенные при дихотомизации показателей различными методами, в том числе многоуровневой категоризации по SHAP. Для кодирования значений многоуровневых категориальных предикторов использовали весовые коэффициенты (ВК) моделей МЛР, разработанных для каждой группы факторов риска. На основе многоуровневых предикторов, полученных различными методами, были разработаны 4 прогностические модели ВГЛ на основе СГБ. Лучшие прогностические свойства демонстрировала модель с предикторами, выделенными методом мультиметрической категоризации. Последняя была сопоставима по точности с моделью, включающей непрерывные переменные, но в отличие от нее позволяла объяснять прогноз ВГЛ по результатам оценки пороговых значений и весовых коэффициентов (ВК) ее предикторов. С учетом этих данных было установлено, что у больных ИМпST после ЧКВ наибольшая вероятность развития неблагоприятного исхода ассоциируется с показателями ФВ ЛЖ < 31% (ВК - 1.735) и Cr > 189 ммоль/л (ВК - 1.489). К менее значимым факторам риска ВГЛ относятся ЧСС > 95 уд/мин (ВК - 1.151), уровень глюкозы> 17 ммоль/л (ВК - 1.12) и содержание эозинофилов < 0.09% (ВК - 0.935). Интенсивность воздействия на конечную точку 4-го класса ОСН по T.Killip, возраста> 71 года, содержания нейтрофилов > 77% и концентрации креатинина в диапазоне 166 -189 ммоль/л характеризовалась значениями ВК на уровне 0.75-0.86. Остальные категориальные значения факторов риска оказывали на ВГЛ существенно меньшее влияние. Сравнительная оценка точности прогностических моделей с предикторами, выделенными методами дихотомизации и многоуровневой категоризации, демонстрировала преимущества последних, что подтверждалось статистически значимыми различиями метрики AUC (р-value<0,00001). Результатом работы является также оценка эффективности методов синтеза для балансировки выборок 6 методами oversampling и 3 генеративными нейронными сетями. Оценка эффективности выполнялась на основе сравнения метрик качества моделей, обученных только на реальных данных и тех, при обучении которых использовались комбинированные обучающие выборки. Как показал наш анализ для обеих задач (прогнозирование ВГЛ и ФП) модели МЛР, СЛ и СГБ не имели перимуществ ни на одной комбинированной обучающей выборке по сравнению с реальными данными. В основном речь шла о снижение прогностических качеств моделей, обученных на комбинированных (реальных и синтезированных) данных (AUC снижалась с 0.66 до 0.62 и с 0.76 до 0.72). Незначительное повышение AUC наблюдалось для моделей СЛ для таких методов синтеза как ProWSyn и VAE (с 0.74 до 0.76) и МЛР - для методов Polynom-fit-SMOTE и ProWRAS с 0.76 до 0.77. Эти результаты позволяют сделать вывод о необходимости разработки новых методов генерации табличных клинических данных. Было подготовлено 5 статей в журналах и 2 доклада на конференции, 3 статьи в журналах, индексируемых в Scopus, 1 в WoS, 4 - в RCSI. Российский кардиологический журнал (опубликовано) - Scopus / RCSI Lecture Notes in Networks and Systems (опубликовано) - Scopus Современные технологии в медицине (принято в печать) - Scopus / WoS / RCSI Врач и информационные технологии (опубликовано)- RCSI

 

Публикации

1. ГЕЛЬЦЕР Б.И., ШАХГЕЛЬДЯН К.И., ДОМЖАЛОВ И.Г., КУКСИН Н.С., КОКАРЕВ Е.А., КОТЕЛЬНИКОВ В.Н., РУБЛЕВ В.Ю. ПРОГНОЗИРОВАНИЕ ВНУТРИГОСПИТАЛЬНОЙ ЛЕТАЛЬНОСТИ У БОЛЬНЫХ ОСТРЫМ ИНФАРКТОМ МИОКАРДА С ПОДЪЕМОМ СЕГМЕНТА ST ПОСЛЕ ЧРЕСКОЖНОГО КОРОНАРНОГО ВМЕШАТЕЛЬСТВА РОССИЙСКИЙ КАРДИОЛОГИЧЕСКИЙ ЖУРНАЛ, Т. 28. № 6. С. 31-39 (год публикации - 2023) https://doi.org/10.15829/1560-4071-2023-5414

2. К.И. Шахгельдян, Б.И. Гельцер, Н.С. Куксин, И.Г. Домжалов Анализ эффективности прогностических моделей внутригоспитальной летальности у больных инфарктом миокарда с подъемом сегмента ST на основе предикторов в категориальной и непрерывной формах СОВРЕМЕННЫЕ ТЕХНОЛОГИИ В МЕДИЦИНЕ, - (год публикации - 2024)

3. Сравнительный анализ методов синтеза данных для разработки прогностических моделей в кардиологии Comparative Analysis of Data Synthesis Methods for Prognostic Models Development in Cardiology Lecture Notes in Networks and Systems, 776 LNNS, pp 35–44 (год публикации - 2023) https://doi.org/10.1007/978-3-031-43789-2_3

4. Шахгельдян К.И., Гельцер Б.И., Куксин Н.С., Домжалов И.Г. МНОГОУРОВНЕВАЯ КАТЕГОРИЗАЦИЯ НЕПРЕРЫВНЫХ ПЕРЕМЕННЫХ В ЗАДАЧАХ ОБЪЯСНЕНИЯ ПРОГНОЗНЫХ ОЦЕНОК МОДЕЛЕЙ МАШИННОГО ОБУЧЕНИЯ В КЛИНИЧЕСКОЙ МЕДИЦИНЕ Врач и информационные технологии, #3 (год публикации - 2023) https://doi.org/10.25881/18110193_2023_3_44