КАРТОЧКА ПРОЕКТА ФУНДАМЕНТАЛЬНЫХ И ПОИСКОВЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ

Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.

 

ОБЩИЕ СВЕДЕНИЯ

Номер 23-21-10009

НазваниеРазработка высокоточных моделей, методов и алгоритмов с использованием многомодальных методов глубокого обучения для ранней диагностики заболеваний легких

РуководительКумар Сэчин , кандидат наук (признаваемый в РФ PhD)

Организация финансирования, регион Федеральное государственное автономное образовательное учреждение высшего образования "Южно-Уральский государственный университет (национальный исследовательский университет)", Челябинская обл

Период выполнения при поддержке РНФ 2023 г. - 2024 г. 

Конкурс№76 - Конкурс 2023 года «Проведение фундаментальных научных исследований и поисковых научных исследований малыми отдельными научными группами» (региональный конкурс).

Область знания, основной код классификатора 01 - Математика, информатика и науки о системах, 01-201 - Искусственный интеллект и принятие решений

Ключевые словаМногомодальное глубокое обучение, заболевания легких, многомодальное слияние, медицинская диагностика, машинное обучение, высокоточные методы, сверточные нейронные сети, рекуррентная нейронная сеть

Код ГРНТИ28.23.00

 

ИНФОРМАЦИЯ ИЗ ЗАЯВКИ

Аннотация
Целью проекта является разработка и исследование новых моделей, методов и алгоритмов для выявления и диагностики заболеваний легких на ранних стадиях на основе многомодальных методов глубокого обучения. Основная актуальность исследования обусловлена необходимостью высокоточных и эффективных решений в ранней диагностике критических заболеваний легких, таких как пневмония, рак легких, эмфизема, туберкулез и ХОБЛ (хроническая обструктивная болезнь легких). Причиной смерти при этих заболеваниях часто является несвоевременная диагностика и недостаточно качественный прогноз, что является одной из серьезных проблем в области здравоохранения. В настоящее время передовые методы искусственных нейронных сетей, такие как глубокое обучение, сверточные нейронные сети, рекуррентные нейронные сети, используются в медицине для ранней диагностики ряда серьезных заболеваний - рака молочной железы, туберкулеза легких, сердечно-сосудистых заболеваний, инсульта, поражений органов при COVID-19 и других. Однако новые высокоточные и эффективные методы выявления заболеваний легких все еще нуждаются в разработке, также как и существующие модели имеют большой потенциал к улучшению на основе новых подходов В настоящее время доктора диагностируют наличие заболеваний легких по характерным пятнам, скоплениям и узелкам на изображениях легких. Нейронная сеть может улучшить дифференциальную диагностику, классифицируя патологические участки по плотности и текстурным характеристикам. Предлагаемые модели значительно упростят визуальные количественные оценки, вычисляя объем вызывающего подозрение очага. Большое разнообразие заболеваний легких определяет нетривиальность задачи диагностики заболеваний легких. Для разработки более эффективных и надежных моделей методы слияния нескольких моделей можно комбинировать с методами глубокого обучения. В настоящее время у нас есть доступ к крупным свободно-распространяемым обезличенным наборам данных со статистическими данными по предмету проекта, и мы можем реализовать рабочие модели путем ее хорошо проведенной валидации и тестирования. Использование не искусственно сгенерированных, а реальных рентгеновских снимков обеспечит высокий уровень точности и надежности прогнозируемого диагноза. Научная новизна предлагаемого исследования заключается в следующем. В медицинских приложениях с каждым пациентом связано несколько типов данных, включая рентгенологические снимки, результаты медицинских анализов, записи и предписания врача, сведения о приеме лекарств и другие. Кроме того, неоднородность медицинских данных обусловлена особенностями используемого в различных больницах диагностического оборудования. Так, модель сканера может повлиять на качество изображения. Неоднородность данных может стать следствием различного опыта операторов, различными параметрами сканирования, а также разнообразием групп пациентов – их полом, возрастом, имеющимися заболеваниями, анамнезом и другими. Обычные алгоритмы демонстрируют высокую точность на ограниченном наборе данных, но часто допускают ошибки при анализе новых снимков и медицинских данных. Мы сделаем алгоритм обобщаемым и продемонстрируем эффективность в различных клинических ситуациях. Таким образом, когда данные поступают из разных источников, подход многомодального глубокого обучения может извлечь больше полезной информации, а также достичь более высокой точности. Нами будет разработана многомодальная система глубокого обучения, позволяющая объединить многомодальность и глубокое обучение. Эта система сможет комбинировать данные нескольких типов, таких как изображения, текст, аудио и т.д. Комбинируя больше модальностей, задействованных в обработке информации, многомодальное обучение позволит извлечь значимые характеристики и улучшить способность к не только к диагностике, но и прогнозированию развития заболевания.

Ожидаемые результаты
Проект имеет следующие основные ожидаемые результаты: ФУНДАМЕНТАЛЬНЫЕ НАУЧНЫЕ РЕЗУЛЬТАТЫ 1. Будет разработан многомодальный подход для объединения информации, состоящий из моделей, методов и алгоритмов сбора информации из нескольких источников и последующего слияния и обработки этой информации. 2. Будет разработана и использована методика глубокого обучения поверх многомодальной структуры для извлечения признаков и обнаружения инфицированных или пораженных областей на рентгеновских снимках легких. 3. Будет разработана диагностическая модель для ранней диагностики и прогноза течения заболеваний легких с использованием извлеченных признаков. 4. Ожидаемые результаты обеспечат фундаментальное математическое решение для объединения информации из различных ресурсов с целью разработки более эффективного и точного выявления заболеваний легких на ранних стадиях и прогноза их развития. 5. Наш проход обеспечит комплексный подход к диагностике. В дополнение к визуализации данных подход будет учитывать клинические показатели, полученные из электронной медицинской карты и других ресурсов. Интеграция других источников информации направлена на улучшение интерпретации медицинских изображений. СОЦИАЛЬНО-ЗНАЧИМЫЕ РЕЗУЛЬТАТЫ 6. Наши алгоритмы повысят эффективность работы рентгенолога за счет автоматизации рутинных процессов: идентификация областей, представляющих интерес, включая патологические области; обработка медицинских изображений, в том числе в случае плохого качества изображения, например, удаление шума, повышение контрастности и четкости изображения; количественная оценка анатомических образований; интеграция полученных метаданных в рентгеновские снимки. 7. Алгоритмы и модели обеспечат понятный и простой интерфейс для использования практикующими врачами. Предлагаемый подход будет реализован в виде прототипа сервиса для врачей, медицинских экспертов и заинтересованных лиц. При этом персональные данные пациентов не будут требоваться. Пользователь сможет загрузить изображение или несколько изображений и увидеть визуализированные результаты анализа: определенные пораженные участки, возможные заболевания, которые могут дать такую картину, прогноз развития заболевания, основанный на опционально предоставленной информации о пациенте. 8. Наш подход будет превосходить существующие модели выявления заболеваний легких за счет новых моделей и алгоритмов, что будет способствовать повышению уровня национальной системы здравоохранения и обеспечит ее существенный прогресс.

 

ОТЧЁТНЫЕ МАТЕРИАЛЫ

Аннотация результатов, полученных в 2023 году
Была разработана структура для извлечения признаков как из клинических, так и из рентгенологических данных. Набор данных состоял из 1632 лабораторных тестов, не все из которых были связаны с заболеваниями легких, и не все пациенты прошли несколько тестов. Следовательно, мы тщательно проанализировали пациентов с большинством лабораторных тестов. В набор клинических данных мы включили только лабораторные тесты, связанные с заболеваниями легких. Клинические тесты имеют категориальные и числовые референсные значения. Автоматический кодировщик шумоподавления преобразует категориальные значения в числовые. Кроме того, для снижения уровня шума и расширения возможностей клинических данных используются генерирующие состязательные сети Вассерштейна (WAN) и автоматический кодировщик. Различные архитектуры глубокого обучения, включая долговременную кратковременную память (LSTM), извлекают признаков из клинических данных. Это связано с тем, что клинические данные могут включать в себя различные признаков данных, включая категориальные и числовые. Особое внимание было уделено извлечению признаков. Кроме того, эти значения отправляются в LSTM для извлечения признаков. Мы также использовали методы увеличения данных, такие как увеличение изображения, для увеличения количества изображений в наборе данных. Для радиологической визуализации мы разработали платформу глубокого обучения, которая использует архитектуры сверточных нейронных сетей (CNN), такие как VGG, ResNet и DenseNet, для извлечения признаков. Эти модели обучаются на больших объемах данных изображений и считаются современными фреймворками для извлечения признаков из нового набора данных изображений. Затем извлеченные признаки были объединены с помощью мультимодального подхода слияния для получения окончательного унифицированного набора признаков для прогнозирования и классификации заболеваний легких. Также был разработан мультимодальный подход к объединению мультимодальных признаков и созданию унифицированного набора признаков для представления объединенной модальности. Приведенный текст уже является кратким, ясным и объективным. Итак, улучшенная версия была бы такой: учитывая неоднородность методов, использовались только методы "позднего слияния" и "промежуточного слияния". Затем модель на основе искусственной нейронной сети была обучена на основе объединенных признаков для диагностики заболеваний легких. Мы протестировали нашу модель с несколькими комбинациями параметров не менее пяти раз, чтобы получить средние результаты при рандомизированном разделении данных на обучающие (80%) и проверочные (20%) наборы. Нашей целью было предсказать вероятность заболевания легких, где класс “Больной пациент” был положительным исходом, а класс “Здоровый пациент” был отрицательным исходом. Наконец, были получены средние результаты. Мы провели исследование, чтобы оценить эффективность предложенной модели на наборе медицинских данных. Объем набора данных был увеличен двумя способами: путем генерации объектов с использованием WGAN и путем генерации объектов с использованием автокодера с шумом. Автокодер Ka имел коэффициент шума 0,1 и 0,2 соответственно. Значения гиперпараметра оптимизации дискриминатора Kd в алгоритме WGAN также составили 0,1 и 0,2. Обучение промежуточной модели слияния на клинических данных, полученных с помощью автокодера и WGAN, привело к сопоставимым результатам AUC. Эксперименты проводились по пятикратной процедуре обучения со следующими настройками: Мультимодальная модель слияния - промежуточная; Адаптивный размер пакета. В ходе наших экспериментов мы обнаружили, что создание синтетических наборов клинических данных является сложной задачей из-за низкой производительности моделей генерации данных с определенной степенью сходства. Мы сравнили модель позднего слияния и модель промежуточного слияния, используя точность, чувствительность, F-балл и прецизионность на двух наборах данных. Первый набор данных содержал информацию о 289 первоначальных пациентах, в то время как второй набор данных состоял из 1156 пациентов и включал сгенерированные клинические данные и дополненные рентгенограммы. Мы поддерживали фиксированный размер партии и использовали метод автоматического кодирования для генерации искусственных клинических данных в качестве постоянных условий эксперимента. Параметры, полученные с помощью всех унимодальных и мультимодальных методов, указывают на то, что модель промежуточного слияния достигла точности 92,77% и 93,11% при адаптивном подходе к размеру, превосходя другие подходы. https://www.sciencedirect.com/science/article/pii/S2352914823002137

 

Публикации

1. Анудж Кумар Сингх, Сачин Кумар An Efficient and Secure CLAKA Protocol for Blockchain-Aided Wireless Body Area Networks Expert Systems with Applications, 242, 2024, 122740 (год публикации - 2024) https://doi.org/10.1016/j.eswa.2023.122740

2. О.Н. Иванова, А.В. Мелехин, Е.В. Иванова, С. Кумар, М.Л. Цымблер INTERMEDIATE FUSION APPROACH FOR PNEUMONIA CLASSIFICATION ON IMBALANCED MULTIMODAL DATA Вестник ЮУрГУ. Серия «Вычислительная математика и информатика», 12 (3) (год публикации - 2023) https://doi.org/10.14529/cmse230302

3. О.Н. Иванова, С. Кумар, М.Л. Цымблер, Е.В. Иванова КЛАССИФИКАЦИЯ МУЛЬТИМОДАЛЬНЫХ ДАННЫХ О ЗАБОЛЕВАНИЯХ ЛЕГКИХ НА ОСНОВЕ ПОЗДНЕГО СЛИЯНИЯ МОДАЛЬНОСТЕЙ Вестник ЮУрГУ. Серия: Вычислительная математика и информатика, - (год публикации - 2024)

4. Сэчин Кумар, Ольга Иванова, Артем Мелехин, Праяг Тивари Deep-learning-enabled multimodal data fusion for lung disease classification Informatics in Medicine Unlocked, 42, 101367 (год публикации - 2023) https://doi.org/10.1016/j.imu.2023.101367

5. Сэчин Кумар, Прадип Кумар Маллик, Ольга Ворфоломеева A Comparative Study on Multi-modal Fusion for Automated Lung Disease Diagnostics In the Proceedings of the 4th International Conference on Emerging Systems and Intelligent Computing (ESIC- 2024), - (год публикации - 2024)

6. Сита Рани, Аман Катария, Сачин Кумар, Праяг Тивари Federated learning for secure IoMT-applications in smart healthcare systems: A comprehensive review Knowledge-Based Systems, 274 (2023) 110658 (год публикации - 2023) https://doi.org/10.1016/j.knosys.2023.110658

7. Бурмистрова М.А., Иванова О.Н., Кумар С. Модель классификации мультимодальных данных о заболеваниях легких на основе позднего слияния модальностей -, (подана заявка на регистрацию программы) (год публикации - )