Модели, методы и алгоритмы для анализа мультимодальных данных биомедицинской направленности

КАРТОЧКА ПРОЕКТА ФУНДАМЕНТАЛЬНЫХ И ПОИСКОВЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ

Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.

ОБЩИЕ СВЕДЕНИЯ

Номер проекта 23-11-00358

НазваниеМодели, методы и алгоритмы для анализа мультимодальных данных биомедицинской направленности

Руководитель Тутубалина Елена Викторовна, Доктор физико-математических наук

Организация финансирования, регион федеральное государственное автономное образовательное учреждение высшего образования "Казанский (Приволжский) федеральный университет" , Республика Татарстан (Татарстан)

Конкурс №80 - Конкурс 2023 года «Проведение фундаментальных научных исследований и поисковых научных исследований отдельными научными группами»

Область знания, основной код классификатора 01 - Математика, информатика и науки о системах; 01-518 - Системы текстового поиска, обработки и анализа естественного языка

Ключевые слова автоматическая обработка текстов, машинное обучение, глубокое обучение, извлечение информации, графы знаний, биомедицинская область

Код ГРНТИ20.53.19

ИНФОРМАЦИЯ ИЗ ЗАЯВКИ

Аннотация
Одной из наиболее выдающихся черт современной науки и технологии является беспрецедентный рост объема накопленных данных различного типа. Это наблюдение особенно верно отражает ситуацию в области разработки новых лекарственных препаратов и оптимизации медикаментозного лечения, где объем данных о лекарственных средствах растет из-за появления высокопроизводительных методов химического синтеза, высокопроизводительного биологического скрининга и быстрого накопления записей, связанных со здоровьем. Существующие модели обработки данных биомедицинской направленности как правило направлены на обработку неструктурированных данных с помощью обучения языковых моделей (pre-trained language models, PLMs) и игнорируют существование дополнительных модальностей, например, в виде графовых представлений онтологий (графов знаний) и свойств сущностей (представлений лекарств в виде хемоинформатических признаков). Цель проекта — разработка моделей и алгоритмов, направленных на комплексное решение задачи обработки информации о языке и мире, представленной как в текстовом виде, так и в виде графовых представлений онтологий и векторных представлений сущностей, для решения прикладных задач биомедицинской направленности. Для достижения этих целей мы планируем решить следующие задачи: -- дистилляция языковых моделей знаниями (knowledge distillation), представленными в виде биомедицинского графа знаний; -- выравнивание между независимо обученными представлениями данных различных модальностей для построения единого пространства представлений; -- выделение именованных сущностей, таких как заболевания, части тела, процедуры, лекарства (named entity recognition); -- соотнесение выделенных в тексте именованных сущностей и узлов в графе знаний (entity linking); Особое внимание планируется уделить следующим прикладным задачам биомедицинской направленности: -- установление соответствия между клиническими записями врачей и международной классификации болезней (МКБ-10) (ICD coding); -- предсказание побочных лекарственных реакций по химическому и текстовому представлению лекарства; -- анализ аргументации (argumentation mining) в дискуссиях людей о здоровье; Методы, разработанные в рамках проекта, будут оцениваться на аннотированных наборах данных на нескольких языках, включая русский язык. Кроме того, будет оцениваться эффективность методов переноса обученных моделей (transfer learning) между разными источниками текстов и биомедицинскими подобластями. В рамках проекта предлагается получить ряд прорывных результатов в различных областях обработки текстов на естественном языке; все предполагаемые результаты проекта являются новыми. Все разрабатываемые методы и модели будут соответствовать мировому уровню исследований.

ОТЧЁТНЫЕ МАТЕРИАЛЫ

Публикации

1. Андрей Саховский, Наталья Семенова, Артур Кадурин, Елена Тутубалина Graph-Enriched Biomedical Entity Representation Transformer Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), LNCS, volume 14163, С. 109-120 (год публикации - 2023)
10.1007/978-3-031-42448-9_10

2. Андрей Саховский, Елена Тутубалина Cross-Lingual Transfer Learning in Drug-Related Information Extraction from User-Generated Texts Programming and Computer Software, Programming and Computer Software, 2023, Vol. 49, No. 7, pp. 590–595. (год публикации - 2023)
10.1134/S036176882307006X

3. Андрей Саховский, Александр Панченко, Елена Тутубалина Graph-Enriched Biomedical Language Models: A Research Proposal Proceedings of the 13th International Joint Conference on Natural Language Processing and the 3rd Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics: Student Research Workshop, Proceedings of the 13th International Joint Conference on Natural Language Processing and the 3rd Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics: Student Research Workshop, pages 82–92 (год публикации - 2023)

4. Олег Сомов, Елена Тутубалина Shifted PAUQ: Distribution shift in text-to-SQL Proceedings of the 1st GenBench Workshop on (Benchmarking) Generalisation in NLP, Association for Computational Linguistics, Proceedings of the 1st GenBench Workshop on (Benchmarking) Generalisation in NLP (pp. 214-220). (год публикации - 2023)

5. Анастасиос Нентидис, Георгиос Кацимпрас, Анастасия Критара, Мартин, Краллингер, Георгиос Палиурас, Мартин Краллингер, Мигель Родригес Ортега, Андрей Саховский, Наталья Лукачевич, Елена Тутубалина, Григориос Цумакас, Джорджиос Яннакулас, Александра Бекиариду, Афанасиос Самарас, Джорджио Мария Ди Нунцио, Никола Ферро, Стефано Маркезин, Лаура Менотти, Джанмария Сильвелло, Георгиос Палиурас Overview of BioASQ 2025: The Thirteenth BioASQ Challenge on Large-Scale Biomedical Semantic Indexing and Question Answering Lecture Notes in Computer Science, vol 16089. Springer, Cham., том 16089 LNCS, стр. 173--198 (год публикации - 2025)
10.1007/978-3-032-04354-2_12

6. Анастасиос Нентидис, Анастасия Критара, Георгиос Палиурас, Мартин Краллингер, Луис Гаско Санчес, Сальвадор Лима, Евлалия Фарре, Наталья Лукачевич, Вера Давыдова, Елена Тутубалина BioASQ at CLEF2024: The Twelfth Edition of the Large-Scale Biomedical Semantic Indexing and Question Answering Challenge Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), Том 14612 LNCS, Страницы 490 - 497, 2024, 46th European Conference on Information Retrieval, ECIR 2024, 14612 LNCS, страницы 490–497 (год публикации - 2024)
10.1007/978-3-031-56069-9_67

7. Вера Давыдова, Хуабин Ян, Елена Тутубалина Data and models for stance and premise detection in COVID-19 tweets: Insights from the Social Media Mining for Health (SMM4H) 2022 shared task Journal of Biomedical Informatics, Volume 149, January 2024, 104555 (год публикации - 2024)
10.1016/j.jbi.2023.104555

8. Oleg Somov, Alexey Dontsov, Elena Tutubalina AIRI NLP Team at EHRSQL 2024 Shared Task: T5 and Logistic Regression to the Rescue Proceedings of the 6th Clinical Natural Language Processing Workshop, ClinicalNLP@NAACL 2024, Mexico City, Mexico, June 21, 2024, страницы 431–438 (год публикации - 2024)
10.18653/v1/2024.clinicalnlp-1.43

9. Давыдова, Вера; Лукачевич, Наталья; Тутубалина Елена Overview of BioNNE Task on Biomedical Nested Named Entity Recognition at BioASQ 2024 CEUR Workshop Proceedings, Том 3740, Страницы 28 - 34 (год публикации - 2024)

10. Ганеева В.А., Храбров К.А., Кадурин А.А., Савченко А.С., Тутубалина Е.В Языковые модели и их понимание химии в задаче генерации описания молекулы ХХII Менделеевский съезд по общей и прикладной химии, 7-12 октября, 2024, Федеральная территория «Сириус», Россия. Сборник тезисов до- кладов в 7 томах. Том 5. — М.: ООО «Адмирал Принт», 2024. – 372 c. – ISBN 978-5-00202-669-2 (т. 5), т. 5, стр. 188 (год публикации - 2024)

11. Михаил Чайчук, Елена Тутубалина MMCP Team at ImageCLEFmed MEDVQA-GI 2024 Task: Diffusion Models for Text-to-Image Generation of Colonoscopy Images CEUR Workshop Proceedings, Том 3740, Страницы 1533 - 1544 (год публикации - 2024)

12. Резарта Исламай, По-Тин Лай, Чи-Сюань Вэй, Линг Луо, Тьяго Алмейда, Ричард А.А. Джонкер, София И.Р. Консейсао, Диана Ф. Соуза, Конг-Фуок Фан, Юнг-Сянь Чан, Джиру Ли, Динхао Пан, Вилайлак Мисавад, Ричард Цонг-Хан Цай, М. Янина Сарол, Гибонг Хонг, Айрат Валиев, Елена Тутубалина, Шао-Ман Ли, И-Ю Сюй, Минджи Ли, Карин Верспур, Чжиён Лу The overview of the BioRED (Biomedical Relation Extraction Dataset) track at BioCreative VIII Database, Volume 2024, 2024, baae069 (год публикации - 2024)
10.1093/database/baae069

13. А. Алексеев, А. Савченко, Е. Тутубалина, Е. Мясников, С. Николенко Blending of Predictions Boosts Understanding for Multimodal Advertisements Journal of Mathematical Sciences , Volume 285, pages 126–141 (год публикации - 2024)
10.1007/s10958-024-07438-w

14. Наталья Лукашевич, Андрей Саховский, Елена Тутубалина Biomedical Concept Normalization over Nested Entities with Partial UMLS Terminology in Russian 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation, LREC-COLING 2024 - Main Conference Proceedings, страницы 2383–2389 (год публикации - 2024)

15. Айрат Валиев, Елена Тутубалина HSE NLP Team at MEDIQA-CORR 2024 Task: In-Prompt Ensemble with Entities and Knowledge Graph for Medical Error Correction Proceedings of the 6th Clinical Natural Language Processing Workshop, ClinicalNLP@NAACL 2024, Mexico City, Mexico, June 21, 2024, publisher Association for Computational Linguistics, pages 470--482 (год публикации - 2024)
10.18653/v1/2024.clinicalnlp-1.47

16. Нантидис А., Кацимпрас Г., Критара А., Лима-Лопес С., Фарре-Мадуэлл Э., Краллингер М., Лукачевич Н., Давыдова В., Тутубалина Е., Палиурас Г. Overview of BioASQ 2024: The Twelfth BioASQ Challenge on Large-Scale Biomedical Semantic Indexing and Question Answering Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), 14959 LNCS, pp. 3 - 27 (год публикации - 2024)
10.1007/978-3-031-71908-0_1

17. Антон Алексеев, Сергей Николенко и Гульнара Кабаева Benchmarking Multilabel Topic Classification in the Kyrgyz Language Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), Springer, 14486 LNCS, страницы 21–35 (год публикации - 2024)
10.1007/978-3-031-54534-4_2

18. Саховский, Андрей; Лукачевич, Наталья; Тутубалина Елена Overview of the BioASQ BioNNE-L Task on Biomedical Nested Entity Linking in CLEF 2025 CEUR Workshop Proceedings, Том 4038, Страницы 41 – 50 (год публикации - 2025)

19. Анастасиос Нентидис, Георгиос Кацимпрас, Анастасия Критара, Мартин, Краллингер, Георгиос Палиурас, Мартин Краллингер, Мигель Родригес Ортега, Андрей Саховский, Наталья Лукачевич, Елена Тутубалина, Григориос Цумакас, Джорджиос Яннакулас, Александра Бекиариду, Афанасиос Самарас, Джорджио Мария Ди Нунцио, Никола Ферро, Стефано Маркезин, Лаура Менотти, Джанмария Сильвелло, Георгиос Палиурас BioASQ at CLEF2025: The Thirteenth Edition of the Large-Scale Biomedical Semantic Indexing and Question Answering Challenge Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), Том 15576 LNCS, Страницы 407 – 415, 2025, 47th European Conference on Information Retrieval, ECIR 2025 , 15576 LNCS, страницы 407 – 415 (год публикации - 2025)
10.1007/978-3-031-88720-8_61

20. Артем Алексеев, Михаил Чайчук, Мирон Бутко, Александр Панченко, Елена Тутубалина, Олег Сомов The Benefits of Query-Based KGQA Systems for Complex and Temporal Questions in LLM Era Lecture Notes in Computer Science, vol 15836. Springer, Cham. , 15836 LNCS, страницы 426–441 (год публикации - 2025)
10.1007/978-3-031-97141-9_29

21. Николас Евкарпиди, Елена Тутубалина Team Anotheroption at SemEval-2025 Task 8: Bridging the Gap Between Open-Source and Proprietary LLMs in Table QA Proceedings of the 19th International Workshop on Semantic Evaluation (SemEval-2025), Vienna, Austria, Association for Computational Linguistics, Proceedings of the 19th International Workshop on Semantic Evaluation (SemEval-2025), pages 1870–1884, Vienna, Austria. (год публикации - 2025)

22. Ари З. Клейн, Тиртанкар Дасгупта, Лорен Грибоски, Судешна Джана, Седиг Хадеми, Гильермо Лопес-Гарсия, Диего Маццотти, Такеши Ониши, Джин Пауэлл, Лиза Райтель, Свати Раджвал, Роланд Роллер, Абеед Саркер, Манджира Синха, Филипп Томас, Елена Трубалина, Дунфан Сюй, Пьер Цвайгенбаум, Грасиэла Гонсалес-Эрнандес Overview of the 10th Social Media Mining for Health (#SMM4H) and Health Real-World Data (HeaRD) Shared Tasks at ICWSM 2025 Workshop Proceedings of the 19th International AAAI Conference on Web and Social Media. AAAI Press, Workshop Proceedings of the 19th International AAAI Conference on Web and Social Media. AAAI Press (год публикации - 2025)
10.36190/2025.55

Аннотация результатов, полученных в 2024 году
Второй год проекта завершился публикацией 11 научных работ, из которых 7 были представлены на международных конференциях по компьютерной лингвистике и машинному обучению. Также состоялись 4 приглашённых выступления на российских мероприятиях. Далее представлены наиболее значимые результаты. В этом году мы исследовали иерархическую информацию о вложенных биомедицинских сущностях для нормализации медицинских терминов, сопоставляя их с концептами в медицинской онтологии. Например, "шейка бедренной кости" включает "бедренную кость" и "кость". Существующие многоязычные модели, такие как SapBERT и GEBERT, показали ограниченную эффективность в условиях нехватки данных и при переводе между языками. В наших экспериментах точность SapBERT упала с 54% до 18% при отсутствии словаря на целевом языке, что подчеркивает проблему недостаточного понимания связи между упоминаниями на разных языках. Для решения этой проблемы были разработаны две новые модели: (i) модель, учитывающая иерархическую структуру путём добавления к существующей оценке сходства нового компонента, основанного на взаимодействии вложений "вложенной" сущности и кандидата из словаря UMLS; (ii) модель, использующая предобученную BioSyn с добавлением нового слоя, анализирующего "вложенную" информацию с помощью нейронной сети (MLP). Результаты показали, что удаление перекрывающихся упоминаний снижает точность, в то время как удаление упоминаний без соответствий в UMLS на русском языке улучшает результаты. Итоги были опубликованы на конференции LREC-COLING 2024 (CORE ranking B). Создана система на основе больших языковых моделей (LLMs) и графов знаний для анализа клинических записей с целью выявления и исправления ошибок. Разработка заняла третье место на соревновании MEDIQA-CORR 2024. Система включает извлечение сущностей, промпт-инжиниринг и ансамблирование предсказаний. Использование GPT-4 с добавлением пяти примеров повысило точность с 0.31 до 0.55, а с данными MeSH — с 0.62 до 0.72. Ансамблирование улучшило результат до 0.78. Эти результаты были представлены на симпозиуме международной конференции NAACL 2024. Мы также исследовали генерацию искусственных изображений эндоскопических исследований на основе текстовых описаний. Для обучения использовался набор данных ImageCLEFmed MEDVQA-GI 2024. Мы исследовали два подхода: тонкая настройка (fine-tuning) большой предобученной модели семейства Kandinsky с помощью метода LoRA и обучение малой модели с нуля. Была разработана модель MSDM (Medical Synthesis with Diffusion Models), основанная на архитектуре Stable Diffusion с добавлением Cross-Attention блоков для обработки текстовых запросов. MSDM показала сопоставимые метрики с крупной моделью, но требовала больше ресурсов для обучения. Эксперименты подтвердили эффективность аугментации данных, особенно перефразирования. Результаты были опубликованы на CLEF 2024. В этом году продолжены исследования по оценке устойчивости популярных моделей Text-to-SQL к изменениям в распределении данных (distribution shift). Наша работа была сосредоточена на создании системы, которая преобразует естественно-языковые запросы медицинских специалистов в SQL-запросы для работы с базами данных электронных медицинских карт (EHR). Мы разработали модульную систему, состоящую из нескольких последовательных этапов: 1. Оценка релевантности: система сначала определяет, может ли запрос быть обработан на основе имеющихся данных. 2. Генерация SQL-запроса: если запрос релевантен, он передаётся в модель Text-to-SQL (использовались модели T5 и ChatGPT, обученные на парах "запрос-SQL"). 3. Оценка неопределённости: сгенерированный SQL-запрос оценивается на корректность с помощью метода максимальной энтропии. 4. Проверка выполнения и результата: SQL-запрос выполняется, и результат проверяется на соответствие ожиданиям. В экспериментах модель ChatGPT показала низкую эффективность на медицинских данных. Замена её на дообученную модель T5-3B значительно улучшила результаты. Дальнейшая оптимизация путём комбинирования различных методов проверки и верификации повысила качество на 10%. Основная причина ошибок — недостаточная обобщающая способность модели на новых типах запросов. Результаты нашей работы опубликованы в статье и представлены на симпозиуме конференции NAACL 2024. Извлечение отношений между биомедицинскими сущностями было исследовано на соревновании BioCreative VIII BioRED. Разработаны два классификатора, обученные на данных BioRED и объединённом корпусе BioRED и BioREx. Для модели PubMedBERT, обученной только на BioRED, F1-метрика достигла 67%. Модель, обученная на объединённом корпусе BioRED и BioREx, показала F1-метрику 74%. Дополнительно была протестирована производительность ChatGPT 3.5, которая оказалась почти вдвое ниже, чем у модели PubMedBERT, что подтверждает эффективность специализированных моделей для решения биомедицинских задач. Результаты исследования были опубликованы в статье в журнале Database (Q1). В рамках коллаборации с организаторами международного воркшопа BioASQ 2024 (конференция CLEF 2024) было проведено открытое соревнование BioNNE 2024 по задаче извлечения вложенных биомедицинских сущностей для русского и английского языков. В качестве обучающей и валидационной выборки использовался датасет NEREL-BIO. В следующем году планируется продолжение международного сотрудничества по организации открытого соревнования BioNNE-EL 2025 по задаче связывания вложенных биомедицинских сущностей для русского и английского языков. По результатам проведённого соревнования BioNNE 2024 опубликованы три статьи, включая статью на международной конференции по информационному поиску ECIR 2024 (CORE ranking A).

Публикации