Аннотация результатов, полученных в 2022 году
Проанализированы литературные данные (59 источников) относительно методологии формирования обучающих и тестировочных наборов данных для интеллектуальных систем, применяемых для анализа медицинских изображений. Несмотря на наличие в литературе большого количества работ с описанием процессов обучения и/или апробации рентгенологических сервисов с использованием искусственного интеллекта, далеко не все авторы описывают процесс сбора и оформления наборов данных достаточно подробно. Но и в тех работах, где методология представлена в довольно подробной форме, были обнаружены большие различия в подходах. Отчасти это объясняется вариациями в постановке клинических задач, которые для диагностических интеллектуальных систем могут разниться. Во-первых, разнятся подходы к анонимизации, и не всегда берется в отчет часть персональных данных, которая может быть закодирована непосредственно в пикселях изображений. Для их удаления создан тэг с «прожигаемыми» персональными данными, но он не всегда заполняется, и данные могут оставаться. Удаление приватной информации, внедренной в изображение, опирается на методы оптического распознавания текста (Optical character recognition, OCR). Мы исследовали вспомогательные изображения компьютерной томографии «Dose report» («Дозовый отчет») на устройствах Toshiba, наиболее распространенных в медицинских учреждениях России. Данные типы изображений генерируются программно-аппаратным комплексом на основе первичных данных о пациенте и хранят набор тэгов, общий для всего исследования в модальности КТ (DICOM тэги). Перед нами встала задача выделить на этих изображениях области, где есть текст с персональными данными. Для этого мы разработали свой подход обнаружения областей текста с приватными данными на реальных медицинских диагностических изображениях при помощи метрики модифицированного расстояния Левенштейна. Во-вторых, при изучении подходов к созданию наборов данных КТ исследований в области нейровизуализации, а именно - с признаками внутричерепного кровоизлияния (ВЧК), мы столкнулись с проблемой подбора соответствующих ключевых слов для более быстрого обнаружения протоколов КТ-исследований с искомыми патологическими признаками. Например, присутствие в протоколе описания таких на первый взгляд логичных ключевых слов, как «гематома», «геморрагия» или «кровоизлияние» не всегда означало наличие в исследовании признаков целевой патологии, так как зачастую эти слова используются врачами-рентгенологами для обозначения обратного (например, фраза «признаков кровоизлияния не выявлено»). По этой причине при дальнейшем отборе большее внимание уделялось более специфичным терминам («эпидуральный», «субдуральный», «субарахноидальный», «паренхиматозный»), которые объединялись в поиске вместе с более общими «геморрагия» или «кровоизлияние» в ключевые конструкции. Эту проблему решает применение алгоритмов для автоматизированного анализа текстовых медицинских протоколов, который был нами разработан. Для его обучения и тестирования потребовалось создание набора текстовых протоколов диагностических описаний КТ исследований головного мозга. Мы сделали выгрузку 34 188 протоколов с подобными описаниями из Единого радиологического информационного сервиса Единой медицинской информационно-аналитической системы (ЕРИС ЕМИАС) Департамента здравоохранения Москвы. В итоге был составлен набор текстовых описаний диагностических исследований, содержащий 500 описаний без патологии и 500 описаний с наличием ВЧК. Анализ данных, а также их предварительная обработка осуществлялись с использованием NLTK (Natural Language Toolkit, version 3.6.5.) – библиотеки для символьной и статистической обработки естественного языка, и Scikitlearn – библиотеки для машинного обучения, содержащей инструменты для задач классификации. Используемые библиотеки, а также последующий алгоритм написаны на языке программирования Python (версия 3.9.7). В качестве модели, с помощью которой решалась задача бинарной классификации, был первично выбран алгоритм решающего дерева как наиболее подходящий для задач бинарной классификации. Дерево решений (DecisionTreeClassifier) является одним из методов классификации в машинном обучении с помощью библиотеки scikit-learn. Максимальная глубина дерева решений была подобрана эмпирически и составила 15 уровней. Оценка качества работы алгоритма проводилась при помощи функции classification_report. По результатам тестирования чувствительность обученного алгоритма при бинарной классификации исследований «с признаками ВЧК» и «без признаков ВЧК» составила 0.94 (95% ДИ 0.942-0.939), специфичность – 0.88 (95% ДИ 0.841-0.919). Положительная прогностическая значимость составила 0.96, что означает, что с вероятностью 96% выбранное алгоритмом КТ исследование с меткой «патология» будет иметь признаки таковой. В свою очередь отрицательная прогностическая значимость оказалась равна 0.81, что говорит о том, что с вероятностью 81% алгоритм даст верный ответ насчет отсутствия признаков патологии в тексте, где она действительно не описана. F-мера, представляющая собой гармоническое среднее полноты и точности алгоритма, при этом составила 0,83. Кроме того, дополнительно мы разработали инструмент обнаружения областей текста с приватными данными на реальных медицинских диагностических изображениях при помощи метрики модифицированного расстояния Левенштейна. Для этого инструмента определена точность локализации областей с личными данными на наборе из 1131 медицинских изображений по сравнению с экспертной разметкой, которая составляет 99.86%.

Аннотация результатов, полученных в 2023 году
Обработка естественного языка (Natural Language Processing, NLP) включает в себя различные методы анализа текста для компьютерного использования. Одним из таких методов является глубокое обучение, которое использует искусственные нейронные сети для анализа данных. В области обработки медицинских текстов ансамбли алгоритмов машинного обучения, объединяющие лучшие качества различных моделей, демонстрируют более высокую точность в сравнении с одиночными алгоритмами для задач анализа медицинской информации. Кроме того, используются и модели-трансформеры BERT (Bidirectional Encoder Representations from Transformers). Предварительно обучаясь на больших объемах данных, они позволяют достичь высокой точности в задачах обработки естественного языка, даже на низкоструктурированных текстах, которые преобладают в протоколах описаний компьютерных томограмм головного мозга (КТ ГМ). В задаче бинарной классификации протоколов КТ ГМ при внутричерепных кровоизлияниях (ВЧК) было решено использовать ансамбли алгоритмов, таких как случайный лес или градиентный бустинг, для повышения сложности классификатора и улучшения качества работы моделей. Для векторизации текста были использованы методы Bag of words, TF-IDF и Word2vec. Применение этих методов было оценено и проверено статистически. Были собраны два набора данных текстовых протоколов заключений КТ ГМ для обучения и тестирования алгоритмов машинного обучения в задаче анализа текстов описаний на предмет наличия внутричерепных кровоизлияний. Набор данных 1 содержал 3980 текстовых протоколов, разделенных на два класса - с описанием внутричерепных кровоизлияний и без них. Семь выбранных алгоритмов машинного обучения в рамках второго года реализации проекта были обучены и протестированы на текстах, обработанных с использованием различных методов векторизации. В результате были выявлены самые эффективные алгоритмы с наиболее высокими метриками: CatBoost, логистическая регрессия и k-nearest neighbours, из которых методом стекинга создан ансамбль. Он продемонстрировал достаточно высокие результаты по чувствительности (0,93) и специфичности (0,9). Но поскольку показатель специфичности не достиг целевых значений (не менее 0,93), следует сделать вывод о том, что нельзя полностью отказаться от ручного пересмотра и контроля качества работы ансамбля. Для дальнейшего улучшения анализа текстов была использована предварительно обученная на корпусе русских медицинских текстов модель BERT MedRuBertTiny2. Также был создан новый набор данных – набор данных 2, который содержал больше текстов (9393) и был использован для дообучения как ансамбля алгоритмов, так и модели BERT. Показатели чувствительности и специфичности ансамбля алгоритмов достоверно не улучшились по сравнению с показателями до дообучения, а вот модель BERT показала значимо более высокие показатели относительно чувствительности (0.97), при этом специфичность значимо не отличалась (0.9). В итоге для создания эффективного инструмента анализа текстовых протоколов было принято решение использовать комбинацию из ансамбля алгоритмов машинного обучения и модели BERT. Ансамбль применяется для бинарной классификации, а модель BERT - для глубокого семантического анализа текста и поиска специфических признаков. Данный подход был реализован в модуле анализа описаний КТ головного мозга для программы Medlabel. С помощью данного модуля проведен анализ выгрузки КТ исследований головного мозга из Единого радиологического информационного сервиса Единой медико-информационной аналитической системы Москвы (ЕРИС ЕМИАС) за период с 2017 по 2023 год. Изначально было отобрано 14 334 протокола описания, которые были проанализированы двумя рентгенологами с опытом работы от 3 лет и более. В результате была создана база данных с 10 125 верифицированными текстовыми протоколами диагностических заключений КТ головного мозга, содержащими информацию о внутричерепных кровоизлияниях различного генеза и их характеристиках, а также описаниях головного мозга без кровоизлияний. В базе данных также имеется разметка 1504 случаев по типу внутричерепного кровоизлияния, а также случаи с различной патологией, сочетающейся с кровоизлиянием, фактом хирургического вмешательства или наличия переломов костей черепа. Затем из этой базы данных было отобрано, верифицировано и выгружено в формате DICOM 400 КТ исследований с признаками внутричерепного кровоизлияния и 400 исследований без таковых. Верификация проводилась методом экспертной оценки двумя экспертами в нейрорентгенологии, при разногласиях привлекался эксперт с опытом работы в данной области более 15 лет. В конечный набор данных вошли 338 женщин и 459 мужчин, 3 без тэга по полу, анонимизация данных была осуществлена путем удаления персональной информации и замены идентификатора исследования. В результате реализации Проекта была сформулирована Методология создания эталонных наборов данных для ИИ, направленных на поиск внутричерепных кровоизлияний при КТ ГМ, включающая в себя первичный отбор исследований по ключевым словам в описании ( наиболее эффективен с помощью нейронных сетей), включение широкого спектра информации в набор данных (изображения, описание, заключение, сведения о томографе, протокол сканирования, дополнительную киническую информацию (локализация ВЧК, сопутствующие переломы костей черепа, результаты анализов и пр.), возможность применения как полного набора данных, так и его части/частей в различной сочетании, а также важность периодического мониторинга работы ИИ для выявления и оценки технологических и клинических дефектов с последующим улучшением качества работы алгоритма. Также был подготовлен итоговый набор данных, который составили 800 КТ исследований в формате DICOM и маркированной таблицы. В нем содержится информация о типах кровоизлияний, наличии сочетанной патологии, переломах костей черепа, фактах прорыва в ликворные пространства, технических характеристиках КТ-исследований и текстовых заключениях радиологов. База данных предназначена для обучения систем автоматического анализа КТ головного мозга и определения наличия или отсутствия внутричерепных кровоизлияний, а также оценки их типа и характеристик.