Аннотация результатов, полученных в 2020 году
В рамках работ первого года Проекта началась разработка методов компьютерного зрения для оценки поверхностей и оценка кривых, а также проведение вычислительных экспериментов с изображениями Магнитной Резонансной Томографии (МРТ) и Компьютерной Томографии (КТ). В рамках работы над методами оценки кривых и поверхностей коллектив разработал и экспериментально сравнил несколько общих подходов, выявил и проверил два перспективных направления работ, а также проработал методологию оценки объема эпикардиального жира на низко-дозовых КТ, характеризующихся повышенным уровнем шума. Первый блок работ бы связан с системным сравнением двух базовых методов оценки кривых/поверхностей, описанных в заявке: a. локализация поверхности путем сегментация зон, разделенных искомой поверхности (например, сегментация левого и правого полушария для поиска срединной линии мозга). b. оценка поверхности / кривой с помощью метода мягкого аргмаксимума Эти два подхода наиболее распространены при оценке поверхностей на медицинских изображениях, как мы указывали в в описании Проекта при подаче заявки, что и обусловило их выбор как базовых. В качестве базовой архитектуры сверточной сети при проведении экспериментов использовалась 3D версия U-net с некоторыми модификациями. Приведем количественные результаты на примере задачи оценки перикарда и последующей волюмометрии эпикардиального жира, которые показывают системное превосходство подхода на основании мягкого аргмаксимума. Цифры слева относятся к сегментации, справа - к мягкому аргмаксимуму - контурный коэффициент Дайса (допуск 3 мм): 0.89+-0.02 против 0.94+-0.01. - расстояние Хаусдорфа: 5.35+-0.26 против 4.46+-0.17. - медианная разница объемов жира (мл): 7.17+-1.16 против 4.82+-0.28. Помимо количественного сравнения коллектив провел качественный анализ работы подходов на основе мягкого аргмаксимума. К ключевым результатам надо отнести следующие - невозможность построение поверхности или кривой, которые не являются функцией от одной или двух координат исходного изображения. Более того, даже при выполнении этого требования, существенная деградация качества наблюдается в регионах большого градиента функции. - методология мягкого аргмаксимума относительно робастна к ложным локализациям, удаленным от исходной кривой/поверхности. Тем не менее, подобные срабатывания все же приводят к локальному системному смещению кривой / поверхности. Коллектив предложил два альтернативных подхода, потенциально способных работать с произвольными гладкими кривыми и поверхностями, которые не могут быть параметризованы (например, замкнутые кривые). Первый подход базируется на оценки поверхности или кривой с помощью ее параметризации в некотором базисе сплайн функций. Основной новой идеей является оценка параметров сплайн функций (в частности, положения опорных точек) с помощью сверточной нейросети, принимающей на вход исходное трехмерное медицинское изображение, а на выходе выдающей вероятности координат опорных точек. С учетом известной параметризации в базисе сплайнов, такой подход позволяет построить end-to-end оценку кривой/поверхности и ввести простые функции ошибки, непосредственно привязанные к ошибкам решения финальной задачи (в отличии от, например, методов сегментации, где функция ошибки связано с оценкой поверхности лишь опосредовано). Для оценки параметров базиса была реализована архитектура U-net c выходными слоями, реализованными с мягким аргмаксимумом для локализации контрольных точек базиса. Для подсчета среднеквадратичной функции ошибки использовалась эквидистантная параметризация исходной кривой и построенного сплайна. Полученный подход позволил достичь средней точности локализации 3.0+-1.1 мм для задачи оценки срединной линии головного мозга и 13.4+-4.0 мм для локализации перикарда. Таким образом, мы показали принципиальную возможность снятия требований к о параметризации кривой/поверхности одной или двумя координатами, однако уровень качества оказался недостаточно высок. По результатам была подготовлена публикация Yaushev2020 (РИНЦ) и сделан устный доклад на конференции Информационные Технологии и Системы 2020. В связи с выявленными недостатками подхода на основании обучаемого базиса сплайнов, коллектив продолжил поиск решений, свободных от недостатков методов, основанных на сегментации и использовании мягкого аргмаксимума. В качестве подводящего результата коллектив провел системный анализ методов поиска небольших объектов на МРТ и КТ изображениях. Было проведено сравнение качества локализации легочных узлов (КТ) и множественных метастаз (МРТ) с помощью различных методов на основе сегментации исходных изображений и детекции объектов. Кроме того, была создана новая специализированная архитектура, совмещающая грубую и быструю локализацию объекта с последующей детальной сегментации локализованного участка изображения. Предложенный способ показал высокое качество детекции на уровне с ведущими подходами на основе вычислительно ресурсоемких трехмерных сверточных сетей: средняя чувствительность составила 0.80+-0.02 по сравнению с 0.78+0.02 у DeepMedic для множественных метастаз; 0.68+-0.01 против 0.71+-0.01 для легочных узлов. При этом, за счет адаптивной работы только с наиболее интересными участками изображения, время обработки одного МРТ / КТ изображения снизилось почти в 50 раз. По итогам этого исследования была подготовлена публикация Shirokikh2021 (Journal of Imaging, Q2). Развивая эти алгоритмические наработки, коллектив предложил новый способ оценки кривых и поверхностей. В основе способа лежит идея с локализацией отдельных частей кривой / поверхности с последующей параметризацией в 1D/2D. Для локализации коллектив адаптировал идеи из детекции объектов. Для последующей параметризации было предложено строить вложение оцененных объектов с сохранением геодезического расстояние. Коллектив реализовал подход и провел предварительные эксперименты на примере задачи оценки оси позвоночного канала, которые продемонстрировали перспективные результаты. Детальное изучение этого метода будет продолжено в рамках второго года работы над Проектом. Помимо При работе над Проектом коллектив проводил большое количество вычислительных экспериментов с различными методами оценки перикарда для подсчета объема эпикардиальной ткани, важного раннего показателя повышенного риска ишемической болезни сердца. В рамках этих экспериментов коллектив выявил следующую проблему: из-за существенной деградации качества изображения оценка объема жира на низко-дозовых КТ системно отличается от оценок на КТ обычной дозы (на изображениях от одного и того же пациента). Коллектив провел системное сравнение двух ключевых факторов, обуславливающих это расхождение: (1) возможная деградация качества оценки перикарда при переходе на низко-дозовые КТ; (2) высокий уровень шума и системный сдвиг уровней интенсивностей на низко-дозовых КТ. Наши результаты продемонстрировали, что сегментация внутренности перикарда устойчиво работает и на низко-дозовых изображениях (коэффициент Дайса доходит до 0.95). Кроме того, коллектив провел ряд вычислительных экспериментов по сравнению различных стратегий подавления шума и выбора интервала плотности жировых тканей. Оптимальные результаты были получены с помощью простого Гауссовского фильтра малой ширины 1мм, который при сопоставимых с другими подходами результатах позволяет не проводить коррекцию интервала интенсивности КТ изображения, соответствующего жировым тканям. Этот подход продемонстрировал высокую согласованность между оценкой по низкодозового КТ и КТ стандратной дозы: коэффициент корреляции Пирсона составил 0.96+-0.01. По результатам вычислительных экспериментов была подготовлена публикация в трудах конференции Medical Imaging and Computer-Aided Diagnosis 2021 (индексируется Scopus) и представлен устный доклад на этой конференции.

Аннотация результатов, полученных в 2021 году
В рамках второго года проекта коллектив работал над тремя основными направлениями исследований. 1. Повышение стабильности работы алгоритмов анализа трехмерных медицинских изображений при переходе между доменами (источниками данных) с различным уровнем сигнал-шум. Методы глубокого обучения оказывают значительную помощь в анализе коронавирусной болезни (COVID-19) на изображениях компьютерной томографии (КТ) грудной клетки, включая идентификацию, оценку тяжести и сегментацию. При использовании больших выборок данных зачастую возникает проблема сдвига домена, влияющая на производительность методов на данных с другим соотношением сигнал-шум. Одним из критических источников сдвига доменов на КТ-изображениях является разница в ядрах реконструкции, используемых для создания изображений из необработанных данных (синограмм). В этой статье мы показываем снижение качества сегментации COVID-19 модели, обученной на гладких изображениях с выоским соотношением сигнал/шум и затем протестированных на ядрах реконструкции с низким соотношение сигнал/шум. Кроме того, мы сравниваем несколько подходов к адаптации сверточной сети для решения проблемы, включая состязательное обучение. Наконец, мы предлагаем метод адаптации без учителя, названный нами F-согласованностью, который превосходит предыдущие подходы. Наш метод использует набор неразмеченных пар КТ-изображений, которые отличаются только ядрами реконструкции в каждой паре. Он обеспечивает сходство скрытых представлений сети (карт признаков) за счет минимизации среднеквадратичной ошибки (MSE) между парными картами. Предложенный метод повышает качество работы на 15%. Кроме того, согласованность предсказаний на парных изображений, реконструированных из одной синограммы с помощью разных ядер реконструкции, на 75%. Полученные результаты представлены в препринте https://arxiv.org/abs/2203.14616. 2. Анализ методов оценки кривых в задаче поиска оценки центральной линии позвоночника с использованием публичных данных Verse 2020. Компрессионные переломы тел позвонков являются ранними признаками остеопороза. Хотя эти переломы видны на изображениях компьютерной томографии (КТ), рентгенологи часто не замечают их в клинических условиях. Предыдущие исследования автоматических методов классификации переломов позвонков подтверждают их надежное качество; однако существующие методы дают трудные для интерпретации результаты и иногда не могут обработать случаи с серьезными аномалиями, такими как сильно патологические позвонки или сколиоз. В рамках работ второго года мы предложили новый двухэтапный алгоритм для локализации кривой позвоночного столба на трехмерных КТ-изображениях с последующим одновременным обнаружением отдельных позвонков и количественной оценкой переломов в двухмерном режиме. Проведенные эксперименте на публичном датасете Verse 2020 показывает, что метод приближается к производительности врачей-экспертов и демонстрирует state-of-the-art в 3D-локализации позвонков (средняя ошибка составляет 1 мм), 2D-детектировании позвонков (точность и полнота 0,99) и идентификации переломов (ROC AUC у пациента). уровень до 0,96). Полученные результаты были приняты к публикации в журнал Medical Image Analysis, центральный журнал в нашей предметной области (Q1, CiteScore 24.2). 3. Исследование методов подавления ложных срабатываний при детекции объектов на трехмерных медицинских изображениях. В рамках этого направления Проекта мы исследовали способы снизить число ложных срабатываний за счет анализа неуверенности модели в ее предсказаниях. Мы предложили новый методы оценки достоверности полученных прогнозов сверточной нейронной сети, показав, что (1) разные каналы в одном слое сети можно рассматривать как ансамбль и (2) этот ансамбль можно использовать для оценки неуверенности прогноза. Для этого мы вычисляем статистические расстояния между распределениями активации, расположенными в прогнозируемой маске и ее окрестностях, и агрегируем их по всем каналам в глубоком слое сети. Исследование сети поиска узлов рака легкого по изображениям трехмерной компьютерной томографии показало рост точности по сравнению со значениями пороговой выходной сети. Чем больше слоев используется для вычисления достоверности, тем выше качество работы, что позволяет сократить количество ложных срабатываний на 18 % в исходном наборе данных о раке и на 54 % меньше ложных срабатываний тестовом датасете с очагами Covid-19. Кроме того, предложенный способ анализ активаций каналов не требует каких-либо изменений в процедуре обучения и требует лишь незначительный объемом дополнительных вычислений во время предсказания. По результатам вычислительных экспериментов была подготовлена публикация в трудах конференции 2022 Ural-Siberian Conference on Biomedical Engineering, Radioelectronics and Information Technology.

Аннотация результатов, полученных в 2022 году
В соответствии с заявленным планом, исследования проходили в трех основных направлениях и одном дополнительном (пункт 4) 1. Развитие методов оценки неопределенности при анализе трехмерных медицинских изображений с помощью сверточных сетей. При применении моделей глубокого обучения к медицинским изображениям крайне важно оценить неопределенность модели. Воксельная неопределенность является полезным визуальным маркером для экспертов-людей и может использоваться для улучшения качества решения таких задач как сегментация. Кроме того, оценка неопределенности является одним из важных подходов к решению задачи детекции выбросов (Out of distribution detection, OOD) на уровне всего изображения, подробнее смотри следующий пункт. Однако с прикладной точки зрения важной является не оценка неопределенности отдельного вокселя или всего изображения целиком, а определенной локальной структуры, состоящей из достаточно большого числа опухолей. В подобных задачах структурная неопределенность позволяет, с одной стороны, выполнять более точные операции, чем при работе на уровне всего изображения, и, с другой, более семантически осведомлена, чем с вокселами. В рамках работ этого пункта коллектив сосредоточился на оценке структурной определенности, позволяющей оценить неуверенность предсказания для определенного объекта на изображении. Мы предложили метод для измерения структурной неопределенности, а также провели анализ влияния данных OOD на производительность модели. Предложенный подход был протестирован на трех наборах данных с задачей сегментации опухолей различных видов: LIDC-IDRI, LiTS (рак легкого) и на приватном датасете с изображений МРТ пациентов с множественными метастазов в головной мозг. 2. Использование методов оценки неопределенности для задач детекции выбросов и/или активного обучение. Модели глубокого обучения, как правило, плохо работают, когда данные поступают из распределения, отличного от обучающего. В критически важных приложениях, таких как медицинская визуализация, методы обнаружения вне распределения (OOD) помогают идентифицировать такие выборки данных и предотвращать ошибочные прогнозы. В рамках работ этого пункта было решено несколько подзадач. а. Коллектив декомпозировал основные причины сдвига домена в задачах сегментации трехмерных медицинских изображений на три основные группы: - смена параметров сканирования, приводящая к существенному изменению различных характеристик изображений (уровень шума, интенсивности и тд) - смена пациентской популяции, например, из-за пандемии COVID кардинально изменилось распределение изображений на компьютерной томографии (КТ) легких - некорректно переданные изображения (например, КТ головного мозга, по ошибке помеченное как КТ легких). На основе предложенной категоризации был подготовлен объемный тестовый набор данных, включающий две основные модальности КТ и магнитную резонансную томографию (МРТ) и позволяющий как происследовать каждый из типов сдвига по отдельности, так и совместно. б. Используя созданный тестовый набор, коллектив показал, что методы обнаружения OOD, которые не предназначены для решения задач сегментации, плохо работают в этих условиях. Коллектив предложил простой, но достаточно эффективный метод «Характеристики гистограммы интенсивности» (Intensity Histogram Features, IHF), который использует распределение интенсивности изображения. Предложенный метод, несмотря на свою простоту, позволил коллективу занять второе место в конкурсе Medical Out-of-Distribution Challenge 2022, который проводился в рамках центральной конференции нашей предметной области, MICCAI. в. Перечисленные в пункте а причины сдвига требуют разных действий. В последнем из них единственным возможным решением является отказ от предсказания (right to reject). В первых же двух помимо этой опции есть еще возможность адаптировать работу модели к новому распределению данных. Был предложен легкий и прозрачный подход к адаптации домена прямо во время выполнения предсказания (test-time domain adaptation). Идея состоит в том, чтобы модифицировать целевые низкочастотные компоненты пространства Фурье, которые, как считается, отражают стиль изображения. Чтобы максимизировать качество работы, коллектив выбирает оптимального "донора стиля", используя несколько кандидатов для изменения тестового изображения, помеченного как OOD. Коллектив также изучил влияние степени смещения домена на производительность метода и показал, что предложенный подход без обучения достигает уровня качества сложных моделей глубокой адаптации домена. г. Наконец, коллектив провел детальное исследование проблемы отсутствие строгого различия между данными внутри распределении (in distribution, ID) и OOD. Коллектив предложил простой, но эффективный подход - взвешивать разные образцы на основе их влияния на производительность вместо бинарного, достаточно условного деления ID/OOD. На основании этой идеи взвешивания коллектив предложил новую метрику под названием «Ожидаемое падение производительности» (Expected Performance Drop, EPD). EPD позволяет ранжировать методы обнаружения OOD на основе их фактического влияния на качество решения финальной клинической задачи. Коллектив также продемонстрировал эффективность оценки на основе EPD для современных методов обнаружения OOD в 11 наборах данных КТ и МРТ. 3. Развитие методов оценки кривой для случаев, когда невозможна параметризация по одной из координатных осей. Однако, для ряда задач такая параметризация невозможна и требуется работа с кривыми произвольной параметризации. В качестве примера такой задачи анализа трехмерных медицинских изображений можно привести оценку центральной линии аорты или позвоночника при ярко выраженных сколиозе или кифозе. Коллектив планировал разработать метод для работы с такими кривыми. Существующие современные подходы в основном сосредоточены на аналогичной, но более ограниченной задаче обнаружения границ, которая не применима напрямую к задача анализа изображений медицинской визуализации. Коллектив предложил новый end-to-end метод, основанный на глубоком обучении, для обнаружения кривых на медицинских изображениях. Ключевая идея метода - скомбинировать результаты работы двух ветвей сети: одна предназначена для оценки вероятности наличия кривой в конкретном вокселе, а вторая оценивает вектор смещения из конкретного вокселя до ближайшей точки кривой. Подобная комбинация позволяет надежно отсеивать ложные срабатывания за счет работы первой сети и очень точно проводить локализацию кривой за счет работы второй. Коллектив проверил подход на нескольких клинически значимых задачах, а также сравнил с предложенными ранее методами. Кроме того, коллектив подготовил и выложил в открытых доступ два датасета с кривыми центральной линии аорты. 4. Методы поиска повоксельных представлений в анализе трехмерных медицинских изображений. Коллектив предложил vox2vec - контрастный метод самоконтролируемого обучения (self-supervised learning, SSL) представлений на уровне отдельных вокселей. Представления моделируются сетью признаковых пирамид (Feature Pyramid Network, FPN): воксельное представление представляет собой конкатенацию соответствующих векторов признаков из разных уровней пирамиды. FPN предварительно обучен для создания одинаковых представлений для одного и того же вокселя в различных дополненных контекстах и отличительных представлений для разных вокселей. Это приводит к унифицированным многомасштабным представлениям, которые охватывают как глобальную семантику (например, части тела), так и локальную семантику (например, различные мелкие органы или здоровые и опухолевые ткани).