КАРТОЧКА ПРОЕКТА ФУНДАМЕНТАЛЬНЫХ И ПОИСКОВЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ

Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.

 

ОБЩИЕ СВЕДЕНИЯ


Номер 17-11-01065

НазваниеРазработка методов низкочастотной 3D ультразвуковой томографии на основе GPU- суперкомпьютеров

РуководительГончарский Александр Владимирович, Доктор физико-математических наук

Организация финансирования, регион Федеральное государственное бюджетное образовательное учреждение высшего образования «Московский государственный университет имени M.В.Ломоносова», г Москва

Период выполнения при поддержке РНФ 2017 г. - 2019 г. 

Конкурс№18 - Конкурс 2017 года «Проведение фундаментальных научных исследований и поисковых научных исследований отдельными научными группами».

Область знания, основной код классификатора 01 - Математика, информатика и науки о системах, 01-412 - Суперкомпьютерное моделирование: инструментальные средства, прикладное программное обеспечение и сервисы

Ключевые словаGPU-суперкомпьютеры, параллельные вычисления, низкочастотная ультразвуковая томография, нелинейные обратные задачи, математическое моделирование, неразрушающий контроль, волновая томография, 3D томография, послойная томография 3D объектов

Код ГРНТИ28.17.19


СтатусУспешно завершен


 

ИНФОРМАЦИЯ ИЗ ЗАЯВКИ


Аннотация
Проект посвящён разработке принципиально новых томографов, использующих волновые источники излучения. Такие томографы имеют широкие возможности и перспективы использования. Одним из основных приложений является создание ультразвуковых томографов для дифференциальной диагностики онкологических заболеваний молочной железы. Эта задача является важнейшей медицинской проблемой современности. В настоящее время смертность от рака молочной железы находится на первом месте среди всех онкологических заболеваний у женщин. Другим актуальным направлением, представленным в проекте, является разработка томографических методов для неразрушающего ультразвукового исследования твёрдых тел. Промышленно выпускаемых ультразвуковых томографов в настоящее время не существует. Интенсивные работы по разработке ультразвуковых томографов ведутся в США, Германии, Японии. Разработки находятся на уровне макетов для томографических исследований. Одной из основных проблем в создании ультразвуковых томографов является разработка эффективных алгоритмов решения обратных задач ультразвуковой томографии, которые являются нелинейными и трёхмерными. Обратные задачи необходимо решать с количеством неизвестных порядка десятков миллионов. Объём экспериментальных данных в задачах ультразвуковой томографии составляет порядка 5 Гбайт. Решение таких обратных задач в рамках математических моделей, описывающих явления дифракции, рефракции, переотражения, поглощения ультразвука в неоднородных средах представляет собой очень сложную вычислительную проблему. В отличие от разработок США, Германии, Японии, ориентированных на использование персональных компьютеров, в настоящем проекте для обработки данных эксперимента предлагается использовать суперкомпьютеры. Алгоритмы решения обратных задач 3D ультразвуковой томографии разрабатываются в проекте в рамках математических моделей, учитывающих как дифракционные эффекты, так и эффекты поглощения, и тестируются на суперкомпьютерах общего назначения. В основе разрабатываемых алгоритмов лежит возможность прямого вычисления градиента функционала невязки между измеренным волновым полем на детекторах (экспериментальными данными) и теоретическим волновым полем, рассчитанным в прямой задаче распространения ультразвуковых волн от источников через исследуемую область. Однако суперкомпьютеры общего назначения по своим характеристикам не могут входить как вычислительные устройства в состав томографических комплексов. Важной задачей проекта является разработка алгоритмов, которые можно реализовать на специализированных GPU-суперкомпьютерах, имеющих небольшие размеры и невысокое энергопотребление, которые по своим параметрам вполне могут входить в состав разрабатываемых ультразвуковых томографических установок. В проекте разрабатывается архитектура специализированного GPU-суперкомпьютера для высокопроизводительной обработки данных низкочастотной ультразвуковой томографии. Разработка эффективных численных алгоритмов решения обратных задач и разработка архитектуры GPU-суперкомпьютера, ориентированного на оптимальную реализацию этих алгоритмов — это связанные проблемы, которые решаются в настоящем проекте. Одно из наиболее интересных применений ультразвуковой томографии — медицинские исследования. Наиболее актуальной является разработка методов ранней диагностики рака молочной железы. Результаты, которые будут получены в проекте, будут первым этапом разработки ультразвуковых 3D томографических комплексов для диагностики мягких тканей в медицине. Такой томограф будет примером первого в мире диагностического комплекса, в состав которого будет входить суперкомпьютер. Что принципиально новое может дать разработка ультразвуковых томографов? Ультразвуковые исследования в настоящее время широко применяются как в медицине, так и в промышленности в задачах неразрушающего контроля. Современные ультразвуковые приборы постоянно совершенствуются. Разрабатываются новые источники ультразвукового излучения, постоянно совершенствуются приёмники. Одним из последних достижений является использование матричных трансдьюсеров, которые применяются как для приёма ультразвуковых сигналов, так и для формирования ультразвуковых импульсов с заданной диаграммой направленности. В большинстве случаев все ультразвуковые диагностические приборы, как в медицине, так и в промышленности, работают на отражение и позволяют с высоким разрешением формировать изображение границ неоднородностей в исследуемом объекте. Несмотря на совершенство разрабатываемых диагностических ультразвуковых приборов, с их помощью невозможно осуществлять характеризацию внутренней структуры исследуемых объектов. Эти задачи можно решать только с помощью томографических исследований. В отличие от обычных ультразвуковых диагностических приборов, в томографических комплексах используется как отражённые, так и проходящие ультразвуковые волны, регистрируемые со всех сторон от исследуемого объекта. Томографические методы позволяют не только восстанавливать границы неоднородностей, но и с высоким разрешением восстанавливать внутреннюю структуру исследуемых объектов, поэтому настоящий проект имеет фундаментальное значение для вычислительной диагностики. Разработанные в проекте алгоритмы решения обратных задач ультразвуковой томографии тестируются на модельных задачах. Однако модельные расчёты не могут дать ответ на вопрос о соответствии используемых математических моделей реальным физическим процессам. Для решения этой задачи в проекте разрабатывается специальный экспериментальный стенд, ориентированный в первую очередь на диагностику мягких тканей в медицине. Разработанные алгоритмы тестируются на реальных экспериментальных данных, полученных на фантомах с параметрами, близкими к мягким тканям человека. Важной задачей, решаемой в проекте, является разработка методов томографической диагностики в задачах неразрушающего контроля. Эффективность разработанных алгоритмов также тестируется как на модельных задачах, так и на экспериментальных данных.

Ожидаемые результаты
Работа направлена на получение прорывных результатов в области разработки принципиально новых типов томографов, использующих волновые источники излучения. Промышленно выпускаемых волновых томографов в настоящее время не существует. Все разработки в этой области находятся на стадии макетов и прототипов. В настоящем проекте впервые в мире разрабатываются методы ультразвуковых томографических исследований с использованием суперкомпьютеров как составной части томографического комплекса. В отличие от работ, проводимых в этой области в США и Германии, в проекте разрабатывается низкочастотный ультразвуковой томограф. Используются частоты ультразвукового излучения порядка 300 кГц, что в несколько раз меньше частот, используемых в зарубежных проектах. Использование низких частот обеспечивает прецизионное измерение волновой функции на детекторах, что обеспечивает высокое разрешение томографических исследований. Для построения эффективных методов решения обратных задач используется результат, полученный авторами проекта, позволяющий точно вычислять градиент функционала невязки между экспериментально измеренным ультразвуковым полем и теоретическим расчётным полем. Тем не менее, даже при наличии возможности точного вычисления направления минимизации функционала невязки обратная задача настолько сложна, что её решение невозможно без использования суперкомпьютеров. В проекте разрабатываются итерационные алгоритмы решения обратной задачи ультразвуковой томографии, основанные на использовании градиента функционала невязки. Эффективность предложенных алгоритмов исследуется на решении модельных задач. Следующим необходимым шагом в разработке ультразвуковых томографов является апробация алгоритмов на экспериментальных данных. Для этих целей в проекте разрабатывается экспериментальный стенд, ориентированный на исследования мягких тканей в медицине. Экспериментальный стенд содержит источники, приёмник ультразвукового излучения, прецизионные ротационные подвижки, электронные блоки генерации и приёма ультразвуковых сигналов. Полученные в результате экспериментов данные будут обрабатываться на GPU-кластере в составе суперкомпьютера “Ломоносов” СКЦ МГУ. Проект имеет фундаментальное значение. В проекте разрабатываются основы принципиально нового типа томографии — низкочастотной ультразвуковой томографии. Использование низких частот (около 300 кГц) позволяет прецизионно регистрировать как амплитуду, так и фазу ультразвуковых волн, что обеспечивает высокое пространственное разрешение ультразвукового томографа. В качестве математической модели используется волновая модель, которая наиболее полно описывает такие физические эффекты, как дифракция, рефракция, переотражение и поглощение ультразвука в неоднородных средах. Важнейшее значение имеет разработка эффективных численных методов и алгоритмов решения прямых и обратных задач волновой томографии как нелинейных коэффициентных задач для волнового уравнения. В проекте подробно исследуется вариант томографической схемы с регистрацией данных на цилиндрической поверхности. Такая схема легко реализуется в эксперименте с помощью приемника, закреплённого на ротационной подвижке. Эта томографическая схема используется в экспериментальном стенде, разрабатываемом в рамках проекта. Разработки прототипов ультразвуковых томографов в Германии и США ориентированы на использование персональных компьютеров. Это не позволяет использовать волновые математические модели, учитывающие как дифракционные эффекты, так и эффекты поглощения, и вынуждает иностранных авторов интерпретировать данные в рамках более простых моделей, таких как приближение Борна, приближение геометрической оптики или параболическое приближение. Разрабатываемые в настоящем проекте численные методы и алгоритмы решения обратных задач волновой томографии ориентированы на суперкомпьютеры. В проекте будет разработано высокомасштабируемое программное обеспечение для GPU-суперкомпьютеров, эффективность и масштабируемость которого исследуется с помощью GPU-кластеров в составе суперкомпьютеров “Ломоносов-1” и “Ломоносов-2” МГУ. Однако современные суперкомпьютеры общего назначения по своим параметрам не могут входить в состав томографического комплекса. Необходима разработка специализированного суперкомпьютера, ориентированного на решение прямых и обратных задач ультразвуковой томографии. Одной из задач проекта является разработка архитектуры специализированного GPU-суперкомпьютера. Оптимизация численных алгоритмов и разработка архитектуры специализированного суперкомпьютера рассматриваются в проекте как связанные друг с другом задачи. Основное приложение разрабатываемых в проекте методов ультразвуковой томографии относится к медицинской диагностике. Одной из важнейших проблем современной медицины является проблема дифференциальной диагностики онкологических заболеваний молочной железы. Все существующие в настоящее время ультразвуковые диагностические приборы в медицине работают на отражение. В схеме на отражение в принципе невозможно осуществить характеризацию тканей. Разрабатываемые в проекте методы томографической диагностики позволяют осуществлять характеризацию тканей и абсолютно безвредны для человеческого организма. Это позволяет создать основу для регулярных обследований, что является одной из основных возможностей понижения смертности от онкологических заболеваний у женщин. В проекте рассматриваются в качестве приложения также задачи ультразвукового неразрушающего контроля. В настоящее время ультразвуковая томография делает только первые шаги в этом направлении. В области неразрушающего контроля настоящий проект направлен на оценку возможностей ультразвуковых томографов для исследования внутренней структуры твёрдых тел. В проекте осуществляется постановка обратной задачи ультразвуковой томографии твёрдых тел. Разрабатываемые в проекте алгоритмы ультразвуковой томографии твёрдых тел будут тестироваться как на модельных задачах, так и на экспериментальных данных. Алгоритмы ориентированы на суперкомпьютеры.


 

ОТЧЁТНЫЕ МАТЕРИАЛЫ


Аннотация результатов, полученных в 2017 году
Осуществлена постановка и разработаны методы решения двумерных и трёхмерных обратных задач ультразвуковой томографии с данными на цилиндрической поверхности как коэффициентных обратных задач для волнового уравнения. В качестве модели используется скалярная волновая модель, описывающая как явления дифракции, так и поглощение. Разработаны итерационные алгоритмы приближённого решения нелинейной обратной задачи ультразвуковой томографии, основанные на прямом вычислении градиента функционала невязки. Разработано программное обеспечение “2d_tomo” для GPU-суперкомпьютеров для решения прямых и обратных задач ультразвуковой томографии в послойной схеме. В программе использована разностная схема второго порядка аппроксимации для дифференциальных уравнений. Входными данными для программы “2d_tomo” являются акустическое давления на приёмниках в каждом слое, полученное в эксперименте или из решения модельной прямой задачи рассеяния ультразвукового импульса на объекте. Результат расчётов представляют собой приближённое распределение скорости звука и коэффициента поглощения в нескольких горизонтальных сечениях исследуемой области. Программа “2d_tomo” ориентирована на параллельную реконструкцию томографического изображения на N слоях путём запуска N параллельных задач на N графических процессорах. Разработано программное обеспечение “3d_tomo” для решения прямых и обратных задач ультразвуковой томографии по восстановлению скоростного разреза исследуемого объекта с учётом дифракции и поглощения с данными на цилиндрической поверхности в 3D варианте. Входными данным при решении обратной задачи являются акустическое давление на детекторах, полученное из эксперимента или в ходе решения прямой модельной задачи. Алгоритм приближённого решения обратной задачи 3D ультразвуковой томографии основан на возможности прямого вычисления градиента функционала невязки. Особенностью низкочастотной ультразвуковой томографии является использование небольшого количества источников (30-40) при большом количестве точек, в которых измеряются данные (~10000). Показано, что наиболее эффективно численные алгоритмы распараллеливаются на GPU-кластерах с количеством графических карт, равным количеству источников. Модельные расчёты показали, что наилучшее качество реконструированного 3D изображения скоростного разреза и коэффициента поглощения достигается, если расстояние между точками регистрации данных на цилиндрической поверхности не превышает половины длины волны зондирующего излучения. Показано, что скоростной разрез восстанавливается намного лучше, чем коэффициент поглощения. Предложены итерационные алгоритмы для решения нелинейных обратных задач низкочастотной ультразвуковой томографии, использующие прямое вычисление градиента функционала невязки между измеренным и вычисленным волновым полем. Показано, что функционал невязки не является выпуклым и кроме глобального минимума имеет и локальные минимумы. Предложен новый метод приближённого решения нелинейных обратных задач ультразвуковой томографии, использующий многочастотное зондирование. Обратная задача сначала решается с использованием данных на низкой частоте с нулевым начальным приближением, затем полученное приближённое решение используется как начальное приближение для решения обратной задачи на более высокой частоте. Показано, что наиболее эффективным является использование зондирующих импульсов как минимум двух частот, отличающихся не менее чем в 2 раза. Предложенный метод является наиболее эффективным при использовании широкополосных зондирующих импульсов. Показано, что для построения начального приближения можно также использовать приближённое решение, полученное в лучевой модели на грубой сетке. Определены основные параметры экспериментального стенда и фантомов для исследования мягких тканей в медицине: параметры зондирующих импульсов, количество положений источников и детекторов при измерении волнового поля на поверхности цилиндра, погрешность измерения экспериментальных данных, точность оцифровки, требования к акустической аппаратуре, требования к фантомам для ультразвуковых исследований. С помощью математического моделирования на суперкомпьютере “Ломоносов” определены оптимальная форма зондирующих импульсов и их спектральная полоса. Длина волны зондирующего излучения составляет порядка 5 мм. Ширина спектральной полосы – не менее 30% от центральной частоты. Мощность ультразвукового излучателя – не менее 3 Па*метр/Вольт. Полоса пропускания акустического тракта – от 50 до 600 кГц. Определено оптимальное количество положений источников и детекторов в томографической схеме. Для послойной схемы томографического обследования количество источников должно составлять 10 – 15 в каждом исследуемом сечении. Для трёхмерной схемы с регистрацией данных на цилиндрической поверхности общее количество положений источников должно составлять 24 – 40. Показано, что шаг регистрации данных на цилиндрической поверхности не должен превышать 2.5 мм, погрешность измерений не должна превышать 1...2% от амплитуды сигнала при частоте оцифровки 10 МГц. Показано, что точность оцифровки должна быть не хуже 12 бит. Выбраны параметры фантомов, близкие по акустическим характеристикам к мягким тканям человека. Закуплено оборудование для экспериментального стенда для низкочастотных томографических исследований: Гидрофон Teledyne Reson TC4038 с предусилителем Teledyne Reson VP1000, ультразвуковые излучатели, генератор сигналов специальной формы AKTAKOM AWG-4110, амплитудный усилитель AKTAKOM AVA-1745, модуль АЦП E20-10 фирмы L-Card, осциллограф AKTAKOM ADS-2061M. Изготовлен экспериментальный стенд для проведения исследований по томографическому восстановлению акустических свойств объектов. Стенд ориентирован, прежде всего, на исследование фантомов с параметрами, близкими к параметрам мягких тканей в медицине. Конструкция стенда обеспечивает сбор информации как в послойной схеме исследования 3D объекта, так и в трёхмерной схеме с данными на цилиндрической поверхности. Разработана 3D модель конструкции стенда. Стенд обеспечивает прецизионное перемещение излучателя и приёмника вокруг исследуемого объекта и позволяет собирать данные, необходимые для восстановления томографических изображений как в послойном варианте, так и в трёхмерной томографической схеме с данными на цилиндрической поверхности. Экспериментальный стенд включает цилиндрическую ванну для акустических исследований, заполняемую водой и закрепляемую на раме, ультразвуковые излучатели, гидрофон, двухкоординатные (ротационный и линейный) приводы для излучателя и гидрофона, блок управления механическим узлом, генератор ультразвуковых импульсов, модуль АЦП. Разработан и изготовлен электронный блок для управления устройствами экспериментального стенда с помощью персонального компьютера. Акустический тракт стенда включает в себя цифровой генератор, амплитудный усилитель, излучатель, гидрофон с предусилителем, модуль АЦП. Разработано программное обеспечение “uson”, обеспечивающее работу экспериментального стенда под управлением персонального компьютера. Программа предназначена для автоматизации экспериментов по ультразвуковым томографическим исследованиям: сбора данных, управления движением линейных и ротационных приводов стенда, получения информации о точном положении приводов, запуска внешнего генератора сигналов. Реализовано два режима сбора данных. Первый вариант - старт-стопный режим, когда приводы устанавливаются в заданное положение, производятся измерения волнового поля при фиксированном положении приводов, затем приводы устанавливаются в следующее положение, и т.д. Показано, что оптимальным вариантом является режим непрерывного сбора данных. В этом режиме регистрируется набор данных в точках поверхности цилиндра, координаты которых снимаются с высокой точностью с датчиков углового положения ротационных приводов. В процессе сбора данных гидрофон непрерывно поворачивается вокруг исследуемого объекта при фиксированном положении линейных приводов. Осуществлена постановка обратных задач томографических исследований в задачах неразрушающего контроля в скалярной волновой модели. Обратная задача рассматривается как коэффициентная обратная задача для скорости распространения продольной волны. Обратные задачи томографии твёрдых тел являются нелинейными. Разработаны эффективные итерационные алгоритмы решения обратных задач в скалярной волновой модели на суперЭВМ. Алгоритмы основаны на прямом вычислении градиента функционала невязки. Особенностью задач неразрушающего контроля является то, что для зондирования используются высокочастотные ультразвуковые волны с частотами от 1 МГц и выше. Для численной аппроксимации дифференциальных уравнений использованы разностные схем 4-го порядка. Показано, что наиболее эффективно алгоритмы распараллеливаются на GPU-кластерах. Предложена схема распараллеливания вычислений, рассчитанная на большое количество источников. Особенностью алгоритмов решения обратных задач волновой томографии в дефектоскопии является то, что количество источников и приёмников ультразвукового излучения совпадает, и составляет порядка 100. Показано, что максимальная производительность GPU достигается при количестве источников 8–10 на одно устройство. При использовании 10 графических карт достигается ускорение порядка 1000 раз по сравнению с одним CPU процессором. Рассмотрены различные схемы томографических исследований в дефектоскопии в скалярной волновой модели. На модельных задачах показано, что в схемах на отражение невозможно восстановить скорость волны внутри дефекта. Показано, что скоростной разрез внутри дефекта восстанавливается в томографических схемах, в которых регистрируется как отражённое, так и прошедшее излучение. В таких схемах можно восстановить не только границы дефекта, но и получить важную информацию о внутреннем строении дефекта. Изготовлены образцы фантомов с дефектами для томографических исследований. Собран стенд, включающий две линейные антенные решётки IMASONIC, для проведения томографических экспериментов в дефектоскопии на следующем этапе проекта. Показано, что в качестве начального приближения в итеративных процедурах градиентной минимизации функционала невязки можно использовать начальное приближение, полученное в конечно-параметрических или лучевых моделях. В качестве примера рассмотрена модельная задача восстановления скорости распространения продольной волны внутри сварного шва в конечно-параметрической модели.

 

Публикации

1. Базулин Е.Г., Садыков М.С. Определение скорости продольной ультразвуковой волны в изотропном однородном сварном соединении по эхосигналам, измеренным двумя антенными решётками Russian Journal of Nondestructive Testing, - (год публикации - 2018)

2. Гончарский А.В., Романов С.Ю., Серёжников С.Ю. Обратные задачи послойной ультразвуковой томографии с данными на цилиндрической поверхности Вычислительные методы и программирование: новые вычислительные технологии, Том: 18, номер: 3, страницы: 267-276 (год публикации - 2017)

3. Гончарский А.В., Романов С.Ю., Серёжников С.Ю. О проблеме выбора начального приближения в обратных задачах ультразвуковой томографии Вычислительные методы и программирование: новые вычислительные технологии, Том: 18, номер: 3, страницы: 312-321 (год публикации - 2017)

4. Гончарский А.В., Серёжников С.Ю. The Architecture of Specialized GPU Clusters Used for Solving the Inverse Problems of 3D Low-Frequency Ultrasonic Tomography Supercomputing. RuSCDays 2017. Communications in Computer and Information Science, vol 793. Springer, Cham, vol 793, pp 363-375 (год публикации - 2017) https://doi.org/10.1007/978-3-319-71255-0_29

5. Романов С.Ю. Optimization of Numerical Algorithms for Solving Inverse Problems of Ultrasonic Tomography on a Supercomputer Supercomputing. RuSCDays 2017. Communications in Computer and Information Science, vol 793. Springer, Cham, vol 793, pp 67-79 (год публикации - 2017) https://doi.org/10.1007/978-3-319-71255-0_6


Аннотация результатов, полученных в 2018 году
Основной результат, достигнутый в 2018 году, можно сформулировать следующим образом. Разрабатываемые в проекте методы 2D томографической диагностики успешно прошли тестирование на экспериментальных данных. Эксперименты проводились на экспериментальном стенде для ультразвуковых томографических исследований, разработанном на первом этапе проекта. Эксперименты позволили получить высококачественные данные для реконструкции скоростных разрезов объектов с акустическими параметрами, близкими к параметрам мягких тканей человека. В экспериментах использовались источники сферических ультразвуковых волн с полосой частот от 100 кГц до 800 кГц. В качестве приемника использовался высокоточный гидрофон с высокой чувствительностью в указанном диапазоне частот. Погрешность экспериментальных данных составляет порядка 5%. Эксперименты показали высокую стабильность разработанного акустического тракта. Для проведения экспериментов были изготовлены фантомы из силикона с различными вставками. Для решения прямых и обратных задач использовалась скалярная волновая модель, учитывающая такие эффекты, как дифракция, рефракция, переотражение и поглощение ультразвука. Центральным моментом в построении итерационных методов решения нелинейной обратной задачи волновой томографии является вычисление градиента функционала невязки между экспериментально измеренным волновым полем U(r,t) и рассчитанным в прямой задаче волновым полем u(r,t) на детекторах. Участниками проекта впервые в рассмотренной постановке на математическом уровне строгости был получен результат о представлении для градиента функционала невязки. Этот работа, опубликованная в 2018 году в журнале, входящем в первый квартиль (TOP25) цитируемости SCOPUS, является прорывным результатом построения алгоритмов приближенного решения обратных задач волновой томографии. В отличие от предыдущих работ исполнителей проекта, предложенный подход сильно упрощает вычисления, поскольку не предполагает вычисление нормальной производной измеренного волнового поля на границе, что само по себе является некорректно-поставленной задачей. Этот результат имеет мировой приоритет и позволяет по прямым формулам вычислять градиент функционала невязки Ф(с,а) по параметрам с(r) и а(r), описывающим скорость звука и поглощение в среде. Типичной ситуацией в рассматриваемых обратных задачах является неполнота экспериментальных данных. Экспериментальные данные могут отсутствовать на части границы, окружающей исследуемую область. Эта ситуация является типичной в любой томографической схеме ультразвуковой диагностики молочной железы, поскольку детекторы со стороны грудной клетки пациента расположить невозможно. Разработанный в указанной выше статье подход может быть распространен и на случай, когда на части границы экспериментальные данные отсутствуют. Разработанные методы реконструкции скоростного разреза являются регуляризирующими в том смысле, что они устойчивы к погрешностям эксперимента. Рассматриваемая обратная задача волновой томографии является нелинейной, поэтому проблема сходимости итерационных алгоритмов ее приближенного решения является одной из важнейших. Для решения этой задачи на первом этапе проекта был предложен двухэтапный метод, в котором для зондирования использовались импульсы с двумя разными центральными частотами. Модифицированный на втором этапе проекта метод построения приближенного решения использует для зондирования широкополосные импульсы с центральной частотой 400 кГц и полосой частот 100 – 800 кГц. Суть предложенного метода состоит в том, что, осуществляя численно частотную фильтрацию принятых сигналов, можно получить низкочастотные данные с полосой частот до 250 кГц. Реконструированный на первом этапе алгоритма по этим данным скоростной разрез с начального приближения, равного константе, используется на втором этапе алгоритма как начальное приближение. Таким образом, время эксперимента сокращается в два раза. Для использования двухэтапного итерационного алгоритма необходимо, чтобы источники и приемники имели полосу частот от 100 до 800 кГц. Именно такие источники и приемники использовались в экспериментах, проведенных на стенде в 2018 году. Модифицированный двухэтапный итерационный алгоритм оказался эффективным и был использован для реконструкции скоростного разреза по экспериментальным данным. На втором этапе проекта стало возможным сравнить результаты модельных расчетов и результатов, полученных из экспериментальных данных. Результаты, полученные в экспериментах, хорошо согласуются с данными математического моделирования. Как показано на модельных расчетах и подтверждено на экспериментальных данных, скоростной разрез восстанавливается лучше, чем коэффициент поглощения в мягких тканях. Несмотря на то, что поглощение восстанавливается хуже скорости, учёт поглощения в математической модели необходим для того, чтобы эта модель была более адекватной физической реальности. Как показано на модельных расчетах и подтверждено на экспериментальных данных, разрешающая способность разработанных методов ультразвуковой томографической диагностики составляет порядка 2 мм при контрасте порядка 1 – 2% и погрешности данных порядка 5%. Важным параметром в любых томографических задачах является уровень погрешности входных данных. Чем меньше уровень погрешности, тем ближе реконструированное изображение к точному решению обратной задачи. На разработанном стенде в эксперименте среднеквадратичная погрешность экспериментальных данных составила порядка 5%. Результаты решения обратных задач реконструкции скоростного разреза как по экспериментальным данным, так и на модельных расчетах позволяют утверждать, что используемая математическая модель является близкой к реальности и позволяет достичь высокого разрешения в реальных экспериментах. Проведены эксперименты по сбору ультразвуковых томографических данных в томографической схеме для восстановления 2D скоростного разреза в задачах неразрушающего контроля для исследования дефектов в твёрдых телах. В экспериментах использовались две линейные эквидистантные антенные решётки, содержащие по 32 одинаковых приёмно-излучающих пьезоэлемента с шагом 0.6 мм. Центральная частота излучаемого импульса решёток – 5 МГц (длина волны порядка 0.5 мм). Ширина лепестка диаграммы направленности каждого элемента составила 50 – 60 градусов. В качестве объекта контроля были выбраны два бруска из рексолита и плексигласа в виде параллелепипеда. В бруске просверлено цилиндрическое отверстие. В это отверстие вставляется цилиндрический вкладыш из другого материала. Скорость продольной волны вкладыша и бруска различались не более, чем на 5 %. При проведении экспериментов линейные трансдьюсеры располагались на боковой поверхности бруска. Постановка эксперимента ориентирована на двумерную томографию. Для проведения экспериментов использовался стенд, включающий многоканальный ультразвуковой дефектоскоп с двумя антенными решётками. Образец со вставкой может поворачивать на 90 градусов для зондирования бруска с других сторон. Многоканальный дефектоскоп позволяет излучать произвольным элементом антенной решётки зондирующий импульс и принимать эхосигнал любым элементом этой же или второй антенной решётки. Такая конфигурация позволяет провести измерения как в режиме на отражение, так и в режиме на прохождение. Основной результат проекта на втором этапе в задачах неразрушающего контроля можно сформулировать следующим образом. Впервые реконструирован 2D скоростной разрез исследуемого объекта по данным, полученным в томографическом эксперименте. Показано, что с помощью разработанных томографических методов, схем эксперимента, математических алгоритмов можно не только обнаружить границы дефектов в задачах неразрушающего контроля в реальном эксперименте, но и с высокой точностью в 2 – 3% определить скоростной разрез внутри объекта контроля, используя схему на отражение и прохождение. Структура восстановленных изображений из реальных экспериментов очень близка к структуре восстановленных изображений в модельных расчетах. Этот факт подтверждает, что двумерная скалярная волновая модель в предлагаемой схеме эксперимента в задаче неразрушающего контроля адекватно описывает распространение волн и вполне может быть использована для интерпретации ультразвуковых томографических данных в твердом теле. Проведенные расчеты показали, что качество реконструированных 2D изображений может быть улучшено при увеличении числа ракурсов зондирования. В проекте показано, что томографический подход в задачах неразрушающего контроля вполне реализуем на современных суперкомпьютерах. СуперЭВМ позволяет сократить время расчетов в тысячи раз. Распараллеливание вычислений на суперкомпьютере осуществлялось по источникам, поскольку вычисления для каждого источника в используемых алгоритмах проводятся практически независимо. Этот подход показал высокую эффективность и практически линейную масштабируемость вплоть до нескольких сотен вычислительных ядер. На втором этапе проекта было проведено исследование масштабируемости и эффективности алгоритмов решения обратных задач восстановления 2D сечений скоростного разреза на GPU-суперкомпьютере “Ломоносов” СКЦ МГУ. Вычислительные эксперименты показали, что эффективность алгоритма определяется в первую очередь загрузкой GPU, которая зависит от объёма данных, обрабатываемого каждым устройством. Этот объём должен составлять порядка 100 МБ и выше для обеспечения высокой производительности вычислений. Тесты на масштабируемость показали, что типовая задача из 30 – 40 двумерных сечений с использованием 16 – 24 ультразвуковых источников может быть эффективно распараллелена на 100 – 200 устройств. Время расчёта всей задачи в такой конфигурации составит порядка одной минуты. Показано, что GPU-кластер из 5 – 10 устройств может быть использован для решения задач 3D ультразвуковой томографии в послойном варианте на практике. Был проведена оптимизация алгоритмов решения обратных задач восстановления 2D сечений скоростного разреза исследуемого объекта для послойных 2D томографических схем на GPU-суперкомпьютере, учитывающая специфику данной задачи и объёмы обрабатываемых экспериментальных данных. В алгоритме использована оптимизированная разностная схема 4-го порядка с шаблоном 5x5 точек для вычисления дискретного лапласиана. Для расчёта волнового поля использован Y-marching метод, обеспечивающий высокую локальность данных, последовательный доступ к данным в памяти и использование коэффициентов, вычисленных на предыдущих шагах. Данный метод позволяет увеличивать количество точек разностной схемы без существенного снижения производительности расчётов. Был оптимизирован метод вычисления градиента функционала невязки на GPU. В новой версии алгоритма суммирование градиента осуществляется в локальной памяти GPU последовательно по всем источникам. Разработанный метод минимизирует объём данных, который должен храниться в регистрах GPU в процессе вычисления каждой точки изображения, повышается локальность данных и производительность расчётов. Оптимизированный алгоритм был протестирован на GPU-суперкомпьютере “Ломоносов-2” СКЦ МГУ. Тестирование показало повышение производительности вычислений в 1.7 раза по сравнению с первой версией алгоритма.

 

Публикации

1. Базулин Е.Г., Гончарский А.В., Романов С.Ю., Серёжников С.Ю. Parallel CPU- and GPU-Algorithms for Inverse Problems in Nondestructive Testing Lobachevskii Journal of Mathematics, V.39, № 4, p.486-493 (год публикации - 2018) https://doi.org/10.1134/S1995080218040030

2. Базулин Е.Г., Коновалов Д.А., Садыков М.С. Метод конечных разностей во временной области. Часть 1. Расчет эхосигналов в однородных изотропных материалах Дефектоскопия, №7, С. 9-18 (год публикации - 2018) https://doi.org/10.1134/S0130308218070023

3. Базулин Е.Г., Коновалов Д.А., Садыков М.С. Метод конечных разностей во временной области. Расчёт эхосигналов в анизотропных неоднородных материалах, структурный шум Дефектоскопия, №8, С. 3-10 (год публикации - 2018) https://doi.org/10.1134/S0130308218080018

4. Гончарский А.В., Романов С.Ю. A method of solving the coefficient inverse problems of wave tomography Computers and Mathematics with Applications, - (год публикации - 2018) https://doi.org/10.1016/j.camwa.2018.10.033

5. Гончарский А.В., Романов С.Ю., Серёжников С.Ю. Обратные задачи формирования зондирующих импульсов в ультразвуковой томографии: модельные расчеты и эксперимент Вычислительные методы и программирование, Т.19, стр.150-157 (год публикации - 2018)

6. Гончарский А.В., Романов С.Ю., Серёжников С.Ю. Низкочастотная 3D ультразвуковая томография: двухчастотный метод Вычислительные методы и программирование, Т.19, стр.479-495 (год публикации - 2018)

7. Гончарский А.В., Серёжников С.Ю. Supercomputer simulations in design of ultrasound tomography devices Supercomputing Frontiers and Innovations, V.5, № 3, p.111-115 (год публикации - 2018) https://doi.org/10.14529/jsfi180321

8. Гончарский А.В., Серёжников С.Ю. Supercomputer technology for ultrasound tomographic image reconstruction: mathematical methods and experimental results Supercomputing. RuSCDays 2018. Communications in Computer and Information Science, V. 965 (год публикации - 2019) https://doi.org/10.1007/978-3-030-05807-4_34

9. Романов С.Ю. Supercomputer simulation study of the convergence of iterative methods for solving inverse problems of 3D acoustic tomography with the data on a cylindrical surface Supercomputing. RuSCDays 2018. Communications in Computer and Information Science, V. 965 (год публикации - 2019) https://doi.org/10.1007/978-3-030-05807-4_33

10. Романов С.Ю. Supercomputer Simulations of Nondestructive Tomographic Imaging with Rotating Transducers Supercomputing Frontiers and Innovations, V.5, № 3, p.98-102 (год публикации - 2018) https://doi.org/10.14529/jsfi180318


Аннотация результатов, полученных в 2019 году
Проект направлен на разработку методов низкочастотной 3D ультразвуковой томографии на основе GPU-суперкомпьютеров, прежде всего в приложении к диагностике рака молочной железы. Основным результатом Проекта в 2019 г. является тот факт, что разработанные в рамках проекта алгоритмы решения обратных задач 3D ультразвуковой томографии в медицине для GPU-суперкомпьютеров были впервые успешно протестированы в реальных экспериментах. Экспериментальные данные для решения обратных задач 3D волновой томографии были получены на стенде для 3D ультразвуковых томографических исследований, разработанном на предыдущих этапах проекта в МГУ имени М.В. Ломоносова. Обратная задача 3D ультразвуковой томографии рассмотрена как нелинейная коэффициентная обратная задача для скалярной волновой модели. Для её решения использовались разработанные на предыдущих этапах проекта итерационные алгоритмы, основанные на возможности явного вычисления градиента функционала невязки. В 3D постановке решается трёхмерная коэффициентная обратная задача, в которой скорость распространения волны внутри исследуемого объекта и коэффициент поглощения ищутся как функции трёх координат. Трёхмерная постановка наиболее правильно описывает такие значимые для волновой томографии эффекты, как дифракция, рефракции и переотражение волн. Для получения экспериментальных данных в 3D задаче ультразвуковое поле измеряется с высокой точностью на цилиндрической поверхности, окружающей объект, с шагом менее половины длины волны. Для исследований использовались фантомы с акустическими параметрами, близкими к параметрам мягких тканей. В результате решения 3D обратной задачи восстанавливаются трёхмерные распределения скорости звука и коэффициента поглощения внутри исследуемого объекта. Результаты по трёхмерной акустической томографии фантомов, близких по свойствам к мягким тканям, были получены в настоящем проекте впервые в 2019 г. Важным результатом этого проекта в 2019 г. является то, что впервые в 3D задаче экспериментально подтверждена адекватность используемой математической модели — скалярного волнового приближения с учетом поглощения. Это подтверждается хорошим совпадением результатов 3D реконструкции по экспериментальным данным со значениями скорости звука в фантомах. Эксперименты показали, что 3D модель является более адекватной реальности, чем послойная модель. В послойной схеме разрешение по вертикальной координате (между сечениями) гораздо хуже, чем в плоскости сечений. Однако, решение задачи в 3D постановке является намного более сложным, как в плане проведения эксперимента, так и в вычислительном плане. Интерпретация данных экспериментов продемонстрировала эффективность разработанных алгоритмов. Эксперименты показали, что предложенный метод решения обратных задач 3D ультразвуковой томографии позволяет достичь высокого пространственного разрешения порядка 2 мм (при длине волны 4 мм) даже при низком контрасте исследуемого объекта по скорости звука. Используемая томографическая схема может применяться в медицинских диагностических комплексах. В отличие от используемых в медицине стандартных УЗИ аппаратов, предложенные методы восстановления трёхмерного томографического изображения определяют не только границы и форму неоднородностей, но и значение скорости звука внутри них с высокой точностью в 1–2%. Такие методы позволяют осуществлять характеризацию тканей, определяя акустические параметры ткани в каждой точке (x,y,z) исследуемого объекта. Разработанные алгоритмы позволяют реконструировать не только распределение скорости звука внутри объекта, но и коэффициент поглощения. Качество реконструкции скорости звука выше, чем коэффициента поглощения, и определение скорости звука является основной целью метода. В ходе Проекта в 2019 г. проведены отладка и корректировка алгоритмов и программного обеспечения для решения обратных задач 3D ультразвуковой томографии на основе данных, полученных в экспериментах с фантомами мягких тканей. С целью учёта специфики экспериментальной установки при реконструкции томографических изображений по экспериментальным данным разработаны вспомогательные процедуры предварительной обработки этих данных, метрологии измерительного тракта. Решена проблема реконструкции начального акустического импульса источника, необходимого для решения прямой задачи распространения волн от источников. Для реконструкции начального импульса измеренное на цилиндрической поверхности реперное волновое поле продолжается с помощью численного моделирования в обратном времени. Разработанная процедура позволяет более точно смоделировать зондирующий акустический импульс, неявно учесть сложные процессы, происходящие при преобразовании трансдьюсером электрического импульса в акустический, учесть эффекты дисперсии, диаграммы направленности излучателя. С вычислительной точки зрения, рассматриваемые обратные задачи 3D ультразвуковой томографии являются чрезвычайно сложными. Количество неизвестных в нелинейной обратной задаче составляет порядка 50 миллионов. Количество операций для решения обратной задачи растёт как четвёртая степень от пространственного разрешения. Для восстановления изображений высокого разрешения необходимы высокопроизводительные вычислительные системы. В Проекте в 2019 г. достигнуты высокая эффективность и масштабируемость 3D томографических алгоритмов восстановления скоростного разреза на GPU- суперкомпьютере в составе СК “Ломоносов”. Результаты расчётов показали эффективность распараллеливания, составившую порядка 95%, и практически линейную масштабируемость. Высокая эффективность распараллеливания связана с тем, что в задаче ультразвуковой томографии подавляющее большинство расчётов производится локально, причём вычисления для каждого ультразвукового источника производятся независимо. В Проекте в 2019 г. разработаны требования к архитектуре специализированного GPU-суперкомпьютера для решения трёхмерных задач ультразвуковой томографии мягких тканей, который может использоваться в составе ультразвукового томографического комплекса. Моделирование работы специализированного GPU-суперкомпьютера проведено на GPU-разделе суперкомпьютера “Ломоносов-2”. Показано, что распараллеливание алгоритма наиболее эффективно, когда количество GPU соответствует количеству положений ультразвуковых источников, которое в типичных задачах составляет порядка 50. Эти результаты опубликованы в 2019 г. в журнале, входящем в разные годы в первый или второй квартиль Q1-Q2 цитируемости SCOPUS. Впервые в 2019 г. для задач неразрушающего контроля была применена многоракурсная томографическая схема для восстановления высококачественных изображений скорости звука внутри объекта. В многоракурсной схеме зондирования на восстановленном изображении отсутствуют артефакты, характерные для реконструкции изображения по экспериментальным данным с малым набором ракурсов. Важным результатом этого исследования является экспериментальное подтверждение адекватности используемой математической модели — двумерной скалярного волнового приближения. Итоговый план по публикациям по проекту перевыполнен. Опубликовано за 2017-2019 гг. 16 статей индексируемых в Web of Science или в Scopus и 14 статей индексируемых в русскоязычных изданиях, учитываемых РИНЦ. Исполнитель проекта С.Ю. Романов дал интервью порталу "Научная Россия", посвященное теме проекта (https://scientificrussia.ru/interviews/romanov-sergej-yurevich).

 

Публикации

1. Базулин Е.Г., Гончарский А.В., Романов С.Ю. Solving Inverse Problems of Ultrasound Tomography in a Nondestructive Testing on a Supercomputer Supercomputing. RuSCDays 2019. Communications in Computer and Information Science, Vol. 1129 (год публикации - 2019) https://doi.org/10.1007/978-3-030-36592-9_32

2. Базулин Е.Г., Гончарский А.В., Романов С.Ю., Серёжников С.Ю. Inverse Problems of Ultrasonic Tomography in Nondestructive Testing: Mathematical Methods and Experiment Russian Journal of Nondestructive Testing, V.55, No 6. P. 453-462 (год публикации - 2019) https://doi.org/10.1134/S1061830919060020

3. Гончарский А.В., Кубышкин В.А., Романов С.Ю., Серёжников С.Ю. Обратные задачи интерпретации экспериментальных данных 3D ультразвуковых томографических исследований Вычислительные методы и программирование: новые вычислительные технологии, Т. 20, № 3. С. 254-269. (год публикации - 2019) https://doi.org/10.26089/NumMet.v20r323

4. Гончарский А.В., Романов С.Ю., Серёжников С.Ю. Low-Frequency Ultrasonic Tomography: Mathematical Methods and Experimental Results Moscow University Physics Bulletin, V.74, No 1. P.43-51 (год публикации - 2019) https://doi.org/10.3103/S0027134919010090

5. Гончарский А.В., Романов С.Ю., Серёжников С.Ю. Comparison of the capabilities of GPU clusters and general-purpose supercomputers for solving 3D inverse problems of ultrasound tomography Journal of Parallel and Distributed Computing, V.133. P. 77-92 (год публикации - 2019) https://doi.org/10.1016/j.jpdc.2019.06.008

6. Гончарский А.В., Серёжников С.Ю. Three-Dimensional Ultrasound Tomography: Mathematical Methods and Experimental Results Supercomputing. RuSCDays 2019. Communications in Computer and Information Science, Vol. 1129 (год публикации - 2019) https://doi.org/10.1007/978-3-030-36592-9_38


Возможность практического использования результатов
Работа направлена на получение прорывных результатов в области разработки принципиально новых типов томографов, использующих волновые источники излучения. Одним из основных приложений является создание ультразвуковых томографов для ранней дифференциальной диагностики онкологических заболеваний молочной железы. Другим актуальным направлением, представленным в проекте, является разработка томографических методов для неразрушающего ультразвукового контроля твёрдых тел, в частности, томографического контроля сварных соединений в металлических образцах. Эта задача является одной из важнейших задач дефектоскопии для контроля объектов повышенной опасности: трубопроводы и оборудование атомных станций, магистральные и промысловые газопроводы, компрессорные станции, уникальные изделия машиностроения и т.д.