КАРТОЧКА ПРОЕКТА ФУНДАМЕНТАЛЬНЫХ И ПОИСКОВЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ

Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.

 

ОБЩИЕ СВЕДЕНИЯ


Номер 22-11-00078

НазваниеРазвитие передовых методов моделирования неравновесных течений газовых смесей с использованием высокопроизводительных вычислительных систем

РуководительТитарев Владимир Александрович, Доктор физико-математических наук

Организация финансирования, регион федеральное государственное учреждение "Федеральный исследовательский центр "Информатика и управление" Российской академии наук", г Москва

Период выполнения при поддержке РНФ 2022 г. - 2024 г. 

Конкурс№68 - Конкурс 2022 года «Проведение фундаментальных научных исследований и поисковых научных исследований отдельными научными группами».

Область знания, основной код классификатора 01 - Математика, информатика и науки о системах, 01-412 - Суперкомпьютерное моделирование: инструментальные средства, прикладное программное обеспечение и сервисы

Ключевые словаразреженный газ, кинетическое уравнение, прямое статистическое моделирование, неравновесные процессы, высотная аэродинамика, вакуумные технологии, суперкомпьютерные вычисления

Код ГРНТИ27.35.17


 

ИНФОРМАЦИЯ ИЗ ЗАЯВКИ


Аннотация
Настоящий проект направлен на создание нового поколения математических моделей и численных методов моделирования пространственных неравновесных течений смесей газов в задачах расчета аэродинамики и нагрева возвращаемых аппаратов перспективных космических транспортных систем и задачах динамики разреженного газа в приложении к современным вакуумным технологиям. Созданные модели и численные методы будут реализованы в пакетах параллельных программ с возможностью проведения детализированных суперкомпьютерных расчетов на системах Межведомственного суперкомпьютерного центра РАН и других центров. Актуальность рассматриваемой тематики обусловлена запросом на разработку новой перспективной космической техники (корабль Орел, ракета Ангара) и развития вакуумных технологий (лазерная абляция, вакуумное газоструйное осаждение) получения многокомпонентных функциональных покрытий. Сложность экспериментального изучения данного класса течений диктует необходимость создания новых математических моделей и внедрения их в отечественные пакеты численного моделирования. Научная новизна проекта состоит в (1) создании новых теоретических моделей физико-химических процессов (2) разработке новых вычислительных алгоритмов и отечественных пакетов суперкомпьютерного моделирования неравновесных течений (3) большом объеме новых конкретных результатов высокоточного моделирования. В исследованиях будут использованы три разных подхода: прямое статистическое моделирование методом Монте-Карло, решение кинетических уравнений и уравнений сплошной среды. Полученные в проекте математические модели и новые пакеты программ будут тщательно проверены путем сравнения с надежными экспериментальными данными и наиболее достоверными расчетами других научных коллективов. Можно ожидать, что программные комплексы, основанные на детальном поуровневом моделировании физико-химических процессов, будут обеспечивать более высокую точность расчета аэродинамических характеристик и тепловых потоков, чем методы, основанные на стандартных уравнениях Навье-Стокса. Результаты кинетических расчетов будут востребованы в области создания новых материалов для развития технологий получения многокомпонентных функциональных покрытий, а также существенно продвинут понимание нестационарных процессов в вакуумных лазерных технологиях получения новых материалов.

Ожидаемые результаты
Разработанные за время выполнения проекта цифровые инструменты (пакеты параллельных программ) позволят существенно продвинуться в возможностях численного предсказания характеристик неравновесных течений газовых смесей в научных и практических (инженерных) приложениях в задачах создания новых образцов авиационной и космической техники и микроустройств. К заявке прилагается письмо поддержки настоящего проекта от РКК “Энергия” им. С.П. Королева, что подтверждает актуальность и востребованность исследований (прикреплено к заявке в виде файла с дополнительной информацией 1). Ожидаемые результаты по итогам проекта перечислены ниже: 1. На основе детального поуровневого описания неравновесной физико-химической кинетики и процессов переноса в рамках континуального подхода будут построены сокращенные модели, сочетающие физическую достоверность с вычислительной эффективностью. Модели будут реализованы в виде программного модуля Каппа-М для расчета скорости физико-химических процессов и коэффициентов переноса. 2. Будет создан новый комплекс параллельных программ Аксай-Каппа решения задач внешней высотной аэродинамики. Данный код будет комбинировать передовые методы численного решения уравнений на произвольных расчетных сетках и новые физические модели, описанные в пункте 1. 3. Реализация новых математических моделей и численных методов в коде Аксай-Каппа будет проверена путем сравнения с экспериментальными данными по величине отхода ударной волны и тепловым потокам при обтекании сферы, конуса, клина и наиболее достоверными расчетами других научных коллективов. Помимо этого, код будет применен к задачам расчета обтекания возвращаемого космического аппарата “Орел” разрабатываемым РКК "Энергия" им. С.П. Королева с учетом реальной геометрии (выступающих элементов поверхности, таких как щитки, гаргрот и другие). 4. Будет создана новая аналитическая модель определения граничных условий на испаряющей поверхности при наносекундном лазерном испарении. Эта модель позволит просто и быстро определять температуру и глубину испарения по параметрам лазерного излучения и теплофизическим свойствам облучаемого вещества в качестве граничного условия для газодинамического расчета. 5. Будет разработан новый численный метод решения кинетического уравнения в приложении к широкому классу нестационарных течений разреженного одно- и многокомпонентного газа в вакуум и фоновый газ пониженного давления. Основные элементы метода: неоднородная разностная схема, интегрирование по произвольным областям скоростного пространства с целью получения тонких параметров течения, использование подвижной сетки в физическом пространстве. Данный метод будет включен в новую версию кода Несветай с возможностью задействовать в расчетах до 5000 процессоров (ядер) x86. Планируется выйти на использование в нестационарных задачах расчетных сеток из 5 миллиардов ячеек в 6-мерном фазовом пространстве. 6. Будет разработан новый трехмерный отечественный код решения задач импульсного испарения смесей газов на основе подхода метода прямого статистического моделирования (ПСМ), который позволить проводить расчеты течений в реальных 3х-мерных постановках с использованием подвижных сеток. Новый код будет верифицирован путем сравнения с численными решениями кинетических уравнений кодом Несветай и сравнениями с экспериментальными данными по осаждению тонких пленок в фоновом газе на подложках, ориентированных перпендикулярно поверхности испарения. Планируется выйти на использование в нестационарных расчетах до 1 миллиарда частиц. 7. Будет проведено исследование динамики разлета одно- и многокомпонентного газа при наносекундном лазерном испарении на основе расчетов методом ПСМ и решения кинетического уравнения для широкого диапазона параметров: числа испаренных монослоев 0.01 - 100, размера пятна испарения 0.1 - 1 мм. 8. Будет разработан многоуровневый алгоритм метода ПСМ для решения задач о течениях газовых смесей, в том числе реагирующей смеси пар-кластеры, в вакуумых устройствах. Методом ПСМ будет проведено численное исследование структуры и параметров струйных течений смесей газов с большим отношением масс компонентов для околоконтинуальных и переходных по числу Кнудсена режимов течения.


 

ОТЧЁТНЫЕ МАТЕРИАЛЫ


Аннотация результатов, полученных в 2022 году
- Для пятикомпонентной воздушной смеси разработана гибридная многотемпературная модель, которая сочетает в себе преимущества детального поуровневого моделирования и вычислительную эффективность традиционных многотемпературных подходов. Планируется дальнейшее совершенствование предложенного подхода с использованием более сложных составных распределений, зависящих от скорости релаксационных процессов, для расширения границ применимости модели на произвольные отклонения от равновесия. Увеличение численной эффективности планируется достичь с применением нейронных сетей для предсказания релаксационных членов. - В рамках поуровневого приближения разработан новый подход к получению граничных условий скольжения, позволяющий корректно учитывать неравновесные поверхностные процессы и их влияние на динамику газа. Процедура получения условий может быть легко адаптирована на одно- и многотемпературные приближения. - Реализованы новые детальные модели описания процессов в поуровневом приближении. Для описания колебательных энергообменов использованы формулы расширенной модели нагруженного гармонического осциллятора с учётом свободного вращения молекул. Для описания процесса диссоциации реализована модель, учитывающая электронно-колебательные состояния всех участников реакции. Реализованные функции расчёта по данным моделям были оптимизированы для лучшей производительности. - Разработан программный код для моделирования физико-химической релаксации в рамках поуровневого приближения в нульмерной постановке. Программный продукт имеет модульную структуру и позволяет рассчитывать коэффициенты скорости реакций, источниковые члены, а также газодинамические параметры как функции времени. Код может быть использован для анализа и тестирования моделей колебательной и химической кинетики, их валидации, описания газа в условиях, близких к условиям разряда. Также полученные на выходе данные удобно использовать для обучения нейронных сетей. - Реализован расчет коэффициентов переноса в виде отдельного модуля. Модуль может быть легко встроен в имеющиеся коды для расчета динамики пятикомпонентной смеси воздуха в однотемпературном приближении, а также допускает применение многопоточных алгоритмов. Имеется возможность дополнения модуля различными моделями потенциала взаимодействия молекул. - Проведена валидация моделей физико-химической кинетики в углекислом газе и кислороде путем сопоставления с экспериментальными данными по временам релаксации и распределению давления и колебательной температуры за фронтом отраженной ударной волны. В CO2 использование модели FHO обеспечивает хорошее согласие с экспериментально измеренным временем релаксации, а модель SSH занижает общее время релаксации на 1-2 порядка; при этом меняются основные механизмы релаксации. В кислороде ключевым моментом является учет колебательной релаксации между падающей и отраженной ударными волнами. Учет колебательного возбуждения обеспечивает хорошее согласие рассчитанных и измеренных распределений давления. Предложена поправка к экспериментальной погрешности определения колебательной температуры, позволяющая учесть процесс колебательной релаксации между падающей и отраженной ударной волной. Даны рекомендации по выбору параметров моделей физико-химических процессов. - Проведено тестирование моделей кинетики и процессов переноса на примере одномерной задачи об ударной волне с учетом электронного возбуждения, химических реакций, ионизации и излучения в условиях летного эксперимента Fire II. Рассмотрена 11-компонентная воздушная смесь; моделирование проводилось в одномерной постановке на основе поуровневого и двухтемпературного приближений. Оценено влияние различных моделей химических реакций на распределение газодинамических параметров, процессы переноса и радиационный нагрев за фронтом сильной ударной волны. Показано, что традиционный двухтемпературный подход недостаточно точно описывает кинетику и перенос тепла и излучения за ударной волной. В связи с этим представляет интерес построение гибридной двухтемпературной модели, хорошо себя зарекомендовавшей для других смесей. - Рассмотрены различные стратегии повышения вычислительной эффективности численного моделирования неравновесных течений с физико-химическими превращениями с помощью машинного обучения. Наиболее перспективным оказывается улучшение алгоритма моделирования кинетики в гибридном многотемпературном приближении за счет аппроксимации значений релаксационных членов. Применение нейросетевого подхода для расчета релаксационных членов при моделировании одномерного течения углекислого газа дает выигрыш по времени, более чем на порядок. При этом точность расчета сохраняется. Ожидается, что в более сложных (многомерных) задачах и при учете химических реакций выигрыш будет еще более существенным. - Разработан вычислительный инструмент для моделирования импульсной абляции в вакууме на основе численного решения БГК уравнения и кода Несветай. Использование передовых параллельных алгоритмов делает возможным использование расчетных сеток с миллиардами ячеек. - Получены данные по изменению формы лазерного факела и угловым распределениям частиц при наносекундном лазерном испарении в вакуум на основе расчетов методом прямого статистического моделирования и решения кинетического БГК уравнения в одномерной плоской и двухмерной осесимметричной постановках для широкого диапазона параметров. Использование двух различных кинетических подходов позволило получить надежное решение, хорошо согласующееся с аналитическим континуальным решением для большого числа монослоев. Использование аналитической континуальной модели позволило определить максимально возможную энергию частиц во времяпролетном распределении. На основе анализа распределения скоростей частиц объяснены особенности изменения энергии во времяпролетном распределении с увеличением числа испаренных монослоев. - В результате работы в рамках проекта сформулирован общий подход к построению многоуровневого высокопроизводительного алгоритма прямого статистического моделирования Монте-Карло для расчетов течений разреженных газовых смесей на кластерных компьютерах. Сформулированный подход предполагает сочетание известных одноуровневых алгоритмов с учетом особенностей описанной архитектуры. К одноуровневым подходам следует отнести прежде всего алгоритмы декомпозиции по (i) расчетной области, (ii) по данным, (iii) по независимым ветвям физического процесса при расчете нестационарных течений (алгоритм прямых статистически независимых испытаний).Кроме того, подход предполагает наличие “нулевого” уровня и использование на данном уровне алгоритма вычислительной структуры векторного арифметико-логического устройства и векторного модуля операций с плавающей запятой. Наличие нулевого уровня позволит повысить производительность нераспараллеливаемых или слабо распараллеливаемых участков кода. - Одноуровневые алгоритмы параллелизации по данным и декомпозиции расчетной области реализованы в программном коде. Проведена отладка программных модулей и выполнены тестовые расчеты для демонстрации работы одноуровневых алгоритмов, предусматривающих декомпозицию по данным и декомпозицию расчетной области. В рамках данного этапа разработан потокобезопасный генератор случайных чисел и проведена оценка эффективности работы отдельных уровней параллельного алгоритма. - Предложена самосогласованная однотемпературная модель пятикомпонентной воздушной смеси в условиях химической неравновесности, все коэффициенты которой строго выводятся на основании кинетической теории газов. На ее основе создан новый код Аксай-Каппа, предназначенный для моделирования трехмерных высокоскоростных течений газа в задачах внешней аэродинамики спускаемых аппаратов с учетом неравновесных химических реакций. Создан задел для валидационных задач, состоящий как из простых геометрических тел, так и модели корабля "Орел". Проведены предварительные тестовые расчеты.

 

Публикации

1. Истомин В.А., Кустова Е.В., Прутько К.А. Heat and Radiative Fluxes in Strongly Nonequilibrium Flows Behind Shock Waves Vestnik St. Petersburg University, Mathematics, Vol. 9, No. 4, pp. 706–720 (год публикации - 2022) https://doi.org/10.1134/S1063454122040094

2. Косарева А.А., Кустова Е.В., Мехоношина М.А. Assessment of multi-temperature relaxation models for carbon dioxide vibrational kinetics Plasma Sources Science and Technology, 31, 104002 (год публикации - 2022) https://doi.org/10.1088/1361-6595/ac91f2

3. Морозов А.А., Титарев В.А. Planar Gas Expansion under Intensive Nanosecond Laser Evaporation into Vacuum as Applied to Time-of-Flight Analysis Entropy, V. 24, No, 12, 1738 (год публикации - 2022) https://doi.org/10.3390/e24121738


Аннотация результатов, полученных в 2023 году
Выполнено тестирование составного колебательного распределения в гибридном многотемпературном подходе. Анализ показал существенное снижение вычислительной эффективности подхода и возникновение неустойчивости расчета. Необходима дальнейшая оптимизация кода и вида составного распределения. Внедрены упрощенные процедуры расчета коэффициентов переноса для повышения эффективности расчетов. Добавлена возможность выбора потенциала взаимодействия частиц, с рекомендацией использовать наиболее детальную модель Д.Бруно (CNR, Bari), подходящую для широкого диапазона температур. Также в модуль расчета коэффициентов переноса добавлена возможность вычисления многотемпературных коэффициентов переноса на основе модели гармонического осциллятора. Разработан метод аппроксимации поуровневых коэффициентов скорости реакций на основе нелинейной регрессии. Метод позволил ускорить расчеты коэффициентов до 300000 раз без потери точности. Моделирование задачи о релаксации газа за ударной волной удалось ускорить более чем в 3 раза. Предложено обобщение подхода к получению граничных условий скольжения, обеспечивающее сохранение полного массового потока у твердой стенки. Исследовано влияние моделей диффузии в граничных условиях, показано значительное их воздействие на состав смеси и тепловой поток. Изучено воздействие коэффициента аккомодации в модели Максвелла на параметры течения воздуха в пограничном слое на линии торможения. Коэффициент оказывает значительное влияние на параметры, в связи с чем рекомендуется более детальное изучение свойств поверхностей, а также применение более детальных моделей рассеяния частиц поверхностью. Проанализированы разные способы взаимодействия MATLAB и Fortran: MATLAB Engine API, C/C++ code generator, MATLAB Compiler SDK и сторонние построчные трансляторы. Наиболее перспективных способом интеграции кода MATLAB в Fortran является использование C/C++ генератора кода для создания статических библиотек. Разработана аналитическая модель определения граничных условий на испаряющей поверхности при наносекундном лазерном испарении на основе решения нестационарного одномерного уравнения теплопроводности. Выведены обобщающие закономерности эффективной длительности испарения от температуры поверхности для широкого диапазона материалов. Показано, что данная модель позволяет определять температуру испаряющей поверхности по известной глубине абляции. Разработана программа для расчета импульсного испарения в осесимметричной постановке методом прямого статистического моделирования Монте-Карло с распараллеливанием на основе стандарта OpenMP для смесей газов с адаптивной пространственной сеткой и переменной областью расчета. Проведен анализ изменения формы облака испаренного вещества в процессе разлета. на основе прямого статистического моделирования методом Монте-Карло и решения модельного уравнения БГК. Показано сильное влияние степени разреженности течения на вытянутость формирующегося облака. При испарении большого числа монослоев наблюдается хорошее согласие с континуальным решением. Получены результаты тестирования одноуровневого алгоритма параллелизации, основанного на декомпозиции по данным и реализованного средствами OpenMP. Показано удовлетворительное ускорение “стандартного” алгоритма ПСМ при решении задач о расчете однородного потока и обтекания конуса сверхзвуковым разреженным потоком одноатомного газа. Установлено, что такое ускорение алгоритма связано с плохой масштабируемостью процедуры переиндексации частиц. Предложен алгоритм параллелизации по данным с модифицированной процедурой переиндексации частиц. Алгоритм основан на использовании дополнительных массивов и, как следствие, исключении всяких средств синхронизации. Применение алгоритма позволяет существенно ускорить время работы процедуры переиндексации частиц на 28 вычислительных ядрах одного узла для задачи однородного потока. Следует отметить, что фактическое ускорение по сравнению с исходным “классическим” последовательным алгоритмом оказывается еще выше, так как последовательная версия модифицированной процедуры переиндексации частиц (с которой и проводилось сравнение работы модифицированного алгоритма) работает на 15%-20% быстрее. Получены результаты тестирования одноуровневого алгоритма на основе декомпозиции по расчетной области, реализованного средствами MPI. Показана более высокая эффективность (24 на 28 ядрах) указанного алгоритма по отношению к одноуровневому алгоритму, основанному на принципе декомпозиции по данным. Проведен анализ возможности векторизации отдельных блоков кода ПСМ. Показана перспективность применения векторизации к отдельным процедурам блоков перемещения и столкновений частиц. Выработаны рекомендации по дальнейшему развитию многоуровневых алгоритмов. Разработан двухуровневый алгоритм параллелизации. Алгоритм основан на принципах декомпозиции по данным (нижний уровень) и декомпозиции по расчетной области (верхний уровень) и перенесён на целевую архитектуру – кластер “Политехник-Торнадо” СКЦ “Политехнический” (суперкомпьютер), содержащий узлы с распределённой памятью, каждый из которых выполнен по архитектуре с неравномерной памятью (NUMA). Проведена реализация алгоритма в виде программного многопоточного кода метода ПСМ и его отладка. Получены результаты тестирования двухуровневого алгоритма для расчетов разреженных газовых смесей. Показана хорошая масштабируемость алгоритма, в том числе для расчетов околоконтинуальных течений.

 

Публикации

1. А.А. Морозов, В.А. Титарев Эволюция формы облака газа при импульсном лазерном испарении в вакуум: прямоe статистическоe моделирование и решение модельного уравнения Журнал вычислительной математики и математической физики, Т. 63, N. 12, С. 1960-1972 (год публикации - 2023)

2. Быков Н.Ю., Фёдоров С.А. Алгоритм параллелизации по данным для метода прямого статистического моделирования течений разреженного газа на основе технологии OpenMP Журнал вычислительной математики и математической физики, 2023, том 63, номер 12, страницы 1993-2015 (год публикации - 2023) https://doi.org/10.31857/S0044466923120086

3. Быков Н.Ю., Федоров С.А., Захаров В.В. Outflow of a Gaseous Mixture with a Large Species Mass Ratio into Vacuum AIP Conference Proceedings, - (год публикации - 2023)

4. В.А. Титарев, А.А. Морозов Efficient Numerical Method for Model Kinetic Equations as Applied to Pulsed Laser Ablation into Vacuum AIP Conference Proceedings, - (год публикации - 2023)

5. Истомин В.А., Кустова Е.В., Прутько К.А. Different Approaches for Simulating Heat and Radiative Fluxes in Planetary Entry Problems AIP Conference Proceedings, - (год публикации - 2023)

6. Кравченко Д.С., Кунова О.В., Кустова Е.В., Мельник М.Ю. State-to-State Oxygen Kinetics behind Reflected Shock Waves: Assessment of Different Approaches AIP Conference Proceedings, - (год публикации - 2023)

7. Шакурова Л.А., Арминисе И., Кустова Е.В. Effect of slip boundary conditions on nonequilibrium reacting air flows Journal of Theoretical and Applied Mechanics, Vol.53. P. 253-269 (год публикации - 2023) https://doi.org/10.55787/jtams.23.53.3.253

8. Шакурова Л.А., Кустова Е.В. Slip Boundary Conditions for Gas Mixture Flows with State-to-State Vibrational-Chemical Kinetics AIP Conference Proceedings, - (год публикации - 2023)