Разработка, реализация и исследование вычислительных методов высокого порядка точности для решения уравнений специальной релятивистской гидродинамики с использованием адаптивных сеток на суперЭВМ

КАРТОЧКА ПРОЕКТА ФУНДАМЕНТАЛЬНЫХ И ПОИСКОВЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ

Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.

ОБЩИЕ СВЕДЕНИЯ

Номер проекта 23-11-00014

НазваниеРазработка, реализация и исследование вычислительных методов высокого порядка точности для решения уравнений специальной релятивистской гидродинамики с использованием адаптивных сеток на суперЭВМ

Руководитель Куликов Игорь Михайлович, Доктор физико-математических наук

Организация финансирования, регион Федеральное государственное бюджетное учреждение науки Институт вычислительной математики и математической геофизики Сибирского отделения Российской академии наук , Новосибирская обл

Конкурс №80 - Конкурс 2023 года «Проведение фундаментальных научных исследований и поисковых научных исследований отдельными научными группами»

Область знания, основной код классификатора 01 - Математика, информатика и науки о системах; 01-218 - Математическое моделирование физических явлений

Ключевые слова Математическое моделирование, суперкомпьютерные вычисления, численные методы высокого порядка точности, вычислительная астрофизика, уравнения специальной релятивистской гидродинамики, уравнения специальной релятивистской магнитной гидродинамики, адаптивные сетки

Код ГРНТИ28.17.19

ИНФОРМАЦИЯ ИЗ ЗАЯВКИ

Аннотация
Представлен проект разработки математического обеспечения и программного инструментария для моделирования астрофизических релятивистских течений газа на суперЭВМ с учетом магнитного поля. Главной научной целью проекта являются новые параллельные вычислительные методы решения уравнений специальной релятивистской (магнитной) гидродинамики, реализованные в виде программного инструментария на основе проблемно-ориентированной модели вычислений на регулярных, статических и динамических адаптивных сетках. Научная актуальность проекта связана с невозможностью постановки и проведения полномасштабных астрофизических экспериментов в части исследования релятивистских течений газа с учетом магнитного поля, необходимостью высокого пространственного разрешения, и сложностью численного решения подобных задач. В проекте будут разработаны новые параллельные вычислительные методы типа Годунова для решения уравнений специальной релятивистской (магнитной) гидродинамики. Для их разработки будут использованы три подхода к решению задачи Римана: схема Русанова, методы на основе полиномиальной матрицы вязкости и методы, основанные на записи уравнений в виде симметрически гиперболической системы. Для достижения высокого порядка точности на гладких решениях и малой диссипации решения на разрывах будет использована кусочно-параболическая и кусочно-кубическая реконструкция физических переменных. В основе программного инструментария, реализующего разработанные численные методы, будет использовано представление расчетной сетки в виде множества микросеток небольшого размера, каждая из которых полностью размещается в кэш-памяти одного процессорного ядра. Такое представление позволяет эффективно использовать проблемно-ориентированную модель выполнения задач (в зарубежной литературе task-based execution model), что обеспечивает балансировку загрузки между параллельными процессами при использовании не только регулярных, но и адаптивных сеток. В проекте для воспроизведения разномасштабных компонент течения релятивистского газа будут использованы регулярные, статические и динамические адаптивные сетки. Настоящий проект является качественным продолжением завершенного в 2022 году проекта РНФ коллектива авторов с учетом всех замечаний и комментариев рецензентов. Более того, в новом проекте будет использован весь потенциал разработанных ранее технологий. Предлагаемая тематика проекта является прорывной, а результаты проведенных исследований создадут предпосылки для формирования новых научных направлений в части разработки программных инструментариев петафлопсного и экзафлопсного уровня. Научная новизна и главное конкурентное преимущество настоящего проекта является одновременное использование новых подходов, как к конструированию численных методов, так и к используемым моделям параллельных вычислений. Такое сочетание численных методов и параллельных вычислительных технологий позволяет получить эффективный программный инструментарий для моделирования астрофизических релятивистских течений газа с учетом магнитного поля. Отметим, что тематика проекта значительно выходит за область моделирования релятивистских течений и может быть расширена на другие задачи вычислительной астрофизики, где важно высокое пространственное разрешение. Таким образом, в результате выполнения проекта будет получена достаточно универсальная вычислительная технология для суперкомпьютерного моделирования релятивистских астрофизических объектов. В дальнейшем разработанный программный инструментарий позволит перейти к передовым цифровым производственным технологиям – проектированию и моделированию гидродинамических течений в различных областях знаний на современных архитектурах суперЭВМ. Результаты проекта позволят перейти к импортозамещению инициатив, подобных «ExaHyPE - An Exascale Hyperbolic PDE Engine».

ОТЧЁТНЫЕ МАТЕРИАЛЫ

Публикации

1. Куликов И.М., Караваев Д.А. Использование схемы Лакса-Фридрихса с малой диссипацией для моделирования релятивистских течений газа Сибирский журнал вычислительной математики, Т. 26, № 4. – С. 389-400 (год публикации - 2023)
10.15372/SJNM20230404

2. Куликов И.М. Использование кусочно-параболической реконструкции физических переменных в схеме Русанова. I. Уравнения специальной релятивистской гидродинамики Сибирский журнал индустриальной математики, Т. 26, № 4 (год публикации - 2023)
10.33048/SIBJIM.2023.26.4

3. Kulikov I.M. Using Adaptive Mesh Renement Technique for Numerical Modeling of Relativistic Jets Lobachevskii Journal of Mathematics, V. 45. - P. 60-66 (год публикации - 2024)
10.1134/S1995080224010293

4. Черных И.Г., Мисилов В.Е., Акимова Е.Н., Куликов И.М. The Effect of Data Structuring on the Parallel Efficiency of the HydroBox3D Relativistic Code Lecture Notes in Computer Science, V. 14388. – P. 271-284 (год публикации - 2023)
10.1007/978-3-031-49432-1_21

5. Куликов И.М. An Operator-Splitting Approach to the Godunov Method for Numerically Solving the Special Relativistic Hydrodynamics Equations in Symmetric Hyperbolic Form Lobachevskii Journal of Mathematics , V. 46. - P. 112-120. (год публикации - 2025)
10.1134/S1995080224608294

6. Ульяничев И.С. The Scalable Computational System on Base Mobile Devices for Numerical Modeling in Astrophysics Lobachevskii Journal of Mathematics , V. 46. - P. 157-168 (год публикации - 2025)
10.1134/S199508022460835X

7. Куликов И.М., Черных И.Г., Караваев Д.А., Элбакян В.Г., Абароа Л., Ромеро Г.Э. A Partitioned Global Address Space Parallel Code for Numerical Modeling in Special Relativistic Hydrodynamics Lobachevskii Journal of Mathematics, V. 46. - P. 4356-4392 (год публикации - 2025)
10.1134/S1995080225611051

8. Куликов И.М. Using Piecewise Parabolic Reconstruction of Physical Variables in Rusanov’s Solver. II. Special Relativistic Magnetohydrodynamics Equations Journal of Applied and Industrial Mathematics, V. 18, I. 1. – P. 81-92 (год публикации - 2024)
10.1134/S1990478924010083

9. Куликов И.М., Черных И.Г., Караваев Д.А., Пригарин В.Г., Сапетина А.Ф., Ульяничев И.С., Завьялов О.Р. The Roofline Analysis of Special Relativistic Hydrodynamics Coarray Fortran Code Supercomputing Frontiers and Innovations, V. 10, I. 3. – P. 4-10 (год публикации - 2023)
10.14529/jsfi230301

10. Ульяничев И.С., Винс Д.В. Архитектура распределенной вычислительной системы на базе мобильных устройств Проблемы информатики, № 1 (62). – С. 74-97 (год публикации - 2024)
10.24412/2073-0667-2024-1-74-97

11. Куликов И.М. Использование матрицы вязкости при конструировании численного решения задачи Римана для уравнений специальной релятивистской гидродинамики Сибирский журнал вычислительной математики, Т. 28, № 1. – С. 75-87 (год публикации - 2025)
10.15372/SJNM20250106

12. Куликов И.М. Adaptive Mesh Refinement with a «Garden» Technique for Solving the Special Relativistic Hydrodynamics Equations Fluid Dynamics, V. 59. - № 8. - P. 2453–2457 (год публикации - 2024)
10.1134/S0015462824605072

13. Куликов И.М. О конструировании численной схемы для уравнений специальной релятивистской гидродинамики на основе симметризации С.К. Годунова Сибирский журнал вычислительной математики (год публикации - 2026)

14. Куликов И.М., Черных И.Г., Элбакян В.Г., Караваев Д.А., Ульяничев И.С., Сапетина А.Ф., Пригарин В.Г., Завьялов О.Р., Ломакин С.В., Акимова Е.Н., Мисилов В.Е. Adaptive Mesh Refinement Technique for High-Performance Hydrodynamic Modeling of Relativistic Flows Communications in Computer and Information Science (год публикации - 2025)

15. Куликов И.М., Караваев Д.А. One Construction of HLLC Riemann Solver for Special Relativistic Magnetohydrodynamics Equations Lobachevskii Journal of Mathematics (год публикации - 2026)

Аннотация результатов, полученных в 2024 году
Краткая аннотация В ходе работы над проектом в 2024 году была разработана физико-математическая модель взаимодействия релятивистского ветра из активных ядер галактик с молекулярными облаками. Были показаны механизмы развития неустойчивости типа Рихтмайера-Мешкова при помещении облака в установившийся поток релятивистского газа и неустойчивости типа Кельвина-Гельмгольца при набегании релятивистского газа на молекулярное облако. Для разрешения численной модели были разработаны два численных метода. Первый численный метод основан на разложении матрицы Якоби в рамках задачи Римана с помощью полиномов Чебышева. Второй численный метод основан на записи уравнений специальной релятивистской гидродинамики в виде гиперболической симметрической системы, что позволяет помимо численного решения формулировать критерий гиперболичности решаемых уравнений. Оба численных метода были детально верифицированы на авторском наборе тестов, часть из которых допускает аналитическое решение. Численная методика была реализована с использованием технологии адаптивных сеток, в основе которой лежит понятие «микросетка» в виде атомарной конструкции. Для параллельной реализации адаптивных сеток на архитектурах с распределенной памятью использовалась технология Coarray Fortran. На узле кластера Сибирского суперкомпьютерного центра было показано 30-кратное ускорение при использовании 32 ядер. Полная аннотация Одним из важнейших результатов второго года выполнения проекта стала формулировка условий гиперболичности уравнений специальной релятивистской гидродинамики. Обосновано использование регуляризации численного решения при приближении физических параметров течения газа к условиям гиперболичности. Однако отметим, что гиперболичность уравнений специальной релятивистской гидродинамики при использовании уравнения состояния идеального газа не нарушается при любых физических допустимых параметрах газа. Тем не менее, в случае моделирования разреженного холодного нерелятивистского газа мы приближаемся к границе гиперболичности, в этой области необходимо использование регуляризации численного решения с использованием дополнительного уравнения для плотности релятивистской энтропии. Запись условий гиперболичности основана на представлении уравнений в виде симметрической гиперболической системы и на формулировке критерия положительной определенности матрицы при производной по времени. Помимо условия гиперболичности на основе представления уравнений в виде симметрической гиперболической системы, был разработан новый численный метод решения задачи Римана для уравнений специальной релятивистской гидродинамики. Положительная определенность матрицы перед производной по времени позволяет с помощью корректной библиотечной процедуры сингулярного разложения матрицы найти квадратный корень матрицы, а затем с использованием элементарных матричных операций и корректной библиотечной процедуры спектрального разложения симметричной матрицы перейти к характеристическим переменным. При этом была показана необходимость использования метода разделения операторов в рамках задачи Римана для учета работы сил давления и адвективного переноса для избегания артефактов типа «звуковой точки». Таким образом, на уравнения специальной релятивистской гидродинамики был расширен подход, предложенный в работе [Kulikov, Lobachevskii Journal of Mathematics, 2022, DOI 10.1134/S1995080222090153]. Численная методика была детально верифицирована на авторском наборе тестов. На втором году выполнения проекта был разработан новый численный метод решения уравнений специальной релятивистской магнитной гидродинамики с использованием матрицы вязкости. Для этого в рамках задачи Римана используется разложение матрицы Якоби через полиномы Чебышева. Аналитически было показано, что использование полинома нулевого порядка дает в точности схему Лакса-Фридрихса, а полином первого порядка восстанавливает в точности схемы Русанова. В конструкции схемы нами был использован третий порядок полинома Чебышева. Как и для предыдущего метода была проделана детальная верификация численной методики. При достаточно успешной верификации была обнаружена тенденция к появлению нефизичных осцилляций, особенно при использовании кусочно-полиномиальных реконструкций физических переменных. Однако стоит отметить, что отсутствие необходимости построения спектрального разложения в рамках задачи Римана превосходит проявление этих незначительных тенденций. Была разработана программная реализация адаптивных сеток для архитектур с распределенной памятью. В основе программной модели адаптивных сеток лежит понятие микросетки как атомарной структуры данных. Расчетная область на первом уровне разбивается с помощью регулярной внешней сетки, а каждая ячейка такой сетки на втором уровне суть многомерный массив микросеток со стороной равной степени двойки. На основе последовательной нумерации ячеек внешней сетки и микросеток в рамках одной ячейки формируется список микросеток, который равномерно распределяется по вычислительным процессам. Фактически расчеты на адаптивных сетках были сведены к модели параллельных вычислений типа MAP/REDUCE, которая может быть реализована потенциально на любой распределенной вычислительной системе. Для параллельной реализации для архитектур с распределенной памятью была использована технология Coarray Fortran. На узле кластера Сибирского суперкомпьютерного центра, оснащенного двумя 24-ядерными процессорами, было показано 30-кратное ускорение параллельной реализации адаптивных сеток при использовании 32 ядер. Также для организации вычислений с использованием адаптивных сеток была использована вычислительная система на основе мобильных устройств, для которой была построена оценка масштабируемости и оптимального числа вычислительных устройств. Такая оценка масштабируемости была подтверждена экспериментально на реальном числе устройств и с помощью имитационной модели на нескольких тысячах мобильных устройств. Была исследована задача взаимодействия релятивистского ветра из активного ядра галактик с молекулярным облаком. Было предложены две постановки задачи такого взаимодействия. При помещении облака в сформировавшийся релятивистский поток газа было показано развитие неустойчивостей типа Рихтмайера-Мешкова. В случае набегания потока релятивистского газа на облако имеет место развитие неустойчивости типа Кельвина-Гельмгольца. Результаты вычислительных экспериментов были валидированы на наблюдательных данных, полученных группой процессора Густаво Ромеро в институте радиоастрономии г. Ла Плата, Аргентина.

Публикации

Аннотация результатов, полученных в 2025 году
Краткая аннотация В ходе работы над проектом в 2025 году была разработана физико-математическая модель взаимодействия замагниченных релятивистских потоков газа. Модель основана на переопределенной системе уравнений релятивистской магнитной гидродинамики, записанной в консервативной форме и в форме симметрической гиперболической системы. Такая запись уравнений, помимо конструирования численной схемы, позволяет сформулировать критерий гиперболичности решаемых уравнений и корректность получаемого численного решения. Симметрическая запись уравнений позволила построить оригинальную процедуру решения задачи Римана на основе HLLC схемы с выделением контактного разрыва. Верификация разработанной численной методики показала свою эффективность на классическом наборе тестов. Численная модель была реализована с использованием аппарата адаптивных сеток в виде параллельного программного кода для архитектур с распределенной памятью на основе комбинации Coarray Fortran и OpenMP. Микросетка как атомарная структура данных и списочное представление адаптивных сеток позволило использовать для реализации произвольную вычислительную систему типа MAP/REDUCE, например вычислительную систему на основе мобильных устройств. На кластере НКС-1П Сибирского суперкомпьютерного центра была показана высокая масштабируемость параллельного кода, так достигнуто 42-кратное ускорение на 48 ядрах при использовании сочетания технологий Coarray Fortran и OpenMP. С помощью программного кода были исследованы задачи столкновения молекулярных облаков, фрагментации замагниченного молекулярного облака при его взаимодействии с релятивистским ветром и формирования релятивистских струй при гамма всплесках. Полная аннотация Первым из важнейших результатов третьего года выполнения проекта стал новый численный метод решения уравнений специальной релятивистской магнитной гидродинамики на основе записи уравнений в виде симметрической гиперболической системы. Так переопределенная уравнением для плотности энтропии система уравнений релятивистской магнитной гидродинамики может быть записана в трех видах: в форме законов сохранения для вектора консервативных переменных, которые разрешаются схемой Годунова; в неконсервативной форме для вектора физических переменных; в форме симметрической гиперболической системы для вектора примитивных переменных. Последняя форма записи позволяет сформулировать критерий гиперболичности решаемых уравнений и использовать аппарат корректных процедур вычислительной линейной алгебры для конструирования решения задачи Римана. Переопределенность системы позволяет нам ввести процедуру регуляризации, которая особенно важна при моделировании холодного нерелятивистского разреженного газа. Новый численный метод основан на использовании симметрической гиперболической системы уравнений для определения крайних характеристик в задаче Римана и соотношений на тангенциальном контактном разрыве, в том числе и при вырожденной нормальной компоненте магнитного поля. Верификация разработанной численной методики показала точное воспроизведение статичного контактного разрыва, малую диссипацию подвижного контактного разрыва по сравнению с другими схемами решения задачи Римана, робастность схемы при сильных ударных волнах, корректность воспроизведения сложных течений при взаимодействии магнитных волн. Особо стоит отметить, что при воспроизведении сильной ударной волны с разрывным тангенциальным магнитным полем численный метод смог корректно воспроизвести пики плотности при близком расположении быстрых и медленных магнитных волн. При этом особенность корректно была воспроизведена с использованием всего пяти ячеек, в то время как другие численные методики (например, методы из кода CAFE) требуют минимум двадцати ячеек для корректного воспроизведения такой особенности. Вторым важнейшим результатом третьего года выполнения проекта стала разработка параллельного кода с использованием аппарата адаптивных сеток для архитектур с распределенной памятью на основе комбинации технологий Coarray Fortran для реализации межпроцессного взаимодействия и OpenMP для многопоточной реализации. Ключевой частью стала архитектура программного кода, которая позволила отделить три компоненты: организацию адаптивных сеток, реализацию численной схемы и модель параллельных вычислений. В основе адаптивных сеток лежит понятие микросеток как атомарной структуры, организованных в регулярные массивы со стороной равной степени двойка в рамках внешней регулярной сетки. Такой способ задания адаптивных сеток позволяет использовать списочное представление микросеток, проецируемое на произвольную вычислительную систему MAP/REDUCE. Так была разработана вычислительная система на основе мобильных устройств, для которой была показана масштабируемость до нескольких десятков устройств, использующих различные способы подключения к сети: WiFi, мобильные сети и проводной интернет различных провайдеров, и различные архитектуры процессоров: мобильные процессоры, процессоры ARM и x86-64. На кластере НКС-1П Сибирского суперкомпьютерного центра было установлено, что подбором оптимального размера микросеток достигается максимально возможное ускорение, ограниченное многопоточной реализацией без использования коммуникаций. Было получено 40-кратное ускорение на 48 ядрах (два узла, по два процессора на каждом с 12 ядрами) с использованием комбинации технологий Coarray Fortran и OpenMP. Третий важнейший результат третьего года выполнения проекта – это систематизация сценариев взаимодействия релятивистских потоков газа в широкополосной области галактик. Задача столкновения молекулярных облаков была решена в четырех постановках (центральное столкновение, столкновение со смещенными центрами, столкновение под прямым углом, столкновение под прямым углом с запаздыванием) в двух геометриях облаков (сферические и фрактальные формы). Были установлены условия образования первых и вторых стадий развития неустойчивостей типа Кельвина-Гельмгольца и неустойчивости типа Рихтмайера-Мешкова, а также формирование ударных волн и фрагментацию облаков в ходе взаимодействия с межзвездным ветром. В задаче о гамма всплеске была установлена зависимость формы остатка при взрыве шара от соотношения гидродинамического и магнитного давления. В задаче обтекания релятивистским ветром молекулярного облака в продольном магнитном поле получены условия фрагментации «хвоста» облака. Результаты вычислительных экспериментов были валидированы на наблюдательных данных, полученных группой процессора Густаво Ромеро в институте радиоастрономии г. Ла Плата, Аргентина.

Публикации

Возможность практического использования результатов
В результате выполнения Проекта получена новая вычислительная технология для суперкомпьютерного моделирования астрофизических объектов. В дальнейшем разработанный программный инструментарий создаст возможность перехода к передовым цифровым производственным технологиям – проектированию и моделированию гидродинамических течений в различных областях знаний на массивно-параллельных суперЭВМ. Результаты настоящего Проекта уже сейчас позволяют перейти к суверенным технологиям математического моделирования, подобных «ExaHyPE - An Exascale Hyperbolic PDE Engine».