Аннотация результатов, полученных в 2019 году
Исследование процессов, происходящих при сложных течениях жидкости в нетривиальной геометрии, является фундаментальной научной задачей, которая имеет большое число приложений в различных областях знания, а также важна и для решения практических задач. Для успешного проведения фундаментальных исследований в этой области необходима разработка методов и алгоритмов анализа процессов и основанного на них программного обеспечения. Исследования требуют больших затрат компьютерного времени, поэтому для эффективного выполнения моделирования необходимо учитывать современную архитектуру массивно-параллельных и гибридных вычислительных систем при разработке алгоритмов и программного обеспечения. Наш проект направлен на разработку методов моделирования течения сложных жидкостей в сложной геометрии, а также сложных течений жидкости. Наше исследование основано на модификациях метода решеточного уравнения Больцмана. Выбор этого метода обусловлен двумя факторами – возможностью реализации высокой степени параллелизма программного обеспечения при моделировании и гибкостью метода в его реализации для практически интересных задач. Метод решеточного уравнения Больцмана был предложен в работах G. McNamara and G. Zanetti, Phys. Rev. Lett., том 61 (1988) стр 2332 и F. Higuera and J. Jimenez, Europhys. Lett., том 9(1989) стр 663. Две основные идеи метода решеточного уравнения Больцмана – это дискретизация скоростей на решетке и представление интеграла столкновений в виде релаксационного члена. Первая идея основана на методе решеточного газа, лучшее изложение которого во всех деталях в статье U. Frish, D. d'Humieres, B. Hasslacher, P. Lallemand, Y. Pomeau, and J.-P. Rivet, Lattice Gas Hydrodynamics in Two and Three Dimensions, Complex Systems, том 1 (1987) стр. 649. Вторая идея взята из работ в области физики плазмы - P.L. Bhatnagar, E.P. Gross, and M. Krook, A Model for Collision Processes in Gases. I. Small Amplitude Processes in Charged and Neutral One-Component Systems, Physical Review, том 94 (1954) стр. 511 – метод получил название по первым буквам имен авторов – метод BGK. Оказалось, что моделирование с помощью такого подхода качественно воспроизводит не только простые движения жидкости, но и применимо для более сложных задач, например, для магнитной гидродинамики S. Chen, H. Chen, D. Martinez, and W.H. Matthaeus, Lattice Boltzmann Model for Simulation of Magnetohydrodynamics, Phys. Rev. Lett., том 67 (1991) стр. 3776. Это резко подняло интерес к методу и были проведены работы по его теоретическому обоснованию. Также этот метод имеет преимущества перед моделированием с помощью уравнений гидродинамики в потенциальной возможности проведения эффективных параллельных вычислений. Это имеет особый интерес в настоящее время в связи с тем, что суперкомпьютерные системы построены на глубокой степени параллелизма. Наш круг задач на первом этапе проекта состоял в выборе адекватного метода LBM с целью моделирования движения жидких частиц с определенными свойствами в окружающей жидкости. При этом, внешние границы окружающей жидкости могут быть сложными и на них необходимо использование адекватных граничных условий. Кроме того, на границах частица-жидкость необходимо отслеживать интерфейс между двумя жидкостями. Для наших целей в качестве базовой более выбрана комбинация идеи хромодинамической модели в модификации Густенсена с соавторами с идеей использования псевдопотенциала Шана-Чена. В качестве основных дискретизаций скоростей выбраны модели D2Q9 для моделирования двумерных задач и для моделирования трехмерных задач – D3Q19 и D3Q27. Мы проанализировали применимость для нашей задачи двух вариантов интеграл столкновений. Первый, это метод потенциала Чана-Шена. Он учитывает эффективно взаимодействие частиц разного типа в зоне интерфейса. Метод достаточно прост в реализации, но время счета зависит от толщины интерфейса, контролируемое константой взаимодействия Шана-Чена. Чем уже интерфейс ( в идеале, 1-2 шага сетки), тем короче время расчета. Второй, это метод градиента цвета в модификации Леклера. Оператор столкновения в этом случае есть произведение оператора ``перекраски’’ на сумму операторов BGK и оператора интерфейса. Оператор интерфейса играет ту же роль, что и оператор взаимодействия компонент в методе Чана-Шена, но определяется градиентом цвета. Этот метод более устойчив, но требует тонкой настройки параметров расчета, которых в этом методе больше. Мы реализовали оба метода в геометриях D2Q9 и D3Q27 и провели тестовые испытания. Первое, мы проверили формулу Стокса для движения твердого шара (``жидкость с бесконечной вязкостью’’) в вязкой жидкости. Формула была проверена в диапазоне изменения радиуса в два раза. Второе, мы проверили в геометрии скоростей D2Q9 точность моделирования течения Пуазейля с различными граничными условиями двумя вариантами интеграла столкновений. Третье, мы проверили формулу Рейнольдса для собственных колебаний вязкой капли в вязкой жидкости в геометрии скоростей D3Q27. Было установлено, что при выбранных параметрах расчета зависимость частоты от радиуса следует закону Рейнольдса с необходимой точностью. Также было установлено соответствие формуле по зависимости от вязкости. Расчеты были проведены для первой нетривиальной гармонике, которая соответствует колебаниям эллипса вращения вокруг равновесной сферической формы. Четвертое, мы разработали методику генерации двумерной пены. Пена строится из линейных отрезков внутри квадрата большого размера. Алгоритм завершается при условии образования пути с одной грани квадрата на другую. Этим обеспечивается необходимое требование жесткости структуры. Использовано предельное сравнение с теорией, которая вычисляет параметры полигонов, образованных на плоскости бесконечными прямыми. За счет этого сравнения предложено определение плотности пены. Полученные структуры имеют качественно похожие свойства на экспериментальные реализации пенных структур. В частности, низкую плотность, в несколько процентов и даже долей процента от объемной плотности регулярной решетки. В распоряжении коллектива имеется гибридный кластер Manticore и многоядерный узел R2D26, построенные на средства завершенного гранта РНФ 14-21-00148 (http://rscf158.comphys.ru/clusters.html) и гибридный Суперкомпьютерный комплекс НИУ ВШЭ (https://it.hse.ru/hpc). Проведены предварительные испытания параллельных версий программ на гибридном кластере (CPU+GPU, MPI+CUDA) и на многоядерном узле с применением OpenMP и AVX512. Проведен анализ медицинской литературы с целью определения параметров реальных экспериментов по переносу частиц в кровеносных сосудах. Литература по экспериментальным значениям была изучена перекрестно с целью выявления надежных данных. В обзоре приведены значения для типичных геометрических размеров сосудов, характерных скоростей кровотока, профилю, пульсирующей скорости, размеру частиц крови и размеру злокачественных клеток и т.п. для разных организмов, включая человеческий. Подготовлена статья M. Guskova, V. Shchur, L. Shchur SIMULATION OF DROP OSCILLATION USING THE LATTICE BOLTZMANN METHOD Статья принята в журнал Lobachevskii Journal of Mathematics (WoS, Scopus) Подготовлена краткая статья для конференции НИУ ВШЭ им. Арменского К.О. Загвоздина и Е.А. Буровский СРАВНЕНИЕ РАЗЛИЧНЫХ СПОСОБОВ УЧЁТА ГРАНИЧНЫХ УСЛОВИЙ В МЕТОДЕ РЕШЁТОЧНОГО УРАВНЕНИЯ БОЛЬЦМАНА НА ПРИМЕРЕ ДВУМЕРНОГО ТЕЧЕНИЯ КУЭТТА Подготовлена краткая статья для конференции НИУ ВШЭ им. Арменского О.Д. Клименкова АЛГОРИТМ ГЕНЕРАЦИИ ОТРЕЗКОВ НА ПЛОСКОСТИ ДЛЯ МОДЕЛИРОВАНИЯ ДВУМЕРНОЙ ПЕНЫ Принята для доклада и публикации в сборнике (РИНЦ) Сделаны доклады на трех конференциях, подготовлены доклады для двух конференций.

Аннотация результатов, полученных в 2020 году
Исследование процессов, происходящих при сложных течениях жидкости в нетривиальной геометрии, является фундаментальной научной задачей, которая имеет большое число приложений в различных областях знания, а также важна и для решения практических задач. Для успешного проведения фундаментальных исследований в этой области необходима разработка методов и алгоритмов анализа процессов и основанного на них программного обеспечения. Наш проект направлен на разработку методов моделирования течения сложных жидкостей в сложной геометрии, а также сложных течений жидкости. Наше исследование основано на модификациях метода решеточного уравнения Больцмана. Выбор этого метода обусловлен двумя факторами – возможностью реализации высокой степени параллелизма программного обеспечения при моделировании и гибкостью метода в его реализации для практически интересных задач. В 2020 году проведено исследование влияния собственных частот капель на неустойчивость их движения в замкнутом пространстве, заполненном жидкостью. Исследование выявило существенное влияние границ на устойчивость движения6 Выяснено, что соотношения геометрических параметров, скоростей движения капель и жидкости определяют характерные частоты, резонансы между которыми могут приводить к неустойчивости регулярного движения потока капель. Построена модель течения жидкости в замкнутой геометрии с учетом реального пространственного и временного профиля потока плазмы в сосудах и распределения кровяных частиц по размерам. Исследуется распределение скоростей частиц в зависимости от их размера. Разработан программный код для моделирования отжига популяции на гибридных вычислительных системах и проведено тестирование с двумя миллионами реплик на суперкомпьютерном кластере cHARISMa НИУ ВШЭ на 26 узлах и 104 графических ускорителях. Защищена кандидатская диссертация исполнителем проекта Л.Ф. Зигануровой по тематике высокопроизводительных вычислений – «Изучение моделей виртуальных времен в алгоритмах параллельного моделирования дискретных событий», что близко к тематике настоящего проекта. https://www.hse.ru/science/disscoun/council_engineering/news/405462865.html В распоряжении коллектива имеется гибридный кластер Manticore и многоядерный узел R2D26, построенные на средства завершенного гранта РНФ 14-21-00148 (http://rscf158.comphys.ru/clusters.html) и гибридный Суперкомпьютерный комплекс НИУ ВШЭ (https://it.hse.ru/hpc). Результаты проведенных экспериментов представлены также в форме видео (как двумерного сечения, так и трехмерного представления) с интервалом в 50 шагов по времени. Они были воспроизведены на конференциях, лекциях и семинарах. Разработан курс лекций «Вычислительная гидродинамика и кинетика» для студентов магистерской программы «Суперкомпьютерное моделирование в науке и инженерии» НИУ ВШЭ.

Аннотация результатов, полученных в 2021 году
Исследование процессов, происходящих при сложных течениях жидкости в нетривиальной геометрии, является фундаментальной научной задачей, которая имеет большое число приложений в различных областях знания, а также важна и для решения практических задач. Для успешного проведения фундаментальных исследований в этой области необходима разработка методов и алгоритмов анализа процессов и основанного на них программного обеспечения. Наш проект направлен на разработку методов моделирования течения сложных жидкостей в сложной геометрии, а также сложных течений жидкости. Наше исследование основано на модификациях метода решеточного уравнения Больцмана. Выбор этого метода обусловлен двумя факторами – возможностью реализации высокой степени параллелизма программного обеспечения при моделировании и гибкостью метода в его реализации для практически интересных задач. В 2021 году проведено исследование течения частицы конечного размера в узком канале. Такая постановка задачи имитирует как эксперименты в области микрофлюидики, так и перенос частиц в кровеносных сосудах. Движущийся поток жидкости в канале имеет неравномерный профиль скорости, например профиль Пуазейля. Частица в таком потоке испытывает влияние испытывает сдвиговую силу, направленную перпендикулярно течению. В зависимости от параметров задачи (вязкость, число Рейнольдса, поверхностное натяжение, отношение размера частицы к ширине канала и т.п.) частица может сдвигаться в оси канала, к стенке канала или принимать промежуточное положение, при этом скорость частицы медленнее, чем скорость течения. Нами построена зависимость поступательной скорости частицы и угловой скорости частицы при умеренных числах Рейнольдса порядка единицы. Обнаружено, что разница скоростей частицы и жидкости пропорциональна квадрату отношения диаметра частицы к ширине канала (так называемое confinement ratio). Угловая скорость частицы пропорциональна первой степени этого отношения. Также обнаружено, что при значениях confinement ratio более 0.2 (узкий канал), частица прижимается к оси канала и ее замедление растет по мере уменьшения ширины канала. При значениях confinement ratio менее 0.2, частица занимает промежуточное положение, зависящее от ширины канала. При этом положение квазистационарное – частица испытывает поперечные колебания с частотой, пропорциональной первой степени confinement ratio. По проведенным исследованиям подготовлена к публикации статья Guskova, E. Burovski, V. Shchur, and L. Shchur, “Simulation of the particle dynamics in the two-dimensional Poiseuille flow with low Reynolds number”, которая принята к публикации в журнал Lobachevskii Journal of Mathematics. В такой же геометрии были проведены численные эксперименты по моделированию коллективных колебаний цепочки частиц. В начальный момент моделирования частицы располагались эквидистантно вдоль оси канала. Колебания возбуждались, например, сдвигом начального положения средней частицы цепочки поперек течения. Выяснено, что сдвиговое течение Пуазейля и близость стенок канала являются причиной возникновения коллективных колебаний цепочки частиц. Измеренная интенсивность спектра колебаний позволяет выявить закон дисперсии. Это закон оказался линейным для продольных акустических колебаний. Поперечные колебания имеют кусочно-линейный спектр, обусловленный близостью цепочки к стенкам канала. Можно было ожидать наличие щели в поперечных колебаниях, поскольку цепочка имеет выделенное стационарное положение внутри канала. Однако, оценка времени возврата цепочки в стационарное положение больше типичных частот спектра. Наличие и природа щели в дисперсионном законе поперечных колебаний остается открытым вопросом. Заметим, что коллективные колебания в цепочке движущихся частиц в течении Пуазейля обнаружены впервые. По материалам исследования опубликован препринт M. Guskova and L. Shchur, “Spectrum of chain oscillation in Poiseuille flow”, https://arxiv.org/abs/2112.06673, статья направлена в рецензируемый журнал. Для исследования особо сложных систем необходима реализация разработанных методов и алгоритмов для проведения моделирования на гетерогенных вычислительных системах. Мы проводим исследования на суперкомпьютере cHARISMa в НИУ ВШЭ. Наши реализации параллельных алгоритмов учитывают вычислительную архитектуру этого вычислительного кластера, которая является наиболее распространенной архитектурой суперкомпьютерных систем, используемых для моделирования в области естественных наук и искусственного интеллекта. Это многоядерные многопроцессорные узлы Intel Xeon Gold/AMD EPYC с ускорителями вычислений NVIDIA Tesla V100/A100, соединенные InfiniBand EDR. Нами разработана методика эффективного перераспределения узлов вычислительной сетки между вычислительными узлами для моделирования течений методом решеточных уравнений Больцмана на динамических гиперкубических сетках. Вычислительное поле делится на области с учетом однородности шага моделирования по времени, который для решеточного уравнения Больцмана меняется дискретно, в два раза, при измельчении сетки. Иными словами, на мелкой сетке объем необходимых вычислений удваивается. Каждой области присваивается дискретный вес сложности вычислений. Также учитывается добавочное время на интерполяцию величин в узлах на границах изменения пространственного шага сетки. Таким образом, вычислительные затраты одного шага (шага неизмельченной сетки) примерно одинаковы для каждой области. Информация об областях хранится в специальной таблице, построенной с учетом объема памяти и сложности вычислений. По сути, это блок данных для распределения между процессорными узлами. Для разбиения на вычислительного поля на области используются скоростные методы оптимизации (например, алгоритмы отжига). При условии больших временных затрат в промежутке между измельчением сетки и перераспределением узлов, происходит очевидный выигрыш за счет равномерности загрузки узлов. Такой подход был продемонстрирован на подготовительной задаче отжига популяции с использованием 104 графических ускорителей Nvidia V100 на кластере cHARISMa, при которой происходила релаксации в основное состояние системы из более двух миллионов реплик исследуемой задачи статистической механики. По материалам этой части исследований опубликована статья A. Russkov, R. Chulkevich, L. Shchur, Algorithm for replica redistribution in an implementation of the population annealing method on a hybrid supercomputer architecture, Computer Physics Communications, 261, 107786 (2021). Адаптация центральной идеи алгоритма (оптимизация распределения по блокам упорядоченной таблицы) для основной задачи исследования течений жидкости методом решеточного уравнения Больцмана изложена в статье L. Ziganurova and L. Shchur, “Algorithm for adaptive mesh redistribution in Lattice Boltzmann simulations”, которая принята к публикации в журнале Lobachevskii Journal of Mathematics. Построена модель течения жидкости в замкнутой геометрии с учетом реального пространственного и временного профиля потока плазмы в сосудах и распределения частиц по размерам. При моделировании плотной группы частиц в канале с пульсирующим потоком нами обнаружен эффект кластеризации частиц. Причем, кластеры частиц в достаточно узком канале движутся вблизи оси канала с большей скоростью, чем остальные частицы. Похожий эффект был обнаружен в эксперименте по коллективной подвижности клеток в плазме крови G. Malet-Engra, “Collective Cell Motility Promotes Chemotactic Prowess and Resistance to Chemorepulsion”, Current Biology 25 (2018) 242 и являлся отправной точкой для проведения нами подобных компьютерных экспериментов. По материалам проведенных исследований готовится публикация. Результаты проведенных численных экспериментов представлены также в форме видео (как двумерного сечения, так и трехмерного представления). Они были воспроизведены на конференциях, лекциях и семинарах.