Предельные возможности и оптимальные конструктивные решения энергоэффективных систем охлаждения высокопроизводительных вычислительных комплексов

КАРТОЧКА ПРОЕКТА ФУНДАМЕНТАЛЬНЫХ И ПОИСКОВЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ

Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.

ОБЩИЕ СВЕДЕНИЯ

Номер проекта 23-21-00173

НазваниеПредельные возможности и оптимальные конструктивные решения энергоэффективных систем охлаждения высокопроизводительных вычислительных комплексов

Руководитель Амелькин Сергей Анатольевич, Кандидат технических наук

Организация финансирования, регион федеральное государственное бюджетное образовательное учреждение высшего образования "Российская академия народного хозяйства и государственной службы при Президенте Российской Федерации" , г Москва

Конкурс №78 - Конкурс 2022 года «Проведение фундаментальных научных исследований и поисковых научных исследований малыми отдельными научными группами»

Область знания, основной код классификатора 01 - Математика, информатика и науки о системах; 01-220 - Математическое моделирование технических систем

Ключевые слова иммерсионное охлаждение, энергоэффективность, процессы минимальной диссипации, суперкомпьютеры, "кипящий" компьютер

Код ГРНТИ50.13.13

ИНФОРМАЦИЯ ИЗ ЗАЯВКИ

Аннотация
Современные высокопроизводительные вычислительные комплексы (ВВК) характеризуются двумя основными параметрами: вычислительной производительностью и затратами энергии. Затраты энергии можно разделить на две взаимосвязанные доли: энергия, которая тратится на собственно вычисления, и энергия, необходимая на организацию инфраструктуры. Для расчета энергоэффективности ВВК используются два показателя: PUE, представляющий собой отношение общих затрат энергии и доли затрат, используемой на организацию вычислений, и GFW как отношение вычислительной производительности и общих затрат энергии. Оба показателя термодинамически некорректны, так как не учитывают характеристики окружающей среды как холодного источника тепла. Использование критериев PUE и GFW приводит к ошибкам при выборе конструктивных решений создания систем охлаждения. Учет климатических характеристик, прежде всего, температуры и влажности окружающей среды, их суточных и сезонных колебаний, позволит значительно сократить энергопотребление ВВК. С учетом того, что энергозатраты, необходимые для отвода и утилизации тепла, для современных ВВК составляют десятки мегаватт, задача повышения энергоэффективности является актуальной как с точки зрения развития вычислительных технологий, так и в экономическом и экологическом аспектах. Решение задач охлаждения электронных вычислительных компонентов позволит не только снизить энергопотребление ВВК, но и повысить их вычислительную производительность за счет уплотнения компоновки. Это возможно и на уровне отдельной платы, где уплотнение достигается увеличением количества процессоров (основных источников тепла) на плате, и на уровне сокращения расстояния между платами, что позволяет увеличить количество вычислительных плат в одном телекоммуникационном шкафу, и на уровне организации машинного зала за счет уменьшения количества охлаждающих устройств и, следовательно, расстояния между шкафами. Уплотнение компоновки ВВК приведет к снижению длин проводников, что существенно увеличит скорость вычислений. Необходимо решить три задачи: 1 Определение оптимального типа системы охлаждения от параметров ВВК и климатических условий окружающей среды. 2 Выбор геометрических параметров радиаторов в зависимости от типа охлаждения и характеристик хладагента. Использование иммерсионных систем охлаждения: погружение вычислительных компонентов в жидкую среду и, особенно, использование систем охлаждения с фазовым переходом хладагента требует решения задачи оптимизации расположения ламелей с учетом ограничения на высоту радиатора, так как именно высота радиатора определяет возможности уплотнения плат в ВВК. 3 Определение оптимального распределения потоков хладагента: коэффициент теплоотдачи существенно зависит от скорости и направления потока хладагента при контакте с нагретой поверхностью. Для решения поставленных задач планируется использовать методы термодинамики при конечном времени (оптимизационной термодинамики) и усредненной оптимизации. Ряд задач оптимального выбора режимов работы теплообменных аппаратов был решен авторами проекта. Процесс отвода и утилизации тепла представляет собой многостадийный процесс теплопередачи: от процессора к радиатору, затем к хладагенту и через один или несколько теплообменников (в зависимости от количества хладагентов) в окружающую среду. Особенностью поставленных задач является учет расположения процессоров как источников тепла, скорости и направления потоков хладагента, изменение во времени климатических условий окружающей среды и зависимость вычислительных возможностей процессоров в зависимости от температуры и плотности компоновки. Управлениями являются температура хладагента, интенсивность потоков хладагента при контакте с радиатором (параметры, которые можно менять во времени в зависимости от температуры и влажности окружающей среды) и параметры радиатора. Для поддержания оптимального режима работы системы охлаждения планируется разработать специальное программное обеспечение.

ОТЧЁТНЫЕ МАТЕРИАЛЫ

Публикации

1. Демидов А. А., Амелькин С. А. ИНФРАСТРУКТУРА СОЦИОИНФОРМАЦИОННЫХ СИСТЕМ ФИЛОСОФИЯ В XXI ВЕКЕ: СОЦИАЛЬНО-ФИЛОСОФСКИЕ ПРОБЛЕМЫ СОВРЕМЕННОЙ НАУКИ И ТЕХНИКИ Материалы I Международной научно-практической конференции. Красноярск, 2023, стр.: 174-182 (год публикации - 2023)

2. Амелькин С. А. ЛОГИКА РАЗВИТИЯ СОЦИОКОММУНИКАТИВНЫХ ГРУПП В ЭПОХУ ГЛОБАЛЬНОЙ ЦИФРОВИЗАЦИИ ФИЛОСОФИЯ В XXI ВЕКЕ: СОЦИАЛЬНО-ФИЛОСОФСКИЕ ПРОБЛЕМЫ СОВРЕМЕННОЙ НАУКИ И ТЕХНИКИ Материалы I Международной научно-практической конференции. Красноярск, 2023, стр. 6-11 (год публикации - 2023)

3. Амелёнков В. А. ПЕРЕГРЕВ И ОТВОД ТЕПЛА ОТ ПЕЧАТНЫХ ПЛАТ: ТЕРМОСТАТИРОВАНИЕ ВТОРИЧНЫХ ЦЕПЕЙ ПИТАНИЯ Сборник научных трудов XIV Международной научно-практической конференции студентов, аспирантов и молодых ученых «Информационные технологии в науке, бизнесе и образовании», 23–24 ноября 2023 года. М.: МГЛУ, 2023 (год публикации - 2023)

4. Амелькин С. А. ОПТИМАЛЬНОЕ РАСПРЕДЕЛЕНИЕ ПЛОЩАДИ РАДИАТОРОВ В ПОГРУЖНЫХ СИСТЕМАХ ОХЛАЖДЕНИЯ ВЫСОКОПРОИЗВОДИТЕЛЬНЫХ ВЫЧИСЛИТЕЛЬНЫХ КОМПЛЕКСОВ Программные системы: теория и приложения (год публикации - 2023)

5. Амелькин С. А. ФРАКТАЛЬНАЯ МОДЕЛЬ МАКРОСИСТЕМ Программные системы: теория и приложения (год публикации - 2023)

6. Амелькин С.А. Модель многомодального взаимодействия в киберфизических сложных фрактальных системах Математические методы в технологиях и технике, Математические методы в технологиях и технике. 2024. №12 (год публикации - 2024)
10.52348/2712-8873_MMTT_2024_42_49

7. Амелькин С.А. Суперкомпьютеры как сложные фрактальные системы Национальный суперкомпьютерный форум (год публикации - 2024)

8. Амелькин С.А. Моделирование инфраструктуры в социо-киберфизических системах ПРОГРАММНЫЕ СИСТЕМЫ: ТЕОРИЯ И ПРИЛОЖЕНИЯ, ПРОГРАММНЫЕ СИСТЕМЫ: ТЕОРИЯ И ПРИЛОЖЕНИЯ № 2(65), 2025 (год публикации - 2025)

9. Амелькин С.А. Моделирование инфраструктуры в социо-киберфизических системах Национальный суперкомпьютерный форум (год публикации - 2024)

10. Амелёнков А.А., Демидов А.А. Оптимизация КПД радиатора охлаждения суперкомпьютера путем варьирования скорости потока хладагента Национальный суперкомпьютерный форум (год публикации - 2024)

11. Гагарина Л.Г., Амелькин С.А. Системы обработки больших данных как сложные фрактальные системы Программная инженерия: методы и технологии разработки информационно-вычислительных систем (ПИИВС - 2024) (год публикации - 2024)

12. Амелькин С.А. Сложность вычислительных макросистем как критерий возможности метаперехода к сильному искусственному интеллекту Ф56 Философия в XXI веке: направления и тенденции развития. Материалы II Международной научно-практической конференции (Москва, Зеленоград – Красноярск, 12 апреля 2024 г.) : В 3 ч. Часть 1 / под общ. ред. Н.В. Даниелян. М.: МИЭТ, 2024. , Ф56 Философия в XXI веке: направления и тенденции развития. Материалы II Международной научно-практической конференции (Москва, Зеленоград – Красноярск, 12 апреля 2024 г.) : В 3 ч. Часть 1 / под общ. ред. Н.В. Даниелян. М.: МИЭТ, 2024. 264 с. ISBN 978-5-7256-1042-0 (Ч. 1) ISBN 978-5-7256-1045-1 (год публикации - 2024)

13. Амелькин С.А., Гагарина Л.Г. Использование термостатированных высокопроизводительных вычислительных комплексов для повышения интенсивности обработки больших массивов данных International Scientific and Practical Conference "Scientific research" (December 15, 2024) (год публикации - 2024)

14. Амелькин С.А. Суперкомпьютеры как сложные фрактальные системы ПРОГРАММНЫЕ СИСТЕМЫ: ТЕОРИЯ И ПРИЛОЖЕНИЯ, ПРОГРАММНЫЕ СИСТЕМЫ: ТЕОРИЯ И ПРИЛОЖЕНИЯ № 2(65), 2025 (год публикации - 2025)

15. Амелёнков А.А., Демидов А.А. Оптимизация кпд радиатора охлаждения суперкомпьютера путем варьирования скорости потока хладагента ПРОГРАММНЫЕ СИСТЕМЫ: ТЕОРИЯ И ПРИЛОЖЕНИЯ, ПРОГРАММНЫЕ СИСТЕМЫ: ТЕОРИЯ И ПРИЛОЖЕНИЯ № 2(65), 2025 (год публикации - 2025)

Аннотация результатов, полученных в 2024 году
Развитие высокопроизводительных вычислительных комплексов приводит к экспоненциальному увеличению количества вычислительных устройств и увеличению свойств взаимосвязей между ними. Особенностью структуры вычислительных комплексов является наличие паттернов, обеспечивающих инвариантность структуры на различных уровнях декомпозиции вычислительной системы. Увеличение сложности вычислительных систем приводит к целесообразности использования макросистемного подхода для их моделирования. Учет самоподобия вычислительной системы позволяет рассматривать ее в классе сложных фрактальных систем. Разработана математическая модель сложной фрактальной системы на основе представления ее в виде фрактального ориентированного графа. Каждый узел графа (подсистема) характеризуется вектором экстенсивных параметров, соответствующих запасам материальных и нематериальных ресурсов в подсистеме. Среди экстенсивных параметров выделена энтропия системы функционально, через функцию состояния, связанную с остальными экстенсивными переменными. Функция состояния является однородной первого порядка однородности, следовательно, ее градиент может рассматриваться, как вектор удельных потенциалов. Динамическое равновесие при взаимодействии подсистем наблюдается, если их удельные потенциалы равны. Различие удельных потенциалов подсистем формирует движущие силы процессов ресурсообмена, от которых зависят потоки ресурсов. Интенсивности потоков ресурсов определяют скорость изменения запасов ресурсов, в том числе энтропии во времени. Веса ребер графа определяются матрицей феноменологических (инфраструктурных) коэффициентов. Матрица феноменологических коэффициентов не является диагональной, что обусловливает наличие потоков ресурсов в системе при наличии хотя бы одной ненулевой координаты вектора удельных коэффициентов. Наличие потоков различной природы в процессе функционирования высокопроизводительной вычислительной комплекса позволяет отнести его к классу многомодальных сложных фрактальных систем. Киберфизические системы, в частности высокопроизводительные вычислительные комплексы: они включают информационную модальность – большое количество процессоров, объединенную интерконнектом в предфрактальную структуру, и инженерную термодинамическую инфраструктуру охлаждения. Эффективные процессы охлаждения повышают интенсивность информационного обмена, снижая вероятность троттлинга и обеспечивая буст-режим работы процессоров, а информационная система управления и диспетчеризации, как составная часть вычислительного процесса, повышает эффективность системы охлаждения в условиях переменной загрузки процессоров (а значит, изменяющегося во времени тепловыделения) и известного распределения климатических условий окружающей среды. Производство энтропии, с учетом его метрических свойств, является интегративным критерием качества сложной фрактальной системы. Для высокопроизводительных вычислительных комплексов на основе наблюдаемых показателей сформулирован интегративный критерий качества, учитывающий как свойства процессоров и системы охлаждения, так и климатические условия, в которых функционирует высокопроизводительный вычислительный комплекс. Показано, что обеспечение минимальной диссипации, а значит, минимального потребления энергии в системах инженерной инфраструктуры высокопроизводительного вычислительного комплекса, возможно при использовании иммерсионных систем охлаждения, одно- и двухфазных. В случае, если потребление энергии связано только с циркуляцией хладагента, режим утилизации тепла называют фрикулингом. Решение задачи обеспечения режима фрикулинга при максимальной температуре окружающей среды позволяет определить предельные возможности системы охлаждения. Показано, что однофазные системы иммерсионного охлаждения поддерживают режим фрикулинга при температуре окружающей среды до +35 ºС, для двухфазных систем иммерсионного охлаждения предельная температура фрикулинга выше – +45 ºС. Алгоритмы системы автоматического управления для однофазных систем охлаждения реализованы в виде программного продукта. Таким образом, в термодинамической модальности анализа высокопроизводительных программных систем и вычислительных комплексов задача оптимального управления сводится к определению распределения потоков тепла в системе с большим количеством источников тепла переменной интенсивности. Для снижения интенсивности байпасных потоков, которые увеличивают производство энтропии в СФС утилизации тепла за счет энтропии смешения потоков хладагента с различной температурой, разработан ряд конструктивных решений, позволяющих за счет изменения фазового состояния среды, в которой функционируют вычислительные устройства, обеспечить увеличение тепловых потоков и, следовательно, его энергоэффективность более, чем на 90% по сравнению с воздушными, на 53% по сравнению с гибридными, в которых охлаждение осуществляется теплой водой и на 28% по сравнению с иммерсионными системами, использующими стандартные вычислительные платы без их существенной доработки. В частности, предложен способ охлаждения устройств высокопроизводительных вычислительных комплексов, основанный на изменении геометрии вычислительных плат. Для расчета оптимальных параметров радиаторов: расстояния между ламелями радиаторов и высотой ламелей разработаны программные продукты. Теоретическая значимость проведенных исследований связана с развитием теории сложных систем. Основной результат – построение модели сложной фрактальной системы, позволяющей доказать феноменологические свойства функционирования таких систем без дополнительных предположений о поведении ненаблюдаемых и неконтролируемых элементарных объектов. Практическая значимость исследований связана с применением модели сложной фрактальной системы к процессам утилизации тепла в высокопроизводительных вычислительных комплексах, обоснованием эффективности иммерсионных систем охлаждения, созданием специального программного обеспечения и конструктивных решений, обеспечивающих оптимальные режимы охлаждения. Полученные результаты могут быть распространены на информационные и социальные: экономические, организационные и коммуникативные сложные системы. Построение фрактальных алгоритмов и программных систем, в частности нейронных сетей позволит повысить гибкость, надежность и скорость вычислений в многопроцессорных системах. Моделирование фрактальных систем в области опосредованной коммуникации позволит решить ряд междисциплинарных задач повышения эффективности трансфера знаний.

Публикации

Возможность практического использования результатов
Результаты проекта актуальны для создания высокопроизводительных вычислительных комплексов: от систем поддержки принятия решений и крупных производственных вычислительных комплексов (10 кВт и выше) до центров обработки данных и суперкомпьютеров (1 МВт и выше). Применение результатов проекта позволит существенно (до 70% по сравнению с существующими комплексами) сократить энергопотребление, обеспечит возможность установки вычислительных комплексов в неприспособленных помещениях (в том числе с повышенной температурой - до +45 С, влажностью - до 100%, запыленностью, вибрацией и пр.). Снижение шума до 45 дБ на расстоянии 1 м позволяет реализовать высокопроизводительные вычислительные комплексы в рабочих помещениях и на мобильных платформах. Повышение вычислительной надежности обеспечит возможность использования вычислительных комплексов для решения задач экстремальной ответственности. Разработанные модели СФС могут также использоваться при разработке специального программного обеспечения: рекомендательных системах, фрактальных нейронных сетях, моделях социально-экономического развития, метаметодиках обучения. Переход от параллельных алгоритмов к фрактальным позволяет повысить вычислительную производительность и надежность суперкомпьютеров и GRID систем.