Аннотация результатов, полученных в 2019 году
Проект посвящен решению нескольких взаимосвязанных задач по подготовке экспериментов на будущей установке «мега-сайнс» «Супер С-Тау фабрика», включающей в себя электрон-позитронный коллайдер ультравысокой светимости с энергией пучков в системе центра масс от 2 до 6 ГэВ и универсальный детектор элементарных частиц. Эксперименты на Супер С-Тау фабрике направлены на решение фундаментальных задач в области физики элементарных частиц. В ходе экспериментов планируется накопить огромный объем экспериментальных данных (порядка 100 петабайт). Для анализа такого объема данных необходимо разработать комплекс программного обеспечения для моделирования и обработки данных. Создание такого комплекса является одной из задач проекта. Комплекс предназначен не только для анализа экспериментальных данных, но и для моделирования эксперимента и оптимизации параметров детектора на этапе проектирования. Вычислительные задачи современных и перспективных экспериментов по физике высоких энергий сходны. При разработке программного обеспечения экспериментов сообщество физиков старается максимальным образом использовать накопившийся в мире опыт. Это в полной мере относится и к программному обеспечению для моделирования и реконструкции данных экспериментов на Супер С-Тау фабрике. Основой для всего программного обеспечения установки является программный каркас Aurora, разработанный специально для Супер С-Тау фабрики, но построенный с учетом опыта использования каркаса Athena детектора ATLAS и базирующийся на де-факто стандартной для физики частиц программной среде Gaudi. Aurora позволяет физикам вести независимую разработку отдельных пакетов-модулей ПО, решающих конкретные узкие задачи, объединять эти пакеты для получения унифицированного описания геометрии детектора, выполнения цепочек моделирования данных, реконструкции, визуализации событий и др. В рамках Aurora реализованы следующие модули моделирования и обработки данных: описание геометрии детектора (всех основных подсистем), модули визуализации систем детектора и зарегистрированных в детекторе событий, полная цепочка модулей моделирования и реконструкции данных для электромагнитного калориметра. Создана рабочая модель данных с детектора Супер С-тау фабрики на основе библиотеки PODIO. Данные хранятся в виде коллекций простейших объектов (частицы, следы частиц в детекторе, срабатывания систем и пр.) и коллекций связей между коллекциями объектов. Модель данных будет развиваться по мере развития ПО (добавления модулей моделирования и реконструкции подсистем). Для одной из подсистем, кристаллического электромагнитного калориметра, в 2019 году был реализован полный комплект программного обеспечения для моделирования и обработки данных. С его помощью были подобраны оптимальные параметры калориметра и вычислены и интегрированы в систему анализа данных поправочные функции, необходимые при обработке данных с калориметра. В ходе экспериментов будет накоплен огромный объем исходных данных, которые потребуется хранить в течение долгого времени (десятки лет) и анализом которых будет заниматься коллектив физиков порядка 1000 человек. Все это потребует значительных инвестиций в создание вычислительной инфраструктуры Супер С-тау фабрики. В рамках проекта разрабатывается система имитационного моделирования, которая позволит определить параметры и конфигурацию вычислительной инфраструктуры, необходимых для решения задач эксперимента. Если программное обеспечение, описанное ранее (разрабатываемое в рамках Aurora), предназначено для моделирования самого эксперимента, то данная система предназначена для моделирования вычислительной инфраструктуры, с помощью которой будет проводиться моделирование и обработка данных эксперимента. В 2019 году была разработана модель вычислительной инфраструктуры, в которой предусмотрены все аспекты функционирования вычислительной инфраструктуры Супер С-Тау фабрики, от параллельной системы хранения данных до организации параллельного запуска пользовательских заданий. В частности, в модели параллельной системы хранения данных предусмотрено 6 различных типов данных: база данных с калибровочной информацией детектора, сырые данные с детектора и с системы моделирования событий, данные реконструированных реальных и модельных событий и резервная копия сырых данных с детектора. Разработанная модель в дальнейшем будет использоваться для проектирования вычислительной инфраструктуры реального эксперимента. Третья задача, на решение которой направлен проект, связана с организацией процесса моделирования и анализа данных. Для координации работы большого коллектива физиков, организации унифицированного доступа к данных, обеспечения воспроизводимости и верификации результатов анализа данных необходимо разработать информационную платформу, которая предоставляла бы все необходимые инструменты. На основе программного комплекса BioUML (Kolpakov et al., 2019) создана универсальная научная платформа для моделирования, анализа и визуализации данных произвольной природы. Исходно платформа была разработана для решения биомедицинских задач. Для адаптации платформы к задачам обработки экспериментов на Супер С-Тау фабрики в ней было выделено ядро программных модулей общего назначения, и в нее были интегрированы широко используемые в физике частиц инструменты, в частности, Jupyter notebook (https://jupyter.org/) для анализа и визуализации данных через веб-интерфейс, и ROOT (http://root.cern.ch) - набор инструментов для статистического анализа и работы с большими объемами данных. Разработанная платформа может использоваться не только для организации обработки данных с детектора Супер С-Тау фабрики, но и для организации имитационного моделирования вычислительной инфраструктуры. Для этого в рамках платформы был разработан программный модуль для визуального создания и редактирования имитационной модели в виде графических диаграмм. На основе визуального представления генерируется конфигурационный файл с описанием модели и запускается процесс моделирования.

Аннотация результатов, полученных в 2020 году
Проект посвящен решению нескольких взаимосвязанных задач по подготовке экспериментов на будущей установке «мега-сайнс» «Супер С-Тау фабрика», включающей в себя электрон-позитронный коллайдер ультравысокой светимости с энергией пучков в системе центра масс от 2 до 6 (7) ГэВ и универсальный детектор элементарных частиц. Эксперименты на Супер С-Тау фабрике направлены на решение фундаментальных задач в области физики элементарных частиц, в частности, на прецизионное изучение свойств тяжелого аналога электрона, тау-лептона, и сильновзаимодействующих частиц (адронов), в состав которых входит «очарованный» кварк. В 2020 году приоритетом проекта была разработка модулей моделирования и реконструкции для основных подсистем детектора Супер С-Тау фабрики. Полномасштабное программное обеспечение для моделирования эксперимента необходимо уже на ранних этапах проектирования детектора, а также для детализации физической программы эксперимента. В рамках этого направления было создано ПО для параметрического моделирования, которое позволяет быстро сымитировать отклик детектора на основе параметрической модели. С помощью этого ПО было выполнено сравнение различных подходов к идентификации заряженных частиц - одного из ключевых параметров детектора для реализации физической программы эксперимента. Кроме того, параметрическая модель детектора была использована для анализа измерения на Супер С-Тау фабрике фундаментального параметра теории электрослабого взаимодействия - угла Вайнберга. Анализ показал, что эксперимент с поляризованным пучком электронов позволит измерить этот параметр на энергетическом масштабе резонанса J/psi с лучшей в мире точностью - лучше 1%. В рамках работы над полным моделированием детектора Супер С-Тау фабрики была описана геометрия всех подсистем детектора, а для основных подсистем - дрейфовой камеры, калориметра и мюонной системы - были реализованы модули реконструкции. Эти результаты позволяют перейти к реалистичному моделированию эксперимента, включая отбор и анализ данных. Созданное ПО позволит уточнить требования к вычислительной инфраструктуре эксперимента и выполнить более аккуратное имитационное моделирование вычислительного кластера. В рамках проекта продолжается развитие универсальной научной платформы для моделирования, анализа и визуализации данных - u-science platform. Эта платформа может служить единым интерфейсом для процессов при моделировании и проведении эксперимента на Супер С-Тау фабрике, а также для взаимодействия с распределенной вычислительной системой и системой хранения. Для имитационной модели вычислительной инфраструктуры эксперимента на Супер С-Тау фабрике в 2020 году был добавлен новый функционал, в частности, были реализованы модели потоков данных и вычислительных задач. Эти модели позволяют задавать частоту, объем и характер поступающих на инфраструктуру вычислительного комплекса данных и задач. Включение в эту имитационную модель полного ПО для моделирования эксперимента позволит сформулировать требования к вычислительной инфраструктуре.

Аннотация результатов, полученных в 2021 году
Проект посвящен решению нескольких взаимосвязанных задач по подготовке экспериментов на будущей установке «мега-сайнс» «Супер С-Тау фабрика» (СЧТФ), включающей в себя электрон-позитронный коллайдер ультравысокой светимости с энергией пучков в системе центра масс от 3 до 7 ГэВ и универсальный детектор элементарных частиц. В настоящее время обсуждается строительство СЧТФ в рамках Национального центра физики и математики, созданного в 2021 году по указу Президента РФ вблизи г.Саров. Эксперименты на Супер С-Тау фабрике направлены на решение фундаментальных задач в области физики элементарных частиц, в частности, на прецизионное изучение свойств тяжелого аналога электрона, тау-лептона, и сильновзаимодействующих частиц (адронов), в состав которых входит «очарованный» кварк. В 2021 году, как и в предыдущий год, приоритетом проекта была разработка программного обеспечения для моделирования и реконструкции данных детектора Супер С-Тау фабрики. С помощью этого программного обеспечения ведется поиск оптимальных решений в ходе проектирование установки, проводится оценка максимально достижимой точности экспериментов, ведется разработка методов анализа огромного массива данных, который планируется накопить в ходе экспериментов. Ранее были разработаны алгоритмы параметризованного (упрощенного) моделирования детектора. В 2021 году были значительно увеличены возможности полного моделирования, в котором детально учитываются все процессы, происходящие в детекторе. В частности, было реализовано полное моделирование уникальной системы идентификации FARICH, в которой используется многослойный радиатор (источник черенковского света) на базе аэрогеля с переменным показателем преломления. Конструкция системы позволяет достичь уникальных проектных возможностей по идентификации частиц. Подобная система не использовалась ранее в других детекторах элементарных частиц. Для полного моделирования отклика системы потребовалось включить в программу моделирование оптических фотонов и расширить описание геометрии системы, включив в нее описание оптических свойств используемых материалов. Кроме того, было реализовано моделирования варианта внутреннего трекера на основе плоских однокоординатных кремниевых детекторов и была реализована реалистичная модель распределения магнитного поля в детекторе. Самые значительные результаты были получены в разработке алгоритмов моделирования и реконструкции данных в основной регистрирующей системе детектора - дрейфовой камере. Для Супер с-тау фабрики разрабатывается новый вариант дрейфовой камеры, в которой регистрируются отдельные кластеры ионизации, возникшие при прохождении частицы через газ, которым заполнена дрейфовая камера. В отличие от традиционных систем, в которых на каждой проволочке регистрируется только один сигнал от частицы, в проектируемом для СЧТФ варианте сигнал с каждой проволочки оцифровывается непрерывно с частотой 1-2 ГГц, полученное “кино” анализируется и выделяются сигналы от отдельных кластеров (10-50 на каждой проволочке). Опыта моделирования подобных систем нет и алгоритм моделирования полноразмерной дрейфовой камеры, использующей такой принцип регистрации, разрабатывается в рамках данного проекта впервые. В 2021 году были разработаны алгоритмы моделирования сигналов, алгоритмы анализа данных в режиме реального времени, алгоритмы определения координат треков заряженных частиц и алгоритмы реконструкции треков по множеству измерений на треке. С использованием разработанного программного обеспечение были получены ожидаемое энергетическое и импульсное разрешения проектируемой дрейфовой камеры в разных режимах. Работа по развитию алгоритма моделирования дрейфовой камеры с регистрацией отдельных кластеров вызывает большой интерес, так как подобная система пока нигде не была реализована, но планируются в будущих флагманских детекторах (например, детектор Супер с-тау фабрики, детектор на 100 километровом коллайдере в Китае CEPC, детектор линейного коллайдера и т.п.). В целом, разработанное программное обеспечение позволяет проводить моделирование и анализ данных будущих экспериментов как с помощью упрощенных моделей (параметризованное моделирование), так и с помощью детальных (полное моделирование). Было проведено моделирование нескольких ключевых процессов, которые будут регистрироваться на Супер с-тау фабрике - рождение пары тау лептонов, рождение пары очарованных мезонов. С использованием методов машинного обучения, были разработаны алгоритмы анализа данных - в частности, алгоритм идентификации типов частиц с помощью объединения информации с дрейфовой камеры и системы идентификации; и алгоритм идентификации энергичных нейтральных пи-мезонов. Другим направлением в рамках проекта является развитие универсальной научной платформы для моделирования, анализа и визуализации данных - u-science platform. Эта платформа может служить единым интерфейсом для процессов при моделировании и проведении эксперимента на Супер С-Тау фабрике, а также для взаимодействия с распределенной вычислительной системой и системой хранения. В 2021 году архитектура системы была значительно расширена, что позволило легко сопрягать ее с несколькими системами хранения данных, интерфейс доступа к которым может отличаться. Третьим направлением в рамках проекта является моделирование вычислительной инфраструктуры будущего комплекса. В предыдущие годы была разработана имитационная модель инфраструктуры и разработано программное обеспечение для моделирования. В 2021 году было проведено полномасштабное моделирование, в котором имитировался процесс набора и реконструкции данных на установке и одновременного с ним процесса моделирования и анализа данных. Были получены требования к пиковой производительности, пропускной способности и объему системы хранения вычислительной инфраструктуры Супер с-тау фабрики.

Аннотация результатов, полученных в 2022 году
Проект в целом посвящен решению нескольких взаимосвязанных задач по подготовке экспериментов на будущей установке «мега-сайнс» «Супер С-Тау фабрика» (ССТФ), включающей в себя электрон-позитронный коллайдер ультравысокой светимости с энергией пучков в системе центра масс от 3 до 7 ГэВ и универсальный детектор элементарных частиц. В настоящее время обсуждается строительство ССТФ в рамках Национального центра физики и математики, созданного в 2021 году по указу Президента РФ вблизи г.Саров. Эксперименты на Супер С-Тау фабрике направлены на решение фундаментальных задач в области физики элементарных частиц, в частности, на прецизионное изучение свойств тяжелого аналога электрона, тау-лептона, и сильновзаимодействующих частиц (адронов), в состав которых входит «очарованный» кварк. Приоритетное направление исследований в рамках проекта - разработка программного обеспечения для моделирования и реконструкции данных детектора Супер С-Тау фабрики. С помощью этого программного обеспечения ведется поиск оптимальных решений в ходе проектирование установки, проводится оценка максимально достижимой точности экспериментов, ведется разработка методов анализа огромного массива данных, который планируется накопить в ходе экспериментов. В рамках проекта был разработан комплекс программного обеспечения Aurora, включающего в себя ПО моделирования и реконструкции, а также среду разработки и общие инструменты для работы с данными. В 2022 году был выпущен релиз Aurora версии 2.1.0. Были значительно улучшены алгоритмы как полного моделирования, в котором детально моделируются все процессы взаимодействия частиц с веществом детектора, работа электроники, оцифровка сигналов с систем детектора, реконструкция данных, так и параметризованного моделирования, которое позволяет быстро сгенерировать отклик систем детектора используя эффективные модели, параметры которых выбраны на основе полного моделирования и специализированных расчетов. Опубликована статья с описанием ПО Aurora и направлена в журнал публикация с описанием алгоритмов параметрического моделирования. Подготовлены образы виртуальных машин и инструкции по работе с ними для быстрого запуска Aurora без привязки к вычислительной инфраструктуре ИЯФ СО РАН или ЦКП ССКЦ. Данное ПО доступно всем членам коллаборации Супер с-тау фабрики для скачивания и использования. Был полностью реализован весь комплекс ПО для полного моделирования сигналов с дрейфовой камеры детектора Супер с-тау фабрики. В отличие от традиционных систем, в которых на каждой проволочке регистрируется только один сигнал от частицы, в проектируемом для ССТФ варианте сигнал с каждой проволочки оцифровывается непрерывно с частотой 1-2 ГГц, полученное “кино” анализируется и выделяются сигналы от отдельных кластеров (10-50 на каждой проволочке). Опыта моделирования подобных систем нет и алгоритм моделирования полноразмерной дрейфовой камеры, использующей такой принцип регистрации, разработан в рамках данного проекта впервые. По результатам полномасштабного моделирования получены оценки импульсного и координатного разрешений дрейфовой камеры как в опции регистрации кластеров, так и для традиционной схемы сбора сигналов (по приходу первого сигнала). Показано, что использование cluster counting улучшает как импульсное, так и энергетическое разрешение на несколько процентов. На основе данных моделирования, были разработаны классификаторы для разделения пионов и мюонов, и пионов и каонов, с объединением откликов дрейфовой камеры, черенковского детектора (ФАРИЧ) и мюонной системы. Классификаторы были созданы на основе техники машинного обучения - градиентного бустинга решающих деревьев с использованием пакета XGBoost. Показано, что за счет объединения информация с разных систем удается достичь высокой степени разделения мюонов и пионов практически во всем диапазоне энергий. Разработан пакет кинематической реконструкции, который позволяет существенно улучшить разрешающую способность детектора за счет объединения информации с разных систем детектора и использования информации о физических ограничениях (например, законах сохранения энергии, импульса, требования вылета частиц из одной вершины и т.п.). Пакет протестирован на реальных данных, набранных в эксперименте КМД-3 (ИЯФ, Новосибирск). Подготовлена публикация с описанием пакета и результатов его тестирования на данных реального эксперимента, находится на рецензировании. С помощью пакета программ моделирования и анализа данных получена оценка достижимой точности на ССТФ при поиске очень редкого процесса - рождения D*(2007)0 мезона в e+e- аннигиляции. Показано, что верхняя граница бранчинга, достижимая в измерениях на Супер с-тау фабрике, может быть снижена на 4 порядка относительно наилучшего существующего измерения до уровня 10**(-11), что достаточно для обнаружения проявлений Новой физики в ряде моделей. Подготовлена публикация с результатами моделирования, планируется направить ее в журнал до конца 2022 года. Пакет моделирования также использовался при подготовке обновленного (детализированного) варианта физической программы экспериментов на ССТФ, опубликованного в 2022 году на официальном сайте проекта https://sct.inp.nsk.su/media/cdr/SCT_Physics_Program__rus_Egsu8BE.pdf Другим направлением в рамках проекта является развитие универсальной научной платформы для моделирования, анализа и визуализации данных - u-science platform, разработанной на основе платформы BioUML. Эта платформа может служить единым интерфейсом пользователей для организации процессов моделирования и анализа данных, а также для взаимодействия с распределенной вычислительной системой и системой хранения. В 2022 году был реализован и протестирован механизм массового параллельного запуска сценариев моделирования с различными наборами параметров. Показано, что платформа u-science обеспечивает эффективное распараллеливание выполнения сценариев на кластерах. В платформу u-science была добавлена поддержка и интеграция форматов сценариев WDL и Nextflow. Благодаря тому, что поддержка таких сценариев реализована ведущими облачными провайдерами, это упростит интеграцию платформы u-science как удобный веб-интерфейс для создания, редактирования и запуска сценариев при их выполнении на перечисленных провайдерах. Опубликована статья с описанием платформы BioUML (u-science). Третьим направлением в рамках проекта является моделирование вычислительной инфраструктуры будущего комплекса. В предыдущие годы была разработана имитационная модель инфраструктуры и разработано программное обеспечение для моделирования. В 2022 году была получена новая оценка вычислительной сложности задачи моделирования, которая составила в среднем 1.5 ГФЛОПс/событие с довольно широким распределением, от ~0.5 до ~4 ГФЛОПс/событие. Для уточнения требований к вычислительной инфраструктуре вычислительного комплекса для обработки и хранения данных Супер с-тау фабрики с помощью ранее разработанной имитационной модели была произведена серия полномасштабных вычислительных экспериментов, в которых имитировался сценарий реконструкции непрерывного потока данных с детектора Супер с-тау фабрики и одновременного моделирования данных эксперимента со случайным добавлением заданий моделирования. Выбранные параметры покрываю весь разумный диапазон сценариев, как для моделирования, так и для других стадий обработки. Результаты моделирования показали, что вычислительная мощность комплекса должна составлять от 440ТФЛОПс (оптимально) до 600ТФЛОПс (максимально). С учетом параметров современного оборудования, это соответствует от 70 до 100 современных вычислительных узлов на базе Intel 8368Q. Также вычислительный комплекс необходимо будет оборудовать СХД с пропускной способностью 20ГБ/c (например DAOS), с емкостью 50ПБ, чтобы хранить результаты работы детектора при максимальной нагрузке за месяц (или 16ПБ для 10 дней). Перечисленные характеристики являются вполне достижимыми с помощью коммерчески-доступного оборудования. Опубликована статья с результатами имитационного моделирования.