Две крайности: быстрые и медленные транзиенты в обзоре Zwicky Transient Facility

КАРТОЧКА ПРОЕКТА ФУНДАМЕНТАЛЬНЫХ И ПОИСКОВЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ

Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.

ОБЩИЕ СВЕДЕНИЯ

Номер проекта 24-22-00233

НазваниеДве крайности: быстрые и медленные транзиенты в обзоре Zwicky Transient Facility

Руководитель Корнилов Матвей Викторович, Кандидат физико-математических наук

Организация финансирования, регион Федеральное государственное бюджетное образовательное учреждение высшего образования «Московский государственный университет имени M.В.Ломоносова» , г Москва

Конкурс №89 - Конкурс 2023 года «Проведение фундаментальных научных исследований и поисковых научных исследований малыми отдельными научными группами»

Область знания, основной код классификатора 02 - Физика и науки о космосе; 02-704 - Физика и эволюция звезд и межзвездной среды

Ключевые слова транзиенты, переменные звезды, сверхмощные сверхновые, вспышки на красных карликах, активные ядра галактик, поиск аномалий, машинное обучение, большие данные, фотометрические обзоры

Код ГРНТИ41.23.29

ИНФОРМАЦИЯ ИЗ ЗАЯВКИ

Аннотация
Широкопольные астрономические обзоры сканируют небо и регистрируют всё, что попадает в их поле зрения. Снимая одни и те же участки неба каждые несколько дней, мы можем отслеживать картину изменения ночного неба со временем, что позволяет открывать и исследовать как переменные источники, так и транзиенты разной длительности. В отличие от традиционных целевых наблюдений (когда телескоп направлен на конкретный источник), обзорная стратегия позволяет находить новые, редкие и малоизученные астрофизические объекты. Однако, несмотря на огромный потенциал для открытий, предоставляемый широкопольными обзорами, задача распознавания нескольких интересных событий среди большого числа возможных кандидатов далека от тривиальной. Одним из самых крупных таких обзоров является обзор Zwicky Transient Facility (ZTF), который регистрирует около 200 000 алертов в ночь, при этом в его каталогах содержится ~4.7 миллиардов уникальных кривых блеска. Грядущий обзор Обсерватории имени Веры Рубин Legacy Survey of Space and Time (LSST) значительно увеличит эти числа: ожидаемое количество алертов в ночь составляет 10 миллионов в течение 10 лет работы LSST. В предлагаемом проекте мы планируем использовать новейшие методы машинного обучения для поиска и дальнейшего изучения быстрых и медленных транзиентов в данных ZTF. Основными объектами исследования будут вспышки красных карликов, которые играют важную роль в изучении обитаемости экзопланет, и сверхмощные сверхновые – объекты огромной светимости (минимум в десять раз превосходящей светимость сверхновых типа Ia), чья природа до сих пор остается загадкой.

ОТЧЁТНЫЕ МАТЕРИАЛЫ

Аннотация результатов, полученных в 2024 году
Применяя современные методы машинного обучения и подходы к обработке данных, мы провели поиск медленных и быстрых транзиентов в фотометрических каталогах обзора Zwicky Transient Facility (ZTF). Для обнаружения медленных транзиентов – сверхмощных сверхновых – был использован алгоритм активного поиска аномалий PineForest. Мы проанализировали 14 миллионов кривых блеска ZTF и использовали 8 известных сверхмощных сверхновых для предварительного обучения модели. В ходе визуального анализа 120 объектов, предложенных алгоритмом, были найдены 8 кандидатов в сверхмощные сверхновые, два из которых были обнаружены впервые. При решении задачи поиска быстрых транзиентов – вспышек на красных карликах – в данных ZTF мы опробовали два метода: метод классической аппроксимации кривых блеска и алгоритм активного поиска аномалий. Для подготовки обучающих выборок и анализа кандидатов была создана база данных, содержащая данные астрономических каталогов TESS, Gaia EDR3/DR3 и Pan-STARRS DR2. Применение разработанных подходов позволило обнаружить 134 вспышки на красных карликах, что на текущий момент является одной из крупнейших выборок вспышек, полученной на основе наземных наблюдений. Эти результаты формируют надёжную основу для дальнейшей разработки и тестирования эффективных методов обнаружения быстрых транзиентов с использованием инструментов машинного обучения. Дополнительно были разработаны и протестированы на данных ZTF два классификатора для фильтрации артефактов: один основан на нейросетевых моделях и анализе последовательности изображений, другой – на классических методах машинного обучения и признаках, извлекаемых из кривых блеска. Несмотря на то, что прямые изображения несут больше информации об источниках, классификатор на базе классического машинного обучения показал более высокую точность при разделении сигналов на артефакт-не артефакт. Этот классификатор был интегрирован в конвейер активного поиска аномалий SNAD путем добавления нового признака к исходным данным, что существенно снизило количество артефактов среди кандидатов в аномалии и оптимизировало затраты человеческих ресурсов на проверку не астрофизических объектов. Хотя обзор ZTF не специализируется на наблюдениях быстрых транзиентов из-за интервала съемки в 2–3 дня, в его рамках проводятся наблюдательные кампании с высокой частотой наблюдений. Для поиска и исследования быстрых транзиентов нельзя ограничиваться исключительно специализированными обзорами: необходимо уметь извлекать релевантную информацию из данных, собранных без прямой ориентации на подобные задачи. Наш проект демонстрирует, что данные ZTF могут успешно использоваться как для поиска медленных, так и быстрых транзиентов, открывая новые перспективы для научных исследований и совершенствования методов их идентификации. Ссылки, посвященные проекту: Библиотека Coniferest: https://coniferest.snad.space/en/latest/ SNAD: https://snad.space/ Классификатор “артефакт-не артефакт” с использованием классического машинного обучения: https://github.com/snad-space/ztf_real_bogus_clf Классификатор “артефакт-не артефакт” с использованием нейронных сетей: https://github.com/semtim/RB_ZTF

Публикации

1. Семенихин Т.А., Корнилов М.В., Пружинская М.В. Выявление артефактов среди объектов обзора ZTF при помощи нейронных сетей Материалы Международного молодежного научного форума «ЛОМОНОСОВ-2024» / Отв. ред. И.А. Алешковский, А.В. Андриянов, Е.А. Антипов, Е.И. Зимакова. [Электронный ресурс] – М.: МОО СИПНН Н.Д. Кондратьева, 2024., Тезисы конференции XXXI Международная конференция студентов, аспирантов и молодых ученых «Ломоносов-2024» (Секция «Иностранные языки и регионоведение»), МГУ имени М.В. Ломоносова факультет иностранных языков и регионоведения, Россия, 12-26 апреля 2024 (год публикации - 2024)

2. Лаврухина А.Д. Поиск вспышек красных карликов в данных обзора the Zwicky Transient Facility с использованием методов машинного обучения Материалы Международного молодежного научного форума «ЛОМОНОСОВ-2024» / Отв. ред. И.А. Алешковский, А.В. Андриянов, Е.А. Антипов, Е.И. Зимакова. [Электронный ресурс] – М.: МОО СИПНН Н.Д. Кондратьева, 2024., Тезисы конференции XXXI Международная конференция студентов, аспирантов и молодых ученых «Ломоносов-2024» (Секция «Иностранные языки и регионоведение»), МГУ имени М.В. Ломоносова факультет иностранных языков и регионоведения, Россия, 12-26 апреля 2024 (год публикации - 2024)

3. Волошина А.С., Лаврухина А.Д., Пружинская М.В., Маланчев К.Л., Ишида Э.Е.О., Крушинский В.В., Алео П.Д., Ганглер Э., Корнилов М.В., Королев В.С., Руссей Э., Семенихин Т.А., Срижит С., Вольнова А.А. SNAD catalogue of M-dwarf flares from the Zwicky Transient Facility Monthly Notices of the Royal Astronomical Society, Monthly Notices of the Royal Astronomical Society, Volume 533, Issue 4, October 2024, Pages 4309–4323, https://doi.org/10.1093/mnras/stae2031 (год публикации - 2024)
10.1093/mnras/stae2031

4. Семенихин Т.А., Корнилов М.В., Пружинская М.В., Лаврухина А.Д., Руссей Э., Ганглер Э., Ишида Э.Е.О., Королёв В.С., Маланчев К.Л., Вольнова А.А., Срижит С. Real-bogus scores for active anomaly detection Astronomy and Computing, Astronomy and Computing, Volume 51, April 2025, 100919 (год публикации - 2025)
10.1016/j.ascom.2024.100919

Аннотация результатов, полученных в 2025 году
В рамках проекта были выполнены исследования быстрых и медленных транзиентов в данных обзора Zwicky Transient Facility (ZTF), а также развита и протестирована методология активного поиска аномалий, ориентированная на работу с будущими данными обзора LSST обсерватории имени Веры Рубин. Одним из ключевых направлений работы стал поиск и анализ быстрых транзиентов — в первую очередь вспышек на красных карликах. На основе данных ZTF DR17 была сформирована крупнейшая на сегодняшний день наземная выборка вспышек М-карликов, включающая 1229 подтвержденных событий. Для этого был разработан многоэтапный алгоритм, основанный на методах машинного обучения и объединяющий синтетические тренировочные выборки, извлечение признаков, фильтрацию артефактов и проверку кандидатов по данным астрономических каталогов. Полученная выборка позволила изучить связь частоты вспышек со спектральным классом и возрастом звезд, что дало представление об эволюции магнитной активности маломассивных звезд. Вторым крупным направлением стал поиск медленных транзиентов, прежде всего сверхновых, включая редкий класс сверхмощные сверхновых. В отчетном периоде была разработана гибридная схема поиска, объединяющая активный поиск аномалий (алгоритм PineForest из библиотеки coniferest) и результаты двух бинарных классификаторов: “артефакт-не артефакт” и “сверхновая-не сверхновая”. Применение этой методики к данным ZTF DR23 привело к существенному росту эффективности обнаружения сверхновых: при использовании расширенного набора признаков и предварительного обучения вероятность успешного обнаружения увеличивается более чем в шесть раз. Гибридный поиск позволил обнаружить девять новых кандидатов в сверхновые, включая сверхмощные и источник с повторяющимися вспышками. Эти объекты были опубликованы в международном сервисе Transient Name Server и включены в каталог SNAD. Также проведен анализ необычной кривой блеска SN 2018fcg/ZTF18abmasep, показавший, что две наблюдаемые вспышки с интервалом более 1300 дней, вероятно, являются двумя разными сверхновыми в одной галактике. Во время разработки классификатора были выявлены еще два аналогичных случая повторяющихся сверхновых. Важным компонентом проекта стало развитие пакета coniferest – универсальной платформы для активного поиска аномалий. В отчетном периоде входящий в пакет алгоритм AAD были значительно ускорен благодаря высокопроизводительному ядру на Rust, специализированному солверу Clarabel и многопоточному выводу. Это позволило сократить время отклика с нескольких часов до долей секунды, что делает coniferest эффективным инструментом для анализа больших астрономических данных и полностью готовым к работе с будущим обзором LSST. Пакет сопровождается подробной документацией и учебными материалами, доступными исследовательскому сообществу. За отчетный период экспертами было добавлено около 1000 новых меток в базу SNAD Anomaly knowledge base. В совокупности база включает более 8200 объектов с ручными классификациями, что делает её уникальным ресурсом для обучения алгоритмов машинного обучения. На основе экспертных меток был создан и опубликован в открытом доступе специализированный датасет изображений артефактов и номинальных объектов ZTF. Он включает 1127 артефактов и набор реальных объектов такого же размера. Данные представлены в FITS-формате в двух размерах и могут использоваться для задач классификации, очистки каталогов, разработки алгоритмов и образовательных целей. В отчетный период проводилась подготовка к работе с будущими данными LSST. Для проверки устойчивости разработанных методов пайплайн SNAD был протестирован на ZTF-полях, перекрывающихся с наблюдениями камеры LSSTComCam. В результате обнаружены шесть ранее неизвестных переменных звезд и уточнены параметры переменности еще шести объектов. Даже по менее глубоким данным ZTF выявлено больше переменных источников, чем в анализе первого релиза DP1 LSSTComCam, что подтверждает высокую эффективность созданных алгоритмов. Научные результаты проекта представлены в девяти публикациях, включая четыре статьи в журналах из списков WoS/Scopus, две публикации в RNAAS и три тезиса конференций. По проекту выполнено семь докладов, включая два приглашённых. Ссылки на информационные ресурсы в сети Интернет, посвященные проекту: https://coniferest.snad.space/ https://snad.space/catalog/ https://doi.org/10.5281/zenodo.15076425 https://huggingface.co/datasets/snad-space/ztf-m-dwarf-flares-2025

Публикации

1. Сриджит С., Пружинская М. В., Волнова А. А., Крушинский В. В., Маланчев К. Л., Ишида Э. Э.О., Лаврухина А. Д., Семенихин Т. А., Ганглер Э., Корнилов М. В., Королев В. С. Dataset of artefacts for machine learning applications in astronomy New Astronomy, New Astronomy, Volume 122, 102466 (год публикации - 2026)
10.1016/j.newast.2025.102466

2. Корнилов М.В., Королев В.С., Маланчев К.Л., Лаврухина А.Д., Руссей Э., Семенихин Т.А., Ганглер Э., Ишида Э.Э.О., Пружинская М.В., Вольнова А.А. Сриджит С. Coniferest: A complete active anomaly detection framework Astronomy and Computing, Astronomy and Computing, Volume 52, 100960 (год публикации - 2025)
10.1016/j.ascom.2025.100960

3. Пружинская М., Ишида Э., Маланчев К., Лаврухина А., Руссей Э., Семенихин Т., Сриджит С., Ганглер Э., Корнилов М., Королев В., Вольнова А. SNAD: enabling discovery in the era of big data Proceedings of Science, Сборник: Proceedings of Science Том: 482 Год издания: 2025 Издательство: Sissa Medialab Местоположение издательства: Italy Номер статьи: 6 (год публикации - 2025)
10.22323/1.482.0006

4. Пружинская М.В., Лаврухина А.Д., Семенихин Т.А., Вольнова А.А., Сриджит С., Крушинский В.В., Ганглер Э., Ишида Э.Э.О., Корнилов М.В., Маланчев К.Л. What ZTF Saw Where Rubin Looked: Anomaly Hunting in DR23 Research Notes of the AAS, Res. Notes AAS 9 298 (год публикации - 2025)
10.3847/2515-5172/ae1c40

5. Крушинский В.В., Пружинская М.В., Семенихин Т.А. Seeing-correlated Variability in ZTF Light Curves Research Notes of the AAS, Res. Notes AAS 9 156 (год публикации - 2025)
10.3847/2515-5172/ade995

6. Семенихин Т. А., Корнилов М. В., Пружинская М. В., Лаврухина А. Д., Руссей Э., Ганглер Э., Ишида Э. Э.О., Королёв В. С., Маланчев К. Л., Волнова А. А., Сриджит С. Real-Bogus Classification for ZTF Data Releases: Two Approaches Communications in Computer and Information Science, Communications in Computer and Information Science, vol 2641. Springer, Cham. https://doi.org/10.1007/978-3-032-03997-2_15 (год публикации - 2026)
10.1007/978-3-032-03997-2_15

7. Пружинская М.В. Машинное обучение в астрономии Тезисы докладов Международной конференции ''Физика звёзд в эпоху многоволновых наблюдений (Звёзды–2025)''. 22–26 сентября 2025 г. Санкт- Петербургский государственный университет, Санкт-Петербург, Россия, 143 стр, Тезисы докладов Международной конференции ''Физика звёзд в эпоху многоволновых наблюдений (Звёзды–2025)''. 22–26 сентября 2025 г. Санкт- Петербургский государственный университет, Санкт-Петербург, Россия, стр. 33 (год публикации - 2025)

8. Семенихин Т.А. Поиск аномалий в каталогах ZTF с использованием бинарных классификаторов Тезисы докладов Международной конференции ''Физика звёзд в эпоху многоволновых наблюдений (Звёзды–2025)''. 22–26 сентября 2025 г. Санкт- Петербургский государственный университет, Санкт-Петербург, Россия, 143 стр, Тезисы докладов Международной конференции ''Физика звёзд в эпоху многоволновых наблюдений (Звёзды–2025)''. 22–26 сентября 2025 г. Санкт- Петербургский государственный университет, Санкт-Петербург, Россия, стр. 34-35 (год публикации - 2025)

9. Лаврухина А.Д. Поиск вспышек красных карликов в данных ZTF DR17 при помощи методов машинного обучения Тезисы докладов Международной конференции ''Физика звёзд в эпоху многоволновых наблюдений (Звёзды–2025)''. 22–26 сентября 2025 г. Санкт- Петербургский государственный университет, Санкт-Петербург, Россия, 143 стр, Тезисы докладов Международной конференции ''Физика звёзд в эпоху многоволновых наблюдений (Звёзды–2025)''. 22–26 сентября 2025 г. Санкт- Петербургский государственный университет, Санкт-Петербург, Россия, стр. 31-32 (год публикации - 2025)