Комплексирование методов при нейросетевом решении обратных задач высокой размерности

КАРТОЧКА ПРОЕКТА ФУНДАМЕНТАЛЬНЫХ И ПОИСКОВЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ

Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.

ОБЩИЕ СВЕДЕНИЯ

Номер проекта 19-11-00333

НазваниеКомплексирование методов при нейросетевом решении обратных задач высокой размерности

Руководитель Доленко Сергей Анатольевич, Кандидат физико-математических наук

Организация финансирования, регион Федеральное государственное бюджетное образовательное учреждение высшего образования «Московский государственный университет имени M.В.Ломоносова» , г Москва

Конкурс №35 - Конкурс 2019 года «Проведение фундаментальных научных исследований и поисковых научных исследований отдельными научными группами»

Область знания, основной код классификатора 01 - Математика, информатика и науки о системах; 01-208 - Нейроинформатика

Ключевые слова адаптивные методы обработки данных, машинное обучение, комплексирование методов, искусственные нейронные сети, регрессия, классификация, обратные задачи высокой размерности, геологоразведка, спектроскопия

Код ГРНТИ28.23.37

ИНФОРМАЦИЯ ИЗ ЗАЯВКИ

Аннотация
Современный этап развития естественнонаучного знания характеризуется тем, что возможности прямого измерения интересующих исследователя величин практически исчерпаны. По этой причине приходится прибегать к косвенным измерениям, обработка результатов которых связана с решением обратных задач (ОЗ) по определению значений искомых параметров объекта по значениям наблюдаемых величин. Помимо стандартных для ОЗ проблем, связанных с их возможной некорректностью или плохой обусловленностью, ОЗ косвенных измерений часто характеризуются высокой размерностью, как по входу (большое количество входных признаков задачи, т.е. наблюдаемых величин), так и по выходу (количество определяемых параметров может составлять десятки или сотни). Сочетание этих свойств с нелинейностью аппроксимируемых отображений, а также со сложностью и дороговизной получения данных приводит к тому, что многие методы решения оказываются недостаточно эффективными. Это касается как традиционных математических методов построения обратных операторов (эффективных для решения линейных и слабо нелинейных задач), так и современных методов машинного обучения, основанных на глубоких нейронных сетях (НС) и требующих для обучения весьма объёмных наборов данных, как правило, недоступных в задачах косвенных измерений. Таким образом, разработка специальных методов решения нелинейных ОЗ высокой размерности при умеренном количестве данных представляет собой весьма актуальную задачу. Основными кандидатами для решения этой задачи являются методы машинного обучения – прежде всего, «мелкие» нейронные сети в сочетании со специальными методиками их применения, а также методы, основанные на бустинге (boosting) и деревьях решений. Помимо традиционных способов понижения размерности данных по входу и по выходу, здесь могут быть использованы «мелкие свёрточные сети» (с 1-2 свёрточными слоями) для адаптивного определения оптимальных входных фильтров, групповое и поэтапное определение параметров и другие методы. Для повышения объёма доступных данных будут рассмотрены методы аугментации данных (добавление шума различной природы) и методы генерации данных. Ещё одним способом, позволяющим повысить качество решения сложных ОЗ, является комплексирование методов. Здесь следует различать несколько основных классов подходов. Алгоритмическое комплексирование означает совместное применение нескольких математических алгоритмов – например, путём организации из них комитета (ансамбля) предикторов. Комплексирование данных означает совместное использование различных разбиений данных на наборы (разнообразные варианты перекрестной проверки (cross-validation) и бэггинга (bagging)), позволяющее отчасти скомпенсировать недостаточное количество данных. Наконец, физическое комплексирование означает совместное применение нескольких физических методов для исследования одного и того же объекта, со сходными или идентичными методами решения возникающих при этом обратных задач. При этом физическая взаимосвязь определяемых разными методами величин (например, плотности и проводимости горной породы) может быть неоднозначной или неизвестной, однако применение методов машинного обучения с перекрёстной подачей результатов решения ОЗ для одного метода на вход алгоритма, решающего ОЗ для другого метода, может позволить адаптивно установить эту взаимосвязь и использовать её для повышения качества решения задачи. В ходе данного проекта планируется совместно применить все перечисленные виды комплексирования методов, что будет сделано впервые в мировой практике. В рамках настоящего Проекта для разработки и апробации новых методов обработки данных планируется использовать два класса задач. ОЗ разведочной геофизики характеризуется высокой размерностью по входу (тысячи и десятки тысяч наблюдаемых величин) и по выходу (сотни определяемых параметров, описывающих распределение интересующей исследователя величины), существенной нелинейностью, возможностью численного расчёта прямой задачи и наличием нескольких дополняющих друг друга методов разведки для осуществления физического комплексирования. ОЗ оптической спектроскопии характеризуется высокой размерностью по входу (тысячи наблюдаемых величин) и умеренной размерностью по выходу (единицы и десятки определяемых параметров), сильной нелинейностью, возможностью постановки активного физического эксперимента для получения массива данных с известными желаемыми ответами и наличием нескольких дополняющих друг друга спектроскопических методов для осуществления физического комплексирования. Для обоих классов задач применение разрабатываемых в ходе проекта новых методов обработки и анализа данных позволит получить новые результаты, интересные с точки зрения предметной области соответствующих задач. Таким образом, предлагаемый проект характеризуется высоким уровнем научной новизны – как с точки зрения разработки и совершенствования адаптивных методов обработки данных, так и с точки зрения рассматриваемых в ходе выполнения проекта фундаментальных и прикладных физических задач.

ОТЧЁТНЫЕ МАТЕРИАЛЫ

Публикации

1. Исаев И., Буриков С., Доленко Т., Лаптинский К., Доленко С. Diagnostics of Water-Ethanol Solutions by Raman Spectra with Artificial Neural Networks: Methods to Improve Resilience of the Solution to Distortions of Spectra Studies in Computational Intelligence, V. 856, pp. 319–325 (год публикации - 2020)
10.1007/978-3-030-30425-6_37

2. Исаев И., Сарманова О., Буриков С., Доленко Т., Лаптинский К., Доленко С. Joint application of Raman and optical absorption spectroscopy to determine concentrations of heavy metal ions in water using artificial neural networks Saratov Fall Meeting 2019:VII Symposium on optics & biophotonics book of abstracts (год публикации - 2019)

3. Пластинин И.В., Буриков С.А., Доленко Т.А., Сарманова О.Э., Доленко С.А. Manifestation of Fermi resonance in Raman spectra of micellar aqueous solutions of sodium salts of monobasic carboxylic acids Saratov Fall Meeting 2019:VII Symposium on optics & biophotonics book of abstracts (год публикации - 2019)

4. Исаев И.В., Буриков С.А., Доленко Т.А., Лаптинский К.А., Доленко С.А. Диагностика водно-этанольных растворов по спектрам комбинационного рассеяния с помощью искусственных нейронных сетей: методы повышения устойчивости решения к искажениям спектров Математические методы распознавания образов: Тезисы докладов 19-й Всероссийской конференции с международным участием, с.232 (год публикации - 2019)

5. Шимелевич М.И., Оборнев Е.А., Оборнев И.Е., Родионов Е.А. Machine Learning Methods for Interpretation of Multidimensional Geophysical Data Geomodel 2019, Extended abstracts (год публикации - 2019)
10.3997/2214-4609.201950099

6. Доленко С.А., Буриков С.А., Лаптинский К.А., Ефиторов А.О., Сарманова О.Э., Вервальд А.М., Власов И.И., Доленко Т.А. Integration of machine learning methods for fluorescent diagnostics of nanodiamonds and carbon nanoparticles in biological media International symposium on diamond films and functional devices, Book of abstracts, pp. 8-9 (год публикации - 2019)

Публикации

1. Исаев И.В., Буриков С.А., Доленко Т.А., Лаптинский К.А., Доленко С.А. Способы повышения устойчивости нейросетевого решения многопараметрических обратных задач к шумам в данных Тезисы докладов Международной конференции "Нейронные сети послезавтра: проблемы и перспективы" (год публикации - 2019)

2. Доленко С.А., Исаев И.В., Оборнев И.Е., Трифонов Н.Д., Ефиторов А.О., Сарманова О.С., Лаптинский К.А., Буриков С.А., Доленко Т.А. Комплексирование методов как способ снижения погрешности нейросетевого решения обратных задач Тезисы докладов Международной конференции "Нейронные сети послезавтра: проблемы и перспективы" (год публикации - 2019)

3. Исаев И., Трифонов Н., Сарманова О., Буриков С., Доленко Т., Лаптинский К., Доленко С. Joint application of Raman and optical absorption spectroscopy to determine concentrations of heavy metal ions in water using artificial neural networks Proceedings of SPIE - The International Society for Optical Engineering, v.11458, pp.114580R1-9 (год публикации - 2020)
10.1117/12.2564398

4. Пластинин И.В., Буриков С.А. Доленко Т.А., Доленко С.А. Manifestation of Fermi resonance in Raman spectra of micellar aqueous solutions of sodium octanoate Proceedings of SPIE - The International Society for Optical Engineering, v. 114580, pp.114580V1-8 (год публикации - 2020)
10.1117/12.2560462

5. Исаев И.В., Оборнев И.Е., Буриков С.А., Сарманова О.Э., Доленко С.А. Нейросетевое решение многопараметрических обратных задач на основе совместного применения нескольких физических методов измерения XVIII Всероссийская научная конференция «Нейрокомпьютеры и их применение». Тезисы докладов., сс. 302-303 (год публикации - 2020)

6. Сарманова О.Э., Лаптинский К.А., Буриков С.А., Исаев И.В., Доленко Т.А., Доленко С.А. Determination of heavy metal ions concentration in aqueous solutions using adaptive data analysis methods Proceedings of SPIE - The International Society for Optical Engineering, v.11354, pp.113540L1-9 (год публикации - 2020)
10.1117/12.2555114

7. Исаев И., Буриков С., Доленко Т., Лаптинский К., Доленко С. Study of Resilience of Neural Network Solution of Inverse Problem Based on Integration of Optical Spectroscopic Methods to Noise in Data Saratov Fall Meeting 2020: VIII Symposium on Optics & Biophotonics. Book of abstracts (год публикации - 2020)

8. Исаев И., Сарманова О., Буриков С., Доленко Т., Лаптинский К., Доленко С. Feature Selection in Neural Network Solution of Inverse Problem Based on Integration of Optical Spectroscopic Methods Studies in Computational Intelligence, v.925, pp.234-241 (год публикации - 2021)
10.1007/978-3-030-60577-3_27

9. Шимелевич М.И., Оборнев Е.А., Оборнев И.Е., Доленко С.А., Родионов Е.А. Integration of criteria for neural network inversion Conference Proceedings, Geomodel 2020, v. 2020, pp.1-5 (год публикации - 2020)
10.3997/2214-4609.202050026

10. Оборнев Е.А., Оборнев И.Е., Родионов Е.А., Шимелевич М.И. Application of Neural Networks in Nonlinear Inverse Problems of Geophysics Computational Mathematics and Mathematical Physics, v. 60 (6), pp. 1025–1036 (год публикации - 2020)
10.1134/S096554252006007X

11. Шимелевич М.И., Оборнев Е.А., Оборнев И.Е., Родионов Е.А. Аппроксимационный нейросетевой метод решения нелинейной двухкритериальной обратной задачи гравиметрии и магнитометрии Вопросы теории и практики геологической интерпретации геофизических полей: Материалы 47-й сессии Международного научного семинара Д. Г. Успенского – В. Н. Страхова, сс. 300-301 (год публикации - 2020)

12. Доленко С.А. Применение методов машинного обучения для решения многопараметрических обратных задач Применение технологий виртуальной реальности и смежных информационных систем в междисциплинарных задачах FIT-M 2020 : сборник тезисов международной научной конференции, сс. 235-240 (год публикации - 2020)
10.38006/907345-75-1.2020.235.240

Публикации

1. Шимелевич М.И., Оборнев Е.А., Оборнев И.Е., Родионов Е.А. The approximation neural-network method for solving nonlinear multi-criteria inverse problems of geophysics Journal of Physics: Conference Series, v.1715, pp. 012045-1-6 (год публикации - 2021)
10.1088/1742-6596/1715/1/012045

2. Шимелевич М.И., Оборнев И.Е., Оборнев Е.А., Родионов Е.А. Approximation approach to solving the inverse problem of geoelectrics using neural networks Data Science in Oil and Gas 2021, v. 2021, pp.1-5 (год публикации - 2021)
10.3997/2214-4609.202156021

3. Оборнев И.Е., Шимелевич М.И., Оборнев Е.А., Родионов Е.А. Примеры применения нейронных сетей в нелинейных обратных задачах геофизики Материалы XV Международной научнопрактической конференции Новые идеи в науках о Земле, cc. 320-324 (год публикации - 2021)

4. Родионов Е.А., Шимелевич М.И., Оборнев И.Е., Оборнев Е.А., Фельдман И.С. Инверсия 3d полевых данных геоэлектрики аппроксимационным нейросетевым методом Материалы XV Международной научнопрактической конференции Новые идеи в науках о Земле, сс. 266-270 (год публикации - 2021)

5. Шимелевич М.И., Оборнев Е.А., Оборнев И.Е., Родионов Е.А. Повышение эффективности нейросетевой интерпретации данных геоэлектрики на основе петрофизических исследований Тезисы докладов VIII Всероссийской школы-семинара по электромагнитным зондированиям Земли имени М.Н. Бердичевского и Л.Л. Ваньяна, сс. 1-2 (год публикации - 2021)

6. Пластинин И.В., Буриков С.А., Доленко Т.А. Laser diagnostics of reverse microemulsions: Influence of the size and shape of reverse micelles on the Raman spectrum on the example of water/AOT/cyclohexane system Journal of Molecular Liquids, v. 325, pp.115153-1-11 (год публикации - 2021)
10.1016/j.molliq.2020.115153

7. Ефиторов А., Доленко Т., Лаптинский К., Буриков С., Доленко С. Use of Conditional Generative Variational Autoencoder Networks to Improve Representativity of Data in Optical Spectroscopy Proceedings of Science, v.410 (год публикации - 2021)
10.22323/1.410.0013

8. Исаев И., Оборнев И., Оборнев Е., Родионов Е., Шимелевич М., Доленко С. Neural Network Solution of Inverse Problems of Geological Prospecting with Discrete Output Proceedings of Science, v.410 (год публикации - 2021)
10.22323/1.410.0003

9. Исаев И., Сарманова О., Буриков С., Доленко Т., Лаптинский К., Доленко С. Study of Resilience of Neural Network Solution of Inverse Problem Based on Integration of Optical Spectroscopic Methods to Noise in Data Proceedings of SPIE - The International Society for Optical Engineering, v. 1184611, pp.1-7 (год публикации - 2021)
10.1117/12.2591049

10. Ефиторов А., Доленко С. Use of Adaptive Window Wavelet Neural Networks to Solve Inverse Problems of Spectroscopy Proceedings of SPIE - The International Society for Optical Engineering, v.118470C, pp.1-7 (год публикации - 2021)
10.1117/12.2590936

11. Ефиторов А.О., Сарманова О.Э., Лаптинский К.А., Буриков С.А., Доленко Т.А., Доленко С.А. Общие и ансамблевые модели машинного обучения в задачах спектроскопии Сборник трудов по материалам VII Международной конференции и молодежной школы Информационные технологии и нанотехнологии (ИТНТ-2021), сс. 33982-1-2 (год публикации - 2021)

12. Исаев И.В., Гаджиев И.М., Сарманова О.Э., Буриков С.А., Доленко Т.А., Лаптинский К.А., Доленко С.А. Using Method Integration Transfer Learning for Neural Network Solution of an Inverse Problem in Optical Spectroscopy Book of Abstracts of Saratov Fall Meeting 2021: XXII Symposium on Spectroscopy and Molecular Modeling, p.1 (год публикации - 2021)

13. Исаев И., Сарманова О., Буриков С., Доленко Т., Лаптинский К., Доленко С. An Inverse Problem Involving Integration of Optical Spectroscopic Methods: Study of Influence of Feature Selection on Resilience of Neural Network Solution to Noise in Data Studies in Computational Intelligence, v.1008, pp.344–351 (год публикации - 2021)
10.1007/978-3-030-91581-0_45

14. Исаев И.В., Оборнев И.Е., Оборнев Е.А., Родионов Е.А., Шимелевич М.И., Доленко С.А. Использование классификации при решении регрессионной обратной задачи разведочной геофизики как способ повышения устойчивости решения к шумам в данных Математические методы распознавания образов: Тезисы докладов 20-й Всероссийской конференции, сс. 1-4 (год публикации - 2021)