Разработка информационной системы для дистанционного исследования археологических памятников с использованием методов математического моделирования, картографирования и глубокого машинного обучения

КАРТОЧКА ПРОЕКТА ФУНДАМЕНТАЛЬНЫХ И ПОИСКОВЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ

Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.

ОБЩИЕ СВЕДЕНИЯ

Номер проекта 23-11-20007

НазваниеРазработка информационной системы для дистанционного исследования археологических памятников с использованием методов математического моделирования, картографирования и глубокого машинного обучения

Руководитель Вохминцев Александр Владиславович, Доктор технических наук

Организация финансирования, регион федеральное государственное бюджетное образовательное учреждение высшего образования "Челябинский государственный университет" , Челябинская обл

Конкурс №77 - Конкурс 2023 года «Проведение фундаментальных научных исследований и поисковых научных исследований отдельными научными группами» (региональный конкурс)

Область знания, основной код классификатора 01 - Математика, информатика и науки о системах; 01-723 - Специализированные программные модели и системы

Ключевые слова методы машинного обучения и искусственного интеллекта, математическое моделирование, семантическая маркировка, регистрация данных, трехмерная карта, археологический памятник

Код ГРНТИ28.17.33

ИНФОРМАЦИЯ ИЗ ЗАЯВКИ

Аннотация
Предлагаемый проект посвящен проблеме разработки системы для обнаружения и исследования археологических памятников на основе методов машинного обучения и искусственного интеллекта, картографирования, ГИС и геофизики, а также разработке методов картографирования для построения математических моделей археологического ландшафта и археологических памятников. В проекте будет разработана система картирования и съемки археологических объектов в виде трехмерных моделей для объектов большой площади. Применение дистанционной технологии сканирования окружающего пространства с использованием комплекса мультисенсорных датчиков позволит обеспечить безопасность археологического и культурного наследия государственных археологических памятников. В проекте будут произведены исследования двух опорных участков – поселений Степное и Левобережное, расположенных в степной и лесостепной зоне Южного Зауралья. Будут проведены поисковые работы утраченных памятников археологии (открытых в XIX-XX вв. без привязки к системе координат, поврежденных памятников со снятым верхним почвенным слоем) и нечитаемых на местности объектов в известных археологических памятниках (грунтовых захоронениях, ритуальных и хозяйственных сооружениях без выраженных в рельефе признаков). Методы машинного обучения на основе сверточных нейронных сетей будут применены для обнаружения археологических объектов на двумерных и трехмерных моделях археологических памятников. Ожидается, что разработанные методы будут универсальными и масштабируемыми и могут быть применены на других археологических памятниках, также ожидается, что методы дешифрирования археологических объектов будут иметь высокую производительность и будут работать в реальном масштабе времени. На основе комплекса предложенных методов будет разработан прототип информационной системы для дистанционной технологии неразрушающих археологических исследований и построения точных математических моделей археологических объектов, будут созданы двумерные и трехмерные математические модели археологических памятников поселений Степное и Левобережное с детализацией внешних и внутренних архитектурных конструкций поселений и могильников. В результате компьютерного моделирования будет определена степень эффективности различных методов обнаружения для разных типов археологических памятников, природных условий, почв и пр. с целью составления адекватной исследовательской программы для конкретного археологического объекта. Ожидается, что разработанные в проекте методы регистрации и картографирования на основе комбинирования визуальных и семантических характеристик окружающей среды будут иметь теоретическое и прикладное значение не только для области исследований, связанной с обнаружением и исследованием археологических памятников, но и в целом иметь важное значение для разработки новых точных методов технического зрения, реконструкции трехмерных объектов и их поверхностей, а также других приложений цифровой обработки информации. Разработка прототипа информационной системы для дистанционной технологии неразрушающих археологических исследований позволяет с одной стороны решить важнейшую проблему археологической науки по сохранению культурного наследия, повысить эффективность выявления и охраны археологических памятников, а с другой стороны сократит длительность процедуры проведения археологической экспертизы и позволит прейти к скорейшему вовлечению территорий южной части Челябинской области в сельскохозяйственный оборот и промышленное развитие. Прототип системы позволит осуществлять мониторинг за динамикой изменения состояния археологических памятников по данным спутниковых снимков для фиксации признаков разрушений.

ОТЧЁТНЫЕ МАТЕРИАЛЫ

Публикации

1. Вохминцев А.В., Христодуло О.И., Романов М.А. Semantic Classification and Segmentation of Archaeological Sites Based on a Fusion of Object Detector and 3DEF 2023 International Russian Automation Conference (RusAutoCon), IEEE Proceedings of 2023 International Russian Automation Conference (RusAutoCon), V.1, pp. 1-6 (год публикации - 2023)
10.1109/RusAutoCon58002.2023.10272916

2. Вохминцев А.В., Христодуло О.И., Мельников А.В., Романов М.А. Application of Dynamic Graph CNN* and FICP for Detection and Research Archaeology Sites Analysis of Images, Social Networks and Texts - 11th International Conference, AIST 2023, Yerevan, Armenia, Septemeber 28 – 30, 2023, Revised Selected Papers, Lecture Notes in Computer Science LNCS | Springer, V.14486 (год публикации - 2023)

3. Вохминцев А.В., Мельников А.В., Романов М.А., Шицелов А.В. Cистема дистанционного исследования археологических памятников с использованием методов глубокого машинного обучения Труды XXI национальной конференции по искусственному интеллекту с международным участием, т.1, 344-354 (год публикации - 2023)

4. А. В. Вохминцев, А. В. Мельников, М. А. Романов и А. В. Шицелов Remote Research System of Archaeological Sites Using Deep Learning Pattern Recognition and Image Analysis , Pattern Recognit. Image Anal. Vol.34, Issue 3, 574–582 (2024) (год публикации - 2024)
10.1134/S105466182470038X

5. А.В. Вохминцев, В.Р. Аббазов, М.А. Романов Сегментация 3d моделей данных c помощью мультимодального динамического графа CNN Вестник ЮУрГУ. Серия: Вычислительная математика и информатика, Вестник ЮУрГУ. Серия: Вычислительная математика и информатика. 2024. Т. 13, № 2. С. 23–38. (год публикации - 2024)
10.14529/cmse240202

6. Александр Вохминцев, Мостафа Хатер, Мостафа Аботалеб 3d Segmentation Methods of Archaeology Sites Using Dynamic Graph CNN and Transformer Architecture Proceedings of 8-th International Scientific Conference Intelligent Information Technologies for Industry // Lecture Notes in Networks and Systems. Springer Nature Switzerland AG. https://link.springer.com/book/10.1007/978-3-031-43789-2 (год публикации - 2024)

7. А. Вохминцев, А. Митянина, М. Романов The Fusion-ICP Data Registration Algorithm Using Ortogonal Transformations for 3D Reconstructing of an Archaeological Sites’ Models Proceedings of 2024 International Conference on Industrial Engineering, Applications and Manufacturing (ICIEAM), Publisher: IEEE. 979-8-3503-9501-3/24. PP. 1-6 (год публикации - 2024)
10.1109/ICIEAM60818.2024.10553946

8. Батанина Н. С., Куприянова Е. В., Муравьев Л. А. Вопросы использования данных дистанционного зондирования в задачах комплексного исследования поселений бронзового века (на примере Челябинской области) Вестник Югорского государственного университета, Вестник Югорского государственного университета 2023 г. Выпуск 4. С. 57–69 (год публикации - 2023)
10.18822/byusu20230457-69

9. Вохминцев А. В., Батанина Н. С., Куприянова Е. В., Муравьев Л. А. Дистанционное исследование археологических памятников Южного Зауралья с помощью методов геофизики и машинного обучения ABSTRACTS of the International Conference, dedicated to the 70th anniversary of the Geophysical Center of the RAS and the 300th anniversary of the Russian Academy of Sciences "Data Science, Geoinformatics and Systems Analysis in Geosciences", ABSTRACTS of the International Conference, dedicated to the 70th anniversary of the Geophysical Center of the RAS and the 300th anniversary of the Russian Academy of Sciences "Data Science, Geoinformatics and Systems Analysis in Geosciences", С.24. (год публикации - 2024)
10.2205/2024-GCRAS70

10. Ф. Н. Петров, Н. С. Батанина, Н. Ф. Петров Археологический микрорайон позднего бронзового века в среднем течении р. Синташты Уральский исторический вестник, Уральский исторический вестник. 2024. № 4(85). С. 81−91. DOI: 10.30759/1728-9718-2024-4(85)-81-91. (год публикации - 2024)
10.30759/1728-9718-2024-4(85)-81-91

11. Батанина Н.С., Куприянова Е.В., Муравьев Л.А., Мамонтов А.В. Изменения архитектуры укрепленного поселения Степное: климат, миграции и современные вмешательства (по данным дистанционных исследований) Уфимский археологический вестник, Уфимский федеральный исследовательский центр Российской академии наук, Уфимский археологический вестник. Т.25 (год публикации - 2025)

Аннотация результатов, полученных в 2024 году
1. Проведены полевые исследования территории опорных участков в районе недавно открытых укрепленных поселений Нижнеуспенское и Верхнеуральское: выполнено картирование и аэрофотосъемка археологических памятников с БПЛА, выполнено лазерное сканирование с БПЛА, проведены тахеометрическая съемка с использованием датчика Trimble 3300 и геофизическое исследование с помощью системы индукционного магнитного профилирования АЭМП-14. 2. Предложен оригинальный метод классификации и семантической сегментации нерегулярных облаков точек DGCNN* (Dynamic Graph CNN) на основе мультимодального взвешенного динамического графа для решения задачи дешифрирования структуры археологического памятника, который позволил устранить часть недостатков известных архитектур GCNN связанных прежде всего с зависимостью от размера анализируемого облака точек. В работе были предложен и исследован метод 3d сегментации экземпляров на основе глубокой нейронной сетей с архитектурой трансформера Mask3D. Для возможности эффективной обработки разреженных, неравномерных и зашумленных облаков точек в архитектуру модели Mask3D были внесены изменения, которые позволили улучшить качество 3d сегментации в среднем на 7 пунктов по метрике F1 для следующих классов: s1 – жилище; s2 – ров; s3 – оборонительная стена; s4 – могильник. 3. В результате полевых исследований, проведенных в 2024 г. в Кизильском районе Челябинской области, в том числе на территории поселений Нижнеуспенское и Верхнеуральское, пополнена новыми данными коллекция археологических памятников бронзового века Южного Зауралья, создана и размечена обучающая выборка на основе новых данных. 4. Построены модели данных и проведено обучение нейронных сетей на основе мультимодального взвешенного динамического графа DGCNN* и модифицированного метода Mask3D*. В целом, результаты 3d сегментации с помощью метода DGCNN* при обработке outdoor коллекций данных в контролируемых условиях съемки соответствуют лучшим мировым результатам. Для археологических памятников со сложной семантической структурой использование модифицированной модели Mask3D* является более предпочтительным в сравнении с моделью на основе DGCNN*. Археологи при дешифрировании структуры археологического памятника на основе предложенных методов картографирования, геофизики и машинного обучения могут получить детальное представление о его структуре: расположению оборонительных стен, рвов, жилищных впадин, могильников, улиц и проходов в древнем поселении. 5. Разработаны алгоритмы идентификации зон с расположенными археологическими памятниками на двумерных и трехмерных цифровых моделях археологического ландшафта по данным аэрофотосъемки с БПЛА и данным дистанционного зондирования Земли: для решения задачи детектирования объектов на изображениях с использованием модели MobileNetV3 и для классификации 3d данных на основе модифицированной модели PointView-GCN с измененной функцией потерь и схемой сэмплирования. Внесенные изменения в архитектуру нейронной сети PointView-GCN позволили добиться высокого качества 3d классификации по разным метрикам для разных классов археологических объектов. 6. Разработан алгоритм Fusion-ICP для 3d регистрации облаков точек на основе слияния данных о визуальных и семантических признаках археологического памятника для класса ортогональных преобразований. Вычислительные эксперименты показали повышение точности алгоритма Fusion-ICP в контролируемых условиях по сравнению с известными вариантами ICP. 7. В работе было произведено расширение размера обучающей выборки с археологическими объектами приблизительно в 9 раз с помощью геометрических и мозаичных преобразований, а также методов предобучения сверточных нейронных сетей на основе MaskR-CNN. В результате была получена коллекция 2d данных на основе аэрофотоснимков и космоснимков, содержащая 4815 снимков. 8. В результате комплексного исследования археологических памятников бронзового века Южного Зауралья с помощью различных дистанционных методов установлено: на перовом этапе бронзового века (XXI–XIX вв. до н. э.) на территории укрепленного поселения Левобережное единовременно функционировало от 13 до 26 жилых помещений, а на территории поселения Андреевское – от 20 до 36 жилых помещений, суммарное население микрорайона в период позднего бронзового века составляло от 330 до 930 человек; на втором этапе позднего бронзового века, в период распространения алакульской культуры и памятников срубно-алакульского типа (XIX–XVI вв. до н.э.), можно говорить о существовании как минимум 32 жилищ, в которых могло проживать от 320 до 480 человек; на третьем этапе позднего бронзового века (XV–XII вв. до н.э.) можно говорить о наличии на территории микрорайона как минимум 3 жилищ, в которых могло проживать от 30 до 45 человек. Памятников, связанных с заключительным этапом позднего бронзового века на исследованной территории не обнаружено.

Публикации