КАРТОЧКА ПРОЕКТА ФУНДАМЕНТАЛЬНЫХ И ПОИСКОВЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ

Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.

ОБЩИЕ СВЕДЕНИЯ

Номер 21-71-00133

НазваниеСовершенствование фундаментальных основ построения систем автономной навигации внутри помещений в режиме реального времени

РуководительАстафьев Александр Владимирович, Кандидат технических наук

Организация финансирования, регион федеральное государственное бюджетное образовательное учреждение высшего образования "Владимирский государственный университет имени Александра Григорьевича и Николая Григорьевича Столетовых", Владимирская обл

Период выполнения при поддержке РНФ

07.2021 - 06.2023

Конкурс№60 - Конкурс 2021 года «Проведение инициативных исследований молодыми учеными» Президентской программы исследовательских проектов, реализуемых ведущими учеными, в том числе молодыми учеными.

Область знания, основной код классификатора 01 - Математика, информатика и науки о системах, 01-727 - Специализированные системы обработки и анализа изображений и сигналов

Ключевые словаПозиционирование внутри помещений, навигация внутри помещений, Bluetooth Low Energy, инерциальная навигация, RSSI, CSI, WiFi

Код ГРНТИ20.53.19

СтатусУспешно завершен

ИНФОРМАЦИЯ ИЗ ЗАЯВКИ

Аннотация
Проект направлен на совершенствование фундаментальных основ построения систем автономной навигации внутри помещений в режиме реального времени. В проекте планируется рассмотреть аспекты, связанные с радиочастотной навигацией, инерциальной навигацией, комплексированием их результатов и интеллектуальным анализом данных. Несмотря на большое количество исследований в области навигации в закрытых помещениях всё равно остаётся большое количество нерешенных вопросов. Необходима разработка более точных, быстрых и масштабируемых алгоритмов. Точность зависит от среды распространения сигнала, наличия физических преград и интерференции. В данном направлении исследования направлены на использование шумоподавляющих фильтров, искусственных нейронных сетей и подходов дообучения в процессе эксплуатации. Перспективным направлением повышение точности является исследования радиосигнала по каналам CSI. Есть и отдельные работы, которые нацелены на определение уровня помех при наличии физических преград (стены, люди и т.д.), но практических исследований в полноценных системах позиционирования в них не проводится. Масштабируемость – это еще одна большая, нерешённая проблема разработки алгоритмов навигации внутри помещений. Любая система навигации требует начальной калибровки на контролируемой территории, чтобы подстроиться к особенностям среды распространения сигнала. Однако, в задачах навигации внутри помещений, среда распространения сигнала постоянно изменяется. Это может происходить из-за появления новых физических преград, новых источников радиосигнала в рабочем диапазоне и много другое. Поэтому еще одним направлением работы научных сотрудников является разработка методов и алгоритмов адаптации существующей системы навигации к постоянно изменяющейся среде распространения сигнала. Реализация проекта позволит заложить новые фундаментальные основы построения систем позиционирования внутри помещений с точностью в дециметровом диапазоне, не уступающим мировому научно-техническому уровню.

Ожидаемые результаты
На первом году реализации проекта планируется получить следующие результаты: Демидов А.А., Астафьев А.В.: 1. Разработать алгоритмы получения данных о состоянии каналов CSI с применением WiFi и BLE. 2. Провести исследования точности позиционирования по данным с каналов в противовес методу RSSI. 3. Модифицировать алгоритм мультилатерации с использованием данных CSI каналов. Кондрушин И.А., Астафьев А.В.: 1. Разработать алгоритм получения данных с датчиков инерциальной навигации. Реализовать метод счисления координат для организации инерциальной навигации. 2. Провести исследования точности позиционирования по данным с датчиков инерциальной навигации, в зависимости от метода крепления на теле человека или роботизированной платформе. 3. Модифицировать алгоритм фильтрации методом Калмана путем модернизации математической модели в области характера поведения контролируемого объекта. Астафьев А.В., Демидов А.А., Кондрушин И.Е.: 1. Результаты сравнительного анализа точности обучения различных моделей нейронных сетей в задаче перевода уровней сигналов RSSI, данных с инерциальных датчиков в реальное расстояние. 2. Результаты исследования шумоподавляющих автоэнкодеров на базе сверточных нейронных сетей и сравнительного анализа результатов с алгоритмом Калмана. 3. Результаты исследования методов контроля целостности и повышения информационной безопасности сенсорных сетей. В настоящее время коллективом получилось добиться точности позиционирования со средней ошибкой в 0,23 метра в лабораторных условиях, при том, что максимальная ошибка позиционирования не превышала 0,73 метра. В дальнейшем планируется работа над повышением точности и масштабируемости полученных алгоритмов и подходов.

ОТЧЁТНЫЕ МАТЕРИАЛЫ

Аннотация результатов, полученных в 2021 году
В рамках работ первого года проекта началась разработка методов получения и анализа информации и состоянии канала (CSI) радиоустройств, работающих на базе технологий WiFi4, WiFi5 и Bluetooth Low Energy. В рамках работы были спроектированы и практически реализованы четыре лабораторных установки по получению данных о состоянии каналов CSI на базе пакетов Atheros CSI Tool и Linux 802.11n CSI Tool и отладочной платы nRF5340. В рамках работ были сформированы наборы данных о состоянии канала связи на расстояниях от 0,5 до 5 метров. Общее количество анализируемых данных составило 401 984 400. Результаты исследования были доложены на всероссийской конференции с международным участием «Математические методы распознавания образов». В направлении работ по получению и предварительной обработки информации CSI был реализован алгоритм компенсации фазовых сдвигов и искажений, обусловленных ошибками синхронизации на приёмнике при передаче пакетов. Использование предложенного алгоритма позволяет получать истинные фазы сигнала на 56 поднесущих на основе использования технологии WiFi4. Результаты исследования были доложены на международной конференции «Цифровая обработка сигналов и ее применение — DSPA-2022». Доклад признан лучшим в секции «Обработка сигналов в системах телекоммуникаций». В направлении работа по позиционированию радиоустройств на основе информации CSI коллективом была предложена вероятностная генеративная модель однослойной сенсорной сети для определения расстояния до радиоустройства путем оценки цифрового отпечатка области покрытия, что относится к непараметрическим алгоритмам на основе Байесовской фильтрации. Для обучения вероятностной генеративной модели нейронной сети используется алгоритм контрастивной дивергенции для нахождения оптимальных весов и семплирование по Гиббсу для организации процедуры градиентного спуска. В ходе экспериментальных исследований коллективу удалось однозначно разделить расстояния между устройствами с шагом в 1 метр. Результаты исследования направлены на публикацию в журнал «Гироскопия и навигация». В направлении работ по позиционированию радиоустройств на основе технологии Bluetooth Low Energy предложен и реализован алгоритм опорных маяков, позволяющий адаптировать предложенные ранее алгоритмы анализа уровня сигнала RSSI к условиям изменяющейся среды распространения сигнала. Идея основана на постоянном мониторинге изменения среды распространения сигнала с целью корректировки базовых значений параметрической модели распространения сигнала. Экспериментальные исследования показали повышение точности позиционирования в условиях сложных сред (наличие физических преград, большого скопления людей и устройств, работающих в полосе частот 2.4 ГГц) распространения сигнала на 12-27%. Результаты исследования были доложены на международной научно-технической конференции «Автоматизация». В направлении повышения точности позиционирования по уровню сигнала RSSI на основе технологии Bluetooth Low Energy были разработаны алгоритмы получения данных с инерциальных датчиков смартфона и построение пройденного пути методом счисления координат. Целью разработок является комплексирование полученных результатов и модификация фильтра Калмана для получения более точных результатов позиционирования. Помимо фильтра Калмана, в работе реализован и экспериментально исследован шумоподавляющий автоэнкодер на базе сверточных нейронных сетей. Результаты лабораторных исследований показали применимость шумоподавляющих автоэнкодеров для фильтрации исходных сигналов, поступающих с радиоустройств и инерциальных датчиков. Помимо этого, при работе над проектом коллектив проводил большое количество вычислительных экспериментов в области технического зрения, а именно, локализации объектов на цифровых изображения с использованием сверточных нейронных сетей. Объектами локализации выступали структурные части печатных документов, точечные маркировки черных металлов, сотрудники предприятий на промышленных сценах и студенты учебных заведений. В ходе проведения экспериментальных исследований, все наборы данных использовались при обучении модели MobileNet, для проверки адекватности обучающей выборки. Все наборы данных показали точность локализации более 75%. Набор данных точечных маркировок на поверхностях чёрных металлов показал точность в 94,33% с использованием модели RetinaNet. Среди них ошибок первого рода – 3,3%, ошибок второго рода – 2,4%. Результаты исследований были доложены на международной научно-технической конференции «Распознавание».

Публикации

1. Астафьев А.В., Демидов А.А., Жизняков А.Л., Кондрушин И.Е. Development of an Algorithm for Positioning a Mobile Device Based on Sensor Networks from BLE Beacons for Building Autonomous Navigation Systems Proceedings - 2021 International Russian Automation Conference, RusAutoCon 2021, стр. 1056–1061 (год публикации - 2021) https://doi.org/10.1109/RusAutoCon52004.2021.9537469

2. Астафьев А.В., Жизняков А.Л., Демидов А.А., Кондрушин И.Е. Исследование применимости использования информации о состоянии канала передачи данных для организации позиционирования внутри помещений 20-я Всероссийская конференция с международным участием «Математические методы распознавания образов» (ММРО-2021), 1 (год публикации - 2021)

3. Астафьев А.В., Жизняков А.Л., Демидов А.А., Кондрушин И.Е. Применение искусственных нейронных сетей для решения задачи выделения структурных объектов на изображениях печатных документов XVI МЕЖДУНАРОДНАЯ НАУЧНО-ТЕХНИЧЕСКАЯ КОНФЕРЕНЦИЯ ОПТИКО-ЭЛЕКТРОННЫЕ ПРИБОРЫ И УСТРОЙСТВА В СИСТЕМАХ РАСПОЗНАВАНИЯ ОБРАЗОВ И ОБРАБОТКИ ИЗОБРАЖЕНИЙ "РАСПОЗНАВАНИЕ — 2021", Стр. 270-273 (год публикации - 2021)

5. Астафьев А.В., Демидов А.А., Привезенцев Д.Г., Кондрушин И.Е. Программа визуализации и фильтрации значений уровней сигналов RSSI c Bluetooth Low Energy маяков Федеральная служба по интеллектуальной собственности, 2022610786 (год публикации - 2021)

6. Астафьев А.В., Демидов А.А., Привезенцев Д.Г., Кондрушин И.Е. Система сбора и обработки данных о состоянии канала связи CSI -, 2022610639 (год публикации - )

Аннотация результатов, полученных в 2022 году
Второй год исследований был посвящен проведению экспериментальных исследований с использованием информации о состоянии канала связи. В отчетном периоде производилась модернизация предложенного стенда с целью увеличения скорости сбора информации и ее интерпретации. В частности, были проведены следующие работы: 1. Разработан алгоритм, представляющий информацию о состоянии канала связи в виде json-файла, для уменьшения времени передачи наборов данных из среды MatLab в интерпретатор Python. 2. Внесены изменения в алгоритм извлечения информации о состоянии канала связи с целью увеличения скорости работы путем отказа от избыточных выводов. 3. Реализован алгоритм автоматического формирования набора данных по набору файлов с измерениями информации о состоянии канала связи. Всё это позволило сократить время на формирование обучающего набора данных в 7-8 раз. Помимо вопросов оптимизации лабораторного стенда также исследовался вопрос использования более широких полос передачи данных. Так, в исследованиях используется ширина полосы передачи данных в 20 МГц, что позволяет получать информацию о состоянии канала связи размером 2х2х56. На имеющемся оборудовании удалось получить данные с шириной канала в 40МГц. Размер пакета составил 3х2х114. Однако, работа лабораторного стенда в полосе частот 40 МГц довольна нестабильна. В том числе в виду этого были проведены попытки модернизации прошивок устройств других производителей, которые способны работать в полосе частот 40 МГц. В результате удалось модифицировать драйвера чипов WiFi на точке доступа Ubitique UniFi AP AC Pro. Разработка лабораторного стенда на основе точек доступа Ubitique UniFi AP AC Pro будет завершена в рамках текущего гранта и потенциально позволит получать пакеты измерений размером 3х3х114. В виду того, что алгоритмы, предложенные в первый год работы над грантом, показали очень высокую точность локализации, в текущем году велась работа по увеличению размера контролируемой территории и уменьшению шага измерений. Размер наблюдаемой территории составил 10х6 метров с шагом измерений в 0.25 метра. Средняя ошибка определения расстояния между радиоустройствами составила 0.0073%. С целью повышения точности локализации объекта интереса был предложен алгоритм на основе обучения с учителем, показавший точность более 99% на всех полученных наборах данных. Полученные высокие показатели точности позволили перевести задачу локализации объекта интереса в задачу детекции движения. Предложенные алгоритмы выступили в роли блока определения текущей позиции объекта интереса. На протяжении всего пути объекта интереса по наблюдаемой территории собиралась информация о состоянии канала связи. После обработки полученного набора данных был получен путь движения объекта интереса. После обработки полученных данных методом K-средних и методом GMM удалось получить маршрут передвижения объекта интереса по наблюдаемой территории. Путем использования L1 нормы можно добиться точности детекции в 100% при условии учета размера объекта интереса (0.2х0.2 метра) и скорости отклика системы в 1 секунду. Экспериментальные результаты получены в наблюдаемых помещениях размером 4.5х2.5 метра и 10х6 метров. Разработан алгоритм шумоподавляющего автоэнкодера для фильтрации сигналов с инерциальных датчиков для повышения точность позиционирования и навигации. По результатам исследования можно сделать вывод, что использование предложенного алгоритма позволило снизить уровень шума в сигнале на 67.79% - 79.46%. В работе были проведены исследования с полносвязными слоями автоэнкодера и слоями с долгой краткосрочной памятью.

Публикации

1. А.В. Астафьев, М.В. Макаров, И.Е. Кондрушин Разработка алгоритма локализации сотрудников предприятия на цифровых изображениях промышленных сцен для построения систем управления промышленной безопасностью Телекоммуникации, №10, 2022. С.18-23 (год публикации - 2022) https://doi.org/10.31044/1684-2588-2022-0-10-18-23

2. Астафьев А.В. Development of a Methodology for the Identification of Ferrous Metal Products by Their Contactless Point Labeling Using Convolutional Neural Networks 2023 International Russian Smart Industry Conference (SmartIndustryCon), - (год публикации - 2023)

3. Астафьев А.В., Астафьева О.С., Кондрушин И.Е. Indoor Positioning by CSI Amplitude and Neural Networks 2023 25th International Conference on Digital Signal Processing and its Applications (DSPA), 2023 25th International Conference on Digital Signal Processing and its Applications (DSPA) (год публикации - 2023)

4. Астафьев А.В., Жизняков А.Л., Захаров А.А., Привезенцев Д.Г. Algorithm for Preliminary Processing Channel State Information of the WIFI Communication Channel for Building Indoor Positioning Systems 2022 24th International Conference on Digital Signal Processing and its Applications, DSPA 2022, 2022 24th International Conference on Digital Signal Processing and its Applications (DSPA), 2022, pp. 1-4, doi: 10.1109/DSPA53304.2022.9790751. (год публикации - 2022) https://doi.org/10.1109/DSPA53304.2022.9790751

5. А.В. Астафьев, О.С. Астафьева, Д.Г. Привезенцев Извлечение информации о состоянии канала связи для построения интеллектуальных систем бесшовной навигации Сборник материалов XVII Международной научно-технической конференции Распознавание - 2023, г. Курск, - (год публикации - 2023)

6. Астафьев А.В. Разработка алгоритма определения расстояния между радиоустройствами на основе информации о состоянии канала связи и искусственных нейронных сетей Интеллектуализация обработки информации, Интеллектуализация обработки информации: Тезисы докладов 14-й Международной конференции, г. Москва 2022 г. — М.: Российская академия наук, 2022. — 472 с. (год публикации - 2022)

7. Кондрушин И.Е., Астафьев А.В., Астафьев А.С. Разработка алгоритма интерпретации данных акселерометра в пройденное расстояние Сборник материалов IX Всероссийской научно-практической конференции «Интеллектуальные информационные системы: тенденции, проблемы, перспективы» (ИИС ‒ 2022), сборник материалов IX Всероссийской научно-практической конференции / редкол.: С. Г. Емельянов (отв. ред.) [и др.]; Минобрнауки России, Юго-Зап. гос. ун-т. ‒ Курск: ЮЗГУ, 2022. ‒ 91-94 с. ISBN 978-5-7681-1590-6 (год публикации - 2022)

Возможность практического использования результатов
Возможность практического использования имеют две технологии, исследуемые в текущем проекте: подход использования матричной маркировки для идентификации продукции и технология извлечения информации о состоянии канала связи. Использование матричной маркировки для идентификации продукции. Данное направление исследований обусловлено необходимостью оптимизации процесса автоматической идентификации изделий из черных металлов. В виду этого, исследование изначально направлено снижение экономических затрат производств, связанных с обработкой чёрных металлов. В частности, такая проблема остро стоит на ОАО «Выксунский металлургический завод». Также, результаты исследований будут полезны и другим предприятиям отрасли, например, Северстать, Альметьевский металлургический завод, Чусовской металлургический завод. Практическая задача, на решение которой направлено исследование, заключается в снижении стоимости обслуживания оборудования нанесения маркировки на поверхности изделий из чёрных металлов. В случае с ОАО «ВМЗ» на трубы. Наиболее рациональным решением маркировки труб является струйная печать, т.к. напечатанная специальным составом маркировки выдерживает термообработку с температурой до 800 градусов. В виду этого использование наклеек невозможно, а использование деформирующих воздействий запрещено. Однако постоянная печать быстро засоряет печатающую головку принтера, что приводит его поломке и необходимости прочистки. Именно этот этап очень дорог с экономической точки зрения. Поэтому, в проекте предлагается совместить преимущества струйной печати и экономичность ударо-точечной маркировки – производить печать цифрами, представленными матрицей точек. В работе предложена матричная маркировка и алгоритм ее распознавания с использованием моделей нейронных сетей MobileNet и RetinaNet. Точность локализации и идентификации маркировки составила 94,33%. Время обработки одного кадра размером 1600х256 пикселей 1,5-3 секунды. Предложенный подход был представлен сотрудникам ОАО «ВМЗ» (подробнее в пункте 5.10). Технология извлечения информации о состоянии канала связи. Основным направлением исследований проекта стала информация о состоянии канала связи (CSI). Большое количество исследований, основанных на обработке информации с радиоустройств используют показатель уровня принимаемого сигнала RSSI. Показатель RSSI имеет низкую точность и высокую зашумленность. В отличие от RSSI CSI позволяет получить намного больше информации о том, как сигнал распространяется от передатчика к приёмнику. В проекте предложены алгоритмы определения расстояния между устройствами и проведены исследования по локализации человека без нательных датчиков. Таким образом, информацию о расстоянии между устройствами можно использования для организации локализации объектов интереса. Примером такой задачи является задача отслеживания перемещения продукции по территории цеха ТЭСЦ №3 ОАО «ВМЗ». Необходимо определить какая продукция была перемещена из какой зоны хранения в какую. Если разместить передающий маршрутизатор на средство малой механизации (например, траверсу крана), то можно получать информацию о том, где оно находится в конкретный момент времени. Задача локализации траверсы крана решена на ОАО «ВМЗ» лишь частично. Исходя из этого можно сделать вывод, что применение предложенных алгоритмов может быть нацелено на решение проблемы локализации средств малой механизации промышленных предприятий. Второй эксперимент – локализация человека без нательных датчиков. Предложенный алгоритм показал высокую точность локализации по статическому CSI. Таким образом, предложенный алгоритм можно применить для построения систем безопасности – обнаружения факта присутствия человека на территории, потенциально опасной для здоровья или для построения систем охраны – обнаружения факта проникновения на защищаемую территорию с возможностью локализации злоумышленника в реальном времени. Достоинством реализации систем безопасности с использованием CSI является соблюдение конфиденциальности. Это те возможные применения, которые рассматриваются руководителем проекта на основе личного опыта, но CSI также используют для решения большого количества других прикладных задач, начиная от слежения за дронами, заканчивая определением спелости фруктов и влажности пшеницы. Однако, для реализации подобных проектов необходимо оборудование, которое позволит получать CSI, а на рынке нет ни одного устройства, которое бы могло решать эту задачу без вмешательства на физическом уровне. В виду этого, производство устройств, способных извлекать CSI может быть экономически выгодно для оснащения исследовательских лабораторий с целью разработки новых прикладных решений и для практического развертывания предложенных решений в будущем.