Исследование архитектуры, организации и реализации интеллектуальных систем управления движением в реальном времени для робототехнических и мехатронных комплексов

КАРТОЧКА ПРОЕКТА ФУНДАМЕНТАЛЬНЫХ И ПОИСКОВЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ

Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.

ОБЩИЕ СВЕДЕНИЯ

Номер проекта 24-19-00692

НазваниеИсследование архитектуры, организации и реализации интеллектуальных систем управления движением в реальном времени для робототехнических и мехатронных комплексов

Руководитель Зеленский Александр Александрович, Кандидат технических наук

Организация финансирования, регион федеральное государственное бюджетное научное учреждение «Научно-производственный комплекс «Технологический центр» , г Москва

Конкурс №92 - Конкурс 2024 года «Проведение фундаментальных научных исследований и поисковых научных исследований отдельными научными группами»

Область знания, основной код классификатора 09 - Инженерные науки; 09-107 - Мехатроника и робототехника

Ключевые слова система управления движением, интеллектуализация, подсистема, архитектура, робототехника, мехатроника

Код ГРНТИ55.30.31

ИНФОРМАЦИЯ ИЗ ЗАЯВКИ

Аннотация
Тенденции автоматизации, роботизации и цифровизации производства, развивающиеся в мире и в России последние десятилетия, обуславливают стремительное повышение роли систем управления в обеспечении глобальной конкурентоспособности стран и эффективности ключевых видов технологического оборудования, в том числе робототехнических и мехатронных комплексов. Одним из стратегических направлений развития систем управления является их интеллектуализация, в основе которой лежит решение задач управления не только за счет увеличения вычислительных мощностей, но и совершенствования архитектуры систем управления, а также использование для интеллектуальных подсистем глубинного машинного обучения, реализуемого на базе искусственных нейронных сетей. Перспективным является использование память-ориентированной архитектуры вычислений. Одной из ее реализаций является память-центрическая архитектура, при которой данные в процессе вычислений не перемещаются между процессором и памятью (что требует затрат времени, энергии и ограничено пропускной способностью каналов связи), а остаются в памяти, в которую интегрируется процессор. Данные, перемещаемые между различными вычислительными устройствами системы управления, представляют собой результаты вычислений, имеющие незначительный объем. Эффективным вариантом организацией работы системы управления движением, обеспечивающей эмуляцию параллельных вычислений и взаимодействия функциональных модулей, является модель акторов. Актор — универсальный примитив исполнения, наделенный заданными свойствами и взаимодействующий посредством обмена сообщениями с другими акторами, обеспечивая совместно с ними функционирование системы. При формировании акторной память-ориентированной системы управления движением робототехнических и мехатронных комплексов основным предметом исследования становятся подсистемы управления, реализация их автономного (параллельного) функционирования, взаимодействия в рамках акторной модели и структурная интеграция в рамках память-ориентированной архитектуры. Наибольшие возможности совершенствования имеются в области интеллектуальных подсистем, обладающих значительным потенциалом качественного повышения эффективности управления движением, в том числе быстродействия и производительности управления. Значимым предметом исследования при этом также является снижение требований к электронно-компонентной базе, используемой для создания высокопроизводительных систем управления движением. Актуальность решения заявленной задачи исследования высокопроизводительных акторных память-ориентированных подсистем интеллектуальных микроархитектурных систем управления движением робототехнических и мехатронных производственных комплексов заключается в необходимости повышения их быстродействия до уровня, необходимого для решения всего спектра актуальных задач управления движением при ограниченных технических возможностях имеющейся в наличии отечественной электронно-компонентной базы. Научная новизна предлагаемых подходов к данной задаче заключается в комплексном использовании память-ориентированной архитектуры системы управления, организации взаимодействия подсистем на основе акторной модели, а также в построение оптимально интегрированных в систему управления интеллектуальных подсистем с использованием всех имеющихся в настоящее время возможностей в области искусственных нейронных сетей и формируемых на их основе систем глубинного машинного обучения.

ОТЧЁТНЫЕ МАТЕРИАЛЫ

Аннотация результатов, полученных в 2024 году
В отчетном 2024 году в рамках проекта «Исследование архитектуры, организации и реализации интеллектуальных систем управления движением в реальном времени для робототехнических и мехатронных комплексов» были выполнены следующие работы: 1. Проведен анализ комплексной проблемы построения высокопроизводительных интеллектуальных систем управления движением при ограниченных технических возможностях имеющейся в наличии отечественной электронно-компонентной базы. Анализ включает в себя определение подходов к решению двух фундаментальных задач: обеспечения работы с большим объемом данных в реальном времени и интеллектуализации – придания когнитивной системе способности к решению интеллектуальных задач. В рамках решении первой из указанных задач рассмотрена возможность реализации параллельности выполнения операций обработки данных: на уровне процессоров, ядер или логических элементов. 2. Проведены исследования и проведен анализ проблемы реализуемости управления в реальном времени движением для сложных объектов, связанной с необходимым повышением быстродействия управления. В рамках информационной концепции сознания различие между программно-реализуемой и аппаратно-реализуемой нейронными сетями заключается в том, насколько однозначным (определенным) является соответствие между элементами физического носителя сознания и информационными объектами в сознании. В случае аппаратной реализации такое соответствие является четко выраженным: элементы аппаратной реализации соотносятся с определенными нейронными схемами, а через них с информационными объектами в сознании. В случае программной реализации носитель сознания непосредственно генерирует информационную среду – виртуальную реальность, в которой существуют информационные объекты. 3. Проведены исследования существующих архитектурных и организационных подходов к решению задачи повышения быстродействия управления. Исследованы возможности конфигурирования цикла управления, т.е. определения распределения интервалов времени, необходимых для выполнения отдельных операций управления, по потокам исполнения, обеспечивающего реализуемость управления. Рассмотрены несколько подходов к конфигурированию цикла управления: без оптимизации, с комбинаторной оптимизацией по времени, с комбинаторной оптимизацией по ресурсам системы. Также рассмотрено адаптивное конфигурирование, при котором в каждый момент времени задействуются максимально доступные ресурсы, обеспечивая тем самым минимизацию времени исполнения всех элементов группы. 4. Проведен анализ текущих и перспективных возможностей повышения быстродействия управления сложными робототехническими и мехатронными системами на основе интеллектуализации управления. В рамках данного анализа исследован комплекс вопросов, определяющих синергетику искусственных когнитивных систем: условия реализации неравновесной устойчивости систем, варианты синтеза искусственной когнитивной системы, а также механизмы ее самоорганизации. По итогам проведенных исследований получены следующие научные результаты: 1. Показано, что реализация информационно-вычислительных систем с параллельной обработкой данных может основываться на реализации параллельности на различных уровнях: на уроне процессоров, физических ядер или логических элементов. Значимым фактором при реализации параллельности, также влияющим на достижение интеллектуализации когнитивной системы, является обеспечение избыточности элементов. 2. Предложена концепция достижения интеллектуализации искусственной когнитивной системы на основе использования паттернов форм и законов, а также выявленных (в процессе познания объектов) вторичных законов и свойств. Инструментом, позволяющим использовать паттерны, вторичные законы и свойства является искусственная когнитивная система в виде искусственной нейронной сети, в которой формируются нейронные схемы и нейрофизические паттерны. 3. Констатирована необходимость реализации искусственной когнитивной системы на базе искусственных нейронных сетей, которые, в свою очередь, имеют два варианта реализации. Они могут быть аппаратно-реализуемыми или программно-реализуемыми. Каждый из вариантов имеет свои достоинства и недостатки. Аппаратная реализация в целом имеет более высокую надежность и быстродействие, однако для наиболее сложных интеллектуальных задач, решаемых с использованием сложных иерархических нейронных схем, практическое использование аппаратной реализации на обозримую перспективу недостижимо. 4. Определены три уровня реализации параллельности выполнения операций с данными. Приоритетным является использование параллельности на уровне логических элементов. При этом (при необходимости, например, при очень больших объемах вычислений) дополнительно параллельность может использоваться на уровне ядер и процессоров. 5. Показано, что задача обеспечения реализуемости управления сводится к конфигурированию цикла управления. Возможны три подхода к конфигурированию цикла управления: без оптимизации с конфигурацией, заданной на основе экспертной оценки разработчика, а также конфигурирование с комбинаторной оптимизацией по времени или по ресурсам системы. Комбинаторная оптимизация (в обоих случаях) характеризуется крайне высокой алгоритмической сложностью и на практике должна быть упрощена введением стохастических методов. Менее точным и достоверным подходом к конфигурированию цикла системы управления является адаптивное конфигурирование, которое может реализоваться в реальном времени, либо, при многократном использовании, в качестве инструмента определения квазиоптимальной конфигурации цикла системы управления. 6. Констатируется, что понятие искусственных когнитивных систем следует существенно расширить и включить в число когнитивных систем любые многоуровневые системы, осуществляющие функции распознавания и запоминания информации, принятия решений, хранения, объяснения, понимания и производства новых знаний. Определяющим свойством искусственных когнитивных систем является их способность к принятию решений. 7. Выявлено, что для «живых» систем, т.е. открытых динамических систем, состояние которых определяется происходящими в них процессами, имеет место реализация механизмов устойчивого неравновесия. Сознание является «живой» системой, определяемой происходящими в нем мыслительными процессами. Инициация самоорганизации сознания осуществляется процессом мышления, которое активируется перманентными флуктуациями состояния сознания (как информационной среды). 8. Сформулирована предпочтительность для обеспечения децентрализации и быстродействия искусственной когнитивной системы, основанной на использовании искусственных нейронных сетей, организованной согласно акторной или реакторной модели.

Публикации

1. Зеленский А., Грибков А., Илюхин Ю., Семенищев Ю., Абдуллин Т., Урунов С., Жданова М. Solving the problem of finding a point equidistant from objects in 3D space Proc. SPIE , Proc. SPIE 13241, Optical Metrology and Inspection for Industrial Applications XI, 1324128 (20 November 2024) (год публикации - 2024)
https://doi.org/10.1117/12.3039152

2. Зеленский А., Гапон Н., Жданова М., Воронин В., Илюхин Ю., Хамидуллин И. Image inpainting by anisotropic gradient estimation Proc. SPIE, Proc. SPIE 13239, Optoelectronic Imaging and Multimedia Technology XI, 132391X (22 November 2024) (год публикации - 2024)
https://doi.org/10.1117/12.3038592

3. Зеленский А., Гапон Н., Жданова М., Воронин В., Илюхин Ю., Грибков А. Image enhancement via multiscale-exposure image fusion Proc. SPIE , Proc. SPIE 13239, Optoelectronic Imaging and Multimedia Technology XI, 132391Y (22 November 2024) (год публикации - 2024)
https://doi.org/10.1117/12.3038616

4. Зеленский А., Грибков А., Илюхин Ю., Семенищев Е., Токарева О., Харьков М., Жданова М. Preprocessing and improving the quality of thermal images Proc. SPIE , Proc. SPIE 13239, Optoelectronic Imaging and Multimedia Technology XI, 1323926 (22 November 2024) (год публикации - 2024)
https://doi.org/10.1117/12.3039153

5. Зеленский А., Гапон Н., Жданова М., Воронин В., Илюхин Ю., Грибков А. Image segmentation based on adaptive quaternion anisotropic gradient for optical inspection applications Proc. SPIE , Proc. SPIE 13241, Optical Metrology and Inspection for Industrial Applications XI, 1324127 (20 November 2024) (год публикации - 2024)
https://doi.org/10.1117/12.3038618

6. Зеленский А.А., Грибков А.А. Конфигурирование память-ориентированной системы управления движением Программные системы и вычислительные методы, Программные системы и вычислительные методы. 2024. № 3. С. 12-25. (год публикации - 2024)
10.7256/2454-0714.2024.3.71073

7. Грибков А.А., Зеленский А.А. Синергетика искусственных когнитивных систем с неравновесной устойчивостью Философия и культура, Философия и культура. – 2024. – № 6. – С. 93 - 103. (год публикации - 2024)
10.7256/2454-0757.2024.6.70887

8. Грибков А.А., Зеленский А.А. Место и роль общей теории систем в подготовке научных кадров Философия и культура, Философия и культура. 2024. № 4. (год публикации - 2024)
10.7256/2454-0757.2024.4.70462

9. Зеленский А.А., Грибков А.А. Характеристическая функция акторной вычислительной системы Моделирование, оптимизация и информационные технологии, Моделирование, оптимизация и информационные технологии. 2024; 12(4). (год публикации - 2024)
10.26102/2310-6018/2024.47.4.015

10. Г. Грибанов, Е. Семенищев, В. Воронин, К. Данилин, Т. Абдуллин, М. Харков, А. Зеленский Distributed multichannel primary signal processing system with prediction used in control systems Proc. SPIE, Proc. SPIE 13727, SPIE/COS Photonics Asia, Artificial Intelligence in Photonics, 137270K (год публикации - 2025)
10.1117/12.3084232

11. А.А. Зеленский, А.А. Грибков Основы формальной теории систем реального времени Информационно-управляющие системы, Информационно-управляющие системы, 2025, № 5, с. 2–10. (год публикации - 2025)
10.31799/1684-8853-2025-5-2-10

12. А.А. Зеленский1 , Т.Х. Абдуллин Реализация функции сглаживания траектории в системах управления мехатронного оборудования Всероссийская научно-практическая конференция «Перспективные системы и задачи управления», Всероссийская научно-практическая конференция «Перспективные системы и задачи управления», 2025 (год публикации - 2025)

13. А.А. Зеленский, А.А. Грибков Основные вопросы теории когнитивных систем Международный научно-исследовательский журнал "ФИЛОСОФИЯ НАУКИ И ТЕХНИКИ", Международный научно-исследовательский журнал "ФИЛОСОФИЯ НАУКИ И ТЕХНИКИ", № 2 (152) (год публикации - 2025)
10.60797/IRJ.2025.152.23

14. А.А. Зеленский, А.А. Грибков Разумная когнитивная система с мультисистемной интеграцией знаний: возможность и подходы к формированию Философская мысль, Философская мысль. 2025. № 2. (год публикации - 2025)
10.25136/2409-8728.2025.2.73395

15. А.А. Зеленский, А.А. Грибков Постановка задачи и определение подходов к построению смысловых моделей знания для искусственного интеллекта Философская мысль, Философская мысль. 2025. № 5 (год публикации - 2025)
10.25136/2409-8728.2025.5.74407

16. А.А. Зеленский, А.А. Грибков Концептуализация памяти в рамках теории когнитивных систем Философская мысль, Философская мысль. 2025. № 11. С. 17-35. (год публикации - 2025)
10.25136/2409-8728.2025.11.76544

17. Н. Гапон, В. Воронин, М. Жданова, А. Зеленский, Е. Семенищев Improved SLAM Accuracy for Agricultural Robots via Depth Image Reconstruction Telecommunications Forum (TELFOR), Telecommunications Forum (TELFOR) (год публикации - 2025)

18. А. Зеленский, В. Воронин, Е. Семенищев, Н. Гапон, М. Жданова, И. Наумов Medical Image Segmentation via Shape-Dependent Anisotropic Gradient Proc. SPIE, SPIE Defense + Commercial Sensing, Proceedings Volume 13457, Multimodal Image Exploitation and Learning 2025; 134570T (год публикации - 2025)
10.1117/12.3055101

19. М. Казарян, А. Рихтер, С. Чуклин, М. Шахраманян, А. Зеленский, П. Карлов Method for Calibrating Photogrammetric Parameters in the Calculation of Spatial Coordinates Based on Matrix Coordinates of Depicted Objects Proc. SPIE, SPIE Defense + Commercial Sensing, Proceedings Volume 13454, Image Sensing Technologies: Materials, Devices, Systems, and Applications XII; 134540K (год публикации - 2025)
10.1117/12.3055098

20. A. Zelensky, V. Voronin, E. Semenishchev, M. Kharkov, N. Gapon, M. Zhdanova Blind Image Quality Assessment via Multiscale Gradient-Based Features Proc. SPIE, SPIE Defense + Commercial Sensing, Proceedings Volume 13457, Multimodal Image Exploitation and Learning 2025; 1345709 (год публикации - 2025)
10.1117/12.3055100

21. М. Казарян, А. Рихтер, М. Шахраманян, А. Мурынин, В. Харченко, А. Филимонов, А. Зеленский, П. Карлов AI-Driven Hierarchical Binarization and Aggregation for Efficient Data Preparation in Optoelectronic Imaging Systems Proc. SPIE, Proc. SPIE 13727, SPIE/COS Photonics Asia, Artificial Intelligence in Photonics, 137270N (год публикации - 2025)
10.1117/12.3084421

22. А. Зеленский, В. Воронин, Е. Семенищев, Н. Гапон, М. Жданова, П. Карлов Adaptive Block-Rooting Image Enhancement with Learnable Fusion for Surveillance Imaging Systems Proc. SPIE, Proc. SPIE 13718, SPIE/COS Photonics Asia, Optoelectronic Imaging and Multimedia Technology XII, 137181F (год публикации - 2025)
10.1117/12.3078380

23. А. Зеленский, В. Воронин, Е. Семенищев, Н. Гапон, М. Жданова, П. Карлов Deep Block-Based Depth Map Reconstruction Using Feature-Level RGB-D Fusion with PLIP Strategy Proc. SPIE, Proc. SPIE 13727, SPIE/COS Photonics Asia, Artificial Intelligence in Photonics, 137270M (год публикации - 2025)
10.1117/12.3084410

24. А. Зеленский, В. Воронин, И. Хамидуллин, М. Харков, Т. Абдуллин, Е. Семенищев Distributed computing system for preprocessing of multichannel and multirange images Proc. SPIE, SPIE Defense + Commercial Sensing, Proceedings Volume 13458, Real-Time Image Processing and Deep Learning 2025; 134580S (год публикации - 2025)
10.1117/12.3055619

25. М. Казарян, А. Рихтер, М. Шахраманян, А. Зеленский, К. Данилин Morphological Analysis of Vector Data Derived from Raster Masks of Informative Regions Proc. SPIE, Proc. SPIE 13727, SPIE/COS Photonics Asia, Artificial Intelligence in Photonics, 137270L (год публикации - 2025)
10.1117/12.3084237

26. А. Зеленский, В. Воронин, Е. Семенищев, Н. Гапон, М. Жданова, К. Данилин, П. Карлов Multi-scale Shape-dependent Anisotropic Gradient for Industrial Optical Metrology Proc. SPIE, Proc. SPIE 13720, SPIE/COS Photonics Asia, Optical Metrology and Inspection for Industrial Applications XII, 137200Y (год публикации - 2025)
10.1117/12.3078383

27. М. Казарян, М. Шахраманян, Л. Романченко, А. Зеленский, П. Карлов Researching Recreational Areas from Space to Identify Emergency Situations Using Earth Observation and Image Processing Technologies Proc. SPIE, SPIE Defense + Commercial Sensing, Proceedings Volume 13454, Image Sensing Technologies: Materials, Devices, Systems, and Applications XII; 134540L (год публикации - 2025)
10.1117/12.3055217

28. А. Зеленский, В. Воронин, Е. Семенищев, Н. Гапон, М. Жданова, И. Наумов Surveillance Image Enhancement Through Fusion Based on Nonsubsampled Contourlet Transform Proc. SPIE, SPIE Defense + Commercial Sensing, Proceedings Volume 13457, Multimodal Image Exploitation and Learning 2025; 134570U (год публикации - 2025)
10.1117/12.3055105

29. А.А. Зеленский, М.В. Жданова, В.В. Воронин, Е.А. Семенищев, Т.Х. Абдуллин Метод распознавания жестов человека на основе мультисенсорного слияния данных с целью управления коллаборативными робототехническими комплексами Всероссийская научно-практическая конференция «Перспективные системы и задачи управления», Всероссийская научно-практическая конференция «Перспективные системы и задачи управления», 2025 (год публикации - 2025)

30. А.А. Зеленский, А.А. Грибков Значение фактора портовости для конфигурирования цикла акторной системы управления реального времени Моделирование, оптимизация и информационные технологии, Моделирование, оптимизация и информационные технологии. 2025;13(1). (год публикации - 2025)
10.26102/2310-6018/2025.48.1.037

31. А.А. Зеленский, А.А. Грибков Вторичные паттерны форм и отношений: постановка задачи и определение методологических подходов Философия и культура, Философия и культура. 2025. № 6. (год публикации - 2025)
10.7256/2454-0757.2025.6.74932

32. А.А. Зеленский, А.А. Грибков Система знаний: иерархия аксиоматик, модели и их верификация Философская мысль, Философская мысль. 2025. № 7. (год публикации - 2025)
10.25136/2409-8728.2025.7.75243

33. А.А. Зеленский, А.А. Грибков Расширение аксиоматики формальной теории систем реального времени Современные наукоемкие технологии, Современные наукоемкие технологии. 2025. № 11 С. 44-52 (год публикации - 2025)
10.17513/snt.40565

34. А.А. Зеленский, А.А. Грибков Вычислительная сложность в реальном времени Моделирование, оптимизация и информационные технологии, Моделирование, оптимизация и информационные технологии. 2025; 13(3). (год публикации - 2025)
10.26102/2310-6018/2025.50.3.038

Аннотация результатов, полученных в 2025 году
В рамках реализации проекта выполнен комплекс фундаментальных и прикладных научных исследований, направленных на развитие методов и архитектур интеллектуальных систем управления движением для робототехнических и мехатронных комплексов. Основное внимание уделено формированию научных основ память-ориентированного подхода к построению систем управления, а также разработке моделей организации интеллектуальных подсистем. Проведено исследование и критический анализ современных стратегий организации подсистем управления движением. Рассмотрены централизованные, децентрализованные и гибридные архитектуры управления, применяемые в робототехнических и мехатронных системах. Установлено, что традиционные централизованные схемы управления не обеспечивают требуемой масштабируемости и детерминированности при росте объема сенсорных данных и усложнении алгоритмов принятия решений. Показано, что наибольшим потенциалом для построения интеллектуальных систем управления реального времени обладают децентрализованные и память-ориентированные архитектуры, обеспечивающие локализацию данных и параллельное выполнение вычислений. Выполнен комплексный анализ архитектур обработки в памяти, а также их гибридных вариантов. Установлено, что перенос значительной части вычислительных операций в область памяти позволяет существенно снизить задержки обработки данных, уменьшить нагрузку на коммуникационные шины и обеспечить устойчивые временные характеристики работы системы управления. На основе проведенных исследований сформирована концептуальная модель память-ориентированной системы управления движением, в которой интеллектуальный блок реализуется в виде совокупности распределённых вычислительных модулей, взаимодействующих через разделяемую память. Важным научным результатом отчетного периода стала разработка инструментальных моделей систем управления движением на основе акторного представления. Сенсорные, вычислительные и исполнительные подсистемы были формализованы в виде групп автономных акторов, взаимодействующих посредством асинхронного обмена сообщениями. Данный подход позволил описать систему управления как совокупность взаимодействующих процессов с четко определенными интерфейсами, что существенно упрощает процессы масштабирования, реконфигурации и последующего синтеза программных и аппаратных компонентов. Показано, что акторная модель хорошо согласуется с память-ориентированной архитектурой и обеспечивает формальную основу для построения интеллектуальных контуров управления. Разработаны методологические подходы к функциональной оптимизации микроархитектуры, микрокода и архитектуры набора команд системы управления движением. Обоснована целесообразность применения предметно-ориентированных интерпретируемых языков программирования, реализующих декларативную парадигму с элементами функционального и логического программирования. Показано, что реализация акторной модели управления посредством механизмов метапрограммирования позволяет повысить гибкость системы, упростить процессы адаптации под конкретную вычислительную архитектуру и обеспечить более высокий уровень доверия к системе управления за счет децентрализации управления и локализации данных. Сформулированы научные принципы повышения надежности и доверия к интеллектуальным системам управления движением, основанные на локализации переменных, ограничении области распространения ошибок и формализации механизмов взаимодействия между вычислительными модулями. Установлено, что данные принципы создают основу для построения отказоустойчивых систем управления, способных к функционированию в условиях частичных отказов вычислительных узлов. Полученные в отчетном периоде научные результаты формируют теоретическую и методологическую базу для последующих этапов проекта, связанных с разработкой частных алгоритмов интеллектуальной обработки сенсорных данных, планирования траекторий и организации коллаборативного взаимодействия в робототехнических системах. Результаты исследований ориентированы на практическое применение в промышленной робототехнике, мехатронных системах и интеллектуальных технологических комплексах.

Публикации