Аннотация результатов, полученных в 2022 году
1. Выполнен анализ предшествующих научных работ по вопросу создания систем интеллектуального управления рабочим оборудованием одноковшовых экскаваторов на основе нечеткого логического вывода и нейросетевых технологий. Выбран подход к построению обучаемых систем управления, основанный на обобщении информации о действиях квалифицированного человека-оператора и выявлении закономерностей в системе «оператор-машина-среда». 2. Создан программно-аппаратный комплекс автоматизированного сбора данных о действиях оператора одноковшового экскаватора, положении элементов рабочего оборудования в динамике и изменении профиля грунтовой поверхности в процессе строительства траншеи. Для отладки комплекса создан лабораторный стенд, включающий NVIDIA Jetson, лидар Livox, стереокамеру ZED, IMU-сенсоры. Разработано программное обеспечение комплекса на Python с пакетами Livox SDK API и ZED SDK для удаленного управления сенсорами, беспроводной передачи и записи данных. 3. Проведены натурный эксперимент и сбор экспериментальных данных о рабочем процессе экскаватора Hitachi Zaxis 180LCN с целью получения массивов данных о процессе ручного управления экскаватором. Измерены угловые пространственные перемещения и скорости правого и левого джойстиков управления, поворотной платформы, стрелы, рукояти, тяги и ковша; пространственные координаты облаков точек на обрабатываемой грунтовой поверхности и на рабочем оборудовании; получены видеозаписи процесса. 4. Выполнен анализ собранных данных о процессе управления, разработано программное обеспечение для синхронизации данных от отдельных сенсоров и визуализации данных на Python с библиотекой Plotly. 5. На основе анализа экспериментальных данных разработана имитационная модель рабочего оборудования экскаватора. Этапы разработки модели: создание параметрических 3D-моделей стрелы, рукояти, ковша в CAD и их корректировка на основе обработки данных с лидара; проектирование и программная реализация модели в Robot Operating System (ROS). 6. Разработана структура имитационной модели в ROS, содержащая узлы контроллера модели, преобразования углов в шарнирах в декартовы координаты звеньев, узел 3D-визуализации в RViz, узел интерфейса пользователя. Разработан функционал контроллера модели для имитации управляющего устройства. 7. Выполнена визуализация модели объекта управления в режиме «цифрового двойника»: в имитационную модель импортированы экспериментально полученные значения углов в шарнирах рабочего оборудования, подтверждена работоспособность модели. 8. В виде концептуальной модели формализованы знания о задающих и управляющих воздействиях в системе управления экскаватором, формируемых человеком-оператором. Разработана структура нейро-нечеткой системы управления рабочим оборудованием экскаватора. Принцип функционирования управляющего устройства исследован на примере элемента рабочего цикла – опускания стрелы в центре траншеи перед началом очередного копания. Разработаны две системы нечеткого логического вывода (Fuzzy Inference System, FIS) для формирования задающих воздействий и управляющих воздействий на основе экспериментально измеренных показателей процесса. 9. Входными переменными FIS-модели для формирования задающих воздействий являются высотная координата грунтовой поверхности на планируемом участке копания и планируемый объем вырезанного грунта. Выходной переменной FIS является требуемое значение угла наклона стрелы. Эта модель формализует планирование оператором фрагмента траектории стрелы. 10. Входными переменными FIS-модели формирования управляющих воздействий являются рассогласование текущего и требуемого угла наклона стрелы, а также величина угла наклона джойстика. Выходной переменной FIS является угловая скорость наклона правого джойстика, т.е. управляющее воздействие на привод стрелы. На основе структуры этой FIS-модели построена нейро-нечеткая система (ANFIS). 11. Предложены принципы разработки интеллектуальных систем управления рабочим оборудованием строительных машины циклического действия. Обучаемая многоуровневая система управления должна выполнять четыре вида действий, обобщая опыт человека-оператора. Подсистема 1 выполняет функции восприятия состояния машины и среды (пространственные координаты элементов рабочего оборудования, профиля поверхности участка, проектных отметок). Подсистема 2 на верхнем уровне на основе четких правил реализует алгоритм принятия решений о переходе к следующему элементу рабочего цикла. Подсистемы 3 типа для каждого конкретного элемента рабочего цикла формируют и корректируют задающие воздействия – планируемое положение или заданные траектории элементов рабочего оборудования. Подсистемы 4 типа на нижнем уровне (автоматические регуляторы по отклонению) формируют управляющие воздействия – изменяют скорости приводов оборудования. Нейро-нечеткие системы используются в подсистемах типа 3 и 4.

Аннотация результатов, полученных в 2023 году
1. Разработаны методы и модели для нейросетевой идентификации процессов взаимодействия рабочего оборудования строительных машин со средой. Исследования базировались на результатах натурных экспериментов, проведенных в октябре 2022 и мае 2023 гг. (строительство траншей одноковшовым экскаватором Hitachi Zaxis 180LCN). Во взаимодействии рабочего оборудования одноковшового экскаватора со средой выделены два аспекта: формирование рельефа траншеи при копании и влияние реакций со стороны грунта на скорости угловых перемещений элементов рабочего оборудования. 1.1. Программная реализация нейросетевых моделей процесса взаимодействия рабочего оборудования одноковшового экскаватора со средой выполнена в Python. Модели на основе сверточных нейронных сетей AlexNet, на основе лидарных данных о рельефе траншеи прогнозирующие координаты точки начала траектории ковша и горизонтальный ход ковша при копании, представляют собой модели принятия решений квалифицированным оператором. Модели динамики процесса на основе рекуррентных нейронных сетей в зависимости от перемещений джойстиков прогнозируют угловые скорости в шарнирах рабочего оборудования: ходовая часть-платформа, платформа-стрела, стрела-рукоять, рукоять-ковш. 1.1.1. Структура модели системы управления включает модель динамического объекта управления. Модель с идентификатором содержит четыре параллельно функционирующих однотипных рекуррентных нейронных сети – идентификатор (реализация в PyTorch) и имитационную модель кинематики рабочего оборудования экскаватора (реализация в ROS). 1.1.2. Архитектура нейросетевой модели (идентификатора) динамики процесса основана на многослойной сети Элмана (RNN). Добавлены дополнительный полносвязный слой с нелинейной функцией активации и линейный выходной слой. На вход каждой нейронной сети подаются четыре сигнала – угловые координаты джойстиков управления. 1.1.3. Разработаны методы формирования выборок для обучения и оценки точности моделей на основе экспериментальных данных. На входы моделей подаются стандартизованные сигналы фрагментами по 15 с, что обусловлено длительностью фаз экспериментально исследованных рабочих циклов. Разработаны методы обучения нейросетевой модели на экспериментальных данных, определены гиперпараметры моделей. Коэффициент детерминации моделей на обучающих данных: 0,78 … 0,95; при прогнозировании на тестовом наборе данных: 0,7 … 0,87. 1.1.4. Обученная нейросетевая модель использована совместно с полученной ранее имитационной моделью кинематики рабочего оборудования. Прогнозные значения скоростей численно проинтегрированы в контроллере движения имитационной модели, реализованной в ROS (Robot Operating System) на языке Python. В ходе вычислительного эксперимента получены значения углов в шарнирах рабочего оборудования, углов ориентации элементов рабочего оборудования и визуализация в Rviz в зависимости от экспериментально измеренных положений джойстиков. Зависимости между управляющими воздействиями в системе управления и положениями рабочего оборудования в динамике могут быть использованы при проектировании регулятора. 1.2. Выполнены исследования по обобщению подхода к нейросетевой идентификации процессов взаимодействия рабочего оборудования машин для земляных работ со средой. Обобщенный подход заключается в применении рекуррентных нейронных сетей Элмана с достаточной глубиной слоев скрытого состояния и их реализации на основе PyTorch. При проектировании нейросетевых систем управления рабочим оборудованием бульдозера и автогрейдера необходимо каскадное соединение сетей для последовательного прогнозирования силовых факторов, скорости и тяговой мощности машины. Рекомендации по проектированию системы управления экскаватором изложены в публикациях по теме проекта. 2. Предложены методы оценивания состояния машины и среды на основе компьютерного зрения и сверточных нейронных сетей. Выполнен анализ данных со стереокамеры Stereolabs ZED 2i, полученных в ходе эксперимента в 2022 году, и сопоставление с данными лидара. Стереокамера (сенсор глубины), установленная на кабину экскаватора и направленная на рабочее оборудование, формирует выходные данные в виде последовательности цветных видеокадров и массива 3D-координат облаков точек. Каждому пикселу кадра поставлена в соответствие одна точка в 3D-облаке. 2.1. Разработаны методы обнаружения элементов рабочего оборудования экскаватора и проектных отметок в данных с видеокамеры. Для обнаружения на видеокадре целевых точек на рабочем оборудовании и объектах среды созданы и обучены нейросетевые модели на основе архитектуры ResNet-18, прогнозирующие значения координат пикселов, соответствующих элементам оборудования и среды. По координатам пикселов из облака точек (данных стереокамеры ZED 2i) извлекаются трехмерные координаты элементов в системе координат камеры и затем преобразуются в глобальную систему координат. Программная реализация системы компьютерного зрения выполнена в Python с использованием PyTorch, OpenCV и Stereolabs ZED SDK. 2.2. Методы управления рабочим оборудованием на основе полученной с помощью системы компьютерного зрения информации основаны на сравнении высотной координаты нижней точки рукояти с данными лидара о координатах грунтовой поверхности. Разница высотных координат используется для корректировки угла наклона стрелы. 3. Разработан обобщенный подход к проектированию нечетких и нейро-нечетких регуляторов для управления рабочим оборудованием одноковшовых экскаваторов и стреловых кранов. 3.1. Выделены фазы рабочего цикла, которым соответствуют режимы работы управляющего устройства интеллектуальной системы управления рабочим оборудованием экскаватора. Для экскаватора рекомендован подход к проектированию формирователя задающих воздействий и регулятора на основе нечетких систем типа Такаги-Сугено или ANFIS, для стрелового крана – регулятора того же типа. 3.2. Выработаны рекомендации по настройке параметров нейро-нечетких регуляторов, касающиеся запрета на изменения параметров некоторых функций принадлежности и обоснования метода оптимизации параметров ANFIS.