Аннотация результатов, полученных в 2022 году
В рамках первого этапа проекта были разработаны схемы и модель коллаборативной системы, собраны датасеты для обучения нейросетевых алгоритмов, разработаны модели машинного обучения для пространственной идентификации объектов и оператора и прогнозирования его действий, проведены исследования технологических режимов позиционирования изделий и разработана нейро-нечеткая имитационная модель энергопотребления. Выполнен критический анализ существующих подходов и SOTA моделей, обеспечивающих распознавание ситуаций и совместную работу оператора и коллаборативного робота. Анализ позволил выявить детальные недостатки и направления модификаций существующих решений, которые легли в основу дальнейшей работы по проекту. В целях обеспечения эффективной работы интеллектуальной системы управления в части формирования оптимальных законов управления, были исследованы общие технологические режимы коллаборативных процессов, при этом учитывались как типовые сценарии, так и нештатные ситуации и экстремальные условия, сопряженные с ответственными производственными процессами. Решена задача распознавания инструментов в рабочей зоне кобота с использованием предобученных, наиболее часто используемых глубоких моделей, а также проведен сравнительный анализ их эффективности. Представлены и проанализированы результаты исследований устойчивости разноплановых моделей к состязательным атакам. Были собраны, размечены и аннотированы собственные наборы данных: – Изображения кистей рук и выполняемые жесты оператором; – Изображения инструментов для робота; – Видеозаписи с рабочим процессом; – Синтетические видеозаписи с рабочим процессом; – Аудиодорожки с голосовыми командами, нештатными звуками и штатным рабочим процессом. Предложен мультимодальный подход обнаружения ключевых точек оператора, объединяющий многокамерную систему, а также дополнительные сенсорные устройства. Оптимизация и распределенное вычисление локальных 2d координат для каждого сенсора на встраиваемом GPU ускорителе и агрегирование их в 3D пространстве с использованием калибровочной информации позволяет привязать точки к мировой системе координат промышленного робототехнического комплекса. С использованием реальных и синтетических данных был обучен собственный детектор ключевых точек, а для повышения точности привязки к мировой системе координат выполняется подкрепление с использованием карт глубины. Предложенных подход позволяет добиться большей точности, в сравнении с предобученными моделями, обнаружения частей тела оператора на разноплановых изображениях, полученных с реальных камер производственной линии. Для предсказания поведения оператора разработан алгоритм прогнозирования положения ключевых точек человека, способный предсказать координаты в непрерывном видеопотоке на 30 кадров вперед с высокой точностью. Особенностью подхода является использование координат ключевых точек человека в виде категориальных признаков, что позволило учитывать нейронной сети закономерности в их расположении. При этом применение трансформерной модели FNet, которая соответствует по точности передовым моделям, но превосходит их по скорости и использует меньше ресурсов для вычисления, позволило выявить семантические отношения сложных пространственно-временных взаимодействий между частями тела. Экспериментально показано, что применение категориальных признаков совместно с архитектурой типа транcформер дает большую точность и скорость выполнения прогнозирования, в сравнении с ранее предлагаемыми подходами. Предложенная архитектура показывает коэффициент детерминации 0,9658 и среднеквадратическую ошибку прогноза 0,0298 для оценки положения позиции человека на 30 кадров вперед. Разработана новая имитационная модель энергопотребления многозвенного робота манипулятора. Уникальность предложенной модели заключается в возможности вариативного использования в задачах моделирования и поиска оптимальных траекторий перемещения робота модульных структур, функционирующих на базе разных математических аппаратов, в частности, гибридов САУ на основе методов модального и подчиненного управления, нечетких систем и нейронных сетей. Для обеспечения работы с нейро-нечеткой имитационной моделью (ННИМ) (в режимах, синтеза, настройки, адаптации (обучения), анализа и прогнозирования) как оператора, так и автоматизированных модулей ИСУ была разработана расширенная архитектура ННИМ, дополненная элементами графической визуализации и автоматизации настроечных процедур. Для обеспечения адекватной динамики пространственной конфигурации моделей робота и человека в течении технологического процесса, были решены прямая и обратная задачи кинематика на основе метода Денавита-Хартенберга для ряда роботизированных устройств (многозвенные роботы манипуляторы, в частности KUKA IIWA) и типовой конфигурации человека. Предложен оригинальный адаптивный интеллектуальный метод поиска оптимальных комплексов траекторий перемещения. Целью метода стало обеспечение возможности отыскания наилучшей траектории изменения состояния робота с точки зрения установленного комплексного критерия, либо формирования оптимального закона управления, если РТК предусматривает возможность динамического изменения управляющих структур регуляторов системы управления робота. Была разработана архитектура коллаборативного роботизированного комплекса, оснащенного интеллектуальной системой управления с возможностью самообучения и дообучения. Преимуществом предложенной архитектуры является модульная структура системы управления, позволяющая в зависимости от конкретных условий использования роботизированного комплекса (конфигурация окружения, используемые наборы инструментов, реализуемые с применением робота технологии и т.д.) переконфигурировать строение интеллектуальной системы управления, в том числе добавлять, убавлять или заменять элементы сенсорной подсистемы. Для предложенной архитектуры построения роботизированного комплекса, содержащей ряд микрокомпьютеров для реализации интеллектуальных функций и непосредственно коллаборативный робот в качестве основного исполнительного устройства, был разработан оригинальный протокол обмена управляющими командами между главным микрокомпьютером интеллектуальной системы управления и контроллером коллаборативного робота. Благодаря каскадной последовательности вычислительных процедур метода, предлагаемое решение позволит снизить размерность задачи оптимизации за счет введения этапов редуцирования моделей средствами дискретных классификаторов, опирающихся на математический аппарат нечетких множеств. Для реализации функций one/few-shot и инкрементного обучения предложен подход к дообучению коллаборативной системы, использующий данные карты глубины с RGBD камеры для первоначальной локализации объекта и сиамскую сеть для определения наиболее близкого класса объекта. Все разработанные алгоритмы были протестированы как с использованием собственных датасетов так и с использованием публичных наборов данных. Представленные результаты вычислительных экспериментов доказывают эффективность и перспективность предложенных подходов. При реализации и экспериментальных исследованиях предложенных оригинальных алгоритмов для оценки ситуации и управления коллаборативной робототехнической системой было разработано новое и усовершенствованное математическое и программное обеспечение. На отдельные разработанные программные модули были получены Свидетельства о государственной регистрации программы для ЭВМ. По результатам проведенных исследований и разработок подготовлены и приняты к публикации 5 статей, индексируемых Scopus и WoS. А также опубликовано 3 статьи индексируемых в РИНЦ (1 входит в перечень ВАК). Подготовлены и сделаны доклады на российских и международных конференциях. Все выполненные работы и полученные научные результаты полностью соответствуют цели и поставленным задачам проекта РНФ.

Аннотация результатов, полученных в 2023 году
На втором этапе проекта особое внимание уделялось развитию самообучающихся алгоритмов для классификации и локализации объектов. Были созданы усовершенствованные архитектуры глубоких сиамских нейронных сетей, позволяющие с высокой точностью идентифицировать новые объекты. Были улучшены алгоритмы для определения оптимальных траекторий перемещения роботов. Разработанные комплексы алгоритмов были интегрированы для управления коллаборативным роботом. Разработан подход для решения задачи one-shot learning, особенностью которого является использование модифицированной архитектуры визуального трансформера (VIT) для поиска схожих изображений инструментов. Основными отличием от классического подхода является использование слоев трансформеров FNet, которые используют быстрое преобразование Фурье и линейные преобразования в качестве блоков внимания. В результате сравнения архитектур доказано, что предложенная нами модификация на базе трансформеров FNet позволила достичь лучшего распределения признакового пространства: по кластерам 96,02, по классам 97,64. Предложена архитектура сиамской нейронной сети с использованием трансформеров FNet. Ключевой особенностью архитектуры является кодирование каждого из участков изображения с использованием блоков ConvNext Tiny. Были апробированы алгоритмы на базе обучения с подкреплением, позволяющие коботам обучаться в режиме реального времени и проведён ряд экспериментов по обучению алгоритма с подкреплением SAC для перемещения и позиционирования коллаборативного робота KUKA iiwa 7 R800 в целевой точке Предложен подход для формализации и классификации объектов и сценариев действий кобота, что позволяет унифицировать процесс ввода новых данных и упрощает интеграцию новых сценариев в рабочую среду. Были разработаны модель для распознавания голосовых команд, а также модель для классификации эмоций и тональности по речи спикера. В результате сравнительного анализа различных порогов был получен показатель до 0,9 по метрике WR. В рамках разработки алгоритма обнаружения и анализа нештатных ситуаций был собран и обогащен набор данных, включающий нештатное и аномальное поведение операторов: резкие звуки, потеря баланса и падения оператора, неожиданные движения робота или оператора, аномальные движения оператора, несанкционированный доступ к определенным зонам. Разработан оригинальный алгоритм оптимизации траекторного перемещения по критерию «энергоэффективность» для оптимизации технологических переходов и вспомогательных переходов с жесткими ограничениями по первоначальной, промежуточным и конечным конфигурациям, типа CIRC, LIN в терминах KUKA KRL 2) для оптимизации переходов без ограничений на промежуточные конфигурации, типа PTP, splinePTP в терминах KUKA KRL. Предложенный алгоритм позволяет обеспечить от 1 до 7 % экономии энергии на жестко регламентированных технологических переходах и найти оптимальную точку при переходах типа PTP. Разработан оригинальный алгоритм оптимизации траекторного перемещения по критерию «оперативность» - обеспечение максимальной производительности робота. Сокращение времени расчета оптимальных параметров достигается за счет сохраненных сценариев технологических процессов в Базе знаний, а также набора предварительно обученных агентов RLDDPG. Разработан оригинальный алгоритм оптимизации траекторного перемещения по критерию «безконфликтность». Результатом работы алгоритма ухода от коллизий является один из возможных исходов: 1) измененная траектория без сохранения первоначального профиля конфигураций, свободная от коллизий, с сохранением технологической цели; 2) измененная траектория без сохранения первоначального профиля конфигураций, свободная от коллизий с сохранением технологической цели и оптимизированная по производительности или энергоэффективности; 3) аварийная траектория без сохранения технологической цели операции. Разработаны модули статической части базы знаний, определяющие поведение коллаборативного робота в условиях отсутствия или низкой степени влияния возмущающих воздействий и определяющие поведение коллаборативного робота в условиях классифицируемых (заранее детерминированных) возмущающих воздействий. Наличие модуля позволяет задействовать алгоритмы ухода от коллизий с опорой на предустановленные конфигурации, что позволяет снизить временные затраты на расчет новой траектории в алгоритмах manRRT, manCHOMP и basePoints В случае высоких скоростей движения недетерминированных объектов модули базы знаний способствует выполнению расчета переходов либо в аварийные позиции, либо путем интерполяции промежуточных конфигураций по критерию максимизации производительности без промежуточных проверок на коллизии, что значительно сокращает ресурсозатраты операций вычисления. В случае наличия недетерминированного возмущающего воздействия в рабочей сцене с показателями динамики, превышающими возможности программно-аппаратного комплекса невозможности, управление осуществляется на основе стандартной встроенной системы силомоментых датчиков и предустановленных алгоритмов аварийной остановки и оповещения. Разработан комплекс алгоритмов формирования последовательности команд для коллаборативного робота на основе сформированной траектории перемещения и исполнения данных команд контроллером робота, использующий созданные на первом этапе алгоритмы информационного обмена между интеллектуальной системой управления и контроллером робота. Разработан алгоритм формирования, передачи и исполнения команд на выполнение коррекции траектории в ходе перемещения робота, состоящий из двух составляющих – реализуемой на центральном вычислительном модуле интеллектуальной системы управления и реализуемой на контроллере робота. Все разработанные алгоритмы были протестированы как с использованием собственных датасетов, так и с использованием публичных наборов данных. Представленные результаты вычислительных экспериментов доказывают эффективность и перспективность предложенных подходов. При реализации и экспериментальных исследованиях предложенных оригинальных алгоритмов для оценки ситуации и управления коллаборативной робототехнической системой было разработано новое и усовершенствованное математическое и программное обеспечение. На отдельные разработанные программные модули были получены 9 Свидетельств о государственной регистрации программы для ЭВМ. По результатам проведенных исследований и разработок за текущий год (а также расширение результатов прошлого этапа) подготовлены и приняты к публикации 15 статей, 6 из которых индексируется в Scopus и WoS (1 статья входит в Q2 Scopus), 2 в RSCI, 6 входит в перечень ВАК. Подготовлены и сделаны доклады на российских и международных конференциях. Подготовлены препринты 4х статей для отправки в рецензируемые научные издания. Все выполненные работы и полученные научные результаты полностью соответствуют цели и поставленным задачам проекта РНФ.