Аннотация результатов, полученных в 2021 году
На первом этапе РНФ проекта коллективом исполнителей были получены следующие основные научные результаты: 1) Проведен расширенный аналитический обзор современной научно-технической литературы по тематике исследований. В ходе которого выявлено, что современные методы комплексного анализа движений человеческого тела (в том числе и машинный сурдоперевод для естественного человеко-машинного взаимодействия) на основе интегральных нейросетевых моделей могут уступать по скорости базовым подходам, однако существенно превосходить их в точности. В связи с этим можно сделать вывод, что методы многомодального видеоанализа движений рук для автоматического распознавания ручных жестов и элементов жестовых языков должны базироваться на анализе информативных пространственно-временных визуальных характеристик жеста в определенных момент времени с помощью предварительно обученной нейросетевой модели с долгой кратковременной памятью (от англ. Long Short-Term Memory, LSTM). Сеть LSTM является разновидностью рекуррентной нейронной сети, которая способна моделировать события или явления, зависящие от времени или последовательности (язык тела и жестов). Кроме того, имеет место также учитывать влияния дополнительных факторов (например, гендерных и возрастных характеристик диктора) на надежность автоматических систем распознавания как отдельных жестов, так и жестовых языков. На основании углубленного изучения и полученных знаний были разработаны новые “предварительные” математические средства (модели и методы) интеллектуального анализа и оценки важности влияния гендерных и возрастных характеристик диктора на автоматическое распознавание отдельных ручных жестов и элементов жестовых языков (машинный сурдоперевод). Получены результаты экспериментов (количественная оценка), доказывающие эффективность предложенных новых математических средств. 2) Разработано новое математическое и программное обеспечение для записи многомодального корпуса с компонентами русского жестового языка и использованием различных устройств захвата видеоинформации в том числе и 3D. Видео и аудиоданные записывались с цифровых камер мобильных устройств и сенсора захвата 3D (сенсор глубины), которые синхронизировались между собой. Необходимость данной разработки обусловлена потребностью сбора разноракурсных и в тоже время многомодальных визуальных данных для дальнейших экспериментов. В рамках предложенной архитектуры разработанного программного обеспечения диктор (человек страдающий полной глухотой или испытывающий проблемы со слухом) рассматривается, как основной источник визуальной информации. Все полученные данные хранятся на локальном сервере. 3) Аннотирован многомодальный корпус элементов русского жестового языка, состоящий из собранных открытых 2D видеоданных носителей русского жестового языка и новых записанных 2D и 3D видеоданных. Новые данные записывались с применением разработанного программного обеспечения. 4) Подготовлен цикл научных публикаций по результатам проекта. В частности, в российском журнале “Информационно-управляющие системы”, который входит в квартиль Q3 по Scopus и рекомендован ВАК, опубликована работа, посвященная подробному обзору методов и проведению сравнительного анализа существующих подходов в области автоматического распознавания жестов и жестовых языков. В российском журнале “Научно-технический вестник информационных технологий, механики и оптики”, входящем в перечень ВАК и Scopus, принята статья, раскрывающая метод автоматического распознавания жестовой информации, основанный на интегральной нейросетевой модели, которая анализирует пространственно-временные визуальные признаки: 2D и 3D расстояния от лица до руки; площадь пересечения лица и руки; конфигурации рук; гендерную и возрастную информации о дикторе. 5) Кроме того, результаты данного проекта РНФ активно освещались в СМИ. Информационно-сервисный интернет-портал “Научная Россия” опубликовал интервью с руководителем проекта Д.А. Рюминым “Ученые обучили нейросеть распознавать русский язык жестов по видеозаписям с помощью алгоритмов искусственного интеллекта” [https://scientificrussia.ru/articles/ucenye-obucili-nejroset-raspoznavat-russkij-azyk-zestov-po-videozapisam-s-pomosu-algoritmov-iskusstvennogo-intellekta], а инернет-издание “Российская академия наук” опубликовало интервью под заголовком “Ученые СПб ФИЦ РАН обучили нейросеть распознавать русский язык жестов по видеозаписям” [http://www.ras.ru/news/shownews.aspx?id=95281e84-d22b-463d-8d2f-9e11e7473f55]. Все выполненные работы и полученные научные результаты полностью соответствуют цели и перевыполняют заявленные задачи проекта РНФ.

Аннотация результатов, полученных в 2022 году
На втором этапе проекта коллективом исполнителей были получены следующие основные научные результаты: Разработан и отлажен комплекс программного обеспечения (ПО), который также включает усовершенствованное математическое обеспечение для системы автоматического распознавания, перевода с русского жестового языка (РЖЯ) в текстовое представление. На данный комплекс ПО получено Свидетельство о государственной регистрации программы для ЭВМ RU № 2023615977 от 21.03.2023. Архитектура разработанного ПО включает в себя 8 программных модулей. Каждый модуль выполняет свою специфическую функцию в процессе распознавания жестов РЖЯ, обеспечивая интегрированный и согласованный подход к анализу и классификации жестовых данных. Пример работы разработанного ПО доступен по ссылке: https://youtu.be/clWOzffbpQI. Выполнены экспериментальные исследования, направленные на оценку системы машинного перевода жестов РЖЯ в текстовое представление. Оценка системы включала три этапа: выбор оптимальных нейросетевых моделей, определение параметров входного изображения и применение методов аугментации видеоданных. Для обучения нейросетевых моделей был использован специально собранный корпус с жестами РЖЯ, который был записан и аннотирован в рамках первого этапа работы над проектом. Важной особенностью этого корпуса является то, что каждый жест сопровождается артикуляцией губ, что предоставляет дополнительные статистические характеристики для интеллектуального анализа. Эксперименты по оптимизации нейросетевых моделей для распознавания жестов РЖЯ были сосредоточены на выборе набора пространственно-временных признаков из жестов. В этот набор включались такие признаки, как расстояния от лица до рук (двумерные и трехмерные), области пересечения лица и рук, зоны расположения рук, а также оценка возраста и пола человека. Также были использованы уменьшенные признаки из конфигураций рук и областей губ с применением методов снижения размерности, таких как PCA (от англ. Principal Component Analysis), LDA (от англ. Linear Discriminant Analysis) и t-SNE (от англ. t-distributed Stochastic Neighbor Embedding). Результаты экспериментов показали, что использование метода уменьшения размерности LDA с 10 признаками для представления пространственно-временных признаков достигает максимальной точности распознавания 86 жестов РЖЯ, которая составляет 93,8%. Извлеченные с помощью интегральной нейросетевой модели E2Ev2 конфигурации рук оказались важными признаками для успешного распознавания жестов, и чем больше признаков анализируется, тем выше процент распознавания. Затем в набор признаков были добавлены признаки из конфигураций областей губ, извлеченные с использованием модели 2DCNN+BiLSTM. Использование метода уменьшения размерности LDA с 5 признаками для представления областей губ привело к увеличению точности распознавания жестов до 96,3%. Это означает, что наилучшая точность распознавания жестов РЖЯ достигается при использовании комплексного набора пространственно-временных признаков. Таким образом, результаты экспериментальных исследований подтверждают, что разработанный комплект ПО для интеллектуального анализа и распознавания жестов РЖЯ на основе многомодальных видеоданных обладает высокой точностью распознавания. Система базируется на использовании нейросетевых моделей и комплексировании различных пространственно-временных признаков, включая конфигурации рук и области губ. Благодаря этому удалось достичь точности распознавания 86 жестов РЖЯ на уровне 96,3%. Подготовлен цикл научных публикаций по результатам проекта. В частности, в российском журнале “Вестник НГУ. Серия: Лингвистика и межкультурная коммуникация”, который рекомендован ВАК, и входит в перечень RCSI была опубликована работа, посвященная подробному обзору цифровой базы данных (корпус) РЖЯ. Корпус содержит записи высказываний в тематической области “Первичный прием у врача-терапевта”. Данная статья представляет интерес не только с точки зрения технологий глубокого машинного обучения, но и с лингвистической точки зрения, так как иллюстрирует синтагматические явления в слитной жестовой речи, аналогичные фонетической синтагматике в речи. Статья описывает принципы создания корпуса, процесс ее формирования и записи, а также систему аннотирования. Корпус содержит слитные высказывания и элементы РЖЯ, а не калькирующую речь. Он декомпозирует записанные жесты на компоненты движения и удержания, что позволяет использовать его для создания различных нейросетевых моделей для распознавания, как статических, так и динамических жестов РЖЯ. Корпус также отражает вариативность жестов, спонтанное переключение между информативными частями жестов и маусинг, и может служить инструментом для исследования диалектной вариативности в РЖЯ. Кроме того, в международном журнале Sensors с импакт-фактором WoS (квартиль Q2), Scopus SJR = 0,764 (квартиль Q1) была опубликована статья, посвященная аудиовизуальному распознаванию речи для надежного распознавания речи в условиях шума, а также распознаванию жестов. В данной работе представлены две модели глубоких нейросетей: одна для аудиовизуального распознавания речи и одна для распознавания жестов. В модели распознавания жестов используется уникальный набор пространственно-временных признаков, учитывающих артикуляцию губ. Также по результатам участия в 5-й международной конференции PSBB23 (International workshop on Photogrammetric techniques for environmental and infraStructure monitoring, Biometry and Biomedicine, Scopus) была принята к печати статья, в которой предлагается новый метод для улучшения точности автоматического распознавания жестов путем применения техники переноса обучения между разными языками с использованием визуальной информации. Дополнительно, результаты данного проекта РНФ активно освещались в СМИ. Российский научный фонд опубликовал интервью с руководителем проекта Д.А. Рюминым “В Санкт-Петербурге создали систему для общения врачей с глухими пациентами” [https://rscf.ru/news/presidential-program/v-sankt-peterburge-sozdali-sistemu-dlya-obshcheniya-vrachey-s-glukhimi-patsientami/?sphrase_id=146658]. Министерство науки и высшего образования Российской Федерации опубликовало интервью под заголовком “Новая интеллектуальная система поможет врачам общаться с глухими пациентами” [https://minobrnauki.gov.ru/press-center/news/nauka/63671/]. Общероссийская Общественная Организация инвалидов “Всероссийское Общество Глухих” (ВОГ) опубликовала электронную статью “Создан комплекс распознавания РЖЯ для врачей” [https://voginfo.ru/society/2023/02/03/sozdan-kompleks-raspoznavanija-rzhja-dlja-vrachej/]. Информационно-сервисный интернет-портал “Научная Россия” также опубликовал интервью “ Ученые СПб ФИЦ РАН разработали интеллектуальную систему, помогающую врачам общаться с глухими пациентами” [https://scientificrussia.ru/articles/ucenye-spb-fic-ran-razrabotali-intellektualnuu-sistemu-pomogausuu-vracam-obsatsa-s-gluhimi-pacientami]. Кроме того, руководитель проекта Д.А. Рюмин рассказывал про разработки в рамках данного проекта на Телеканале Санкт-Петербург в программе “Утро в Петербурге” [https://tvspb.ru/programs/stories/3024882].