КАРТОЧКА ПРОЕКТА ФУНДАМЕНТАЛЬНЫХ И ПОИСКОВЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ
Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.
ОБЩИЕ СВЕДЕНИЯ
Номер проекта 21-71-00141
НазваниеИсследование и разработка новых методов и подходов к автоматическому распознаванию жестовых языков
Руководитель Рюмин Дмитрий Александрович, Кандидат технических наук
Организация финансирования, регион Федеральное государственное бюджетное учреждение науки "Санкт-Петербургский Федеральный исследовательский центр Российской академии наук" , г Санкт-Петербург
Конкурс №60 - Конкурс 2021 года «Проведение инициативных исследований молодыми учеными» Президентской программы исследовательских проектов, реализуемых ведущими учеными, в том числе молодыми учеными
Область знания, основной код классификатора 01 - Математика, информатика и науки о системах; 01-726 - Системы и технологии интеллектуального анализа данных и распознавания образов
Ключевые слова ассистивные технологии, человеко-машинное взаимодействие, многомодальные данные, жестовый язык, компьютерное зрение, машинное обучение, искусственный интеллект
Код ГРНТИ20.19.29, 50.10.43, 50.33.05
ИНФОРМАЦИЯ ИЗ ЗАЯВКИ
Аннотация
Создание систем искусственного интеллекта, способных к распознаванию естественных, в т.ч. и жестовых языков, является одной из ключевых задач в современном информационном обществе. В связи с этим ученые мировых научных центров уделяют внимание машинной обработке языка и проблемам автоматического перевода с одного языка на другой. Решение задачи по распознаванию жестов относится к другой важной сфере - автоматическому распознаванию образов и машинному зрению, и полученные при решении этой задачи результаты будут иметь значительный инновационный потенциал. Полученные в ходе проекта данные будут чрезвычайно важны еще и потому, что будут способствовать повышению качества жизни людей с ограниченными возможностями здоровья, в частности, инвалидов по слуху.
Машинный перевод с жестовых языков сопряжен с еще большими сложностями, чем обработка звучащих языков, благодаря дополнительной задаче распознавания динамических жестов. Причиной являются факторы, относящиеся к проблемам компьютерного зрения: окклюзии, различия в фоновом освещении, необходимость привлечения больших вычислительных ресурсов, недостаточный объем наборов данных. В отличие от звучащих языков, жестовые языки по своей природе визуальны, и структура высказывания на любом жестовом языке мира, как правило, нелинейна: при коммуникации зачастую оказываются активны сразу несколько артикуляторов (руки, голова, туловище), жесты демонстрируются одновременно и имеют привязку к разным координатам жестового пространства.
Таким образом, заявленная проблема, на решение которой направлено данное исследование, принадлежит как к сфере компьютерного зрения, так и лингвистики жестовых языков, подразумевая поиск эффективных решений, позволяющих интерпретировать высказывания на жестовых языках с привлечением методов компьютерного зрения и математической лингвистики.
Настоящий проект содержит две основные научные задачи:
1) Разработка методов и системы автоматического распознавания жестов русского жестового языка.
2) Система автоматической интерпретации высказывания на жестовом языке и перевода на русский язык (текстовое представление).
Одна из основных задач автоматического распознавания жестовых языков (и жестов) лежит в области компьютерного зрения. Иными словами, для анализа высказываний на жестовом языке предварительно требуется система, с высокой точностью идентифицирующая жесты. Проблема распознавания жестов хоть и коррелирует с проблемой распознавания жестового языка, но конечные цели в обоих случаях разные; в первом случае речь идет о создании робастных систем компьютерного зрения, во втором - о задаче автоматического распознавания естественного языка.
Вторая задача подразумевает формального описания фонетики (элементов отдельных жестов), грамматики (морфология, синтаксис) и прагматических (иллокуция) аспектов русского жестового языка с представлением высказываний в виде метаязыка для перевода. Проблема эффективности распознавания жестов до сих пор не решена из-за серьезных различий в семантико-синтаксической структуре звучащих и жестовых языков. Для создания полноценных систем машинного перевода требуется глубокий семантический анализ и лингвистический разбор текстов на жестовых языках.
Обзор существующих научных работ и систем перевода с жестовых языков позволяет сделать вывод о том, что на сегодня полноценных систем перевода с жестовых языков не существует. Такое положение вещей обусловлено, в первую очередь, тем, что одна из основных задач автоматического распознавания жестовых языков (и жестов) лежит в области компьютерного зрения. Иными словами, для анализа высказываний на жестовом языке предварительно требуется система, с высокой точностью идентифицирующая жесты
Решение поставленных задач сопряжено с созданием математического и программного обеспечения, позволяющего с высокой точностью идентифицировать жесты в потоке речи и подразумевает активное использование методов машинного обучения. Кроме того, для создания полноценной системы машинного перевода с русского жестового языка авторы данного проекта должны будут собрать репрезентативную базу данных для русского жестового языка - как для лингвистического анализа, так и для обучения языковых моделей.
ОТЧЁТНЫЕ МАТЕРИАЛЫ