Новости

24 ноября, 2017 13:43

Международная группа ученых в МГЛУ исследует «грамматику» жестов в разных языках

Источник: Газета.ru
В Центре социокогнитивных исследований дискурса (СКоДис) при Московском государственном лингвистическом университете (МГЛУ) ученые исследуют то, как жестикулируют носители русского, французского и немецкого языков и люди, говорящие на других изучаемых языках, когда рассказывают о повседневных событиях. Ученые стремятся установить связь между особенностями жестов и грамматикой повествования. Исследование поддерживается грантом Российского научного фонда (РНФ), а его результаты были представлены на ряде международных конференций и симпозиумов, в том числе на симпозиуме «Полимодальная коммуникация в языках и культурах», прошедшем в МГЛУ в октябре-ноябре 2017 года.
Носители русского языка жестикулируют почти одинаково
Фото: MoCap. Движения тела человека транслируются в аватар. StudioVU/Riechelle van der Valk. Источник: Алан Ченки
Фото: Алан Ченки
3 / 4
Носители русского языка жестикулируют почти одинаково
Фото: MoCap. Движения тела человека транслируются в аватар. StudioVU/Riechelle van der Valk. Источник: Алан Ченки
Фото: Алан Ченки

Ученые исследовали, есть ли связь между грамматикой повествования и спонтанными жестами рук, которые это повествование сопровождают. В частности, исследователи предположили, что характер глагола (завершенность и незавершенность действия) будет связан с таким параметром движения руки, как резкость или плавность жеста.

«Если французы употребляют глагол в завершенном времени, то они чаще делают резкий жест, а если используют прошедшее незавершенное время, то в основном производят более плавные жесты. Мы думали, что подобные различия будут обнаружены и в русском языке, где различаются глаголы совершенного и несовершенного вида. Оказалось, что вне зависимости от формы глагола носители русского языка жестикулируют практически одинаково, отдавая предпочтение резким жестам. В немецком языке ситуация также неоднозначна», — рассказал Алан Ченки, руководитель проекта, заведующий лабораторией ПолиМод Центра социокогнитивных исследований дискурса при МГЛУ, профессор Свободного университета в Амстердаме.

Алан Ченки организовал в центре СКоДис когнитивную лабораторию полимодальной коммуникации. Полимодальная, или мультимодальная, лингвистика изучает не только вербальный язык человека, но и движения его тела, а также другие модальности (статичные изображения, видеоряд), которые используются в ходе общения.

На первых этапах проекта проводился анализ жестов в речи с помощью компьютерной программы ELAN, разработанной в НИИ психолингвистики имени Макса Планка в Неймегене (Нидерланды) для аннотации видео- и аудиозаписей. Сначала в эту программу загружаются видео, после чего ученые создают несколько слоев, «дорожек», на каждой из которых отмечается определенная характеристика языковой единицы и жеста и их продолжительность. Жесты характеризуются по типу, функции, амплитуде и другим параметрам движения. Этот процесс многослойного описания называется аннотацией.

Носители русского языка жестикулируют почти одинаково

Ученые также исследовали, как меняется жестовое поведение говорящих, когда они рассказывают о событиях на иностранном языке. Оказалось, что русские студенты, изучающие французский язык, начинают жестикулировать так же, как и французы: они производят больше плавных жестов с глаголами несовершенного вида.

В настоящий момент участники международного проекта начали анализировать жесты в повествованиях с помощью аппаратуры MoCap (Motion Capture, что в дословном переводе – «захват движения»). На человека надевается устройство с датчиками, которые считывают его движения во время разговора. На основе показателей MoCap специальная компьютерная программа строит жестикулирующий «скелет» этого человека — аватар. Ученые загружают полученное видео в ELAN и проводят аннотацию жестов. Преимущество MoCap в том, что она точно отслеживает жесты человека, измеряет их ускорение, направление, распределение энергии, и, таким образом, появляется возможность получить более надежные и объективные результаты.

«С помощью аватаров MoCap, можно построить роботов, движения которых будут больше походить на движения человека. Эту технологию также можно использовать в преподавании иностранных языков. Если мы будем лучше знать, как, например, жестикулируют французы во время речи, это может помочь студентам понять, как двигаться при разговоре, как «быть французом»», — пояснил Алан Ченки.

Изучение жестов, сопровождающих речь, показывает, что сложная структура языка, включающая в себя разные аспекты, отражается не только в языковых выражениях, но и в жестах. Другими словами, у спонтанных жестов тоже есть своя «грамматика». При этом языковая и жестовые «грамматики» — не одно и то же, так как свойства жестов меняются в зависимости от того, о чем говорит человек в данный момент, какие цели преследует и в каких отношениях он состоит с собеседником.

«По-видимому, подобные различия в жестикуляции связаны с тем, какие факторы в большей степени соотносятся с построением мысленного образа события у говорящих на разных языках: абстрактное грамматическое значение, конкретное лексическое значение, прагматические факторы», — заключил Алан Ченки.

Носители русского языка жестикулируют почти одинаково

14 июня, 2024
Обнаружен эффективный способ предсказания развития отдаленных метастазов при раке молочной железы
Ученые НИИ онкологии Томского национального исследовательского медицинского центра РАН обнаружили ...
14 июня, 2024
Природная аптека: ученые открыли способность растительных пигментов усиливать действие противогрибкового препарата
Российские ученые выяснили, что природные растительные пигменты флавонолы способны в несколько раз у...