Ученые исследовали, есть ли связь между грамматикой повествования и спонтанными жестами рук, которые это повествование сопровождают. В частности, исследователи предположили, что характер глагола (завершенность и незавершенность действия) будет связан с таким параметром движения руки, как резкость или плавность жеста.
«Если французы употребляют глагол в завершенном времени, то они чаще делают резкий жест, а если используют прошедшее незавершенное время, то в основном производят более плавные жесты. Мы думали, что подобные различия будут обнаружены и в русском языке, где различаются глаголы совершенного и несовершенного вида. Оказалось, что вне зависимости от формы глагола носители русского языка жестикулируют практически одинаково, отдавая предпочтение резким жестам. В немецком языке ситуация также неоднозначна», — рассказал Алан Ченки, руководитель проекта, заведующий лабораторией ПолиМод Центра социокогнитивных исследований дискурса при МГЛУ, профессор Свободного университета в Амстердаме.
Алан Ченки организовал в центре СКоДис когнитивную лабораторию полимодальной коммуникации. Полимодальная, или мультимодальная, лингвистика изучает не только вербальный язык человека, но и движения его тела, а также другие модальности (статичные изображения, видеоряд), которые используются в ходе общения.
На первых этапах проекта проводился анализ жестов в речи с помощью компьютерной программы ELAN, разработанной в НИИ психолингвистики имени Макса Планка в Неймегене (Нидерланды) для аннотации видео- и аудиозаписей. Сначала в эту программу загружаются видео, после чего ученые создают несколько слоев, «дорожек», на каждой из которых отмечается определенная характеристика языковой единицы и жеста и их продолжительность. Жесты характеризуются по типу, функции, амплитуде и другим параметрам движения. Этот процесс многослойного описания называется аннотацией.
Ученые также исследовали, как меняется жестовое поведение говорящих, когда они рассказывают о событиях на иностранном языке. Оказалось, что русские студенты, изучающие французский язык, начинают жестикулировать так же, как и французы: они производят больше плавных жестов с глаголами несовершенного вида.
В настоящий момент участники международного проекта начали анализировать жесты в повествованиях с помощью аппаратуры MoCap (Motion Capture, что в дословном переводе – «захват движения»). На человека надевается устройство с датчиками, которые считывают его движения во время разговора. На основе показателей MoCap специальная компьютерная программа строит жестикулирующий «скелет» этого человека — аватар. Ученые загружают полученное видео в ELAN и проводят аннотацию жестов. Преимущество MoCap в том, что она точно отслеживает жесты человека, измеряет их ускорение, направление, распределение энергии, и, таким образом, появляется возможность получить более надежные и объективные результаты.
«С помощью аватаров MoCap, можно построить роботов, движения которых будут больше походить на движения человека. Эту технологию также можно использовать в преподавании иностранных языков. Если мы будем лучше знать, как, например, жестикулируют французы во время речи, это может помочь студентам понять, как двигаться при разговоре, как «быть французом»», — пояснил Алан Ченки.
Изучение жестов, сопровождающих речь, показывает, что сложная структура языка, включающая в себя разные аспекты, отражается не только в языковых выражениях, но и в жестах. Другими словами, у спонтанных жестов тоже есть своя «грамматика». При этом языковая и жестовые «грамматики» — не одно и то же, так как свойства жестов меняются в зависимости от того, о чем говорит человек в данный момент, какие цели преследует и в каких отношениях он состоит с собеседником.
«По-видимому, подобные различия в жестикуляции связаны с тем, какие факторы в большей степени соотносятся с построением мысленного образа события у говорящих на разных языках: абстрактное грамматическое значение, конкретное лексическое значение, прагматические факторы», — заключил Алан Ченки.
