Новости

5 сентября, 2017 15:23

Груши помогли изучить жестикуляцию людей

Источник: Индикатор
Ученые из Института языкознания РАН и МГУ имени М.В. Ломоносова создали единую схему для обозначения всех компонентов, которые собеседники используют при общении: слов, жестов рук, движений головы, направления взора, мимики. Работа проходит в рамках проекта«Язык как он есть», поддержанного Российским научным фондом (РНФ), его текущие результаты были представлены на ежегодной Международной конференции по компьютерной лингвистике и интеллектуальным технологиям «Диалог-2017».

В рамках проекта был создан

Фото: Сraig Cloutier/Flickr

В рамках проекта был создан видеоресурс «Рассказы и разговоры о грушах», который основан на пересказах испытуемыми «Фильма о грушах» известного американского лингвиста Уоллеса Чейфа. Ресурс включает серию записей естественной коммуникации между четырьмя участниками и совокупное описание вокальной (речь) и кинетической (движения) составляющих этих записей. Записи были включали высококачественную аудио- и видеозапись, а также регистрацию движений глаз. В представленном докладе ученые подробно описали один из аспектов этого исследования, а именно аннотирование (подробную запись с помощью системы обозначений) жестов рук.

Движения рук говорящего, взятые в целом, представляют собой кинетический «фон», на котором ученые выделяют кинетические «фигуры». Среди них выделяются иллюстративные жесты, непосредственно связанные с содержанием речи. Например, можно руками изобразить геометрическую форму или траекторию движения. Ритмические жесты подчеркивают наиболее важные моменты дискуссии, а указательные жесты локализуют объект разговора в пространстве и времени. Важная составляющая кинетического «фона» — это так называемые адапторы, то есть физиологически мотивированные движения, связанные с поиском более удобного положения и снятием телесного дискомфорта (поправить волосы, почесаться).

В своей работе ученые предложили аннотационную схему — систему обозначений для каждого жеста и его части. Жест — центральное понятие такой схемы. Жесты далее объединяются в жестовые цепочки, а они сами состоят из отдельных фаз. Важнейшая фаза жеста — мах, в котором реализуется значение жеста; это единственная обязательная фаза жеста.

Предложенная учеными схема ориентирована на среду ELAN — одну из наиболее известных программ для аннотирования движений. Важной отличительной особенностью этой программы является возможность многослойной покадровой аннотации видеофайлов. Авторы выделяют отдельные независимые, привязанные лишь к временной шкале, слои для жестовых цепочек, смены положений рук, жестов, фаз жестов и адапторов. Каждый слой представлен отдельно для правой и левой руки. Группа зависимых слоев, привязанных к слою жестов, позволяет более подробно описывать характеристики жеста и некоторые важные особенности, такие как наличие многократного маха или наложения соседнего жеста. Частота видеозаписи 100 кадров в секунду дает возможность аннотировать жесты с шагом всего в 10 миллисекунд.

Проанализировав материал, ученые обнаружили значительные индивидуальные различия между жестикуляцией говорящих. В частности, одни люди постоянно переходят от жестикуляции к сериям адапторов и обратно, а другие, наоборот, между сериями жестов сохраняют неподвижность. Для описания различных движений авторы ввели понятие «жестикуляционного портрета». Этот портрет показывает, каковы типичные для данного говорящего человека скорость и амплитуда движений, естественные положение рук в покое, привычное количество адапторов, а также предпочтения в использовании при жестикуляции правой или левой руки.

«Предлагаемая схема нацелена на согласованность аннотаций разных слоев между собой. Это отражает реальное положение дел в естественной коммуникации, где движения разных частей тела задействованы синхронно и направлены на передачу единого послания. Создаваемый на базе данной аннотационной схемы ресурс позволит проводить широкий круг исследований в области взаимодействия коммуникативных каналов у говорящего человека», — рассказал один из авторов доклада Андрей Кибрик, доктор филологических наук, директор Института языкознания РАН.

14 июня, 2024
Обнаружен эффективный способ предсказания развития отдаленных метастазов при раке молочной железы
Ученые НИИ онкологии Томского национального исследовательского медицинского центра РАН обнаружили ...
14 июня, 2024
Природная аптека: ученые открыли способность растительных пигментов усиливать действие противогрибкового препарата
Российские ученые выяснили, что природные растительные пигменты флавонолы способны в несколько раз у...
Версия для печати