КАРТОЧКА ПРОЕКТА,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ

Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.

 

ОБЩИЕ СВЕДЕНИЯ


Номер 14-48-00067

НазваниеВзаимодействие вербальных и невербальных средств конструирования событий в разных языках

РуководительЧенки Алан , кандидат наук (признаваемый в РФ PhD)

Организация финансирования, регионфедеральное государственное бюджетное образовательное учреждение высшего образования "Московский государственный лингвистический университет", г Москва

Года выполнения при поддержке РНФ 2017 - 2018 

КонкурсКонкурс на продление сроков выполнения проектов, поддержанных грантами Российского научного фонда по приоритетному направлению деятельности Российского научного фонда «Проведение фундаментальных научных исследований и поисковых научных исследований международными научными группами»

Область знания, основной код классификатора 08 - Гуманитарные и социальные науки, 08-453 - Языкознание

Ключевые словаустная речь; жесты; лексический вид; грамматический вид (аспект); типы событий; конструирование; овладение иностранным языком; когнитивная лингвистика; сравнительная лингвистика

Код ГРНТИ16.21.00


СтатусУспешно завершен


 

ИНФОРМАЦИЯ ИЗ ЗАЯВКИ


Аннотация
Предлагаемый проект, нацеленный на когнитивное исследование соотношения вербального и жестового компонентов в речи, посвящен актуальной для лингвистики теме полимодальной коммуникации. Он базируется на результатах Проекта 2014, показавшем на уникальном эмпирическом материале, что процессы ментального конструирования событий в процессе непосредственного говорения о них получают регулярное, поддающееся наблюдению полимодальное выражение. Таким образом, находит подтверждение актуальная для когнитивной лингвистики теория "телесной симуляции" (embodied simulation) физических и абстрактных процессов. Проект 2014 также позволил по-новому взглянуть на аспектуальность: проведенный анализ предоставил возможность впервые выявить тонкие межъязыковые различия в функционировании аспектуально-временных форм в устной речи на трех языках – русском, французском и немецком. Проект 2017 включает в себя два взаимосвязанных направления, каждое из которых открывает новые аспекты в изучении употребления жестов в речи. Первое направление связано с разработкой новых принципов анализа тех свойств жестов в их соотнесенности с языковыми структурами, которые мы обнаружили в ходе выполнения Проекта 2014. Второе направление состоит в выявлении языковых и прагматических факторов, которые позволяют более детально объяснить результаты, полученные нами в разных языках к настоящему моменту. Первое направление Проекта 2017 основано на полученных в 2014-2016 гг. данных, которые показали наличие корреляции между аспектуальностью глагола (перфектом или имперфектом) и ключевой для данного проекта характеристикой жеста - наличием или отсутствием энергетического импульса, или предела. Было обнаружено, что эта корреляция приобретает разные формы в разных языках. Полученные результаты оставляют, однако, открытым вопрос о том, какова природа наблюдаемых энергетических импульсов. Предварительное исследование устных французских нарративов, проведенное в 2016 г., выявило, что предельность и непредельность жеста связаны с его определенными физиологическими свойствами (с временными характеристиками ускорения движения, направлением движения от корпуса тела к пальцам и наоборот и пр.). Для изучения природы предельности в проекте разрабатывается кинесиологический подход к анализу жестов. Предлагаемый подход, впервые описанный в (Boutet 2010), берет за основу не визуально воспринимаемые (“извне”) форму руки, траекторию ее движения, локализацию жеста в пространстве, а физиологические характеристики движения руки: мышечные усилия, которые рождают энергетический импульс или “предел”, и участие сегментов руки и кисти в производстве жеста. Кинесиологический подход обеспечивает перспективу “изнутри”, при которой точка отсчета – сам говорящий и то, как он движется при производстве жеста. Преимущество разрабатываемого подхода заключается в том, что он открывает возможности для инструментальных измерений параметров жестовых движений. Используя одну из технологий захвата движения (MoCap), мы сможем получить цифровые (исчисляемые) данные о движения рук говорящих, изучая их “изнутри”. Такие параметры, как скорость и ускорение, на которых базируется оценка движения как содержащего энергетический импульс или нет (т. е. как предельного или непредельного), являются труднодоступными при визуальном анализе. В то же время информация о движении, получаемая с помощью оборудования MoCap в режиме 3D, предоставляет перспективу «от виртуального первого лица». Это позволит показать, что жесты – это не только визуальные сигналы, но и средства производства, проигрывания (на схематическом уровне) событий, о которых идет речь. Предлагаемый нами подход поможет зафиксировать сенсо-моторное и полисемиотическое конструрование выстраиваемых и физически воплощаемых в речи событий. Для кинесиологического анализа мы используем технологию захвата движения Perception Neuron, которая до настоящего времени для изучения жестов не применялась. За основу принимается тот же метод извлечения данных, который был успешно апробирован в Проекте 2014 применительно к устным нарративам. C помощью видеокамер и MoCap в Москве и Париже будет записываться устная речь испытуемых на французском языке (как L1 и как L2 для носителей русского языка), а также на русском языке (как L1). Важными итогами применения технологии Perception Neuron станут, во-первых, сопоставление результатов визуального кодирования видео материала (2014-2016) с результатами анализа с помощью MoCap (2018). Это позволит нам исчислить порог, который определяет границу визуального распознавания энергетического импульса (предела) в жесте. Подобные сведения важны для лингвистов, включающих жесты в свои исследования, а также психологов и, потенциально, для инженеров-биомехаников и дизайнеров. Во-вторых, будет создан так называемый «пайплайн», или программный конвейер для формализации серии процедур, которая позволит конвертировать необработанные данные из MoCap в формат, более удобный для настоящего исследования. Разработка пайплайна найдет практическое применение в полимодальных исследованиях языкового общения, в HCI - общении человека и компьютера, в цифровом искусстве. Второе направление Проекта 2017 нацелено на поиск ответов на вопросы о факторах, способных ограничивать прямую корреляцию между перфектом и имперфектом глаголов, с одной стороны, и предельностью и непредельностью жестов, с другой стороны. В 2014 – 2016 гг. на основе анализа трех языков мы выявили две базовых модели полимодального выражения конструирования прошлых событий. Данные модели отражают разные способы сочетания жестов с аспектуальными формами глаголов. Первый тип демонстрирует прямую корреляцию между грамматическими (аспектуальными) характеристиками глаголов и свойствами жестов. Данная модель репрезентирует конструирование события на абстрактном схематическом уровне, что отражается в характеристиках жестов. Такой тип корреляции по свойству предельности наиболее свойственен французскому нарративу (L1). Во второй модели прямая соотнесенность грамматической формы глагола и движения жеста не наблюдается: так, в русском видеокорпусе (L1) проявляется тенденция использовать один жестикуляционный профиль (предельный) с глаголами несовершенного и совершенного вида. Определению факторов (лексических, прагматических, контекстуальной сочетаемости и иных), обусловливающих отход от прямой корреляции между (им)перфектностью глагола и (не)предельностью жеста, посвящено второе направление Проекта 2017. Для немецкого языка (L1) таким фактором может стать активное употребление жестов с историческим настоящем временем, которое в устном немецком языке вытеснило имперфект (Präteritum). Задача второго направления Проекта 2017 заключается в том, чтобы из всего обилия фактов выявить общие тенденции, позволяющие увидеть различия между языками, связанные с соотношением этих двух моделей. Эти различия покажут то, что в устной речи на этих языках есть не только определенные грамматические, но и связанные с ними “жестовые предпочтения”. Таким образом, значимость и новизна проекта видится в том, что поднимаемые вопросы имеют выход в более фундаментальные проблемы изучения устной речи как явления с переменной полимодальностью. Результаты исследования смогут дополнить полимодальную картину коммуникации глагольно-жестовыми схемами, свойственными тем или иным языкам и культурам. Предагаемые подходы имеют широкий спектр теоретического и практического применения в разных областях знания.

Ожидаемые результаты
Преемственность Проектов 2014 и 2017 позволит существенно расширить знания о полимодальной природе процессов конструирования событий и получить ряд значимых результатов: • Будут получены эмпирические данные, которые помогут уточнить различные семантические теории с точки зрения процессов ментальной симуляции (моделирования) (см. Barsalou 2008; Bergen 2012; Gibbs 2006), а также развить теорию жестов как актов ментальной симуляции (Hostetter & Alibali 2008). • Будут предоставлены дальнейшие факты, свидетельствующие о физиологической мотивации жестов, употребляемых в речи. Обнаружению подобных связей между физическим (телесным) опытом и языком посвящены последние работы по когнитивной лингвистике. • С помощью технологии MoCap, не ограничивающейся анализом зрительного восприятия жестов, будет изучена иконическая мотивация полимодальной коммуникации, в которой ведущая роль отводится языку. • Предполагается получить результаты, теоретическая значимость которых заключается в уточнении соотношения произвольности и мотивированности в языке как семиотической системе. Тем самым подвергаются пересмотру взгляды на природу языка, которые доминируют в лингвистике со времен Ф. де Соссюра (1916). Еще одним результатом станет исследование общих черт и различий в производстве жестов между представителями различных культур. Мы полагаем, что воспринимаемая нами граница между предельными и непредельными жестами (т. е. между жестами с импульсом или без него) не зависит от культурных различий. Данные об ускорении, полученные в результате анализа с применением MoCap, в сопоставлении с результатами визуального кодирования видео материала, помогут установить тот порог, который определяет границу визуального распознавания энергетического импульса (предела). Эти сведения представляют ценность для лингвистов, психологов и, потенциально, для инженеров-конструкторов и дизайнеров, так как нам известно лишь незначительное количество работ, в которых проводится сравнение кодировки жестовых движений человеком и аппаратурой (в версии MoCap). В результате исследования будет формализована серия процедур, что позволит нам (а в будущем - и другим исследователям) конвертировать необработанные данные MoCap в пригодный для полимодального анализа алгоритм действий, т. е. создать так называемый pipeline - «программный конвейер». Цель такого конвейера заключается в том, чтобы предоставить возможность исследовать, изобретать, стабилизировать и, наконец, соединять в единое целое процессы, методы и техники записи, сортировки и анализа данных MoCap. Рамочная разработка будет пригодна для различных целей: в лингвистике, HCI - общении человека и компьютера, и даже в цифровом искусстве. Применение данной технологии в этом проекте будет содействовать распространению знанию о ней как внутри международной группы, так и за ее пределами – в России и за рубежом. Данное исследование будет представлять интерес не только для научной общественности, но и для более широкой аудитории: • В области обучения иностранным языкам настоящее исследование позволит получить новые данные о физиологии поведения людей, говорящих на разных языках, что обеспечит выход за пределы субъективных стереотипных представлений о жестах носителей разных культур. Данная информация окажется полезной для становления языковой личности студентов, которые узнают об особенностях коммуникации носителей языка как на вербальном, так и невербальном (жестовом) уровнях. • В сфере общения человека и компьютера результаты проекта смогут применяться при разработке аватаров, способных производить коммуникативно-значимые жесты. • В области анимации исследование, которое выявляет характер и культурную специфику некоторых кинетических моделей и тем самым углубляет знания о естественных движениях людей, также может оказаться весьма полезным.


 

ОТЧЁТНЫЕ МАТЕРИАЛЫ


Аннотация результатов, полученных в 2017 году
Проект 2017-2018, базирующийся на результатах 2014-2016 гг., посвящен полимодальному исследованию того, как говорящие повествуют о событиях, в которых они участвовали непосредственно или в роли наблюдателя. Внимание уделяется как грамматическим формам (в частности, видо-временным формам глаголов), так и тем жестам, которые эти формы сопровождают. Способы производства движений рук анализируются с целью получить более глубокое представление о “жестах как действиях-симуляциях». Таким образом, исследование связывает традиционные теории грамматического аспекта с установками современных когнитивных лингвистов о наличии речевого мышления (“мышления для говорения”) и об образной ментальной симуляции, или моделировании, событий в процессе коммуникации. Изучаются три языка (французский, немецкий и русский), которым свойственно противопоставление перфектных и имперфектных форм глаголов, при том что в аспектуально-временных системах этих языков данные различия проявляют себя по-разному. На первом этапе проекта в 2014-2016 гг. фокус исследования был направлен на анализ того, как коммуниканты, говорящие на родных языках (L1), использовали мануальные жесты с определенными формами глаголов, а именно: с imparfait (имперфектом) and passé composé (перфектом) во французском языке, с Präteritum (имперфектом) and Perfekt (перфектом) в немецком языке и с глаголами несовершенного и совершенного вида прошедшего времени в русском языке. Во французском языке были обнаружены статистически значимые различия в употреблении жестов с двумя временными формами: жесты, сопровождающие перфектные формы, чаще содержали энергетический импульс (данный тип жестов мы назвали “предельными”). В жестах, сопровождавших имперфектные формы, энергетический импульс чаще отсутствовал, и такие жесты представляли собой движения, контролируемые на всех этапах производства (т.е. “непредельные” жесты). Данные результаты подтвердили изначальную гипотезу исследования, согласно которой предельные жесты фиксируют конструирование события как целостного, происходящего “на одном дыхании”. Сходным образом в течение нескольких десятилетий исследователи описывали семантику перфектива (совершенного вида), а также аспектуальность перфектных времен в тех языках, в которых говорящий сталкивается с выбором той или иной временной формы для указания на событие в прошедшем времени (е.g. французский и немецкий языки). Однако оказалось, что немецкий и русский языки следуют общей модели жестового поведения, а именно: модели более частого использования предельных жестов вне зависимости от видо-временных характеристик глагольных форм. Детальный анализ русской базы данных показал более тесную связь между характеристиками жестовых движений и лексической семантикой глаголов. Так, для жестов, репрезентирующих формы и движения, связанные с глагольной семантикой, наблюдалось более частое использование предельных жестов с глаголами совершенного вида, в то время как жесты, реализующие другие функции, не следовали этой тенденции (однако следовали более общей модели жестового поведения, замеченной нами в русском языке). Полученные результаты позволяют получить более тонкую картину грамматических категорий и способов их полимодального выражения: в противовес несколько упрощенным заявлениям о полимодальности грамматики, наше исследование позволяет увидеть, каким образом соотносятся грамматические категории разных языков и ко-артикуляторы, связанные с движением тела в жестах. Данный проект вносит вклад в более широкую дискуссию о природе языке, предлагая аргументы в пользу идеи о том, что язык – не столько модуль, не зависимый от других когнитивных механизмов обработки информации, сколько неотъемлемая часть освоения мира через телесность. Пролонгация проекта в 2017-2018 гг. предполагает проведение дополнительного анализа немецкой и французской баз данных по аналогии с проведенным ранее анализом русского видео корпуса. Мы выбрали немецкий язык в качестве объекта анализа, так как в данном языке мы не обнаружили существенных различий в употреблении жестов с двумя прошедшими формами глаголов. В ходе первого исследования мы соотнесли интересующие нас параметры движения рук с их функциональными характеристиками (жесты, репрезентирующие семантику глаголов vs. жесты «иных» функций). В немецких нарративах для группы жестов, репрезентирующих глагол, установлено, что и глаголы в Präteritum, и глаголы в Perfekt чаще сопровождались предельными жестами. Это подтверждает общие результаты, полученные в 2014-2016 гг., однако не подтверждает наличие связи между функционированием жестов, связанных с глагольной семантикой, и временными формами глаголов. В то же время, исследование других функциональных групп жестов показало отсутствие статистически значимых различий по (не)предельности жестов относительно времени Präteritum. Подобное отклонение от общих результатов для немецких нарративов предполагает, что жесты, реализующие иные функции по отношению к репрезентации (например, структурирование дискурса или прагматические функции), производятся отличным образом от жестов, более тесно связанных с лексической семантикой глагола. Для полноты анализа в 2017 г. были дополнительно исследованы французские нарративы, что позволило выявить сходную общую тенденцию. Жесты, репрезентирующие глаголы, следовали общей модели корреляции по предельности, характерной для данного языка, согласно которой непредельные жесты тяготели к imparfait, а предельные – к passé composé. Однако данная модель сохранялась для imparfait только в случае с жестами “иных” функций; для passé composé различия по жестовым типам не были статистически значимыми. Данные результаты свидетельствуют в пользу идеи о том, что параметры движения жестов являются частью более сложной картины языкового употребления, так как жесты могут частично соответствовать грамматическим и семантическим свойствам языковых единиц, а частично – другим факторам, которые еще предстоит изучить. Второе исследование в 2017 году также касалось уточнения данных, полученных в результате анализа немецких нарративов в 2014-2016 гг. В силу того, что в современной устной речи в немецком языке имперфектное время используется, в основном, с модальными глаголами и глаголами-связками, его фоновая функция по отношению к событиям, выраженным другим временем, здесь существенно ограничена. Некоторые исследователи отмечают, что в устной речи эту роль начинает все чаще принимать на себя историческое настоящее, которое может передавать или некое фоновое состояние внутри события (качество), или фиксировать одномоментное (точечное) событие в некоторой последовательности событий. Исходя из этого, мы провели кодирование и анализ случаев употребления с жестами исторического настоящего в этих двух функциях. Гипотеза заключалась в том, что с глаголами качества будут чаще использоваться непредельные жесты, а с глаголами точечного события – предельные жесты. Фактически, с формами исторического настоящего чаще употреблялись предельные жесты, вне зависимости от принадлежности глагола к той или иной подкатегории. С другой стороны, подобный результат указывает на более тесную связь между характером движения в жесте и другими факторами (прагматическими и/или просодическими) в немецких нарративах. Сравнение с аналогичными категориями для исторического настоящего французского языка, которое мы провели в качестве дополнительного исследования в 2017 году, действительно, показало преобладание непредельных жестов с глаголами качества и предельных жестов – с глаголами одномоментности, что можно расценить как свидетельство в пользу нашей гипотезы. Однако количество жестов с глаголами качества в историческом настоящем времени было слишком малым (N=10), чтобы определить, насколько существенным являются различия между двумя категориями предельности, а различие для одномоментных глаголов не было достаточным, чтобы достичь статистически значимого показателя (p > .05). В 2014-2016 гг. мы также исследовали нарративы, произведенные на иностранных языках носителями французского, немецкого и русского языков (L1), которые изучали любой из двух других языков (L2). Анализ жестового употребления показал, что в то время как большинство испытуемых, производя нарративы на L2, придерживались модели предельности родного языка L 1, носители русского языка, говорящие на французском L2, продемонстрировали модель, находящуюся между моделью русского языка как L1 и моделью французского языка как L1 по отношению к имперфекту, с которым русские начинали чаще употреблять непредельные жесты. При этом испытуемые, говоря по-французски (L2), использовали с имперфектом приблизительно одинаковое количество предельных и непредельные жестов. Исходя из сложностей определения энергетического импульса в жесте, что связано с фиксацией изменения скорости и ускорения, мы приняли решение применить в 2017-2018 гг. технологию захвата движения (MoCap). Данная технология была использована специально для того, чтобы воспроизвести эксперименты, проведенные для французского L1 во Франции и русского L1 в России, однако на этот раз были отобраны те же самые русскоязычные испытуемые, которые выполняли задания на французском как L2. Это было сделано для того, чтобы мы смогли сравнить жестовое употребление у одних и тех же говорящих. На каждого испытуемого надевался костюм для захвата движения Perception Neuron, оборудованный 32 датчиками инерционного измерения для записи скорости, ускорения, местоположения в пространстве и ориентации руки по отношению к северному магнитному полюсу. В дополнении к установленным видеокамерам (как в наших прошлых исследованиях) на основе цифровой информации создавался аватар говорящего. Таким образом, мы получили три базы данных для анализа: видеозаписи, цифровые данные и визуальное изображение аватара, созданное на основе цифровых данных. В 2017 году мы проанализировали новые видеозаписи, следуя алгоритму проведенных ранее исследований, чтобы проверить степень расхождения в результатах и получить базу для сравнения с результатами цифровых данных, которое запланировано на 2018 год. Результаты в целом оказались такими же, как и ранее, с двумя отличиями. В то время как модель для русского L1 обнаружила сходство с результатами прошлых лет (преобладание непредельных жестов вне зависимости от видовых форм глагола), в 2017 году для французского как L2 мы не выявили статистически значимого преобладания какого-либо типа жестов для аспектуальных форм прошедшего времени; при этом мы учитывали всю совокупность жестов в корпусе. Однако, когда мы приняли во внимание индивидуальный характер жестового варьирования и отобрали приблизительно одинаковое количество жестов от каждого говорящего, сбалансировав выборку, полученные данные повторили результаты 2014 г. Этот фактор будет принят во внимание в 2018 году при анализе материала с помощью MoCap. Кроме того, в отличие от французов, говорящих на L1 (преобладание предельных жестов с passé composé и непредельных жестов с imparfait), русские, говорящие на французском ( L2), производили больше предельных жестов с passé composé, однако в случае с imparfait преобладание предельных жестов над непредельными не было существенно значимым (p = .02). Здесь, однако, следует отметить, что величина эффекта для данного результата (phi = .2) не была столь же значимой, как для аналогичного соотношения с imparfait у французов, говорящих на родном языке L1 (phi = .5), или для соотношения предельных жестов и форм совершенного вида у русских, говорящих на L1 (phi= .8). В 2018 году мы проанализируем данные MoCap и сопоставим их с результатами анализа видеозаписей. Кроме того, в 2018 будет разработан пайплайн, благодаря которому опробованный в проекте алгоритм использования оборудования по захвату движения окажется в открытом доступе для исследователей жестов. Осенью 2017 года был организован международный симпозиум “Multimodal communication across languages and cultures” (MeMuMo 2017), в котором приняли участие все российские и зарубежные исполнители проекта (http://scodis.ru/симпозиумы/memumo-2017/). Частью симпозиума стали мастер-классы для студентов и аспирантов, на которых участники проекта познакомили молодых исследователей с методами полимодального анализа и с оборудованием MoCap, айтрекинг и программным обеспечением ELAN. Симпозиум завершился кейс-соревнованием, в ходе которого студенты каждого мастер-класса разрабатывали дизайн исследования и выступали с презентациями перед международным жюри и остальными участниками симпозиума. В 2017 году участники проекта представили результаты исследования в 17 российских и международных конференциях. Опубликовано 9 научных трудов, из них 1 статья в журнале, индексированном в Scopus and 5 – в журналах, индексированных в РИНЦ, еще 2 статьи в журналах Scopus/Wos выйдут в конце декабря 2017 года. Кроме этого, при поддержке гранта РНФ руководителем проекта была издана книга Ten Lectures on Spoken Language and Gesture. С общим описанием проекта можно ознакомиться на сайте Центра СКоДис МГЛУ: http://scodis.ru/%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82%D1%8B/%D1%81%D0%BE%D0%B1%D1%8B%D1%82%D0%B8%D1%8F-%D0%B8-%D0%B6%D0%B5%D1%81%D1%82%D1%8B/.

 

Публикации

1. - Мы вам покажем: о чем говорит язык жестов в разных странах телеканал МИР 24, 14:35 07/12/2017 (год публикации - ).

2. - Ученые: Носители русского языка жестикулируют по-особенному телеканал МИР 24, 17:59 24/11/2017 (год публикации - ).

3. - Спонтанная жестикуляция в русском языке не зависит от грамматики полит.ру, 24 ноября 2017, 20:03 (год публикации - ).

4. - Язык жестов: стоит ли "распускать руки" во время разговора Радио Вести FM, 07:01, 02 декабря 2017 (год публикации - ).

5. - Международная группа ученых в МГЛУ исследует «грамматику» жестов в разных языках газета.ru, 24.11.2017 | 12:23 (год публикации - ).

6. - Учёные установили, что русскоязычные люди одинаково жестикулируют при употреблении различных форм глаголов портал «Русский мир», 24.11.2017 (год публикации - ).

7. - Ученые установили, что носители русского языка жестикулируют почти одинаково Новости сибирской науки, 25/11/2017 (год публикации - ).

8. Гвидетти Мишель, Моргенстерн Алия The Gesture-sign Interface in Language Acquisition Language, Interaction and Acquisition. Amsterdam: John Benjamins, Volume 8, Issue 1, P. 1-12 (год публикации - 2017).

9. Зайцева И.В., Томская М.В. Невербальные средства при представлении знаний в академическом дискурсе Когнитивные исследования языка. М.: ИЯ РАН; Тамбов: Издательский дом ТГУ им. Г. Р. Державина, Вып. ХХIХ. Когниция и коммуникация в лингвистических исследованиях. С. 590-596. (год публикации - 2017).

10. Ирисханова О. К. К вопросу о коммуникативном мышлении: полимодальное измерение аспектуальности Когнитивные исследования языка. М.: ИЯ РАН; Тамбов: Издательский дом ТГУ им. Г. Р. Державина, Вып. ХХХ. Когнитивная лингвистика в антропоцентрической парадигме исследований. - С. 57-60. (год публикации - 2017).

11. Карпенко Е.И., Курило Е.О. Жест "object-adaptor" как средство конструирования мены коммуникативных ролей в дискурсе (на материале программы "heute-show" телеканала ZDF) Вестник МГЛУ. Гуманитарные науки, М.: Рема, 10 (783) (год публикации - 2017).

12. Маковеева А.И. Вербальная репрезентация стереотипа «Семья» в речи взрослых и детей (на материале русского языка) Когнитивные исследования языка. М.: ИЯ РАН; Тамбов: Издательский дом ТГУ им. Г. Р. Державина., Вып. ХХIХ. Когниция и коммуникация в лингвистических исследованиях. С. 654-661. (год публикации - 2017).

13. Томская М. В. Научный форум как институциональное событие Жизнь языка в культуре и социуме – 6. Материалы конференции. М.: Издательство «Канцлер», С. 69-70 (год публикации - 2017).

14. Томская М. В., Зайцева И. В. Multimedia Representation of Knowledge in Academic Discourse Linguistic, Educational and Intercultural Research 2017. Abstracts. – Vilnius, Vilnius University, Lithuania; University of Cagliari, Italy., P. 99 (год публикации - 2017).

15. Ченки А., Ирисханова О. К., Денисова В. А. Grammatical Aspect and Gestural Movement Quality in Russian Narrative Discourse Each Venture a New Beginning. Studies in Honor of Laura A. Janda. Bloomington, Indiana: SLAVICA, P. 99–113 (год публикации - 2017).

16. Ченки Алан Ten Lectures on Spoken Language and Gesture from the Perspective of Cognitive Linguistics: Issues of Dynamicity and Multimodality Leiden, Boston: Brill, 198 p. (год публикации - 2017).


Аннотация результатов, полученных в 2018 году
В 2018 году в задачи проекта входил анализ данных, полученных с помощью технологии захвата движения (MoCap) в 2017 году и включающих в себя устные неформальные нарративы с элементами диалога, которые производились в парах (минимум 10 пар для каждого языка). На испытуемых были надеты костюмы по захвату движения Perception Neuron. Первая группа состояла из носителей французского языка, живущих во Франции, которые рассказывали о событиях на французском языке (французский как родной язык – FRL1). Вторая группа включала носителей русского языка, живущих в Москве, которые говорили по-русски на первом этапе сбора данных (RUL1) и по-французски – на следующем этапе (FRL2); при этом партнеры в диалоге менялись. Если в 2017 году были проанализированы видео данные, то в 2018 году – цифровые данные, полученные с помощью оборудования по захвату движения. Применялась так называемая инерционная система захвата движения, которая включает встроенные магнитомеры, гироскопы и акселерометры. Такое оборудование отличается от более распространенных оптических систем, которые стоят намного дороже, стационарны и подвержены окклюзии - наложению наблюдаемых частей тела друг на друга. В результате этого одна из них становится невидимой для оборудования, что приводит к потере данных. Инерционная система (Perception Neuron) является настолько инновационной, что одной из задач проекта была разработка системы, позволяющей конвертировать данные в такие форматы, которые были бы пригодны для нашего исследования. В результате члены проекта создали полное описание этапов и инструментов перехода от сбора данных к их обработке и анализу, т. е. разработали "пайплайн". Первая часть цепочки процессов «пайплайн» содержит описание процесса сбора данных, включая подготовку и предварительные условия, а также протокол, которому необходимо следовать, и порядок экспорта данных с учетом анализа. Во второй части внимание сосредоточено на анализе данных с описанием основных этапов обработки данных, самого анализа данных и визуализации данных в целях обеспечения понимания сложных или многомерных характеристик жестов. В ходе разработки цепочки процессов «пайплайн» возникают три основные вопроса: 1) Как осуществлять синхронизацию данных? 2) Как отбирать и преобразовывать данные? 3) Что меняется при аннотировании? Для решения вопроса, касающегося синхронизации данных, нами был разработан протокол, который подробно описывает, как необходимо надлежащим образом наладить аппаратуру с учетом типа производимых ими измерений, а также протокол, описывающий выполнение конкретных действий при работе с испытуемым, таких как принятие Т-позы (стоя с разведенными в сторону прямыми руками как стандартное исходное положение) или хлопанье в ладоши один раз в начале и в конце записи в целях упрощения синхронизации данных и их экспорта на последующих этапах. В отношении отбора релевантных данных и их преобразования мы предлагаем выбирать и готовить файлы для экспорта с учетом последующего анализа и используемого в дальнейшем программного обеспечения. Так, файлы с данными MoCap могут быть преобразованы в видео для последующей визуализации, например, в ELAN для повышения качества кодирования жеста, либо могут быть преобразованы в текстовые файлы для последующего анализа в Excel, либо могут обрабатываться в Unity для изучения потока движения, новых характеристик жестов или кинематики. Мы подробно описываем все эти процессы в пошаговой инструкции, находящейся в открытом доступе. (http://scodis.ru/wp-content/uploads/2016/08/POLIMOD-2017-18-PIPELINE-Documentation.pdf и http://scodis.ru/wp-content/uploads/2016/08/POLIMOD-2017-18-PIPELINE-Tutorial.pdf). Наконец, мы рассмотрели вопрос о том, чтó цепочка процессов «пайплайн» на основе технологии захвата движения меняет в плане аннотирования. Нами выявлено то обстоятельство, что технология захвата движения выводит исследователя за рамки одной перспективы, как это происходит с видеокамерой, и позволяет расширить число точек зрения до желаемого количества, поскольку мы можем использовать виртуальную камеру для изучения жеста с позиции испытуемого. Например, нами показано, что возможно принять точку наблюдения «от первого лица» для того, чтобы «воплотить» (embody), а затем лучше понять жесты испытуемых. Мы также предлагаем инструмент совмещенной реальности, разработанный с использованием среды разработки Unity3D в целях визуализации в режиме реального времени многомерных характеристик жестов (таких как скорость, ускорение, рывок) либо их комбинации в виде более простых кривых или поверхностей (этап Визуализации результатов). Пайплайн позволил провести несколько процедур анализа, релевантных для изучения корреляции между свойствами движения в жесте и аспектуально-временными формами глаголов во французском и русском языках, что важно для более глубокого понимания особенностей полимодального конструирования событий. Первый этап анализа включал разработку алгоритма для определения потока движений в жесте, а именно: направление переноса движения с одной части тела на другую, как, например, от торса вдоль руки к пальцам (проксимально-дистально), либо в противоположном направлении (дистально-проксимально).Исследование, проведенное нами ранее, указывает на то, что существует связь между указанным разделением потока на два типа и визуально воспринимаемым энергетическим импульсом в некоторых жестовых движениях (последнее свойство стало критерием для выделения предельных жестов). Мы предположили, что предельные жесты будут коррелировать с перфект(ив)ными глаголами (passé composé во французском и совершенный вид прошедшего времени в русском) и что жесты, в которых данный импульс отсутствует (непредельные жесты), будут коррелировать с имперфект(ив)ными формами (imparfait во французском и несовершенный вид прошедшего времени в русском). Фактически, мы нашли ожидаемую корреляцию только во французском корпусе носителей этого языка. Анализ французов, говорящих на французском языке, проведенный с применением MoCap, показал выраженные различия в профилях предельных и непредельных жестов: наибольшие различия для скорости наблюдались на начальной и конечной фазах производства жеста. При этом как скорость, так ускорение характеризуются противоположными профилями: увеличением показателей для предельных жестов и их уменьшением для непредельных жестов. У русских, говорящих на русском языке, наблюдалось сходство профилей для обоих типов жестов (увеличение величин скорости и ускорения). В связи с этим возникает вопрос о том, что, возможно, существует некая общая закономерность у жестов, связанная с энергетическим импульсом, которая не зависит от языка. В то же время, русские непредельные жесты не следуют паттерну, противоположному предельным жестам. Жесты, которые мы отнесли к категории непредельных, характеризуются более вариативной моделью скорости и ускорения по отношению к траектории жеста, в результате чего мы каждый раз наблюдаем еще более нерегулярный график. Жестовые модели у русских, говорящих на французском языке, не были похожи ни на одну из указанных моделей. По предельным жестам была выявлена тенденция уменьшения скорости и ускорения, а по непредельным жестам данные два показателя продемонстрировали тенденцию к увеличению. Было также показано, что относительно энергетического импульса, рассмотренного с кинематической точки зрения, ускорение ускорения («рывок») является определяющим свойством. Любое изменение в ускорении жеста с большой долей вероятности приводит к его кодированию как предельного жеста. В результате анализ потока движения в жестах, основанный не столько на кинематическом, сколько на кинезиологическом подходе, показал более явную корреляцию между жестовыми характеристиками и аспектуальностью глагола в видеокорпусе русских, говорящих на русском языке (L1): дистально-проксимальное направление (поток) движения коррелирует в большей степени с глаголами прошедшего времени совершенного вида, а проксимально-дистальный поток - с глаголами прошедшего времени несовершенного вида. Однако эта особенность составляет скорее общий тренд, чем статистически значимое различие. Однако, в корпусе французов, говорящих на французском языке (L1), дистально-проксимальное распределение движения преобладало независимо от глагольной формы, но предельные жесты статистически значимо соотносились с перфектом, в отличие от имперфекта, где различия в жестах не продемонстрировали статистическую значимость. В корпусе русских, говорящих на французском языке (L2), вновь был выявлен уникальный паттерн, не похожий на закономерности, установленные для корпусов с L1. Таким образом, проведенный кинезиологический анализ с применением MoCap, позволил уточнить понятие предельности и подтвердить значимость данного критерия для разграничения разных типов жестов. Несмотря на то, что, подобно визуальному анализу на предыдущих этапах проекта, анализ захвата движения показал отсутствие однозначного соответствия между аспектуальностью и предельностью во всех трех языках, он продемонстрировал необходимость учитывать направление движения (поток) для выявления корреляций «жест-глагол». Таким образом, исследование доказало целесообразность сочетания методов визуального и кинезиологического анализа и, следовательно, значимость разработанного пайплайна. В текущем году члены участники проекта опубликовали 4 статьи в журналах, индексированных в БД Web of Science и Scopus, а также 7 статей - в РИНЦ. Успешно защищены: 2 бакалаврские и 1 магистерская работы, а также 1 кандидатская диссертация по темам, связанным с проектом. Участники исследовательской группы выступили с докладами на 13 конференциях и симпозиумах в России, Армении, Бельгии, Нидерландах, Южной Африке и Швейцарии. 1-2 ноября 2018 г. был организован и проведен Международный симпозиум “Languages, cultures, modalities: New perspectives in cognitive research on language” (Языки, культуры, модальности: новые перспективы когнитивных исследований языка»). Он включал в себя школу молодых ученых MeMuMo-2018: проведены гостевые лекции и мастер-классы для молодых исследователей (бакалавров, магистров, аспирантов из Москвы, Санкт-Петербурга, Белгорода, Тамбова); участники проекта обучали слушателей методам полимодального исследования коммуникации. Кроме того, в рамках симпозиума был проведен Круглый стол по когнитивной лингвистике (http://scodis.ru/конференции/международный-симпозиум-2018-3/).

 

Публикации

1. Денисова В.А., Ченки А., Ирисханова О. К. Boundary Expression in Verbs and Gesture: Differences between L1 and L2 Speakers Компьютерная лингвистика и интеллектуальные технологии, Вып. 17 (24), 2018. C. 163–171. (год публикации - 2018).

2. Ирисханова О. К. О явлении резонанса в речевых жестах Слово и жест: Материалы конференции, посвященной памяти Е. А. Гришиной («Гришинские чтения»), М.: Изд-во Ин-та русск. яз. РАН. С. 9-10. (год публикации - 2018).

3. Ирисханова О. К. Жесты как индикаторы смены дискурсивной траектории Когнитивные исследования языка, Вып. XXXV. Взгляд в будущее: новые перспективы когнитивных исследований языка. С. 100-115. (год публикации - 2018).

4. Ирисханова О. К., Ченки А. The semiotics of gestures in cognitive linguistics: Contribution and challenges Вопросы когнитивной лингвистики, № 4(57). 2018. С. 25-36 (год публикации - 2018).

5. Ирисханова О.К. Когнитивный резонанс и его вербальные и невербальные проявления Когнитивные исследования языка, Вып XXXII. С.334-343 (год публикации - 2018).

6. Моргенстерн А. и др. L’imparfait dans le langage de l’enfant Une forme pour sortir de l’ici et maintenant Language, Interaction and Acquisition, Vol. 9:2. – pp. 184–226. John Benjamins Publishing Company (год публикации - 2018).

7. Мюллер К. Gesture and Sign: Cataclysmic Break or Dynamic Relations? Frontiers in Psychology, Vol. 9. (год публикации - 2018).

8. Томская М. В. Информационная структура полимодальных академических презентаций Когнитивные исследования языка, Вып. XXXV. Взгляд в будущее: новые перспективы когнитивных исследований языка. С. 164-171. (год публикации - 2018).

9. Томская М. В. Информативность академических презентаций Информационная структура текста, Сб. науч. статей / РАН. ИНИОН. Центр гуманит. науч.-информ. исслед. Отд. языкознания. С. 183-197 (год публикации - 2018).

10. Томская М.В., Зайцева И.В. Академические презентации как шаг в эволюции трансляции знаний Человек: Образ и сущность. Гуманитарные аспекты, Науч. журн. / РАН ИНИОН. Центр гуманит. науч.-информ. исслед. Отд. Языкознания. – № 1-2 (32-33): Человек и язык в меняющемся мире – С. 183-194. (год публикации - 2018).

11. Ченки А., Ирисханова О. К. (ред.) Aspectuality across languages: Event construal in speech and gesture Aspectuality across languages: Event construal in speech and gesture. Amsterdam: John Benjamins, xviii, 221 pp. (год публикации - 2018).