Аннотация результатов, полученных в 2017 году
Проект 2017-2018, базирующийся на результатах 2014-2016 гг., посвящен полимодальному исследованию того, как говорящие повествуют о событиях, в которых они участвовали непосредственно или в роли наблюдателя. Внимание уделяется как грамматическим формам (в частности, видо-временным формам глаголов), так и тем жестам, которые эти формы сопровождают. Способы производства движений рук анализируются с целью получить более глубокое представление о “жестах как действиях-симуляциях». Таким образом, исследование связывает традиционные теории грамматического аспекта с установками современных когнитивных лингвистов о наличии речевого мышления (“мышления для говорения”) и об образной ментальной симуляции, или моделировании, событий в процессе коммуникации. Изучаются три языка (французский, немецкий и русский), которым свойственно противопоставление перфектных и имперфектных форм глаголов, при том что в аспектуально-временных системах этих языков данные различия проявляют себя по-разному. На первом этапе проекта в 2014-2016 гг. фокус исследования был направлен на анализ того, как коммуниканты, говорящие на родных языках (L1), использовали мануальные жесты с определенными формами глаголов, а именно: с imparfait (имперфектом) and passé composé (перфектом) во французском языке, с Präteritum (имперфектом) and Perfekt (перфектом) в немецком языке и с глаголами несовершенного и совершенного вида прошедшего времени в русском языке. Во французском языке были обнаружены статистически значимые различия в употреблении жестов с двумя временными формами: жесты, сопровождающие перфектные формы, чаще содержали энергетический импульс (данный тип жестов мы назвали “предельными”). В жестах, сопровождавших имперфектные формы, энергетический импульс чаще отсутствовал, и такие жесты представляли собой движения, контролируемые на всех этапах производства (т.е. “непредельные” жесты). Данные результаты подтвердили изначальную гипотезу исследования, согласно которой предельные жесты фиксируют конструирование события как целостного, происходящего “на одном дыхании”. Сходным образом в течение нескольких десятилетий исследователи описывали семантику перфектива (совершенного вида), а также аспектуальность перфектных времен в тех языках, в которых говорящий сталкивается с выбором той или иной временной формы для указания на событие в прошедшем времени (е.g. французский и немецкий языки). Однако оказалось, что немецкий и русский языки следуют общей модели жестового поведения, а именно: модели более частого использования предельных жестов вне зависимости от видо-временных характеристик глагольных форм. Детальный анализ русской базы данных показал более тесную связь между характеристиками жестовых движений и лексической семантикой глаголов. Так, для жестов, репрезентирующих формы и движения, связанные с глагольной семантикой, наблюдалось более частое использование предельных жестов с глаголами совершенного вида, в то время как жесты, реализующие другие функции, не следовали этой тенденции (однако следовали более общей модели жестового поведения, замеченной нами в русском языке). Полученные результаты позволяют получить более тонкую картину грамматических категорий и способов их полимодального выражения: в противовес несколько упрощенным заявлениям о полимодальности грамматики, наше исследование позволяет увидеть, каким образом соотносятся грамматические категории разных языков и ко-артикуляторы, связанные с движением тела в жестах. Данный проект вносит вклад в более широкую дискуссию о природе языке, предлагая аргументы в пользу идеи о том, что язык – не столько модуль, не зависимый от других когнитивных механизмов обработки информации, сколько неотъемлемая часть освоения мира через телесность. Пролонгация проекта в 2017-2018 гг. предполагает проведение дополнительного анализа немецкой и французской баз данных по аналогии с проведенным ранее анализом русского видео корпуса. Мы выбрали немецкий язык в качестве объекта анализа, так как в данном языке мы не обнаружили существенных различий в употреблении жестов с двумя прошедшими формами глаголов. В ходе первого исследования мы соотнесли интересующие нас параметры движения рук с их функциональными характеристиками (жесты, репрезентирующие семантику глаголов vs. жесты «иных» функций). В немецких нарративах для группы жестов, репрезентирующих глагол, установлено, что и глаголы в Präteritum, и глаголы в Perfekt чаще сопровождались предельными жестами. Это подтверждает общие результаты, полученные в 2014-2016 гг., однако не подтверждает наличие связи между функционированием жестов, связанных с глагольной семантикой, и временными формами глаголов. В то же время, исследование других функциональных групп жестов показало отсутствие статистически значимых различий по (не)предельности жестов относительно времени Präteritum. Подобное отклонение от общих результатов для немецких нарративов предполагает, что жесты, реализующие иные функции по отношению к репрезентации (например, структурирование дискурса или прагматические функции), производятся отличным образом от жестов, более тесно связанных с лексической семантикой глагола. Для полноты анализа в 2017 г. были дополнительно исследованы французские нарративы, что позволило выявить сходную общую тенденцию. Жесты, репрезентирующие глаголы, следовали общей модели корреляции по предельности, характерной для данного языка, согласно которой непредельные жесты тяготели к imparfait, а предельные – к passé composé. Однако данная модель сохранялась для imparfait только в случае с жестами “иных” функций; для passé composé различия по жестовым типам не были статистически значимыми. Данные результаты свидетельствуют в пользу идеи о том, что параметры движения жестов являются частью более сложной картины языкового употребления, так как жесты могут частично соответствовать грамматическим и семантическим свойствам языковых единиц, а частично – другим факторам, которые еще предстоит изучить. Второе исследование в 2017 году также касалось уточнения данных, полученных в результате анализа немецких нарративов в 2014-2016 гг. В силу того, что в современной устной речи в немецком языке имперфектное время используется, в основном, с модальными глаголами и глаголами-связками, его фоновая функция по отношению к событиям, выраженным другим временем, здесь существенно ограничена. Некоторые исследователи отмечают, что в устной речи эту роль начинает все чаще принимать на себя историческое настоящее, которое может передавать или некое фоновое состояние внутри события (качество), или фиксировать одномоментное (точечное) событие в некоторой последовательности событий. Исходя из этого, мы провели кодирование и анализ случаев употребления с жестами исторического настоящего в этих двух функциях. Гипотеза заключалась в том, что с глаголами качества будут чаще использоваться непредельные жесты, а с глаголами точечного события – предельные жесты. Фактически, с формами исторического настоящего чаще употреблялись предельные жесты, вне зависимости от принадлежности глагола к той или иной подкатегории. С другой стороны, подобный результат указывает на более тесную связь между характером движения в жесте и другими факторами (прагматическими и/или просодическими) в немецких нарративах. Сравнение с аналогичными категориями для исторического настоящего французского языка, которое мы провели в качестве дополнительного исследования в 2017 году, действительно, показало преобладание непредельных жестов с глаголами качества и предельных жестов – с глаголами одномоментности, что можно расценить как свидетельство в пользу нашей гипотезы. Однако количество жестов с глаголами качества в историческом настоящем времени было слишком малым (N=10), чтобы определить, насколько существенным являются различия между двумя категориями предельности, а различие для одномоментных глаголов не было достаточным, чтобы достичь статистически значимого показателя (p > .05). В 2014-2016 гг. мы также исследовали нарративы, произведенные на иностранных языках носителями французского, немецкого и русского языков (L1), которые изучали любой из двух других языков (L2). Анализ жестового употребления показал, что в то время как большинство испытуемых, производя нарративы на L2, придерживались модели предельности родного языка L 1, носители русского языка, говорящие на французском L2, продемонстрировали модель, находящуюся между моделью русского языка как L1 и моделью французского языка как L1 по отношению к имперфекту, с которым русские начинали чаще употреблять непредельные жесты. При этом испытуемые, говоря по-французски (L2), использовали с имперфектом приблизительно одинаковое количество предельных и непредельные жестов. Исходя из сложностей определения энергетического импульса в жесте, что связано с фиксацией изменения скорости и ускорения, мы приняли решение применить в 2017-2018 гг. технологию захвата движения (MoCap). Данная технология была использована специально для того, чтобы воспроизвести эксперименты, проведенные для французского L1 во Франции и русского L1 в России, однако на этот раз были отобраны те же самые русскоязычные испытуемые, которые выполняли задания на французском как L2. Это было сделано для того, чтобы мы смогли сравнить жестовое употребление у одних и тех же говорящих. На каждого испытуемого надевался костюм для захвата движения Perception Neuron, оборудованный 32 датчиками инерционного измерения для записи скорости, ускорения, местоположения в пространстве и ориентации руки по отношению к северному магнитному полюсу. В дополнении к установленным видеокамерам (как в наших прошлых исследованиях) на основе цифровой информации создавался аватар говорящего. Таким образом, мы получили три базы данных для анализа: видеозаписи, цифровые данные и визуальное изображение аватара, созданное на основе цифровых данных. В 2017 году мы проанализировали новые видеозаписи, следуя алгоритму проведенных ранее исследований, чтобы проверить степень расхождения в результатах и получить базу для сравнения с результатами цифровых данных, которое запланировано на 2018 год. Результаты в целом оказались такими же, как и ранее, с двумя отличиями. В то время как модель для русского L1 обнаружила сходство с результатами прошлых лет (преобладание непредельных жестов вне зависимости от видовых форм глагола), в 2017 году для французского как L2 мы не выявили статистически значимого преобладания какого-либо типа жестов для аспектуальных форм прошедшего времени; при этом мы учитывали всю совокупность жестов в корпусе. Однако, когда мы приняли во внимание индивидуальный характер жестового варьирования и отобрали приблизительно одинаковое количество жестов от каждого говорящего, сбалансировав выборку, полученные данные повторили результаты 2014 г. Этот фактор будет принят во внимание в 2018 году при анализе материала с помощью MoCap. Кроме того, в отличие от французов, говорящих на L1 (преобладание предельных жестов с passé composé и непредельных жестов с imparfait), русские, говорящие на французском ( L2), производили больше предельных жестов с passé composé, однако в случае с imparfait преобладание предельных жестов над непредельными не было существенно значимым (p = .02). Здесь, однако, следует отметить, что величина эффекта для данного результата (phi = .2) не была столь же значимой, как для аналогичного соотношения с imparfait у французов, говорящих на родном языке L1 (phi = .5), или для соотношения предельных жестов и форм совершенного вида у русских, говорящих на L1 (phi= .8). В 2018 году мы проанализируем данные MoCap и сопоставим их с результатами анализа видеозаписей. Кроме того, в 2018 будет разработан пайплайн, благодаря которому опробованный в проекте алгоритм использования оборудования по захвату движения окажется в открытом доступе для исследователей жестов. Осенью 2017 года был организован международный симпозиум “Multimodal communication across languages and cultures” (MeMuMo 2017), в котором приняли участие все российские и зарубежные исполнители проекта (http://scodis.ru/симпозиумы/memumo-2017/). Частью симпозиума стали мастер-классы для студентов и аспирантов, на которых участники проекта познакомили молодых исследователей с методами полимодального анализа и с оборудованием MoCap, айтрекинг и программным обеспечением ELAN. Симпозиум завершился кейс-соревнованием, в ходе которого студенты каждого мастер-класса разрабатывали дизайн исследования и выступали с презентациями перед международным жюри и остальными участниками симпозиума. В 2017 году участники проекта представили результаты исследования в 17 российских и международных конференциях. Опубликовано 9 научных трудов, из них 1 статья в журнале, индексированном в Scopus and 5 – в журналах, индексированных в РИНЦ, еще 2 статьи в журналах Scopus/Wos выйдут в конце декабря 2017 года. Кроме этого, при поддержке гранта РНФ руководителем проекта была издана книга Ten Lectures on Spoken Language and Gesture. С общим описанием проекта можно ознакомиться на сайте Центра СКоДис МГЛУ: http://scodis.ru/%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82%D1%8B/%D1%81%D0%BE%D0%B1%D1%8B%D1%82%D0%B8%D1%8F-%D0%B8-%D0%B6%D0%B5%D1%81%D1%82%D1%8B/.

Аннотация результатов, полученных в 2018 году
В 2018 году в задачи проекта входил анализ данных, полученных с помощью технологии захвата движения (MoCap) в 2017 году и включающих в себя устные неформальные нарративы с элементами диалога, которые производились в парах (минимум 10 пар для каждого языка). На испытуемых были надеты костюмы по захвату движения Perception Neuron. Первая группа состояла из носителей французского языка, живущих во Франции, которые рассказывали о событиях на французском языке (французский как родной язык – FRL1). Вторая группа включала носителей русского языка, живущих в Москве, которые говорили по-русски на первом этапе сбора данных (RUL1) и по-французски – на следующем этапе (FRL2); при этом партнеры в диалоге менялись. Если в 2017 году были проанализированы видео данные, то в 2018 году – цифровые данные, полученные с помощью оборудования по захвату движения. Применялась так называемая инерционная система захвата движения, которая включает встроенные магнитомеры, гироскопы и акселерометры. Такое оборудование отличается от более распространенных оптических систем, которые стоят намного дороже, стационарны и подвержены окклюзии - наложению наблюдаемых частей тела друг на друга. В результате этого одна из них становится невидимой для оборудования, что приводит к потере данных. Инерционная система (Perception Neuron) является настолько инновационной, что одной из задач проекта была разработка системы, позволяющей конвертировать данные в такие форматы, которые были бы пригодны для нашего исследования. В результате члены проекта создали полное описание этапов и инструментов перехода от сбора данных к их обработке и анализу, т. е. разработали "пайплайн". Первая часть цепочки процессов «пайплайн» содержит описание процесса сбора данных, включая подготовку и предварительные условия, а также протокол, которому необходимо следовать, и порядок экспорта данных с учетом анализа. Во второй части внимание сосредоточено на анализе данных с описанием основных этапов обработки данных, самого анализа данных и визуализации данных в целях обеспечения понимания сложных или многомерных характеристик жестов. В ходе разработки цепочки процессов «пайплайн» возникают три основные вопроса: 1) Как осуществлять синхронизацию данных? 2) Как отбирать и преобразовывать данные? 3) Что меняется при аннотировании? Для решения вопроса, касающегося синхронизации данных, нами был разработан протокол, который подробно описывает, как необходимо надлежащим образом наладить аппаратуру с учетом типа производимых ими измерений, а также протокол, описывающий выполнение конкретных действий при работе с испытуемым, таких как принятие Т-позы (стоя с разведенными в сторону прямыми руками как стандартное исходное положение) или хлопанье в ладоши один раз в начале и в конце записи в целях упрощения синхронизации данных и их экспорта на последующих этапах. В отношении отбора релевантных данных и их преобразования мы предлагаем выбирать и готовить файлы для экспорта с учетом последующего анализа и используемого в дальнейшем программного обеспечения. Так, файлы с данными MoCap могут быть преобразованы в видео для последующей визуализации, например, в ELAN для повышения качества кодирования жеста, либо могут быть преобразованы в текстовые файлы для последующего анализа в Excel, либо могут обрабатываться в Unity для изучения потока движения, новых характеристик жестов или кинематики. Мы подробно описываем все эти процессы в пошаговой инструкции, находящейся в открытом доступе. (http://scodis.ru/wp-content/uploads/2016/08/POLIMOD-2017-18-PIPELINE-Documentation.pdf и http://scodis.ru/wp-content/uploads/2016/08/POLIMOD-2017-18-PIPELINE-Tutorial.pdf). Наконец, мы рассмотрели вопрос о том, чтó цепочка процессов «пайплайн» на основе технологии захвата движения меняет в плане аннотирования. Нами выявлено то обстоятельство, что технология захвата движения выводит исследователя за рамки одной перспективы, как это происходит с видеокамерой, и позволяет расширить число точек зрения до желаемого количества, поскольку мы можем использовать виртуальную камеру для изучения жеста с позиции испытуемого. Например, нами показано, что возможно принять точку наблюдения «от первого лица» для того, чтобы «воплотить» (embody), а затем лучше понять жесты испытуемых. Мы также предлагаем инструмент совмещенной реальности, разработанный с использованием среды разработки Unity3D в целях визуализации в режиме реального времени многомерных характеристик жестов (таких как скорость, ускорение, рывок) либо их комбинации в виде более простых кривых или поверхностей (этап Визуализации результатов). Пайплайн позволил провести несколько процедур анализа, релевантных для изучения корреляции между свойствами движения в жесте и аспектуально-временными формами глаголов во французском и русском языках, что важно для более глубокого понимания особенностей полимодального конструирования событий. Первый этап анализа включал разработку алгоритма для определения потока движений в жесте, а именно: направление переноса движения с одной части тела на другую, как, например, от торса вдоль руки к пальцам (проксимально-дистально), либо в противоположном направлении (дистально-проксимально).Исследование, проведенное нами ранее, указывает на то, что существует связь между указанным разделением потока на два типа и визуально воспринимаемым энергетическим импульсом в некоторых жестовых движениях (последнее свойство стало критерием для выделения предельных жестов). Мы предположили, что предельные жесты будут коррелировать с перфект(ив)ными глаголами (passé composé во французском и совершенный вид прошедшего времени в русском) и что жесты, в которых данный импульс отсутствует (непредельные жесты), будут коррелировать с имперфект(ив)ными формами (imparfait во французском и несовершенный вид прошедшего времени в русском). Фактически, мы нашли ожидаемую корреляцию только во французском корпусе носителей этого языка. Анализ французов, говорящих на французском языке, проведенный с применением MoCap, показал выраженные различия в профилях предельных и непредельных жестов: наибольшие различия для скорости наблюдались на начальной и конечной фазах производства жеста. При этом как скорость, так ускорение характеризуются противоположными профилями: увеличением показателей для предельных жестов и их уменьшением для непредельных жестов. У русских, говорящих на русском языке, наблюдалось сходство профилей для обоих типов жестов (увеличение величин скорости и ускорения). В связи с этим возникает вопрос о том, что, возможно, существует некая общая закономерность у жестов, связанная с энергетическим импульсом, которая не зависит от языка. В то же время, русские непредельные жесты не следуют паттерну, противоположному предельным жестам. Жесты, которые мы отнесли к категории непредельных, характеризуются более вариативной моделью скорости и ускорения по отношению к траектории жеста, в результате чего мы каждый раз наблюдаем еще более нерегулярный график. Жестовые модели у русских, говорящих на французском языке, не были похожи ни на одну из указанных моделей. По предельным жестам была выявлена тенденция уменьшения скорости и ускорения, а по непредельным жестам данные два показателя продемонстрировали тенденцию к увеличению. Было также показано, что относительно энергетического импульса, рассмотренного с кинематической точки зрения, ускорение ускорения («рывок») является определяющим свойством. Любое изменение в ускорении жеста с большой долей вероятности приводит к его кодированию как предельного жеста. В результате анализ потока движения в жестах, основанный не столько на кинематическом, сколько на кинезиологическом подходе, показал более явную корреляцию между жестовыми характеристиками и аспектуальностью глагола в видеокорпусе русских, говорящих на русском языке (L1): дистально-проксимальное направление (поток) движения коррелирует в большей степени с глаголами прошедшего времени совершенного вида, а проксимально-дистальный поток - с глаголами прошедшего времени несовершенного вида. Однако эта особенность составляет скорее общий тренд, чем статистически значимое различие. Однако, в корпусе французов, говорящих на французском языке (L1), дистально-проксимальное распределение движения преобладало независимо от глагольной формы, но предельные жесты статистически значимо соотносились с перфектом, в отличие от имперфекта, где различия в жестах не продемонстрировали статистическую значимость. В корпусе русских, говорящих на французском языке (L2), вновь был выявлен уникальный паттерн, не похожий на закономерности, установленные для корпусов с L1. Таким образом, проведенный кинезиологический анализ с применением MoCap, позволил уточнить понятие предельности и подтвердить значимость данного критерия для разграничения разных типов жестов. Несмотря на то, что, подобно визуальному анализу на предыдущих этапах проекта, анализ захвата движения показал отсутствие однозначного соответствия между аспектуальностью и предельностью во всех трех языках, он продемонстрировал необходимость учитывать направление движения (поток) для выявления корреляций «жест-глагол». Таким образом, исследование доказало целесообразность сочетания методов визуального и кинезиологического анализа и, следовательно, значимость разработанного пайплайна. В текущем году члены участники проекта опубликовали 4 статьи в журналах, индексированных в БД Web of Science и Scopus, а также 7 статей - в РИНЦ. Успешно защищены: 2 бакалаврские и 1 магистерская работы, а также 1 кандидатская диссертация по темам, связанным с проектом. Участники исследовательской группы выступили с докладами на 13 конференциях и симпозиумах в России, Армении, Бельгии, Нидерландах, Южной Африке и Швейцарии. 1-2 ноября 2018 г. был организован и проведен Международный симпозиум “Languages, cultures, modalities: New perspectives in cognitive research on language” (Языки, культуры, модальности: новые перспективы когнитивных исследований языка»). Он включал в себя школу молодых ученых MeMuMo-2018: проведены гостевые лекции и мастер-классы для молодых исследователей (бакалавров, магистров, аспирантов из Москвы, Санкт-Петербурга, Белгорода, Тамбова); участники проекта обучали слушателей методам полимодального исследования коммуникации. Кроме того, в рамках симпозиума был проведен Круглый стол по когнитивной лингвистике (http://scodis.ru/конференции/международный-симпозиум-2018-3/).