Аннотация результатов, полученных в 2017 году
Исследовательская группа, базирующаяся в Институте языкознания РАН, на основе единого теоретического и методологического подхода проводит комплексное исследование русского мультиканального дискурса «Язык как он есть». На этапе 2017 года были продолжены аннотирование и анализ ресурса «Рассказы и разговоры о грушах», собранного в 2014–2016 гг. Ресурс был собран при помощи оригинальных технических решений, включающих высококачественную аудиозапись и видеозапись, а также регистрацию движений глаз. Каждая запись продолжалась примерно один час и включала общение четырех коммуникантов с фиксированными ролями – рассказчика, комментатора, пересказчика и слушателя. Разработанная методика включает следующие этапы. Перед началом основной части рассказчик и комментатор смотрели на персональных компьютерах «Фильм о грушах» (Chafe ed. 1980), стараясь как можно точнее запомнить сюжет фильма. Потом начиналась основная часть – сначала рассказчик рассказывал пересказчику содержание фильма, это был монологический этап рассказа. Затем в ходе интерактивного этапа разговора комментатор добавлял детали и при необходимости исправлял рассказ рассказчика, а пересказчик задавал уточняющие вопросы, проверяя свое понимание содержания фильма. После этого к собеседникам присоединялся слушатель и начинался еще один монологический этап – этап пересказа, в ходе которого пересказчик пересказывал фильм слушателю. Наконец, слушатель письменно фиксировал содержание фильма. В настоящее время подкорпус, включающий несколько записей, в состав каждой из которых входит 15 медиафайлов, а также различного рода транскрипты (вокальный, мануальный, цефалический и окуломоторный) размещен на сайте проекта по адресу http://multidiscourse.ru/corpus/. В 2017 году по той же процедуре была собрана вторая часть ресурса «Рассказы и разговоры о грушах», которая включает 16 записей общей длительностью 6 часов и средней длительностью 21 мин. В новых записях приняли участие 64 русскоязычных испытуемых в возрасте от 18 до 36 лет. Была разработана новая кинетическая анннотационная схема для среды ELAN, позволяющая системно аннотировать иерархически организованные жестовые единицы – жестовые цепочки, отдельные жесты и их фазы – как аннотации независимых слоев в среде ELAN. Жестовые единицы аннотируются независимо для левой и правой руки. В подробной аннотационной схеме была реализована систематическая дифференциация между коммуникативно значимыми жестами и общим кинетическим фоном, опирающаяся на такие кинетические параметры, как усилие, скорость, траектория, направление движения и т.д. Предлагаемая аннотационная схема позволяет аннотировать не только жесты, но также и другие компоненты жестового поведения, такие как адапторы, позы и смены поз. Данная схема была реализована в первую очередь как схема аннотации мануальных движений, то есть движений рук. В то же время эта схема принципиально применима и к другим жестовым компонентам, в частности цефалическому (движения головы). Аннотирование движений головы, мимики и положения тела в пространстве, проведенное в 2017 году, было основано на тех же принципах, которые были разработаны для аннотирования мануальных движений, подробнее см. http://multidiscourse.ru/annotation/. Мы произвели детальный анализ движений головы с формальной точки зрения и определили функции движений головы в дискурсе. Кроме того, схема ориентирована на сопоставление кинетических действий с единицами других коммуникативных каналов. Было выполнено пилотное описание положения тел собеседников и анализ позовых паттернов. Была предложена предварительная схема описания мимического поведения. Кроме того, было уточнено понятие элементарной дискурсивной единицы (ЭДЕ), ранее определенной в рамках вокальной модальности, с учетом контекста кинетических компонентов дискурса. В ходе работы в 2017 году мы уточнили характер временно́й координации вокального компонента и мануальной жестикуляции. Во-первых, было проверено предположение об определенном параллелизме между коммуникативно-просодическими пиками в устной речи (акцентными пиками) и маховыми фазами мануальных жестов. По данным проанализированного подкорпуса можно заключить, что время начала маховой фазы мануальных жестов обычно опережает время начала коммуникативно-просодических пиков. Согласно нашим предыдущим результатам (Федорова и др. 2016), однако, жесты опережают ЭДЕ только менее чем в половине случаев. Таким образом, результат для пары «акцент—мах» не полностью совпадает для пары «ЭДЕ–жест». Во-вторых, мы исследовали соотношение темпа речи и активности мануальной жестикуляции. Каждому жесту, сопровождающему речь, была поставлена в соответствие конкретная ЭДЕ (либо серия ЭДЕ) с указанием темпа, определенного автоматически с помощью специально написанного скрипта и, наоборот, каждой ЭДЕ, сопряженной с жестикуляцией, приписан жест либо серия жестов. Полученные результаты дают основания утверждать, что медленные ЭДЕ обычно встречаются вне жестов и при этом обладают меньшей продолжительностью, чем ЭДЕ с нормальным или убыстренным темпом. Быстрые ЭДЕ демонстрируют более существенную вариативность, что требует анализа дополнительных факторов, в первую очередь контекста. В-третьих, были исследованы функции, длительность и особенности жестов, появляющихся при речевых сбоях. Мы обнаружили, что жесты, появляющиеся с речевыми сбоями, оказываются длиннее, чем жесты, не сопровождающиеся речевыми сбоями. Кроме того, эти две группы различаются по времени начала жеста – жесты с речевыми сбоями обычно начинаются позже, чем жесты без сбоев. Были разработаны принципы пилотной референциальной аннотации; мы исследовали движения глаз, мануальные жесты и просодию как потенциальные факторы, влияющие на референциальный выбор собеседников. Мы обнаружили, что полная именная группа чаще сопровождается глазной саккадой, чем редуцированные референциальные выражения – местоимение и нулевая референция. С другой стороны, если маховой части жеста соответствует референциальное выражение, то оно обычно представляет собой интродуктивную полную именную группу. В экспериментальном исследовании речевых сбоев были описаны трудности поиска адекватной номинации в связи с объективным отсутствием соответствующего языкового выражения в общем лексиконе собеседников. Проведенный качественный и количественный анализ показал, что частотность упоминаний референта не связана с его когнитивной доступностью, а наличие речевых сбоев, сопряженных с выбором подходящего референциального выражения, наоборот, связано со степенью когнитивной доступности. Мы рассмотрели вербальные, кинетические и глазодвигательные особенности поведения собеседников в переходные моменты – от монолога к разговору и обратно, а также особенности, связанные с началом обоих монологов. Был описан типичный паттерн мультиканального поведения собеседников в переходные моменты: координация вокального поведения и мануальных жестов, характерные повороты и кивки головой, мимическая активность, в первую очередь улыбка, а также взгляд, задерживающийся на предыдущем собеседнике. В ходе работы были разработаны общие принципы поисковой системы, учитывающие базовые свойства мультиканальной дискурсивной аннотации. В экспериментальном порядке был реализован прототип использования «внешнего» поискового движка ELAN в веб-окружении. Серверная часть была выполнена при помощи технологии Java Servlet – производится подключение к ELAN и через входящий в стандартную библиотеку модуль elan.jar запускается поиск; результаты преобразуются в html-таблицу. Клиентская часть написана на языке JavaScript (фреймворк Vue.js). В настоящее время доступен простой поиск по отдельным слоям аннотации. Также было проведено исследование в области алгоритмического определения моментов движения в видеопотоке, наиболее подходящих для задач разметки движения. Была разработана утилита, программным образом определяющая и автоматически отображающая моменты движения в видеопотоке, что облегчило процедуру разметки мануальных движений. Научная работа по проекту строится в форме регулярных научных семинаров, которые происходят один раз в 10 дней в Институте языкознания РАН. Детальная информация о проекте размещена на сайте http://multidiscourse.ru/. В 2017 году участники коллектива сделали 18 докладов на международных конференциях, было подготовлено и реализовано 13 публикаций по теме проекта, см. раздел «Публикации и доклады» на сайте проекта http://www.multidiscourse.ru/publications/. Все запланированные на 2017 год задачи были полностью выполнены.

Аннотация результатов, полученных в 2018 году
Исследовательская группа, базирующаяся в Институте языкознания РАН, на основе единого теоретического и методологического подхода с 2014 г. проводит комплексное исследование русского мультиканального дискурса «Язык как он есть». В ходе работы в 2014–2017 гг. был создан ресурс «Рассказы и разговоры о грушах». Ресурс был собран при помощи оригинальных технических решений, включающих высококачественную аудиозапись и видеозапись, а также регистрацию движений глаз. Летом 2015 г. была собрана первая часть ресурса, включающая 24 записи общей длительностью 9 часов. В 2017 г. по той же процедуре была собрана вторая часть ресурса «Рассказы и разговоры о грушах», состоящая из 16 записей общей длительностью 6 часов. В общей сложности в записях приняли участие 160 человек в возрасте от 18 до 36 лет. В настоящее время эталонный подкорпус, состоящий из трех записей, в состав каждой из которых входит 18 медиафайлов, а также различного рода транскрипты (вокальный, мануальный, цефалический и окуломоторный) размещен на сайте проекта http://multidiscourse.ru/. В 2018 г. были продолжены как аннотирование, так и анализ собранного ресурса. В ходе работы была уточнена кинетическая анннотационная схема для среды ELAN, позволяющая системно аннотировать иерархически организованные жестовые единицы – жестовые цепочки, отдельные жесты и их фазы – как аннотации независимых слоев в среде ELAN. Данная схема была реализована в первую очередь как схема аннотации мануальных движений, то есть движений рук (см. описание разработанной аннотационной схемы на сайте проекта: http://multidiscourse.ru/annotation/). Аннотирование движений головы, мимики и движений туловища в пространстве, проведенное в 2018 г., было основано на тех же принципах, которые были разработаны для аннотирования мануальных движений, подробнее см. http://multidiscourse.ru/annotation/. Кроме того, созданные схемы были ориентированы на сопоставление кинетических действий с единицами других коммуникативных каналов. Был проанализирован ряд основных теоретических понятий теории коммуникации и дискурса. В области разграничения ролей адресанта и адресата было проведено исследование взаимозависимости между направлением взгляда (=зрительным вниманием) коммуниканта и его коммуникативной ролью. Были разработаны принципы мультиканального портретирования. Портрет – это совокупность характеристик мультиканального поведения человека. Мы выделяем просодический, окуломоторный и жестовый портреты. Просодический портрет характеризует постоянные свойства конкретного человека, такие как диапазон частоты основного тона голоса. Просодический портрет необходим на этапе первичного аннотирования материала. Окуломоторный портрет создается после процедуры полуавтоматической аннотации и используется на этапе анализа. Стандартный окуломоторный портрет включает данные о суммарном количестве фиксаций, суммарной длительности фиксаций, средней, минимальной, максимальной длительностях, о 25, 50 и 75% квантилях, а также аналогичное распределение фиксаций на Рассказчике, Комментаторе, Слушателе и окружении. Расширенный окуломоторный портрет включает аналогичные данные о распределении фиксаций говорящих по этапам рассказа, разговора и пересказа, а также более сложную таблицу распределения фиксаций на части тела испытуемых – лицо, руки, корпус и другие части тела. Жестовый портрет выполняет двойную функцию – он необходим как на этапе аннотирования жестов, так и на этапе анализа. Согласно нашей методологии, жестовый портрет состоит из двух основных частей – предварительного жестового портрета и аналитического портрета. Предварительный портрет создается на основе анализа 10% собранного материала и включает следующие характеристики: (не)склонность к неподвижности, (не)склонность к использованию адапторов, типичную амплитуду жеста, типичную скорость жеста, преобладание двуручных или одноручных жестов, распределение по рукости и др. Аналитический жестовый портрет создается после завершения процедуры мануального аннотирования. Данные, необходимые для создания аналитического портрета, в частности включают: суммарное количество мануальных жестов, их длительность, среднюю, минимальную, максимальную длительности, а также распределение по 25, 50 и 75% квантилям. В ходе работы была изучена роль просодии как интерфейса между речью и кинетическим поведением человека. Был уточнен характер временно́й координации вокального компонента и мануальной жестикуляции. Во-первых, было показано, что уровень координации в парах вида «жест – ЭДЕ» значительно превосходит уровень координации в парах вида «мах – акцентированная словоформа», при этом для пар второго вида характерен опережающий характер жестикуляции при любом методе оценки, тогда как жесты скорее опережают ЭДЕ при интегральной оценке, учитывающей и левую, и правую границу, но их левые границы чаще запаздывают по отношению к левым границам ЭДЕ. Кроме того, было обнаружено, что функциональный тип жеста, продолжительность жестикуляционной единицы, а также характер движения тона в акцентированной словоформе оказывают влияние на характер координации. Во-вторых, мы исследовали соотношение темпа речи и активности мануальной жестикуляции на разных этапах коммуникации. Было обнаружено, что для всех говорящих, участвовавших как в монологических, так и в диалогических частях записи, в монологе отношение количества жестовых единиц к количеству речевых единиц значимо превышает аналогичный параметр в диалоге. В-третьих, были исследованы функции, длительность и особенности жестов, появляющихся при речевых сбоях. Было обнаружено, что ЭДЕ с речевыми сбоями часто совпадают с жестовыми сбоями. Если ЭДЕ не была завершена в связи с вмешательством другого участника, для таких ЭДЕ вероятность сопровождения жестом меньше, чем для прочих ЭДЕ. Кроме того, число жестовых сбоев оказалось значимо меньше числа встреченных в корпусе речевых сбоев. Были разработаны принципы референциальной аннотации, см. http://multidiscourse.ru/annotation/; были исследованы движения глаз, мануальные жесты и просодия как потенциальные факторы, влияющие на референциальный выбор собеседников. Было установлено, что в значимо большем количестве случаев на полные ИГ с вершиной-существительным и демонстративом махи приходятся чаще, чем на личные местоимения. Для просодического компонента было выявлено, что когда мах указательного жеста семантически совпадал с местоимением, оно сопровождалось акцентом. Для окуломоторного компонента было выявлено, что 2/3 реф. единиц, включающих полные ИГ с вершиной-существительным, сопровождались фиксациями. Решающим фактором для наличия фиксации являлась конечная позиция референциальной единицы в составе ЭДЕ. В экспериментальном исследовании речевых сбоев были описаны трудности поиска адекватной номинации в связи с объективным отсутствием соответствующего языкового выражения в общем лексиконе собеседников. Проведенный качественный и количественный анализ показал, что частотность упоминаний референта не связана с его когнитивной доступностью, а наличие речевых сбоев, сопряженных с выбором подходящего референциального выражения, наоборот, связано со степенью когнитивной доступности. Были рассмотрены вербальные, кинетические и окуломоторные особенности поведения собеседников в переходные моменты – от монолога к разговору и обратно, а также особенности, связанные с началом обоих монологов. Был описан типичный паттерн мультиканального поведения собеседников в переходные моменты, в том числе: координация вокального поведения и мануальных жестов, характерные повороты и кивки головой, мимическая активность, в первую очередь улыбка, а также взгляд, задерживающийся на предыдущем собеседнике. Было проведено исследование взаимосвязи между движениями глаз Рассказчика во время просмотра «Фильма о грушах» и особенностями его последующего пересказа. Было показано, что количество глазных фиксаций на персонажах фильма, которые упоминались рассказчиком чаще, было значимо больше, чем на более редко упоминаемых референтах. Средняя длина фиксаций во время просмотра фильма на персонажах, которые упоминались в последующем пересказе чаще, значимо превышала среднюю длину фиксаций на тех персонажах, о которых говорящий упоминал реже (девочка, мужчина с козой). Были разработаны принципы пользовательского интерфейса системы поиска и развернута первая версия поиска, см. http://multidiscourse.ru/search/. Клиентская часть была реализована как одностраничное приложение на языке Javascript. Для описания элементов интерфейса используется фреймворк Semantic UI. В онлайн-интерфейсе пользователю доступны возможности, имеющиеся во встроенном поиске программы ELAN, однако процесс составления запроса сделан более интуитивным. Серверная часть была реализована на Java. Запросы от клиентской части (создаваемые в формате JSON) обрабатываются с использованием Java Servlet, далее в качестве механизма поиска используются классы ELAN. Полученные результаты конвертируются в JSON и отправляются клиенту. В выдаче по запросу пользователь получает список контекстов, ассоциированных с фрагментами видеофайлов (связь обеспечена при помощи youtube и video.js). Уточнены способы преобразования данных из ELAN-разметки в реляционные БД MySQL, оптимизированы запросы, сопоставляющие единицы двух каналов между собой и извлекающие данные из полученных таблиц. Было продолжено исследование возможности алгоритмического определения моментов движения в видеопотоке. Опробовались варианты детекции движений головы и рук на основе компьютерного зрения. Было проведено обзорное исследование доступных вариантов программного обеспечения. Были применены метрики оценки точности детекции в разных вариантах алгоритмов, оценивалась целесообразность их применения. Также были предприняты попытки собственных реализаций программных решений детекции движения рук. Одна из успешных реализаций была основана на технике вычитания фона и детекции движения на основании заданного порога количества изменившихся пикселей в кадре видеозаписи. Скачивание доступно по адресу: https://gitlab.com/multidiscourse/multidiscourse/tree/manuMotions/green_people. В ходе работы в 2018 г. была создана англоязычная версия сайта проекта, доступная по адресу: https://multidiscourse.ru/en. Научная работа по проекту строилась в форме регулярных научных семинаров, которые происходили один раз в 10 дней в Институте языкознания РАН. Детальная информация о проекте размещена на сайте http://multidiscourse.ru/. В 2018 г. участники коллектива сделали 24 доклада на международных конференциях, было подготовлено и реализовано 27 публикаций по теме проекта, см. раздел «Публикации и доклады» на сайте проекта http://www.multidiscourse.ru/publications/. Все запланированные на 2018 г. задачи были полностью выполнены.