Аннотация результатов, полученных в 2014 году
Проект посвящен изучению языка в его наиболее естественной и исходной форме – в форме устного мультимодального дискурса, включающего вербальный компонент, просодию и визуальные средства взаимодействия. В последние годы все больше осознается тот факт, что традиционное выделение лишь вербального кода как предмета лингвистического анализа представляет собой ограниченный взгляд. В реальной коммуникации между людьми не существует принципиальной границы между словами, интонациями, жестами, выражениями лица и т.д. Для участников коммуникации важно, чтобы была достигнута коммуникативная цель. Естественный дискурс по своей природе мультимодален. Задача данного проекта состоит в создании основы для нового, адекватного представления о языке как мультимодальном феномене. Главный компонент проекта - мультимодальный корпус устного дискурса. В ходе работы в 2014 году была разработана процедура сбора мультимодального корпуса, основанная на критериях репрезентативности и реализуемости. В корпус включаются дискурсы, представляющие разные жанры, стили, регистры и в разной степени структурированные с точки зрения коммуникативных ролей, с разным числом участников. Был собран пилотный мультимодальный корпус (1,5 часа) разнотипных диалогов — число участников от двух до нескольких, разные типы и стили диалога. Был разработан пилотный вариант транскрипции с минимальным уровнем аннотирования, включая вербальный, просодический и мануально-жестовый слои. Транскрипция основана на базовом теоретическом понятии элементарной дискурсивной единицы (ЭДЕ) и аннотирует такие характеристики ЭДЕ, как фазово-иллокутивное значение, акценты, паузы, речевые сбои, семантические типы жестов, участие одной или двух рук, цепочки жестов и мн. др. Был собран пилотный подкорпус «Рассказы о грушах» (1,5 часа) на основе пересказов видеоролика, включающий 24 пересказа. Было проведено пилотное аннотирование подкорпуса «Рассказы о грушах» в виде многослойной транскрипции, включающей вербальное, просодическое и жестовое представления. Была опубликована статья по результатам создания и аннотирования мультимодальных корпусов. Совместно с исследовательской группой Алана Ченки, работающей по гранту РНФ № 14-48-00067 «Взаимодействие вербальных и невербальных средств конструирования событий в разных языках», на Московского государственного лингвистического университета был проведен симпозиум «Анализ жестов вместе с речью», на котором были представлены текущие результаты нашей работы. Мы полагаем, что научные результаты 2014 года продвигают нас к созданию комплексной аннотации мультимодального дискурса, которая представит «язык как он есть», включая все каналы и способы передачи информации, участвующие в естественной повседневной коммуникации между людьми. Информация о проекте размещена на сайте Центра когнитивных исследований филологического факультета МГУ имени М.В. Ломоносова по адресу http://www.philol.msu.ru/~ccs/ru/research/multimodal. Собранный корпус будет выложен в открытый доступ в сеть Интернет на ресурсе http://languedoc.philol.msu.ru (кафедра теоретической и прикладной лингвистики филологического факультета МГУ имени М.В. Ломоносова).

Аннотация результатов, полученных в 2015 году
Одна из наиболее перспективных идей современной лингвистики состоит в том, что естественный дискурс по своей природе мультимодален – он включает вербальную составляющую, просодию и визуальные средства взаимодействия между коммуникантами. Язык как вербальная форма принципиально неотделим от этих параллельных коммуникативных каналов. Задача данного проекта состоит в создании мультимодального корпуса устного русского дискурса – основы для будущей грамматики русского языка, в которой будет подвергнута ревизии грамматическая традиция, основанная лишь на письменном употреблении языка. Как и было заявлено, в ходе работы в 2015 г. был собран мультимодальный корпус, состоящий из подкорпуса естественных диалогов (10 часов записей) и подкорпуса «Рассказы и разговоры о грушах» (10 часов записей), который в свою очередь включает подкорпус «Рассказы о грушах» (6 часов записей) и подкорпус «Разговоры о грушах» (4 часа записей). Важнейшую роль в создании современного мультимодального корпуса играет правильный выбор оборудования для проведения записей. При создании корпуса мы использовали следующее оборудование: (1) профессиональный шестиканальный рекордер ZOOM H6 Handy Recorder с параметрами записи 96 kHz / 24 bit; речь каждого коммуниканта фиксировалась на индивидуальный петличный микрофон SONY ECM-88B в режиме моно; четвертая общая запись в режиме стерео велась со встроенного микрофона рекордера; (2) три индивидуальные промышленные видеокамеры JAI GO-5000M-USB с частотой 100 к/с и разрешением 1392х1000, которые фронтально записывали каждого из трех коммуникантов; для последующей аналитической работы крайне важно, что эти камеры позволяют получить запись в формате mjpeg; данный формат выгодно отличается от остальных отсутствием межкадрового сжатия, что является принципиальным условием для дальнейшего покадрового аннотирования; частота записи 100 к/с позволяет нам проводить анализ собранного видеоматериала с точностью до 10 мс, что является очень хорошим показателем точности аннотирования; (3) широкоугольную камеру общего плана GoPro Hero 4 Black Edition c частотой 50 к/с и разрешением 2700х1500; (4) две пары очков-айтрекеров фирмы Tobii Glasses II Eye Tracker с частотой 50 Hz и разрешением видеокамеры 1920х1080. Необходимо отметить, что подобный комплект оборудования еще не использовалось ни одним научным коллективом, занимающимся мультимодальными лингвистическими исследованиями. В связи с этим мы полагаем, что русскоязычный ресурс, создаваемый в рамках данного проекта, будет иметь большую научную ценность. Для построения интегральной модели мультимодального дискурса вклад каждого из коммуникативных каналов должен быть проработан с сопоставимым уровнем подробности. В 2015 г. мы сконцентрировались в первую очередь на разработке вербально-просодического компонента как основы любого мультимодального корпуса. Вербально-просодическая транскрипция собранного материала была реализована в соответствии с базовыми принципами, заложенными при разработке системы дискурсивной транскрипции устной речи для монологической речи, в соответствии с которыми транскрипт рассматривается как отображение процессов, происходящих в когнитивной системе говорящего. Сохраняя эту когнитивную перспективу, в рамках настоящего проекта мы обогатили ее коммуникативной мотивацией, чтобы в большей степени учесть характер взаимодействия собеседников. Кроме того, в соответствии с заявкой, собранный подкорпус диалогов и подкорпус «Рассказы и разговоры о грушах» был расшифрован и затранскрибирован с минимальным уровнем аннотирования, включающим вербальный, просодический и мануально-жестовый уровни; собранный подкорпус «Рассказы и разговоры о грушах» был пилотно затранскрибирован с упрощенным уровнем аннотирования, то есть с добавлением еще двух уровней направления взора и жестов головы. В целом мы полагаем, что создаваемый нами ресурс с точки зрения характера эмпирического материала, учета различных типов дискурса и примененных технических решений находится на переднем крае современных мультимодальных исследований и не имеет прямых аналогов в мировой науке. В 2015 г. была организована секция «Мультимодальные корпуса» в рамках Международной конференции по компьютерной лингвистике «Диалог» (27-31 мая 2015 г.), программу см. на сайте http://www.dialog-21.ru/dialog2015/; там же можно найти публикации участников проекта; было проведено несколько совместных семинаров с научными группами смежных проектов РНФ № 14-18-03350 под рук. В.А. Барабанщикова «Когнитивные механизмы невербальной коммуникации» и РНФ № 14-48-00067 под рук. А. Ченки «Взаимодействие вербальных и невербальных средств конструирования событий в разных языках». Научная работа по проекту построена в форме регулярных научных семинаров, которые происходят один раз в 10 дней в Институте языкознания РАН (см. расписание семинаров на странице проекта http://www.philol.msu.ru/~ccs/ru/research/multimodal/multi-rnf.html). В 2015 г. c большим перевыполнением плана наша научная группа выступила в общей сложности с 16 докладами по теме проекта (в частности, см. список докладов руководителя проекта А.А. Кибрика на международных конференциях в Польше, Бразилии, Италии, Великобритании и т.д. на странице http://istina.msu.ru/profile/AAKibrik/#conference_presentations). В соответствии с намеченными планами, в 2015 г. членами научной группы было подготовлено и опубликовано четыре статьи, в том числе 1 статья в БД WoS и две в БД Scopus. Информация о проекте размещена на сайте Центра когнитивных исследований филологического факультета МГУ имени М.В. Ломоносова по адресу http://www.philol.msu.ru/~ccs/ru/research/multimodal. В 2016 г. собранный корпус (размером около 10 Тб) будет храниться на базе ВЦ МГУ имени М.В. Ломоносова, а материал для открытого просмотра будет выложен в сеть Интернет на ресурсе http://languedoc.philol.msu.ru (кафедра теоретической и прикладной лингвистики филологического факультета МГУ имени М.В. Ломоносова).

Аннотация результатов, полученных в 2016 году
На этапе 2016 года было продолжено исследование ранее собранного материала, то есть корпуса записей коммуникации между четырьмя участниками – Рассказчиком, Комментатором, Пересказчиком и Слушателем о содержании «Фильма о грушах». Каждая запись коммуникации состоит из трех этапов: монологический рассказ Рассказчика Пересказчику о содержании фильма; диалог, в котором Комментатор дополняет рассказ, а Пересказчик задает уточняющие вопросы; монологический пересказ содержания фильма Пересказчиком Слушателю; в конце Слушатель порождает письменный пересказ второго уровня. Было проведено аннотирование монологического подкорпуса мультиканального (мультимодального) дискурса с упрощенным уровнем аннотирования, т.е. по следующим типам разметки: вербальной, просодической, мануальных жестов, направления взора, жестов головы. Вербально-просодическая (вокальная) разметка состоит в членении речевого потока на значимые фрагменты (элементарные дискурсивные единицы – ЭДЕ, слова, заполненные и незаполненные паузы, неречевые звуки), а также в приписывании свойств ЭДЕ и отдельным их частям. В результате аннотирования вербально-просодического компонента подкорпуса с упрощенным уровнем аннотирования были получены транскрипты в текстовом формате (.doc) и файлы формата .textgrid с многоуровневой разметкой, произведенной с помощью компьютерного анализатора речи Praat, и отражающие временную привязку всех аннотированных явлений. Для аннотации мануальных жестов была разработана новая оригинальная методика, направленная на выделение жестов, цепочек жестов и фаз жестов, а также признаков этих единиц, в частности рукость. Для всех жестов размечались временные границы махов и удержаний, а другие фазы (подготовка, ретракция) перечислялись в фазовой структуре целого жеста. В результате аннотирования мануального компонента подкорпуса с упрощенным уровнем аннотирования была получена покадровая (с шагом в 10 мс) разметка движений рук, реализованная в программе ELAN. Аннотирование жестов головы было основано на тех же принципах, которые были разработаны в рамках проекта для аннотирования мануальных жестов, за исключением разметки фаз. В ходе аннотирования глазодвигательного компонента (направления взора) подкорпуса был произведен экспорт данных айтрекинга на видеосцену («наложение точки»), а также с помощью программы Tobii Pro Glasses Analyzer были извлечены данные о временной развертке всех фиксаций длительностью выше 100 мс, на которые потом в ручном режиме была наложена аннотационная схема с двумя уровнями: Interlocutor и Body_Part. Были получены покадровые (с шагом в 40 мс) транскрипты двухуровневой разметки без размеченной временной привязки, а также транскрипты двухуровневой разметки с размеченной временной привязкой с оптимальным уровнем значимости фиксаций в 100 мс. Транскрипты подкорпуса с упрощенным уровнем аннотирования см. на сайте проекта: http://multidiscourse.ru/corpus. Были разработаны принципы пилотной разметки дискурса с полным уровнем аннотирования, включая пять типов разметки, входящих в упрощенный уровень аннотирования (см. выше), а также четыре дополнительных типа разметки: фонетический, жестов тела (телодвижений), мимики и проксемики. Было продолжено аннотирование мультимодального подкорпуса диалогов с упрощенным уровнем аннотирования. Были реализованы дополнительные решения, необходимые для диалогического дискурса, в том числе для случаев совместного конструирования единиц двумя участниками, обрывы единиц в результате вмешательства другого говорящего и т.д. Была разработана процедура синхронизации медиафайлов, в том числе аудиофайлы, видеофайлы и айтрекерные файлы. Эта процедура включает как программные механизмы, так и ручную обработку данных и содержит ряд этапов, таких как объединение исходных фрагментов файлов, восстановление потерь, соотнесение звука в аудио- и видеозаписях, содержательная обрезка и т.д. Были сформированы комплекты для записей подкорпуса, причем каждый комплект состоит из 12 синхронизированных медиафайлов. Была разработана автоматизация процесса вокальной разметки, основанная на взаимодействии текстового редактора Word и речевого анализатора Praat. Для этой цели была создана система макросов и скриптов, синхронизирующих разные представления данных, объединяющих данные из разных источников и импортирующих данные в среду ELAN. В сумме применение описанных этих программных средств позволило ускорить процесс разметки, сократить количество ошибок и реализовать задачи по наглядному отображению результатов аннотации. Была разработана процедура автоматического определения изменений темпа артикуляции, которая была реализована программно и применена к выбранному подкорпусу записей. Специально написанный скрипт на языке Python, получающий на вход файл разметки, позволяет автоматически рассчитать время артикуляции каждого исследуемого фрагмента, определить его длину, рассчитать средний темп артикуляции и указать для каждого фрагмента его отклонение от среднего темпа. Разработанный метод позволяет быстро обрабатывать большие объемы первично проаннотированных транскриптов, существенно ускоряя и объективизируя процедуру разметки темпа. В рамках проекта практикуется многоуровневая разметка различных каналов и компонентов, позволяющая одновременно визуализовать множество вовлеченных в коммуникацию явлений. Однако наряду с этим представлением используется и принципиально иной метод отображения мультимодальных данных — «плоские» транскрипты, содержащие в себе информацию одновременно о вокальном и кинетическом поведении испытуемых. Транскрипты представляют собой вербально-просодическую нотацию, обогащенную указаниями на сопутствующие жесты. Минимальными единицами наложения выступают слова и паузы с одной стороны, и отдельные жесты. В 2016 году был проведен первичный анализ выделенного подкорпуса в терминах коммуникативно-просодических составляющих. Под коммуникативно-просодической составляющей мы понимаем интонационную группу, снабженную одним коммуникативно значимым акцентом. Всего было выделено 6 типов коммуникативно-просодических единиц; классификация основывается на трех противопоставлениях: тема vs. рема, завершенность vs. незавершенность и основная линия vs. парентеза. Многие ЭДЕ совпадают по объему с коммуникативно-просодическими единицами, а некоторые ЭДЕ имеют сложную коммуникативно-просодическую структуру. Полученные результаты позволяют предполагать, что в целом диалогический дискурс поддается анализу в тех же терминах, которые были изначально разработаны применительно к монологу. В то же время частотность конкретных типов коммуникативно-просодических составляющих и их поведение меняются при переходе от монолога к диалогу. В 2016 году была разработана общая номенклатура вербальных сигналов нарушений лексико-грамматической и просодической когерентности дискурса. Нарушения когерентности свидетельствуют о том, что говорящий испытывает речевое затруднение. В зависимости от характера нарушений когерентности и способов ее преодоления мы выделили 11 типов явлений: микрокоррекции, макрокоррекции, гибридные коррекции и т.д. Был проведен качественный анализ средств, сигнализирующих о нарушениях лексико-грамматической и просодической когерентности дискурса. В рамках проекта была предпринята попытка восполнить пробел в знаниях о связи между речепорождением и объемом рабочей памяти (РП) говорящего. В ходе эксперимента 19 монологических фрагментов корпуса были размечены с использованием номенклатуры вербальных средств, сигнализирующих о нарушениях лексико-грамматической и просодической когерентности дискурса. Проведя статистический анализ, мы нашли значимую корреляцию между объемом РП и отношением числа сигналов речевых затруднений к объему пересказа (в словах). Таким образом, подтвердилась гипотеза о том, что вербальный объем РП является фактором, коррелирующим с количеством лексико-грамматических сигналов речевых затруднений, т. е. с плавностью речепорождения: чем больше у испытуемого объем РП, тем меньше подобных маркеров обнаруживается в его спонтанной монологической речи. Специально было исследовано соотношение жестикуляционной активности и темпа речи. Было принято решение сопоставить непосредственное изменение темпа артикуляции на уровне ЭДЕ и соответствующее жестовое поведение. Каждому жесту, сопровождающему речь, была поставлена в соответствие определенная ЭДЕ (либо серия ЭДЕ) с указанием темпа, определенного автоматически с помощью специально написанного скрипта и, наоборот, каждой ЭДЕ, сопряженной с жестикуляцией, приписан жест либо серия жестов. Полученные результаты дают основания утверждать, что регуляторные ЭДЕ, составляющие значительную долю ЭДЕ со сниженным темпом, реже сопровождаются жестами. Были детально исследованы явления глазодвигательной активности. Разделение глазодвигательной активности, обусловленной ходом естественной коммуникации и решением поставленной мнемической задачи, было осуществлено в ходе сопоставления данных диалогического и монологического фрагментов. Было выяснено, что человек использует основанную на контроле перцептивной среды стратегию запоминания и воспроизведения не только в условиях лабораторного эксперимента, но и в ситуации естественного общения. Было осуществлено сравнение глазодвигательной активности (в частности, длины саккад и длительности фиксаций) для различных условий и на различных объектах. В целом, как Рассказчики, так и Пересказчики, смотря на собеседников, чаще всего фиксировались на лице, а фиксации на руки практически всегда приходились на те моменты, когда говорящий использовал мануальные жесты. По сравнению, например, с процессами чтения, о движениях глаз человека в процессе реальной коммуникации известно относительно немного. Один из ключевых вопросов состоит в поиске оптимального уровня значимости при оценке продолжительности фиксаций. В результате нашего анализа было принято решение считать оптимальным уровень в 100 мс, при котором значимые потери минимальны. Продолжая традицию, идущую от А.Л. Ярбуса, мы исследовали связь паттернов движений глаз при просмотре Рассказчиком «Фильма о грушах» с его последующим описанием сюжета фильма. В результате специально разработанной процедуры было выявлено стабильное соотношение между суммарным временем фиксаций и количеством упоминаний референта. Помимо данных устной коммуникации лицом к лицу, были проанализированы письменные пересказы Слушателем. Каждый письменный пересказ был расшифрован в текстовый формат и аннотирован по единой системе аннотации, специально созданной участниками проекта для работы с текстом, написанным от руки. В аннотации были отражены такие особенности письменной речи как вставки, исправления, замены и т.д. Все эти явления отражены в расшифровках и имеют уникальное оформление. На этапе 2016 года была сформулирована модель мультиканальной (мультимодальной) коммуникации, включающая множество каналов вокальной и кинетической модальностей. Были сформулированы обобщения относительно взаимодействия информационных каналов, в том числе о смысловой кооперации между каналами, о сравнимости единиц кинетического и вокального поведения, о просодии как интерфейсе между вербальным и жестовым каналами, о временной координации единиц разных каналов. В частности по последнему пункту было проведено специальное исследование, не подтвердившее широко распространенный тезис об опережающем характере жестов по отношению к вокальным единицам. В ходе работы нам удалось охватить в рамках единого исследования и представить в едином формате все каналы и компоненты, изначально включенные в программу исследования. В 2016 году участники коллектива сделали 9 докладов на международных конференциях, было подготовлено и реализовано 11 публикаций по теме проекта. Все запланированные на 2016 год задачи были полностью выполнены.