Язык как он есть: русский мультимодальный дискурс

КАРТОЧКА ПРОЕКТА ФУНДАМЕНТАЛЬНЫХ И ПОИСКОВЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ

Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.

ОБЩИЕ СВЕДЕНИЯ

Номер проекта 14-18-03819

НазваниеЯзык как он есть: русский мультимодальный дискурс

Руководитель Кибрик Андрей Александрович, Доктор филологических наук

Организация финансирования, регион федеральное государственное бюджетное учреждение науки Институт языкознания Российской академии наук , г Москва

Конкурс №1 - Конкурс 2014 года «Проведение фундаментальных научных исследований и поисковых научных исследований отдельными научными группами»

Область знания, основной код классификатора 08 - Гуманитарные и социальные науки; 08-453 - Языкознание

Ключевые слова язык, когнитивная система, коммуникация, мультимодальность, дискурс, просодия, жесты, направление взора, корпус, эксперимент, нарратив, диалог, грамматика

Код ГРНТИ16.21.33

ИНФОРМАЦИЯ ИЗ ЗАЯВКИ

Аннотация
Проект посвящен изучению языка в его наиболее естественной форме – в форме устного мультимодального дискурса, включающего вербальный компонент, просодию и визуальные средства взаимодействия. В последние годы в лингвистике начинает осознаваться тот факт, что традиционное выделение лишь вербального кода как предмета интереса представляет собой ограниченный взгляд. В реальной коммуникации между людьми не существует принципиальной границы между словами, интонациями, жестами, выражениями лица и т.д. Для участников коммуникации важно, чтобы была достигнута коммуникативная цель. Таким образом, естественный дискурс по своей природе мультимодален. Предлагаемая программа мультимодальной лингвистики основана на обязательном исследовании всех трех основных коммуникативных каналов, характерных для реальной коммуникации – вербального, просодического и визуального, причем для построения полной модели мультимодального дискурса анализ всех коммуникативных каналов должен быть проработан с сопоставимым уровнем подробности. Проект в первую очередь направлен на исследование русского дискурса, но его теоретическая перспектива применима и к другим языкам. Задача данного проекта состоит в создании основы для нового, адекватного представления о языке как мультимодальном феномене. За последние несколько десятилетий уже накоплено большое количество отдельных фактов, моделей и гипотез, которые остро нуждаются в систематической верификации в ходе комплексного мультимодального исследования. В результате этой работы должна быть создана общая когнитивная модель мультимодального дискурса, способная непротиворечивым образом объяснять реальное многообразие естественной коммуникации. Необходима разработка новой естественной грамматики русского языка, в которой будет подвергнута ревизии грамматическая традиция, основанная на письменном употреблении языка. Данный проект является не только мультимодальным по содержанию, но и мульти-методологическим с точки зрения набора применяемых методов сбора материала и последующего его анализа. Ключевой пункт проекта – сочетание инновативной теоретической концепции с передовыми исследовательскими методами. В проекте будут использованы все основные существующие методы сбора материала: методология естественного наблюдения (сбор мультимодального корпуса), методология контролируемого наблюдения, а также методология эксперимента. В настоящее время в мире не существует научных коллективов, которые занимаются подобными комплексными исследованиями мультимодальности. Участники данного проекта обладают компетенциями в различных областях мультимодальности, а сочетание этих компетенций в рамках одного проекта делает данный проект уникальным не только в отечественном, но и в мировом масштабе.

ОТЧЁТНЫЕ МАТЕРИАЛЫ

Публикации

1. Коротаев Н. А. Коммуникативно-просодический подход к выявлению элементарных дискурсивных единиц в устном монологическом тексте Компьютерная лингвистика и интеллектуальные технологии: По материалам ежегодной Международной конференции «Диалог» (Москва, 27 — 30 мая 2015 г.). М.: Изд-во РГГУ., Вып. 14 (21), сс. 294-307 (год публикации - 2015)

2. Языков С.А., Федорова О.В., Филимонова И.В., Потанина Ю.Д., Погодаев И.С Исследование направления взора в диалоге на материале мультимодального корпуса «Рассказы и разговоры о грушах» Седьмая международная конференция по когнитивной науке: Тезисы докладов. Светлогорск, 20–24 июня 2016 г., М.: Изд-во «Институт психологии РАН». С. 682–683 (год публикации - 2016)

3. Кибрик А.А., Федорова О.В. Психолингвистические традиции "Язык как продукт" vs. "Язык как действие": еще один возможный компромисс XLV Международная филологическая научная конференция, Санкт-Петербург, 14–21 марта 2016 г.: Тезисы докладов, СПб.: Филологический факультет СПбГУ. С. 223–224. (год публикации - 2016)

4. Podlesskaya, Vera I. A corpus-based study of self-repairs in Russian spoken monologues Russian Linguistics, vol. 39 (1), pp. 63-79 (год публикации - 2015)
10.1007/s11185-014-9142-1

5. Федорова О.В., Кибрик А.А., Филимонова И.В., Иванова О.О., Нагорная М.А. Вокальный и кинетический вклад в мультимодальную коммуникацию Седьмая международная конференция по когнитивной науке: Тезисы докладов. Светлогорск, 20–24 июня 2016 г., М.: Изд-во «Институт психологии РАН». С. 596–597 (год публикации - 2016)

6. Федорова О.В., Кибрик А.А., Коротаев Н.А., Литвиненко А.О., Николаева Ю.В. Временная координация между жестовыми и речевыми единицами в мультимодальной коммуникации Компьютерная лингвистика и интеллектуальные технологии, Вып. 15 (22). М.: Изд-во РГГУ. С. 159–170 (год публикации - 2016)

7. Потанина Ю.Д., Подлесская В.И., Федорова О.В. Вербальная рабочая память и лексико-грамматические сигналы речевых затруднений: данные русского мультимодального корпуса Компьютерная лингвистика и интеллектуальные технологии, Вып. 15 (22). М.: Изд-во РГГУ. С. 566–577 (год публикации - 2016)

8. Кибрик А.А. Русский мультиканальный дискурс как перспективный объект исследования Психологический журнал (год публикации - 2017)

9. Кибрик А.А., Федорова О.В. Влияние структуры зрительных стимулов на событийную структуру дискурса События в коммуникации и когниции. Материалы международной научной конференции. 19–20 мая 2016 года, Москва: ФГБОУ ВО МГЛУ, 2016, С. 24-25 (год публикации - 2016)

10. Федорова О.В. Рецензия на книгу: W.J.M. Levelt. A history of psycholinguistics: The pre-chomskyan era Вопросы языкознания, #6, с. 135-141 (год публикации - 2016)

11. Федорова О.В., Кибрик А.А., Языков С.А. Перспективы использования очков-айтрекеров в когнитивных исследованиях мультимодальности В.А. Барабанщиков (ред.) Айтрекинг в психологической науке и практике., М.: Московский институт психоанализа, 2016. С. 79–86 (год публикации - 2016)

12. Николаева Ю. В., Кибрик А. А., Федорова О. В. Структура устного дискурса: взгляд со стороны мультимодальной лингвистики Компьютерная лингвистика и интеллектуальные технологии: По материалам ежегодной Международной конференции «Диалог» (Москва, 27 — 30 мая 2015 г.). М.: Изд-во РГГУ., Вып. 14 (21), сс.487-499 (год публикации - 2015)

13. Кибрик А.А. Язык как он есть Седьмая международная конференция по когнитивной науке: Тезисы докладов. Светлогорск, 20–24 июня 2016 г., М.: Изд-во «Институт психологии РАН». С. 674–676. (год публикации - 2016)

14. В.И. Подлесская Просодия против синтаксиса в русских относительных предложениях Acta Linguistica Petropolitana, Т. 10, часть 2. СПб.: Наука (год публикации - 2014)

15. A.A.Kibrik, O.V.Fedorova, Ju.V.Nikolaeva Multimodal Discourse: In Search of Units Gabriella Airenti, Bruno G. Bara, Giulio Sandini(eds.)/ Proceedings of the EuroAsianPacific Joint Conference on Cognitive Science. Torino, Italy, September 25-27, 2015. Torino: University of Torino., pp.662-667 (год публикации - 2015)

16. Федорова О.В., Кибрик А.А., Коротаев Н.А., Литвиненко А.О., Николаева Ю.В. Temporal coordination between gestural and speech units in face-to-face dialogue: anticipation or synchronization/delay ISGS Conference 2016: Gesture, Creativity, Multimodality, P. 178 (год публикации - 2016)

Публикации