КАРТОЧКА ПРОЕКТА ФУНДАМЕНТАЛЬНЫХ И ПОИСКОВЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ

Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.

 

ОБЩИЕ СВЕДЕНИЯ


Номер 22-28-00968

НазваниеОкулография в мультимодальном измерении когнитивной нагрузки респондента

РуководительДевятко Инна Феликсовна, Доктор социологических наук

Организация финансирования, регион федеральное государственное автономное образовательное учреждение высшего образования "Национальный исследовательский университет "Высшая школа экономики", г Москва

Период выполнения при поддержке РНФ 2022 г. - 2023 г. 

Конкурс№64 - Конкурс 2021 года «Проведение фундаментальных научных исследований и поисковых научных исследований малыми отдельными научными группами».

Область знания, основной код классификатора 08 - Гуманитарные и социальные науки, 08-301 - Теория, методология и история социологии, методы социологических исследований

Ключевые словакогнитивная нагрузка, умственное усилие, нагрузка на респондента, пупиллометрия, окулография, поведение респондента, фактические суждения, нормативные суждения, связанная-с-заданием когнитивная нагрузка, дизайн анкетных вопросов, качество данных, ошибка измерения, ошибка неответа, опросные параданные, методы предварительного тестирования вопросника.

Код ГРНТИ04.15.00


СтатусУспешно завершен


 

ИНФОРМАЦИЯ ИЗ ЗАЯВКИ


Аннотация
В последние годы исследования, направленные на оценку и повышение качества опросных данных, все больше фокусируются на проблемах, связанных с когнитивной нагрузкой респондентов с учетом различных типов вопросов, способов заполнения, форматов ответов и т. д. Усталость респондентов указывается как один из факторов, увеличивающих как ошибку измерения, так и ошибку неответов. Кроме того, проблема «satisficers» - респондентов, которые не стараются отвечать на вопросы вдумчиво, а минимизируют свои усилия и снижают когнитивную нагрузку, также сильно снижает качество опросных данных. В этом контексте повышается важность разработки методов робастной количественной мультимодальной оценки когнитивной нагрузки респондентов и анализа ее влияния на качество опросных данных (в том числе и с использованием сочетания объективных и субъективных индикаторов). Основной целью проекта является разработка, апробация и усовершенствование мультимодального многоиндикаторного подхода к измерению когнитивной нагрузки респондента в социологических опросах. Достижению поставленной цели поспособствует выполнение следующих задач: - Разработка экспериментальных дизайнов для исследований, замеряющих влияние типов вопроса, а также элементов дизайна опроса на когнитивную нагрузку респондента в социологических опросах. - Разработка инструментария для планируемых социологических экспериментов. - Оценка сравнительной эффективности применения различных индикаторов для оценки когнитивной нагрузки респондента. - Экспериментальное сравнение когнитивной нагрузки для различных типов вопросов, подразумевающих различное задание респондента при сопоставимой формулировке условий. - Экспериментальное сравнение когнитивной нагрузки, связанной с различиями в дизайне вопросов. - Оценка конвергентной и дивергентной валидности окулографических (включая пупиллометрические) данных по отношению к таким индикаторам, как время заполнения, частота сердечных сокращений (ЧСС) и оценки когнитивной нагрузки респондентом с помощью субъективной шкала умственного усилия Пааса. - Оценка влияния уровня когнитивной нагрузки респондентов на качество данных в социологических опросах. - Разработка практических рекомендаций по мультимодальному измерению когнитивной нагрузки респондента в социологических опросах и предварительному тестированию вопросов. - Разработка практических рекомендаций по составлению и дизайну инструментария социологических опросов, позволяющего уменьшить когнитивную нагрузку респондентов и увеличить качество данных опросов. Разработка методов робастного измерения когнитивной нагрузки позволит определить, как различные аспекты опросного инструментария влияют на когнитивную нагрузку, которая, в свою очередь, оказывает непосредственное влияние на качество данных в социологических опросах на уровне ошибки неответов и ошибки измерения. Впоследствии это можно будет использовать как для снижения опросного бремени респондентов, общей усталости от опросов, выявления и устранения факторов, провоцирующих низкое качество опросных данных, так и для тестирования инструментария с целью выделения «проблемных» вопросов. Кроме того, методы количественной оценки когнитивной нагрузки респондента важны для более глубокого понимания структуры тех познавательных процессов, которые определяют различия в реакциях респондентов на разные типы связанных с опросом заданий (например, различия в процессах, задействованных при вынесении дескриптивных и нормативно-оценочных обыденных суждений относительно одних и тех же социальных явлений и процессов). Новизной проекта является то, что впервые в мировой литературе по методологии социологических опросов будет предложен, разработан и апробирован инновационный мультимодальный подход к измерению когнитивной нагрузки респондента в социологических опросах.

Ожидаемые результаты
Результатом проекта станет усовершенствование существующих методов предварительного тестирования опросного инструментария (напр., носящего преимущественно качественный характер когнитивного интервью или экспертного оценивания), а также разработка основанного на оценке связанной с задачей когнитивной нагрузки респондента подхода к управлению опросным бременем респондентов, измеряемым как мультимодальная когнитивная нагрузка с использованием окулографии, пупиллометрии и других не зависящих от произвольного контроля со стороны респондента объективных количественных индикаторов.


 

ОТЧЁТНЫЕ МАТЕРИАЛЫ


Аннотация результатов, полученных в 2022 году
В ходе первого этапа реализации проекта был проведен эксперимент, позволивший сравнить различные аспекты когнитивной нагрузки, связанной с выполнением респондентами заданий на вынесение нормативных и фактических суждений для идентичных описаний житейских ситуаций (набора виньеток). Гипотезы эксперимента-1 основывались на предварительном анализе междисциплинарного корпуса публикаций, описывающих различные модели вынесения респондентом суждения в случае опросных заданий, выходящих за пределы припоминания касающихся респондента лично элементарных фактов. В частности, содержательные гипотезы эксперимента сравнивали на полученных данных два класса пользующихся значительной популярностью в современной когнитивной науке моделей обработки информации при вынесении морального суждения – «рационалистские» модели, предполагающие последовательную обработку единиц информации, касающихся причинного вклада актора в описываемые события, наличия намерения, величины причиненного третьим лицам ущерба и т.п., а также «предвзятые» (biased) модели обработки информации, предполагающие значительный вклад спонтанных интуитивных процессов эмоциональной оценки вреда, влияющих на оценку других аспектов ситуации (см. подробнее: Guglielmo, 2015). Полученные нами в ходе этого эксперимента данные о динамике размера зрачка при вынесении респондентами суждений о причинности, вине и степени вреда для виньеток из первой задачи косвенно свидетельствуют скорее в пользу «предвзятых» моделей вынесения респондентами морального суждения, не предполагающих значимых различий между когнитивной нагрузкой для этих типов суждений. Однако при вынесении суждений о размере причиненного третьему лицу ущерба когнитивная нагрузка оказывается несколько выше, чем при вынесении суждений о причинном вкладе, что предполагает включенность в градуированную оценку масштаба вреда не только интуитивных, но и рефлексивных процессов «Типа-2», предполагающих задействование ресурсов рабочей памяти (Evans & Stanovich, 2013). Этот вывод, однако, требует уточнения в дальнейших исследованиях. Также полученные в ходе описываемого эксперимента результаты предоставили некоторые доказательства в поддержку различия, которое существует между обыденными суждениями о причине, вине и тяжести вреда, с точки зрения их способности вызывать психосенсорную зрачковую реакцию, с одной стороны, и субъективно воспринимаемое умственное усилие, с другой стороны, что отражает изменчивость когнитивной нагрузки респондента при выполнении соответствующего опросного задания. Мы также кратко обсуждаем доказательства, полученные в поддержку существования различий в чувствительности и достоверности нейрофизиологических и основанных на субъективных самоотчетах показателей когнитивной нагрузки респондента для специфических заданий. По результатам данного эксперимента подготовлена статья, которая принята к печати в журнале «Мониторинг общественного мнения: экономические и социальные перемены» (№6, 2022). Кроме того, была реализована основная часть эксперимента, нацеленного на сравнение когнитивной нагрузки, связанной с прохождением опроса в геймифицированной и традиционной форме. При сравнении групп, проходивших опрос с использованием геймифицированого и традиционного формата ответов были обнаружены значимые различия в среднем диаметре зрачка между группами, что свидетельствует в пользу предположения об увеличении когнитивных усилий в случае заполнения геймифицированного опроса с включением эмодзи в порядковые шкалы по сравнению с традиционными шкалами. Также был сделан требующий дальнейшего уточнения вывод о том, что геймификация может усиливать и вовлеченность респондента в вопрос-ответную коммуникацию. Вместе с тем мы не обнаружили значимых различий между группами в качестве данных.

 

Публикации

1. Девятко И.Ф., Бызов А. Measuring respondents’ cognitive load related to making factual and normative judgments. Monitoring of Public Opinion: Economic and Social Changes. 2022. № 6 (In press) Мониторинг общественного мнения: экономические и социальные перемены, 2022. № 6. P. 291—308. (год публикации - 2022) https://doi.org/10.14515/monitoring.2022.6.2290


Аннотация результатов, полученных в 2023 году
В рамках реализации второго этапа проекта был проведен ряд экспериментов, включающих в себя оценку когнитивной нагрузки и/или измерение динамики размера зрачка в качестве индикатора когнитивной нагрузки. Эксперимент-2 включал в себя оценку того, каким образом наличие полной вербальной экспликации значений градуированных шкал, а также расположение несодержательного варианта ответа («затрудняюсь ответить») для графических шкал в центре или в конце шкалы оказывают влияние на когнитивную нагрузку респондента при заполнении онлайн-опроса. Разработанный на первом этапе реализации проекта метрологический и методологический план исследования был доработан и успешно реализован (подробное описание можно найти в файле пре-регистрации эксперимента URL: https://aspredicted.org/V87_SN8). В результате проведения эксперимента возрастающий интерес к вопросу влияния подобных элементов дизайна шкал на качество измерения (Menold, 2020; Höhne, Krebs, Kühnel, 2022) был дополнен систематической оценкой когнитивной нагрузки, включающей в себя измерение динамики диаметра зрачка (пупиллометрия), времени заполнения и субъективной оценки сложности задания с помощью шкалы Пааса. Используя данные, полученные по итогам проведения 178 индивидуальных экспериментов с применением айтрекера, в рамках эксперимента-2 были реализованы три отдельных исследовательских плана: - Сравнение когнитивной нагрузки между полностью и частично размеченными шкалами (вербальные метки для всех градаций или только для концов шкалы) на основе шкалы моральной власти (MAS-R) (White, 1997) и шкалы "Смысл жизни" (MLQ) (Steger и др., 2006) - Сравнение когнитивной нагрузки между двумя позициями несодержательного ответа типа «не знаю» (посредине или в качестве крайней позиции на шкале) на основе шкалы личного благополучия (PWI) (International Wellbeing Group, 2013) и шкалы веры в игру с нулевой суммой (BZSG) (Rożycka-Tran и др., 2015); - Сравнение когнитивной нагрузки между традиционной шкалой и шкалой с использованием эмодзи, а также с условием, в котором использовались мемы, на основе сокращенного теста музыкальных предпочтений (STOMP) (Rentfrow и Gosling, 2003). Результаты проведенного эксперимента показал, что средний размер зрачка был выше при заполнении серий вопросов с полной маркировкой, чем в случае вербальной маркировки градаций только для крайних точек шкалы. Поскольку в полностью размеченных шкалах содержится больше информации и респондентам приходится читать надписи для всех значений шкалы, это фактически увеличивает нейрофизиологическую нагрузку по сравнению со шкалами с концевыми метками. Несмотря на более высокую когнитивную нагрузку в случае шкал с вербальными обозначениями для всех градаций, качество данных в этом случае улучшается за счет наличия четких словесных обозначений на шкале. На основе результатов этого исследования была подготовлена статья, которая была представлена в журнал Journal of Social Research Methodology (Q1) и в настоящий момент находится на рецензировании. Было также обнаружено, что отсутствует значимая разница в среднем времени заполнения, среднем размере диаметра зрачка, скорректированного на исходный уровень в состоянии покоя, и в средней субъективной оценке сложности вопроса (шкала Пааса) между двумя вариантами расположения опции несодержательного ответа (в середине или на крайней позиции шкалы). Наконец, результаты показали, что использование геймификации (использование эмодзи-смайлов для градаций шкал и вставок с мемами между вопросами анкеты) может увеличить когнитивную нагрузку респондентов в возрасте 18-25 лет, однако она также повышает мотивацию и вовлеченность, что в итоге приводит к аналогичному качеству данных по сравнению с негеймифицированными веб-опросами. По результатам этого исследования была подготовлена статья, которая была представлена в журнал Journal of Social Research Methodology (Q1), прошла два раунда рецензирования и доработки и в настоящий момент ожидает решения редактора. Был также проведен дополнительный эксперимент, направленный на изучение влияния сложности разных типов заданий на оценку риска подростками и способа предоставления информации о риске на успешность выполнения заданий. В рамках этого дополнительного исследования на отдельной выборке подростков 11-15 лет проверялся эффект разных форматов представления данных о риске (с использованием пиктографических массивов либо числового формата) для сравнительно простых либо более сложных заданий, связанных с оценкой риска. В Исследовании 1, в котором приняли участие 213 школьников, проверялось, насколько пиктографические массивы повышают точность выполнения простых задач на вычисление риска и снижают эффект знаменателя. В Исследовании 2, в котором приняли участие 157 школьников, проверялось, насколько пиктографические массивы повышают точность в сложных задачах, таких как задачи на поиск оптимального решения и байесовские задачи. Полученные результаты показали, что эффект варьировался в зависимости от задачи и уровня рисковой грамотности участников. Не было обнаружено эффекта для аналогий в менее когнитивно сложных вопросах. Однако было показано, что аналогии помогают подросткам с высоким уровнем грамотности в когнитивно сложных вопросах. Полученные нами результаты свидетельствуют о том, что аналогии могут быть полезны подросткам при передаче информации о риске, однако необходимо провести дополнительные исследования, чтобы выяснить, какие аналогии более эффективны для подростков, особенно менее грамотных. На основе результатов этого эксперимента была подготовлена статья для журнала «Социология: 4М» (RSCI, ВАК), которая в настоящее время принята к печати. . Кроме того, было проведено пилотажное мини-исследование, направленное на кросс-валидацию оценки когнитивной нагрузки с помощью пуппилометрии, времени заполнения и субъективной оценки сложности задания (шкала Пааса) с объективной оценкой сложности вопросов, направленных на измерение обыденного знания элементарных социальных фактов (доля правильных ответов). Предварительный анализ данных этого пилотажного эксперимента не позволил выявить ожидаемый паттерн корреляций, за исключением небольших корреляций между оценками ментального усилия по Паасу для двух вопросов и соответствующих величин MSE, что может свидетельствовать о том, что в случае неосведомленности респондента о текущих значениях соответствующих фактических переменных предлагаемый ответ следует модели случайного ответа и не предполагает умственного усилия или нагрузки на рабочую память.

 

Публикации

1. Климова А.М., Гаврилов К.А. The effect of icon arrays and analogies in risk communication among adolescent children Социология: методология, методы, математическое моделирование (Социология: 4М), - (год публикации - 2024)


Возможность практического использования результатов
Результаты работы по проекту могут быть использованы для разработки новых технологий когнитивного тестирования опросного инструментария, применяемого в масштабных опросах.