Аннотация результатов, полученных в 2020 году
Проект посвящен исследованию внутренних причин и факторов, побуждающих человека переключаться между стратегией использования (при которой человек выбирает заведомо известную ему выгодную альтернативу), и стратегией исследования (при которой человек идет на риск и выбирает потенциально невыгодный вариант, с целью получения информации об окружающей среде). В 2020 году проведены две серии экспериментов: эксперименты с использованием пупиллометрической регистрации (34 испытуемых) и эксперименты с использованием магнитоэнцефалографии одновременно с пупиллометрической регистрацией (53 испытуемых). Мы применили разработанную нами модификацию методики обучения с вероятностной обратной связью, в которой независимо варьировались факторы знака, величины и вероятности подкрепления. Процедура эксперимента в обеих сериях эксперимента была одинаковой. Проведены анализы поведенческих, пупиллометрических и магнитоэнцефалографических данных, в сочетании с данными психологических опросников. Анализ данных был направлен прежде всего на то, чтобы выявить причины совершения рискованных выборов стимулов с низкой вероятностью выигрыша, т.е. перехода от стратегии использования к стратегии исследования. Мы рассматривали три основные гипотетические причины совершения рискованного выбора: (1) ретроактивный механизм, т.е. переход к выбору невыгодного стимула после эпизодических проигрышей, случающихся после выбора выгодного стимула; (2) случайные ошибки вследствие сбоев внимания; (3) проактивный механизм, т.е. упреждающее исследование среды. Согласно нашей исходной гипотезе, переключение к исследовательскому поведению базируется преимущественно на проактивном механизме. Анализ распределения вероятностей совершения рискованных выборов показал, что, в соответствии с нашей гипотезой, испытуемые действительно чаще совершали выбор рискованной альтернативы вопреки полученному перед этим сигналу обратной связи. Полученный результат согласуется с проактивным механизмом перехода к стратегии исследования. При этом для незначительной части рискованных выборов все же нельзя исключить вовлечение ретроактивного механизма. Анализ времени реакции показал, что состояние, предрасполагающее к риску (т.е. к выбору невыгодного стимула, характеризующему стратегию исследования), возникало как минимум за одну пробу до совершения рискованных выборов, и продолжалось после совершения риска в следующей пробе. Результаты анализа ширины зрачка дали полностью аналогичную закономерность. Таким образом, полученные данные говорят о формировании состояния готовности к переходу к исследовательскому поведению как минимум за одну пробу собственно до принятия рискованного решения, т.е. они подтверждают наше предположении о вовлечении проактивного механизма перехода к стратегии исследования. Анализ как времени реакции, так и величины относительного расширения зрачка после рискованных выборов невыгодного стимула показал, что после рискованного выбора неожиданным для испытуемого становился выигрыш, а не проигрыш. Следовательно, идя на рискованный выбор, испытуемые ожидали проигрыша. Таким образом, результаты анализа времени реакции и ширины зрачка свидетельствуют в пользу неслучайного характера рискованных выборов невыгодного стимула. Такой результат позволяет сделать вывод, что рискованные выборы в целом не являются случайными ошибками, происходящими вследствие сбоев внимания. Анализ данных опросников показал, что спонтанные переходы к риску после получения ожидаемой награды могут быть связаны с тенденцией к поиску приятных впечатлений. Те испытуемые, которые склонны с интересом пробовать все новое, пользуясь удачным моментом, и многие вещи в своей жизни делают исключительно ради удовольствия, чаще переходили к риску после наград, чем после наказаний, т.е. действовали согласно проактивному механизму. В то же время, люди, не склонные к активному поиску положительных эмоций, чаще шли на риск непосредственно после проигрышей, т.е. подчинялись ретроактивному механизму. Интересно, что величина относительного расширения зрачка при предъявлении сигнала обратной связи об исходе рискованного выбора (в сравнении со зрачковыми ответами на сигналы обратной связи о выгодных выборах) положительно коррелировала с оценками чувствительности системы торможения поведения. Т.е., те испытуемые, которые более склонны чрезмерно беспокоиться о правильности своих действий, продемонстрировали наибольшую степень расширения зрачка при невыгодном выборе. Поскольку проанализированный нами временной интервал соответствует пику медленного развития реакции зрачка на обратную связь об исходе пробы, предшествовавшей риску, мы можем предполагать, что оно отражает детекцию внутреннего конфликта при подготовке испытуемым невыгодного решения. Иными словами, у индивидов с повышенной чувствительностью к негативному подкреплению может быть выше субъективная значимость ожидаемого высоковероятного штрафа при переходе к риску. Один из блоков эксперимента основывался на задаче реверсивного обучения: на протяжении блока производилась многократная смена роли выгодного и невыгодного стимула. Это заставляло испытуемых менять свою субъективную прагматическую модель в отношении того, какой стимул является выгодным. При анализе поведенческих показателей в данном блоке мы получили прямую корреляцию между склонность к рискам в основных блоках эксперимента и способностью гибко следовать за изменениями вероятностной структуры среды в реверсивном обучении. Т.е. испытуемые, которые демонстрировали выраженное избегание рискованных выборов в основной задаче обучения (т.е. в задаче с неизменными вероятностями обратной связи), с трудом переучивались при изменении условий вознаграждения. Это подтверждает нашу гипотезу о том, что рискованные выборы в вероятностной среде отражают индивидуальный уровень склонности к исследовательскому поведению. В объективно изменчивой среде склонность к исследовательскому поведению и проверке гипотез позволяла испытуемым быстро накапливать информацию об изменившихся условиях среды. Предварительный анализ магнитоэнцефалограммы в пространстве источников показал, что мощность тета-осцилляций была повышена как непосредственно перед рискованными решениями, так и перед выполнением выбора в соседних реализациях (непосредственно предшествующих рискованным выборам и непосредственно следующих за ним). Локализация эффектов в случае принятия решения перед рискованными выборами указывает на переднюю поясную кору. Эти результаты подтверждают нашу гипотезу, что принятие рискованного решения сопряжено с конфликтом между двумя альтернативами. Наличие предвестников рискованного выбора в предыдущей пробе говорит также в пользу проактивного механизма перехода к стратегии исследования. Локализация эффектов усиления тета-осцилляций в реализациях, предшествующих риску, указывает на вовлечение распределенной сети, включающей в себя несколько областей коры больших полушарий. Частотно-временной анализ магнитоэнцефалограммы также показал сильный продолжительный эффект мощности тета осцилляций во временном интервале, известном как интервал реакции на обратную связь/ошибку (200-600 мс после предъявления обратной связи) при сравнении рискованного и нерискованного выборов. Важно, что фронтально-центральная локализация эффекта также предположительно свидетельствует об участии передней поясной коры в реакции на выигрыш или проигрыш, следующими за рискованным выбором. Это указывает на усиленное вовлечение мозговой системы мониторинга выполнения задачи в условиях повышенной значимости сигнала обратной связи после рисков, что, в свою очередь, подтверждает неслучайный характер рискованных выборов и их направленность на исследование среды. Таким образом, в первом году выполнения проекта собран обширный экспериментальный материал и проведен анализ поведенческих, пупиллометрических и магнитоэнцефалографических данных. Полученные результаты подтвердили наши исходные гипотезы и принесли новые значимые результаты о внутренних механизмах перехода от стратегии использования к стратегии исследования.

Аннотация результатов, полученных в 2021 году
Проект нацелен на изучение психофизиологических механизмов, направляющих поведение человека в условиях дилеммы между стратегиями использования и исследования (exploration-exploitation dilemma). Такая дилемма часто возникает при принятии решений в условиях неопределенности – как в профессиональной деятельности, так и в быту. Следуя стратегии использования, т.е. выбирая заведомо знакомый и умеренно выгодный вариант решения, человек лишает себя возможности узнать что-либо об остальных опциях – некоторые из которых могут оказаться еще более выгодными. Однако, переходя к стратегии исследования, т.е. выбирая незнакомую опцию, человек рискует совершить весьма невыгодный выбор, однако при этом он стремится получить новую информацию, которая, возможно, принесет ему пользу когда-либо в будущем. В наших экспериментах мы применяем разработанную нами модификацию методики обучения с вероятностной обратной связью, в которой независимо варьируются факторы знака, величины и вероятности подкрепления. При выполнении проекта мы анализируем поведенческие, пупиллометрические, и магнитоэнцефалографические данные, зарегистрированные во время эксперимента. Пупиллометрия позволяют оценить с хорошим временным разрешением степень активности норадренергической системы голубого пятна, которая не только вовлечена в процессы принятия решения в целом, но и участвует непосредственно в решении дилеммы между стратегиями исследования и использования. Магнитоэнцефалография позволяет регистрировать мозговую активность с высочайшим временным разрешением и хорошим пространственным разрешением, превосходя по сочетанию этих показателей все остальные методы неинвазивной нейровизуализации. В 2021 году мы продолжили набор экспериментальных данных; в том числе нами записана выборка участников с подтвержденными расстройствами аутистического спектра. Проанализированы поведенческие, пупиллометрические и магнитоэнцефалографические данные в сочетании с данными психологических опросников и тестов, на нейротипичной выборке и на выборке участников с расстройствами аутистического спектра. Анализ данных направлен на то, чтобы выявить мозговые процессы в связи с совершением невыгодных выборов стимулов с низкой вероятностью выигрыша, т.е. перехода от стратегии использования к стратегии исследования. Примененная нами экспериментальная задача на обучение с вероятностной обратной связью позволила разделить два вида стратегии исследования – случайное и направленное. Случайное исследование (random exploration) подразумевает равновероятный случайный выбор любой из числа доступных альтернатив: такой тип стратегии исследования наблюдается на начальных стадиях обучения с подкреплением, и именно его мы наблюдали в тех блоках, в которых участники эксперимента не научились правилам задачи. Однако после достижения критерия обучения характер исследовательского поведения менялся – исследование становилось направленным (directed exploration), т.е. ориентированным на получение информации о той опции, в отношении которой неопределенность наиболее велика. Новизна нашего подхода состоит в том, что мы можем анализировать психофизиологические механизмы именно направленного исследования, и сравнивать их со случайным исследованием, в то время как подавляющее большинство психофизиологических работ, посвященных дилемме между стратегиями исследования и использования, фактически адресовались лишь к стратегии случайного исследования. Мы показываем, что если согласно большому количеству работ при случайном исследовании преобладает состояние "отстранения от задачи" (что, собственно, и делает выборы случайными), то при направленном исследовании картина принципиально другая. Вместо тонического состояния, предрасполагающего к отстранению от задачи, при направленном исследовании возникает конфликт между двумя несовместимыми программами действия. С одной стороны, приобретенная человеком прагматическая модель толкает его к повторению тех выборов, которые уже проявили себя как выгодные (обладающие высокой ожидаемой полезностью). С другой стороны, вероятностная структура вознаграждения заставляет человека строить гипотезы относительно структуры задачи и предполагать существование в них скрытых закономерностей, которые он надеется выявить. При столкновении двух побуждений возникает конфликт. Согласно полученным нами результатам, возникновение данного конфликта на физиологическом и психофизиологическом уровне подтверждается всеми проанализированными нами показателями, включая время реакции, размер зрачка, мощность магнитоэнцефалограммы в тета и бета диапазонах. Психофизиологические доказательства возникновения конфликта, сопряженного с переходом к стратегии исследования, получены в нашей работе впервые. Мы впервые получили доказательства проактивного характера перехода к стратегии направленного исследования. В частности, это доказывается распределением вероятностей совершения рискованных выборов: участники чаще совершали исследовательский выбор невыгодной альтернативы вопреки положительному подкреплению предшествующего выбора выгодного стимула. Полученные нами данные показывают, что состояние конфликта, предрасполагающее к переходу к стратегии исследования (выбору невыгодного стимула), возникает еще в предыдущей реализации, когда участник на самом деле продолжает следовать стратегии использования, т.е. еще пока выбирает выгодный стимул. Замедление времени реакции и расширение зрачка в пробах, непосредственно предшествовавших переходу к стратегии исследования, были сходны с таковыми в исследовательских пробах, и заведомо отличались от значений этих показателей при устойчивом следовании стратегии использования. Усиление осцилляций в тета-диапазоне также было выявлено не только непосредственно перед совершением выбора невыгодного стимула, но также и перед выполнением выбора в соседних реализациях (непосредственно предшествующим исследовательским выборам и непосредственно следующим за ним). Кроме того, мы выявили, что только при выгодных выборах, непосредственно предшествующих переходу к стратегии исследования, во время ожидания сигнала обратной связи возникает выраженное усиление мощности бета осцилляций в левой префронтальной коре. Это наблюдение говорит о том, что ожидание сигнала обратной связи в этих реализациях уже сопряжено с процессами, которые, вероятно, приведут к игнорированию сигнала обратной связи в данной реализации и обеспечат переход к выбору альтернативного, невыгодного стимула независимо от сигнала обратной связи в данной реализации. Направленный характер исследовательского выбора невыгодного стимула подтверждается особым характером мозговой реакции на обратную связь, который ярко проявляется только в данном типе реализаций. А именно в ответ на обратную связь после исследовательского выбора возникала резкая дифференциация мощности бета-осцилляций: значительный подъем после отрицательной обратной связи и, наоборот, резкий спад после положительной обратной связи. На первый взгляд, такой результат противоречит современным представлениям, согласно которым мощность бета ритма усиливается после положительной обратной связи, а не после отрицательной. Однако в ситуации исследовательского поведения, направленного на проверку правила "от противного", значение сигналов обратной связи оказывается инвертированным: отрицательный сигнал фактически подкрепляет имеющуюся прагматическую модель, и мощный всплеск синхронизированного бета-ритма отражает поддержку существующей модели ("статуса-кво). Положительный же сигнал обратной связи в ответ на исследовательский выбор невыгодного стимула толкает к разрушению существующей модели, что и проявляется в виде десинхронизации бета осцилляций. В отчетном периоде нами собрана экспериментальная выборка с привлечением участников с расстройствами аутистического спектра. Наличие данных расстройств подтверждено по результатам беседы участников с опытным психиатром и по результатам опросников и тестов, включая специализированные опросники, направленные на выявление признаков расстройств аутистического спектра. При этом тестирование интеллекта по Векслеру показало лишь очень незначительное снижение интеллекта в группе с расстройствами аутистического спектра в сравнении с нейротипичной выборкой, причем только в вербальных субтестах. Таким образом, мы подтверждаем, что участники в клинической выборке являются высоко функциональными. Анализ поведенческих и пупиллометрических данных, полученных на выборке участников с расстройствами аутистического спектра, показывает, что в целом поведенческие показатели при выполнении задачи на обучение с вероятностной обратной связью не проявили значимых отличий от нейротипичной выборки. При этом выявлено два существенных отличия в выборке с расстройствами аутистического спектра – сниженное время реакции и сниженная чувствительность к отрицательной обратной связи. Таким образом, можно заключить, что участники с расстройствами аутистического спектра справляются с задачей, применяя иные внутренние стратегии по сравнению с нейротипичной выборкой. Исходя из известных отличий в функционировании мозга при расстройствах аутистического спектра (таких как измененные параметры работы норадренергической системы и функционирования префронтальных областей коры) мы ожидаем выявить закономерные отличия между выборками в отношении мозговых механизмов, вовлеченных в решение дилеммы между использованием и исследованием. Таким образом, на втором году выполнения проекта проведена обработка собранного ранее материала, и собран экспериментальный материал на клинической выборке участников с расстройствами аутистического спектра. Полученные результаты подтвердили наши исходные гипотезы и принесли новые значимые сведения о внутренних механизмах перехода от стратегии использования к стратегии исследования.

Аннотация результатов, полученных в 2022 году
Проект направлен на изучение психофизиологических механизмов принятия решения в условиях дилеммы между стратегиями использования и исследования. Такая дилемма возникает при принятии решений в условиях неопределенности – т.е. при недостатке информации. Следуя стратегии использования, т.е. постоянно выбирая только заведомо знакомый приемлемый вариант решения, человек лишает себя возможности узнать что-либо об остальных опциях – и, возможно, упускает некую еще бо́льшую выгоду. Переходя к стратегии исследования, т.е. выбирая незнакомую опцию, человек стремится получить новую информацию, которая, возможно, принесет ему пользу когда-либо в будущем, однако при этом он рискует совершить невыгодный выбор. В отчетном году наша основная задача состояла в том, чтобы изучить, как происходит принятие решений не только на нейротипичной выборке, но и у взрослых людей с расстройствами аутистического спектра (РАС) с высокой функциональностью – т.е. в целом адаптированных на приемлемом уровне и сохранившим трудоспособность. Из литературы известно, что принятие решений в целом, и особенно в условиях неопределенности, дается весьма трудно для лиц с РАС, что существенно сужает для них выбор возможных профессий. Изучение особенностей работы мозга этой группы людей в вероятностных условиях необходимо, чтобы обеспечить им возможность повысить их адаптивность и качество их жизни. Соответственно, в 2022 году нами проведены магнитоэнцефалографические эксперименты с привлечением добровольных участников с расстройствами аутистического спектра (РАС), а также дополнительно проведены эксперименты с привлечением новых участников нейротипичной выборки – с целью обеспечения равного половозрастного состава. Поскольку цель экспериментального исследования состояла в том, чтобы изучить спонтанные отклонения от выгодной стратегии поведения (переходы от режима использования к режиму исследования), мы использовали разработанную нами модификацию методики обучения с вероятностной обратной связью. Испытуемым многократно предъявлялась для выбора пара стимулов — иероглифов из японской слоговой азбуки Хирагана, повернутых под разными углами и располагающихся в правой и левой частях экрана. Стимулы менялись местами в случайном порядке. Каждый выбор приносил выигрыш или проигрыш: участник эксперимента мог потерять некоторое количество очков или приобрести. Один иероглиф приносил выигрыш чаще, чем другой. Выигрыши и проигрыши следовали в псевдослучайном порядке. Очки суммировались на протяжении всего эксперимента; после эксперимента испытуемый получал денежное вознаграждение, равное накопленной сумме очков. Во время эксперимента проводилась непрерывная регистрация размера зрачка с помощью айтрекера Eyelink 1000 Plus и регистрация магнитоэнцефалографической активности головного мозга при помощи 306-канального магнитоэнцефалографа (Elekta Neuromag Vector View). Полученные нами результаты показали, что участники с РАС справлялись с задачей наравне с нейротипичными добровольцами того же пола и возраста. Однако наши данные показывают, что процессы в их мозге отличаются рядом особенностей, и внешне сходный поведенческий результат достигался иными средствами. С одной стороны, мы выявили, что формирование прагматической модели у них ослаблено: в том числе, на протяжении всего эксперимента их мозг продолжал отвечать на знак сигналов обратной связи, подаваемых после заведомо выгодных выборов – в то время как в нейротипичной группе этого не наблюдалось. С другой стороны, эффекты, связанные с конфликтом, выявлены в схожей степени как для нейротипичной выборки, так и в выборке лиц с РАС. Поскольку и на поведенческом уровне они в целом достигали результатов, сопоставимых с нейротипичной выборкой, можно заключить, что даже слабой (или постоянно обновляемой) прагматической модели им было в целом достаточно для адекватного выполнения задачи. Обращает на себя внимание то, что для участников с РАС, судя по результатам анализа магнитоэнцефалографических бета-осцилляций, любое принятие решений в данной задаче сопровождалось усиленной обработкой информации, в то время как в нейротипичной группе было выраженное усиление признаков обработки информации только перед исследовательскими выборами. Это наблюдение можно соотнести с повышенной тревожностью и нетерпимостью к неопределенности в группе с РАС. Выборка с РАС существенно отличалась от нейротипичной в отношении выгодных выборов, следовавших непосредственно перед невыгодным рискованным выбором: судя по имеющимся данным, конфликт при принятии решения в этом типе реализаций был сильно увеличен по сравнению с нейротипичной группой – несмотря на то, что выбор в данной реализации все же происходил в пользу выгодного стимула, т.е. все еще в соответствии со стратегией использования. Однако, в этих же реализациях, в реакции на обратную связь имеются признаки не только сохранившегося, но даже усилившегося закрепления имеющейся у них прагматической модели – что, казалось бы, противоречит приближающемуся исследовательскому выбору. Предположительно, по ходу цепочки следующих друг за другом выгодных выборов, совершаемых на основе стратегии использования, одновременно и накапливался конфликт, и происходили процессы, направленные на удержание в рамках прагматической модели и противодействующие конфликту. Парадоксально, но при совершении собственно исследовательского выбора уже не возникало различий в ответе мозга на положительные и отрицательные сигналы обратной связи, как будто они становились равноценными. Иными словами, исследовательский выбор не выглядел как целенаправленная проверка альтернативных гипотез. Полученные данные показывают, что если нейротипичные участники эксперимента использовали стратегию направленного исследования – т.е. целенаправленный выбор опции, сопряженной с большей неопределенностью, то у участников в РАС мы обнаружили признаки, указывающие отчасти на случайное исследование – т.е. срыв выполнения, отстранение от задачи, игнорирование ее правил. Более того, этот эффект, видимо, имел длительный характер – что отличает участников с РАС от нейротипичных участников эксперимента, у которых эффекты носили отчетливо фазический характер. Таким образом, в отчетном году нами показано, что в выборке участников с РАС: (1) слабее формируется прагматическая модель, (2) состояние конфликта сопровождает не только исследовательские типы выбора, но и другие, особенно последние выгодные выборы, непосредственно предшествующие исследовательским выборам; (3) стратегия исследования в группе с РАС имеет черты случайного исследования.