Аннотация результатов, полученных в 2021 году
Главная цель этого проекта – оценить степень согласованности между метриками, вычисленными на основании Российского индекса научного цитирования (РИНЦ), и данными репутационного опроса для четырех научных дисциплин социально-гуманитарного профиля. В первый год проекта мы уточнили концептуальные основания исследования, используя задел коллектива в виде социологического кейса, и провели опрос представителей двух научных дисциплин для того, чтобы собрать экспертные оценки, сопоставить их с наукометрическими показателями и данными о структуре научного сообщества. Реализация проекта за первый год началась с проработки научной литературы для определения основных блоков вопросов в анкетах. Мы видим одним из вкладов этого проекта изучение факторов, объясняющих вариацию в согласованности метрик и экспертных мнений. Если научные репутации различаются даже в границах одной дисциплины, то необходимо понять, каким образом операционализировать структуру научного сообщества. Мировые примеры включения структуры сообщества пока немногочисленны – исследования проводятся на небольших выборках и фокусируются на одном факторе, без учета сложной связи между переменными. Для проверки нашей основной гипотезы мы разработали ряд вопросов, которые позволили описать различные профессиональные взгляды ученых, их политические убеждения, ролевую идентичность (преподаватель vs. исследователь) и специализацию исследователей. В опросе экономистов содержались следующие блоки вопросов: а) вопросы о состоянии российской и мировой экономической науки; б) вопросы из области макроэкономики и экономической политики – сообщество может быть фрагментировано содержательно, на основе дебатируемых вопросов экономической политики; в) политические взгляды ученых-экономистов – наше предыдущее исследование социологов показало, что академические предпочтения могут быть тесно связаны с политическими взглядами; г) вопросы о преобладающей занятости (преподавательский опыт, количество часов нагрузки, совмещения и т.д.) помогли определить респондента как человека, глубоко погруженного в науку, или же скорее преподавателя; д) вопросы об академических культурах (иерархические vs. эгалитарные). При подготовке эмпирического этапа была проделана работа по анализу введения наукометрических показателей в оценку российской науки. Наш проект во многом был вдохновлен свидетельствами использования наукометрии для решения управленческих задач – публикационные метрики присутствуют в оценке университетов и отдельных ученых. Анализ эмпирических исследований показал, что произошел рост научной результативности российских университетов, однако достижение этого роста происходило с присутствием неоднозначных стратегий – увеличение коллабораций, включая множественные аффилиации, и статьи в хищнических журналах. На основе этого анализа мы решили расширить фокус проекта не только на анализ академических репутаций, но также этической проблематики в связи с публикационным давлением. Этот фокус нашел свое отражение в отдельном блоке вопросов в анкете для опроса экономистов: a) опыт публикаций статей в научной периодике; б) отношение к наукометрии и в) распространенность недобросовестных публикационных практик. Большую роль в подготовке опроса сыграл анализ задела проекта – опроса российских социологов, в котором также собирались экспертные оценки и наукометрические показатели. В первый год проекта мы проанализировали доступные нам данные и подготовили несколько публикаций. Этот этап помог уточнить гипотезы и определиться с основными блоками в опросе. В частности мы обнаружили, что в социологии на общероссийском уровне существует дифференциация на национальные и глобальные аудитории, которая задает основное измерение структуры профессионального сообщества. Анализ результатов опроса продемонстрировал существование деления на «глобалистов» и «локалистов», при этом границы разных кругов не являются продолжением границ тематических областей или теоретико-методологических лагерей. Эти темы получили свое развитие в разработке инструментария для опроса экономистов. На данных российских социологов мы также провели сопоставление экспертных оценок и наукометрических показателей – главный фокус нашего проекта. Мы обнаружили, что показатели достаточно хорошо согласуются с экспертными оценками, и хотя присутствуют «ложные позитивные» случаи (высокие наукометрические оценки и низкие экспертные), их легко распознать наукометрическими инструментами. В результате работ по содержательной подготовке опроса экономистов и политологов мы разработали 7 вариантов анкет (6 для опроса экономистов и 1 для опроса политологов). В первый год проекта мы организовали опрос экономистов и политологов, что потребовало помимо разработки анкет проведения работ по формированию выборки, программирование анкеты, пилотаж анкеты, рассылки ссылок на анкету, предварительный анализ результатов и уточнение анкеты для второй волны опроса. В исследовании мы реализовали возможность сбора подробных наукометрических данных не только об оцениваемых ученых, но и о респондентах, что не имеет аналогов в мировой практике подобных исследований – в опросах собиралась преимущественно социально-демографическая информация о респондентах. Тем самым мы расширили объем данных, чтобы проверить гипотезы о связи характеристик информантов с экспертными оценками. При этом наукометрические показатели не ограничивались одними только традиционными метриками (индекс Хирша, импакт-фактор), но также включали специальные переменные, которые разработаны РИНЦ и которые в большей степени способны указать на качество научной работы.

Аннотация результатов, полученных в 2022 году
Главная цель этого проекта – оценить степень согласованности между метриками, вычисленными на основании Российского индекса научного цитирования (РИНЦ), и данными репутационного опроса для четырех научных дисциплин социально-гуманитарного профиля. За второй год проекта мы проанализировали данные опроса экономистов и политологов, а также провели опрос юристов и историков для того, чтобы собрать экспертные оценки, сопоставить их с наукометрическими показателями и данными о структуре научного сообщества. Во второй год проекта были получены содержательные результаты, которые главным образом касаются анализа результатов репутационных опросов публикующихся российских ученых – экономистов, политологов и юристов. Во всех трех областях (для историков опросные данные пока находятся на стадии анализа) был создан рейтинг ведущих фигур, который затем сравнивался с их наукометрическими показателями, вычисляемыми Российским индексом научного цитирования. Исследование показало: (1) Во всех областях существует устойчивая система академического авторитета, однако она не находит точного отображения в наукометрических данных. Среди тех, кто попал в топ-30 рейтинга, обычно нет авторов, мало цитируемых и редко пишущих. Однако существуют авторы, публикующиеся и цитируемые ничуть не меньше, чем лидеры репутационного рейтинга, но никем из опрошенных не названные. (2) Важным результатом стала идентификация нескольких источников расхождений. Ошибки первого рода (идентификация на основании наукометрических показателей как выдающихся ученых тех, кто в действительности не признан коллегами) в первую очередь связаны с ошибками идентификации авторов иноязычных публикаций, нефракционализированным авторством коллективных монографий, с техническим цитированием и прямым манипулированием. Ошибки второго рода (отсутствие признанных коллегами ученых в основанных на наукометрии рейтингах) связаны с неопределенностью дисциплинарных границ и границ национальной науки, а также с тем, что ученые (особенно экономисты) признают внесшими вклад в экономическую науку публичных интеллектуалов или практиков, не производящих академических текстов. (3) Для некоторых дисциплин репутационные рейтинги необходимо формировать по отдельным отраслям – ученые более нюансировано представляют свои авторитетные фигуры и свою шкалу репутаций в каждом отраслевом сегменте сообщества. Это оказалось ярко выраженным для всех дисциплин (в отличие от исследованной ранее социологии). К примеру, политическая наука представляет собой конфедерацию двух субдисциплин, международников и собственно политологов, а также полуавтономой области политтехнологий. (4) Для случаев уже проанализированных дисциплин, важными предикторами номинации респондентами тех или иных фигур как внесших вклад в науку являются специализация респондентов, их ориентацией на глобальную или локальную науку, для экономистов также важна ориентация на открытую рыночную или автаркичную изолированную национальную экономику. (5) При составлении репутационных рейтингов важно учитывать понимание «вклада в науку» как узко-академического или более широко общественно-политического. Во второй год проекта также были получены новые данные по результатам опроса историков и юристов. В проведении опроса мы опирались на результаты первого года проекта, однако, дисциплинарная специфика требовала существенной переработки вопросов. Для отдельных дисциплин нужно было операционализировать структуру научного сообщества, так как мы исходили из того, что научные репутации различаются даже в границах одной дисциплины. В опросе содержались следующие блоки вопросов: а) вопросы о состоянии правовой и исторической науки, а также профессии юриста и историка; б) суждения о дебатируемых правовых вопросах; в) вопросы о преобладающей занятости (преподавательский опыт, количество часов нагрузки, совмещения и т.д.). В результате работ по содержательной подготовке опроса юристов и историков мы разработали 6 вариантов анкет (4 для опроса юристов и 2 для опроса историков). Помимо разработки анкет, были проведены работы по формированию выборки, программированию анкеты, пилотажу анкеты, рассылки ссылок на анкету и анализу результатов. В исследовании мы реализовали возможность сбора подробных наукометрических данных не только об оцениваемых ученых, но и о респондентах, при этом наукометрические показатели не ограничивались одними только традиционными метриками (индекс Хирша, импакт-фактор), но также включали специальные переменные, которые в большей степени способны указать на качество научной работы.

Аннотация результатов, полученных в 2023 году
Главная цель этого проекта – оценить степень согласованности между метриками, вычисленными на основании Российского индекса научного цитирования (РИНЦ), и данными репутационного опроса для четырех научных дисциплин социально-гуманитарного профиля. Для всех областей был создан рейтинг ведущих фигур, который затем сравнивался с их наукометрическими показателями, вычисляемыми Российским индексом научного цитирования. За третий год проекта мы проанализировали данные опроса историков с тем, чтобы сопоставить экспертные оценки и наукометрические показатели, а также изучить роль структуры научного сообщества. Была проделана серьезная работа по анализу эпистемических различий в сообществе историков. Операционализация проходила через вопросы о видении роли исторической науки, а также через ответы на вопрос о наиболее повлиявшей книге. Анализ показал, что структура исторического сообщества разделена глубокими расколами по признаку специализации на российской или всеобщей истории. При этом разделение в сравнении с другими социальными науками, во многих отношениях удивительно стабильно, несмотря на смену поколений. Основным латентным идеологическим расколом является противостояние между локалистами-модернистами и глобалистами-постмодернистами, которые, однако, настаивают на сохранении статуса истории как беспристрастного изучения того, «как оно было». Самый важный результат – это связь научно-политических взглядов с выбором авторитетных фигур в науке. Результатом третьего года проекта стал опыт анализа объемных сложных массивов информации, которые содержали опросные данные, наукометрические показатели и характеристики журналов. Мы увидели, что именно работа сразу с несколькими разными массивами информации позволяет ставить продуктивные исследовательские вопросы. Во-первых, мы изучили роль фактора поддержки наукометрических показателей для понимания публикационного поведения ученых. Анализ показал, что отношение к метрикам варьируется между исследователями в зависимости от их академических культурных предпочтений. Мы обнаружили, что, хотя большинство ученых в социально-гуманитарных науках не поддерживают придание большей ценности публикациям, появившимся в международных базах данных, от 10 до 30% респондентов выразили положительное отношение к этой политике. Исследователи с ориентацией на глобальную науку, как правило, поддерживают использование показателей в оценке исследований, в то время как их коллеги, приверженные локальному академическому пути, с большей вероятностью проявят негативное отношение. При этом установки, связанные с применением наукометрии, лишь частично связаны с количеством публикуемых статей и выбором журналов для публикаций. Во-вторых, мы изучили влияние родительства у матерей и отцов на такие элементы академической карьеры, как защита кандидатской диссертации и публикационная продуктивность. Установлено, что мужчины успешно сочетают появление первого ребенка с защитой диссертации, в то время как у большинства женщин эти события происходят последовательно с разрывом во времени. Кроме того, стратегии сочетания родительства с выстраиванием профессиональной карьеры у молодых респондентов отличаются от стратегий их более старших коллег: чем старше женщина в нашей выборке, тем с большей вероятностью она отдает предпочтение стратегии «сначала ребенок – потом защита». Со временем приоритеты поменялись, и сейчас женщины склонны скорее откладывать рождение ребенка. Аналогичный публикационный разрыв выявлен и в других странах, при этом исследователи выдвигают в качестве возможного объяснения неравную нагрузку, которую несут женщины и мужчины в процессе родительства. Результаты проведенного исследования не дают оснований считать наличие или отсутствие ребенка значимым фактором, объясняющим этот разрыв. В-третьих, мы обнаружили, что практики академической нечестности российских экономистов заметно различаются в зависимости от категории журнала. Показано, что если публикация в хищных зарубежных журналах является достаточно редким событием для российских экономистов (не более 10% имеют такие публикации), то статьи в российских слабых журналах распространены гораздо чаще. При этом основные факторы, которые объясняют вовлеченность в академические нечестные практики, играют разную роль для этих двух категорий журналов. К примеру, выбор хищных журналов Scopus характерен для статусных авторов, которые имеют опыт руководящих позиций, тогда как молодые авторы выбирают стратегию наращивания публикаций за счет местных журналов с сомнительными издательскими практиками.