Новости

26 ноября, 2018 14:55

Эксперименты с экспертизой. РНФ побеждает субъективизм

“Поиск” продолжает знакомить читателей с новациями в экспертной работе Российского научного фонда (РНФ). Зачем создается новый экспертный совет Фонда по Президентской программе исследовательских проектов? Как он формируется? Реализован ли принятый в прошлом году план РНФ по совершенствованию экспертных процедур и повышению качества рассмотрения заявок и отчетов? На эти вопросы ответил председатель экспертных советов по научным проектам и научным программам Фонда академик Александр Клименко.
Источник: пресс-служба РНФ

- Александр Викторович, в начале ноября исполнилось пять лет с момента создания РНФ. Даже не верится, что Фонд так молод, кажется, что он существовал всегда. Что вы думаете про случившийся юбилей? Серьезная дата?

- К этой “пятерке” можно относиться по-разному, все зависит от точки отсчета. Конечно, наш Фонд работает не так уж долго, он значительно моложе РФФИ. Но если говорить о том, что сделано за эти годы, веху стоит признать важной. Не раз слышал от ученых, что сегодня уже трудно представить ландшафт российской науки без РНФ. Научная общественность удовлетворена работой Фонда. В прошлом году нас проверяла Счетная палата. Параллельно она запустила на своем сайте опрос, связанный с работой РНФ. Ставилась задача определить, прозрачна ли процедура распределения грантов, достаточна ли информационная и методическая поддержка заявителей и экспертов, имеют ли возможность проигравшие познакомиться с результатами экспертизы. В подавляющем большинстве участники ответили на все эти вопросы утвердительно. 

- Пять лет назад и тоже осенью стартовала реформа Российской академии наук, которую многие называют “разгромом” РАН. Как считаете, этот процесс и образование РНФ не связаны?

- Напрямую они явно не связаны. Но поскольку эти события совпали по срокам, ученые, как мне кажется, поначалу относились к РНФ с настороженностью. Когда Фонд занял свое место в системе отечественной науки, эта напряженность ушла.

- Уже не первый месяц идут разговоры о том, что в РНФ создается отдельный экспертный совет по Президентской программе Фонда. В связи с чем было принято такое решение? В какой стадии находится процесс формирования нового совета?

- Предлагая создать совет по Президентской программе, Попечительский совет РНФ исходил из следующей логики. Сейчас Фонд финансирует ежегодно более четырех тысяч проектов, а начинали мы с тысячи. В прошлом году через экспертный совет прошли более 10 тысяч заявок. В совете - 62 человека, которые работают на общественных началах. Нагрузка на людей явно запредельная. В конечном итоге это может сказаться на качестве экспертизы. Поэтому было решено создать два совета по проектам. Каждый из них будет отвечать за распределение примерно двух с небольшим тысяч грантов и работу по ним. 

Попечительский совет РНФ установил принципы формирования экспертного совета по Президентской программе, которыми мы и руководствуемся при подготовке предложений. В новый экспертный орган должна войти часть членов нынешнего, чтобы обеспечить преемственность. Поскольку многие мероприятия Президентской программы ориентированы на поддержку научной молодежи, в совет решили включить молодых перспективных ученых. На конкурсной основе были отобраны доктора наук в возрасте до 39 лет из числа руководителей проектов, поддержанных грантами РНФ. Кроме того, без конкурса были приглашены лауреаты премии Президента России в области науки и инноваций для молодых ученых, которые имеют докторские степени и попадают в указанные выше возрастные рамки. 

Предложения по составу совета сформированы, теперь их должен утвердить Попечительский совет РНФ. Готовится и очередной этап ротации “старого” совета по проектам. Проведено рейтинговое голосование по возможным кандидатурам. Принять участие в выборах новых членов, как и раньше, могли все эксперты и руководители проектов РНФ, которые голосовали за предложенных им кандидатов, - разумеется, по своим областям науки. И многие воспользовались этим правом. После завершения нынешней ротации состав Совета по научным проектам будет обновлен на 70% относительно первоначального, утвержденного в 2014 году.

- Новые члены совета приносят с собой свежие идеи относительно совершенствования экспертных процедур?

- У нас прошли две ротации совета. Люди быстро вошли в курс дела, и смена состава не привела к ухудшению качества экспертизы. Это, на мой взгляд, самое главное. Надо понимать, что, хотя экспертная работа носит творческий характер, мы ограничены действующими правилами - положениями об экспертных советах и экспертных процедурах. В этих рамках мы в непрерывном режиме постоянно что-то “подкручиваем”, меняем, улучшаем - с подачи новых и старых членов совета и представителей научной общественности. Так, информационно-аналитическая система (ИАС) на основе обратной связи с заявителями и экспертами отрегулирована таким образом, что отказы в допуске к конкурсу по формальным причинам сейчас составляют меньше процента. А когда мы проводили первые конкурсы, из-за неправильно заполненной конкурсной документации иногда “слетали” до 20% заявок. 

- Около года назад РНФ проводил заседание экспертных советов Фонда с приглашением представителей структур, которые сформулировали замечания по части экспертизы и дали предложения по решению обнаруженных проблем. “Поиск” писал об этом мероприятии. По итогам обсуждения был составлен план действий. Он выполнен? Каковы результаты? 

- Да, в июне прошлого года была разработана система мер по совершенствованию экспертизы. Этот план мы выполнили, по крайней мере, те пункты, которые были ориентированы на определенные сроки. В частности, на основе диалога с научной общественностью доработана ИАС, внесены уточнения в классификатор РНФ, запущена процедура учета мнения научного сообщества при ротации состава экспертного совета Фонда, внесены поправки в документы, регламентирующие экспертные процедуры. 

Понятно, что есть ряд действий, которые необходимо осуществлять постоянно: обновлять экспертный корпус, работать с экспертами и заявителями, проводить семинары и вебинары. Эта работа ведется, и она будет продолжена.

Интересно, что число возражений на результаты экспертизы заявок и отчетов уменьшилось с 0,9% от общего числа экспертиз в 2017 году до 0,5% в 2018-м. Является ли это прямым следствием выполнения плана, сказать трудно, но, думаю, определенную роль он все же сыграл. 

- Вы стремитесь свести число возражений к нулю?

- Вряд ли это возможно. При рассмотрении заявки сталкиваются две точки зрения - автора и человека, который оценивает его работу. Естественно, они могут не совпадать. Другое дело, что возникают ситуации, когда эксперт допускает некорректные суждения, не связанные с содержательной стороной заявки, или делает ошибки. Вот такие случаи, конечно, хочется сократить до минимума. Для этого у нас действует футбольная система желтых и красных карточек. Когда эксперт оказывается не на высоте, мы от имени РНФ пишем ему официальное предупреждение. Если нарушение повторяется, исключаем человека из экспертной базы данных Фонда.

- А как решается, кто прав, кто виноват?

- Эта процедура прописана в регламенте. Поступившее возражение рассматривает экспертный совет, чаще всего в тематической секции. Ее члены изучают все материалы и выносят решение. Надо сказать, что чаще всего правы бывают эксперты. Ученые, входящие в экспертный пул РНФ, - очень квалифицированные специалисты, более 80% из них - доктора наук. Корпус постоянно растет и обновляется. Мы предлагаем вступить в него всем победителям конкурсов. Понятно, что не все соглашаются, ведь это - дополнительная работа. Хотя, с моей точки зрения, она очень интересная и полезная, поскольку дает ученым возможность следить за последними достижениями в своих областях знаний. 

- Вернемся к плану по совершенствованию экспертизы. Все ли замечания научной общественности удалось учесть?

- Мы сделали то, что можно на данном этапе. Увы, не все в наших силах. Особенно это касается субъективных моментов. Как ни модернизируй процедуры, центральная фигура оценки - эксперт. Его квалификация, его честность и порядочность - лучшая гарантия успеха. 

Критики не раз обращали наше внимание на то, что слабое место в системе оценки - способ назначения экспертов. Их подбирают координаторы научных направлений из числа кандидатур, которые им “предлагает” ИАС. Мы решили провести своеобразный эксперимент, который покажет, можно ли свести на нет субъективную составляющую. 

Было решено, что в ходе конкурса “Проведение исследований на базе существующей научной инфраструктуры мирового уровня” всех трех экспертов на каждую заявку подберет компьютер с помощью специальной программы. Координатор может внести коррекцию, если его по тем или иным причинам не устраивает результат, но он должен объяснить, почему потребовалось это вмешательство. 

Сейчас завершилась первая фаза эксперимента - эксперты назначены. Сделать окончательные выводы, что лучше, “ручной” или “автоматический” режим, мы сможем только после 1 марта, когда подведем итоги конкурса и сопоставим их с прежними показателями. 

Уже сейчас выявились сложности, которые явно скажутся на результатах. Чтобы компьютер не ошибался, требуется точная исходная информация, в частности, должны быть четко указаны коды классификации экспертов, правильно подобраны ключевые слова. До сих пор этим особенно не занимались. Соответственно, качество исходных данных для компьютера оставляет желать лучшего. 

Другая проблема - программа не способна в полной мере исключить конфликт интересов. Информацию о том, например, не является ли эксперт руководителем заявки, участвующей в этом же конкурсе, или не работает ли он в одной организации с заявителем, компьютер проверить может. Он не в состоянии разобраться в родственных связях и уж тем более в системе взаимоотношений между работающими в одном направлении научными группами в отличие от координаторов, которые хорошо знают свои “поляны”. Так что здесь нам остается полагаться на принципиальность экспертов. 

- Как отнеслись к этой новации координаторы научных направлений?

- Одни решили, что эксперимент должен быть чистым, и не стали вмешиваться. Другие сочли, что компьютеру надо помогать, чтобы не получить проблемы на выходе, и вносили корректировки, четко их обосновывая.

- Надо понимать, что, несмотря на выявленные сложности, эксперимент будет доведен до конца? 

- Да, тем более что серьезных проблем пока не возникло. Мы ожидали, что из-за недостаточно точного указания кодов классификатора увеличится число отказов по причине того, что заявки будут попадать “не по адресу”, однако этого не произошло. 

Кстати, новый подход позволяет не только снизить роль субъективной составляющей, но и оптимизировать процесс. На данный конкурс поданы почти 1300 заявок, на каждую требуется подобрать трех экспертов. Координаторы тратят на решение таких задач часы и даже дни, а компьютер - минуту! Часто случается, что выбранные эксперты по разным причинам отказываются от оценки заявок или не отвечают на обращения Фонда. Приходится искать новых и порой повторять такую процедуру не раз. Так что экономия сил и времени ответственных за это специалистов налицо. А вот обоснован ли такой подход в целом, мы узнаем со временем. И поделимся этой информацией с читателями “Поиска”.

Теги
Интервью
29 февраля, 2024
Вулкан как фабрика тепла. Геофизики предлагают новые способы электрификации городов
Вулканы уже сыграли неожиданную роль в истории человечества. Можно упомянуть провал реформ Бориса Го...
12 февраля, 2024
Олег Астафьев: «Квантовая акустика появилась благодаря сверхпроводниковым искусственным атомам»
Квантовые технологии — наше фантастическое будущее? О том, заменит ли электроника, работающая с од...