— В этом году Российский научный фонд закрыл семь проектов до их окончания, еще 13 были признаны неудовлетворительными по своим итогам. С чем, по вашему мнению, связаны случаи неуспешной реализации проектов?
Д.Л.: Я бы не сказал, что здесь речь о «неуспешной» реализации, это не совсем тот термин, который может оценить выполнение проекта. Скорее, «неудовлетворительная реализация». А неудовлетворительная она потому, что не все выполняют взятые на себя обязательства. Это касается как научных планов, так и наукометрических показателей.
А.Б.: Напомню, что все обязательства ученые принимают на себя самостоятельно. И эти обязательства — в первую очередь перед их же коллегами, такими же учеными, участвующими в конкурсе за этот грант. Благодаря в том числе и этим обязательствам, тот или иной коллектив получает финансовую поддержку Фонда. Грант РНФ — это не просто некая сумма денежных средств, но и ответственность перед научным сообществом. Поэтому именно экспертный совет в РНФ принимает такие решения.
Фото: Андрей Блинов. Источник: пресс-служба РНФ
— За таким решением следуют какие-то санкции?
А.Б.: Да, руководители таких проектов в течение следующих трех лишаются права на участие в заявках, подаваемых на объявляемые Фондом конкурсы в качестве руководителя или основного исполнителя, а также не могут быть привлечены к работе экспертных советов Фонда в качестве экспертов.
— Серьезное наказание.
Д.Л.: На самом деле, в превалирующем большинстве случаев все хорошо. Да, четыре отчета по нашей секции не были одобрены — но это из 300! У нас очень жесткий отбор, поддерживаются высококвалифицированные специалисты. Конечно, по тем или иным причинам у них могут возникнуть проблемы, и мы всегда готовы с пониманием к этому отнестись. Но не надо хитрить и юлить, выдавать желаемое за действительное.
А.Б.: В целом, по всем направлениям это даже менее одного процента — 20 проектов из 2,4 тысяч.
— А по каким направлениях это произошло?
А.Б.: Это не зависит от научного направления. По итогам экспертизы промежуточных отчетов было прекращено финансирование проектов по физике, биологии, сельскому хозяйству и инженерным наукам. По результатам рассмотрения итоговых отчетов к этому списку добавились химия, гуманитарные и социальные науки, медицинские науки. Так вышло, что наибольшее количество таких проектов в этом году в области биологии.
Д.Л.: Я могу прокомментировать свою часть. У нас четыре проекта, финансирование которых было прекращено, столько же отчетов признали неудовлетворительными. Мы — секция экспертного совета, пять человек, специалистов по разным областям биологических наук. До нас работают эксперты, которые индивидуально получают отчеты и проводят их рецензирование на предмет выполнения научных планов, получения и обнародования результатов исследований. На каждый отчет мы получаем по две независимые рецензии. Мы, уже коллективно, работаем с отчетами ученых, отзывами экспертов и всеми документами, которые прилагаются к отчетам.
Как можно понять, что проект выполняется неудовлетворительно? Во-первых, это отзывы экспертов. Иногда, конечно, случается так, что эксперт погорячился или недосмотрел. Он может «завестись» и написать такое, что потом открываешь и думаешь: «Где же он это увидел, тут ничего такого нет!». Далее наша задача, как экспертного совета — свести все воедино: и отчеты, и заключения экспертов, и наше мнение; и все это проанализировать. При этом, конечно же, мы не учитываем ошибочные (в нашем понимании) суждения экспертов или их излишнюю пристрастность.
Понимаете, ученые — люди творческие, талантливые, каждый занимается сугубо важной работой. Но, когда мы пишем статьи в журналы, рецензенты очень часто имеют совсем другое мнение. Та же ситуация происходит, когда ученые подают отчеты, только в роли рецензентов выступаем мы. Наша задача — не «ущучить» человека, если он что-то не доделал. Эксперты — это такие же специалисты, как и те ученые, которые подают отчеты. Сегодня эксперты мы, а завтра — они. Ротация происходит постоянно. Поэтому мы относимся к ним настолько лояльно, насколько это возможно.
Однако иногда мы, например, видим, что в проекте заявлено минимум восемь публикаций, а в отчете прямо сказано, что их пять, причем три — это тезисы. Это значит, что обязательства по обнародованию результатов своих исследований не выполнены. То же самое касается и научных планов. Я знаю, что в других секциях есть случаи, когда грантодержатели не выполняли заявленные планы, и это послужило основанием для неудовлетворительной оценки.
— Вы хотите сказать, что можете и «простить» какую-то недоработку?
Д.Л.: Можем, если экспертный совет понимает, что она не критична и не ставит под угрозу выполнение проекта, подразумевая и достижение показателей. Допустим, человек работал над проектом первый год и не выполнил планы по «наукометрии»: не опубликовал всех заявленных статей, не выступил ни на одной конференции. Как правило, в первый год экспертный совет относится к этому лояльно — мало ли что. Пишем ему замечание, «желтую карточку» о необходимости выполнения своих обязательств — он же сам подписался под ними. Проходит еще год, а у него и за второй год ничего нет. В этом случае экспертный совет однозначно задаст вопрос — если человек за два года не смог ничего опубликовать, как он за третий год выдаст обещанные восемь, например, статей? Скорее всего, это послужит основанием для рекомендации о дальнейшей нецелесообразности финансирования проекта.
А.Б.: Добавлю, что в отношении публикационной активности по годам Фонд не устанавливает каких-либо требований. Руководитель проекта при подготовке грантового соглашения сам определяет количество статей, которое он планирует опубликовать в каждый год работы по проекту. Он вправе не планировать публикации в первый год проекта, и тогда никаких претензий в этой части со стороны экспертного совета к нему не будет. Надо здраво оценивать свои возможности. Если же есть невыполнение за конкретный год — то экспертный совет оценивает, насколько оно критично, сможет ли коллектив в следующем году восполнить недостающие и выполнить текущие обязательства. Если да, то экспертный совет ограничивается предупреждением.
— «Желтая карточка» никаких последствий не несет?
Д.Л.: Это предупреждение. Как правило, ученые прислушиваются к таким замечаниям экспертного совета, наверстывают упущенное, может, даже и не всегда успевают все опубликовать, но предоставляют подтверждения о принятии к печати статей. Принятые к печати статьи идут в зачет.
— А если не прислушались, что тогда — вторая «желтая карточка»?
А.Б.: Уже «красная». Рецидив в невыполнении обязательств ведет к прекращению финансирования.
Д.Л.: Бывают еще такие случаи: человек представляет публикации, формально у него все обязательства выполнены — сколько обещал, столько сделал. Но не все они относятся к тематике проекта. Когда это делается в погоне за количеством статей, экспертный совет весьма негативно относится к этому, потому что это обман. Когда же это в русле предусмотренных проектом исследований, пусть даже немного «свернувших» с намеченного пути, экспертный совет лоялен. Научный поиск — это творчество. Не пренебрегайте возможностью объяснить эксперту, почему так произошло. У вас же каждый отчет начинается с того, что «заявлены такие-то цели, достигнуты такие-то результаты». Если результаты отличаются от целей, значит, эксперт должен получить обоснование, чтобы иметь возможность оценить ход проекта и перспективы его реализации. А когда вы пишете, что сделали работу по тематике гранта, а публикации про другое — извините.
А.Б.: Очень важно, чтобы в отчете было достаточно информации для оценки хода выполнения проекта. Эксперт не обязан знать все сложности, которые возникли при реализации конкретного проекта. Если, например, издательство отказывается в публикации указывать в качестве источника финансирования исследования грант РНФ — об этом надо прямо написать в отчете.
Нередко в Фонд поступают возражения руководителей на результаты экспертизы, содержащие различную дополнительную информацию, которая могла бы повлиять на результаты рассмотрения, но не была указана в отчете. Часто это связано с публикациями, иногда — с договоренностями с партнерами, зарубежными, например. Конечно, предусмотреть все, когда готовишь отчет, невозможно, но поставить себя на место эксперта и посмотреть на отчет с его стороны не помешает.
— То есть совет — о всех сложностях чистосердечно писать в отчетах?
Д.Л.: Конечно. Все работают, все знают, что в исследованиях бывает «затык», ничего страшного или необычного здесь нет.
А.Б.: Если есть какое-то невыполнение планов и это обусловлено объективными причинами, то это следует отражать в отчетах. Пусть коллеги оценят и примут решение о дальнейшей судьбе проекта.
— Еще важен такой момент: в журналах рукописи проходят рецензирование. Часто бывает, что статья «зависает» надолго, а ты ее уже отдал в журнал, ее не забрать оттуда.
Д.Л.: Это понятно. Тогда человек заявляет: мы написали столько-то статей и отправили их в такой-то журнал, они находятся на рецензии. Чем выше импакт-фактор журнала, тем труднее там опубликовать, это понятно. Даже если у тебя грант заканчивается в 2018 году, а статья выйдет в 2019, ничего страшного, люди хотя бы видят, что ее туда отправили. Но иногда проходит год, а заявленной статьи так и нет. Она куда-то пропала. Это уже не очень хорошо.
А.Б.: Именно поэтому Фонд учитывает не все направленные в издательства статьи, а только те, которые приняты издательствами к печати, и вас есть подтверждение.
— Многие западные фонды сейчас принимают препринты в отчетах. Что вы про это думаете?
Д.Л.: Эта система известная. Если надо «застолбить» какой-то приоритетный результат, многие пользуются службами препринтов. Это тоже вариант, почему бы и нет? Но вы хотя бы раз в год перечитывайте соглашение с Фондом во время подготовки отчета. Там формируется таблица — сколько вы обещали статей и сколько у вас есть. Больше ничего не надо, тут нет никаких подводных камней. Экспертный совет — не партком и не общественный суд, мы просто люди, которые в данный момент работают с фондом, и у которых есть ответственность: проверить, что ваши результаты соответствуют вашим обязательствам.
Фото: Дмитрий Лось. Источник: пресс-служба РНФ
— Если была бы компьютерная автоматизированная система, которая позволила бы иметь некую обратную связь и проверять в автоматизированном режиме соответствие реализации гранта поставленной задаче, это было бы полезно?
Д.Л.: Это было бы здорово. Сейчас Фонд экспериментирует с автоматической раздачей проектов на рецензии. Система такая: допустим, на 100 мест пришли 700 заявок. И не эксперт или координатор распределяет, кому и что пойдет, а компьютер. Он делает это по ключевым словам. Но для этого надо, чтобы изначально база ключевых слов была идеальной, близка к идеальной.
А.Б.: Автоматизация нужна для исключения ошибок, человеческого фактора, особенно при многократно повторяющихся действиях. Например, при проверке числовых показателей, но у нас их не так много. Руководитель проекта и сам видит ситуацию с показателями, когда готовит отчеты в Фонд. Автоматизированная проверка показателей реализации проекта более актуальна для членов экспертного совета — им приходится рассматривать значительное количество отчетов. При этом анализ содержательной части все равно остается за экспертами. И, кстати, «обратная связь» в РНФ существует. Эксперты при рассмотрении отчетов имеют возможность написать рекомендации руководителю проекта, члены профильных секций тоже могут что-то ему порекомендовать. Руководитель это получит вместе с результатами экспертизы отчетов. Этот механизм «тонкой настройки» уже работает.
А вот с назначением экспертов на заявки — да, тут потенциал для автоматизации огромный. И мы постепенно начинаем его реализовывать.
— Тут надо хорошо продумать модуль поиска, ключевые слова, интересы, биографии…
Д.Л.: Да. А это, опять же, зависит от индивидуальности экспертов и исполнителей. Потому что человек может быть потрясающим ученым, но плохо организованным. Фонд просит: напишите наиболее полно ключевые слова, описывающие ваши исследования. Он написал «Эволюция», и все. И для компьютера вопрос: какая эволюция? Куда это?
В этом году я в первый раз выступаю координатором по биологии, заявок много, и я специально попросил, чтобы компьютер подобрал экспертов. Но потом я проверял работу компьютера сам. Надо сказать, что из 15-20 кандидатур я исправил своей рукой только две (точно знал, что они туда не подходят). Таким образом, эффективность автоматизированной системы весьма велика.
А.Б.: Пока мы ее «обучаем», чтобы умела анализировать и ключевые слова, и аннотации заявок, и учитывала конфликт интересов.