Версия для печати

Поверить цифрами науку

Следующий шаг реформы Академии наук — оценка эффективности работы научных учреждений. Предполагается, что измерять ее будут с помощью наукометрии — то есть количества цитирований трудов ученых. Этот метод вызывает ожесточенную дискуссию в научном сообществе, как убедился корреспондент «Газеты.Ru».
Реформа Российской академии наук (РАН) набирает силу. Очередным ее этапом станет оценка эффективности работы научных учреждений, входящих в систему РАН.
В начале ноября было принято постановление правительства «О внесении изменений в Правила оценки результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения». В пояснительной записке к нему утверждается: «Оценка результативности деятельности научных организаций проводится на основании всестороннего, в том числе экспертного, анализа сведений о результатах деятельности научной организации, представленных научной организацией в установленном порядке в федеральный орган исполнительной власти, в ведении которого находится научная организация, и отражающих деятельность научной организации за последние пять календарных лет» (п. 13).
«Газета.Ru» попыталась разобраться в том, что имеется в виду под формулировкой «всесторонний анализ сведений».
Как рассказал «Газете.Ru» доктор физико-математических наук, академик РАН Алексей Паршин, в августе 2013 года в Академию наук поступил проект приказа Министерства образования и науки (МОН), включающий «Типовую методику оценки результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения». Данный документ предусматривает оценку результативности деятельности научных организаций на основе 70 численных показателей (единицы измерения: штуки, рубли и люди), и значительное место здесь занимают библиометрические показатели (число публикаций, индекс цитирования, импакт-фактор журналов, в которых публикуются исследователи). Как стало известно после заседания Совета по науке при МОН, состоявшегося 10 сентября, ведомство планирует использовать такие подходы для оценки научной деятельности институтов РАН. «Не исключено, что эти данные будут использованы для резкого (в несколько раз) сокращения численности научных сотрудников», — отмечает Паршин.
Сейчас в большинстве институтов, входящих в систему Академии наук (РАН), существует иерархия сотрудников — от младших научных сотрудников (их осталось крайне немного, это или будущие кандидаты, или только что защитившиеся кандидаты наук) до главных научных сотрудников (общепризнанных авторитетов, докторов наук, авторов монографий). У всех них есть свой план научной работы, который определяется на срок от 3 до 5 лет. В гуманитарных науках формой отчетности по нему является монография (иногда – цикл статей).
Исторически такое устройство научного труда объяснимо: государство выступало своего рода заказчиком и покупателем результатов работы ученых.
Однако при этой системе сложно оценивать качество выполненной работы, да и далеко не все работники советских научно-исследовательских институтов (НИИ) стремились к блестящему выполнению своих заданий.
В начале – середине 1990-х годов, на фоне резкого сокращения финансирования науки, многие российские ученые (в основном представители естественных наук, но не только) стали обращаться к грантам. А для того, чтобы получать деньги под конкретные проекты, стали нужны новые критерии для оценки эффективности научной работы.
Одним из них могло бы стать количество опубликованных статей и монографий. Однако в России в связи с существующими нормами Высшей аттестационной комиссии (ВАК) по защите диссертаций (докторских и особенно кандидатских) многие журналы стали промышлять сдачей своих страниц «в аренду», за деньги размещая формальные статьи, необходимые для выхода на защиту. Кроме того, в условиях падения финансирования в советском прошлом осталась система внешнего рецензирования статей, что открыло простор для кумовства и прочих не имеющих отношения к науке сделок.
Не стоит забывать и о качестве продукта, неминуемо падающем при работе «на вал». «В Америке для ученого-гуманитария нормой является одна — максимум две статьи в год, правда, учитываются только вышедшие в рецензируемых журналах», — рассказала корреспонденту «Газеты.Ru» аспирантка исторического факультета Ратгерского университета (США).

Тем не менее многие ученые активно стремятся публиковаться.
Так, у некоторых научных сотрудников в год выходит более десятка статей, правда, преимущественно в вестниках региональных университетов, в которых упрощена процедура рецензирования.
Конечно, ситуация в естественных науках с сточки зрения объема публикаций проще: зачастую одну статью готовит десяток ученых, так что количество материалов за авторством физика или математика традиционно больше.
Однако «валовая» система показала свое несовершенство. Поэтому обратились к другой системе оценки — через индекс цитируемости. Предполагается, что ученый эффективен в том случае, если на его работы много ссылаются — причем на протяжении длительного времени и в реферируемых периодических изданиях.
Этот метод изначально использовался в США, где и возникли самые авторитетные базы данных — Web of Science, Scopus и другие. Но для россиян, особенно гуманитариев, эти системы неточны: они ориентированы на англоязычные публикации и англоязычные журналы, поэтому труды отечественных историков, к примеру, отражены там фрагментарно. В результате в России возникла собственная база — Российский индекс научного цитирования (РИНЦ), индексирующий русскоязычные журналы.
Таким образом, современная наукометрия считает, что ученый эффективен, если его фамилия часто появляется в сносках. Смысл этой системы понятен: с одной стороны, высказывание спорных мнений порождает дальнейшую дискуссию, и это позволяет науке развиваться, с другой — создание авторитетного текста показывает эффективность проделанной автором или авторами работы.
Порождением этого показателя становится импакт-фактор (применяется к журналу) — то есть показатель цитируемости журнала. Он рассчитывается так: число цитирований статей за 2012 год делится на общее количество статей, опубликованных в 2010–2011 годах.
Еще одной важной производной количественных оценок становится индекс Хирша.
Он имеет значение N, если автор имеет N статей, на каждую из которых сослались как минимум N раз, а остальные его статьи имеют число цитирований не более N.
Казалось бы, система, основанная на точных цифрах, с одной стороны, удобна распределяющим средства администраторам, с другой – сужает пространство для манипуляций, непотизма и других неприятностей.
Однако лучезарная картина светлого цифрового будущего сильно затуманилась при встрече с реальностью. Если говорить о частностях, то оказалось, что эта система уязвима для махинаций. В эссе американских математиков Дугласа Арнольда и Кристин Фаулер «Гнусные цифры» (опубликовано в сборнике «Игра в цыфирь, или Как теперь оценивают труд ученого») приводится пример китайца Хэ Цзихуаня, который постоянно ссылался на журнал International Journal of Nonlinear Sciences and Numerical Stimulations (IJNSNS) (243 раза за 2 года – подсчеты 2008 г.). Делал он это не из любви к науке – он был в нем редактором, как и еще в 20 других журналах. «В общей сложности совокупность таких родственных редакторам ссылок, для выявления которых требуется много времени, включает более 70% ссылок, использованных для вычисления импакт-фактора IJNSNS», — отмечают Арнольд и Фаулер.
Кроме того, эта система ставит представителей разных ветвей познания в неравные условия. Так, индекс цитируемости «заточен» под учет статей в журналах – основной форме научной литературы для физиков. Однако математики возражают: огромную долю в математической научной литературе составляет «серая литература» — отчеты, препринты и т.п. «А с начала 1990-х более или менее каждый математик может положить свой текст в архив текстов, где он появится через один-два дня и будет «вечно» доступен всем желающим; условия – текст на английском языке (формально на «любом») и написанный в ТеХ'е, специальной программе, на которой математики пишут свои статьи», — рассказал д.ф.м.н., академик РАН Алексей Паршин.
Этот архив базируется в Корнелльском университете в США, и, как подчеркивает Паршин, именно там находятся знаменитые работы Григория Перельмана.
Естественно, что базы не индексируют тексты в этом архиве.
 «Система не учитывает большинства ссылок на труды историков, поскольку ориентирована на журнальные статьи, а не на монографии, являющиеся наиболее значимым и популярным «жанром» среди специалистов-гуманитариев», — добавляет в своей статье «Российская историческая наука и индексы научного цитирования» кандидат исторических наук, старший научный сотрудник ИРИ РАН Виталий Тихонов. По его словам, в РИНЦ часто также не попадают популярные в отечественной гуманитарной науке «сборники тезисов». «Понять сотрудников РИНЦ можно: если они будут включать в индекс монографии и сборники статей, которые сейчас издать чрезвычайно легко, а отследить трудно, они просто утонут в потоке литературы», — замечает Тихонов.
В результате в России наблюдается заметный перекос в показателях: по данным, которые приводит Тихонов, самый высокий индекс научного цитирования в России у нобелевского лауреата А.К. Гейма, который составляет 40 216 цитирований, и индекс Хирша − 52. Для сравнения: самый высокий рейтинг среди гуманитариев — у археолога А.П. Деревянко: всего 2 750, а индекс Хирша – 14.
Цифры вместо науки
Но есть к этой системе и содержательные претензии. «Как только вы начинаете оценивать какой-то содержательный процесс по формальному показателю, так довольно быстро целью процесса становится не та содержательная деятельность, которую он оцениваете, а стремление любой ценой увеличить этот показатель», — утверждает Паршин. По его словам, «значительное число ученых считает, что импакт-фактор является инструментом коммерции в руках издательств, а не инструментом научной оценки».
Достаточно жестко высказывается по поводу подобного подхода к наукометрии и американский биолог Питер Лоуренс. По его мнению, имеет место сдвиг мотива на цель: «опубликование стало главной целью, потому что это – путь выживания ученого». Стремление публиковаться, причем именно в журналах с высоким импакт-фактором, становится самостоятельной и необходимой мотивацией для ученого. В результате искажаются результаты (ведь рецензенты могут в них усомниться), а также становится обычной практикой «цитатный обмен» и «вылавливание цитат».
Для России (особенно в части гуманитарных наук) эта проблема актуальна в квадрате: как отметил в одном из своих публичных выступлений заместитель главного редактора одного из крупнейших российских исторических журналов, «можно говорить о глубоком кризисе историографической культуры», то есть чаще всего никакой системности в сносках не наблюдается.
Присутствует в научном мире и некоторая, скажем так, вольность в работе с литературой. «Одна из информанток сообщила прямым текстом, что руководитель заставила ее убирать сноски, говоря о том, что эти же выводы она могла сделать и сама», — замечают в статье «Провинциальная и туземная наука» М. Соколов и К. Титаев. Там же приводятся сведения по самоцитированию: «Для крупного текста характерно 70–90% самоссылок. В среднем по массиву их доля около 30%», — приводят исследователи данные анализа четырех сборников статей или тезисов, взятых случайно в книжной летописи двух российских регионов.
Конечно, ученые предлагают альтернативы количественным показателям. Паршин считает, что главным способом оценки должна стать экспертиза. Так, он обращает внимание: работа редколлегий, отбор докладчиков на конференции, отбор экспертов существовали в науке много лет, а они часто основаны на субъективных оценках. «Мой личный опыт участия во всех упомянутых видах оценочной деятельности говорит, что, как правило, она приводит к разумным результатам», — утверждает Паршин.
Паршин отмечает: в ряде развитых в научном отношении стран использование индекса цитируемости ученого или импакт-фактора журнала для оценки эффективности ограничено. Так, в Великобритании происходит оценка деятельности всех научных организаций а период c 1 января 2008-го по 31 июля 2013 года. Согласно правилу №53, «комиссии не будут использовать импакт-факторы журналов, рейтинги или подразумеваемую репутацию издателя при вынесении суждения об уровне представленных результатов, причем это относится ко всем без исключения научным дисциплинам.
Также в правиле 52 финансирующие структуры «не предлагают и не рекомендуют вузам основываться на данных цитирования при отборе персоналий или результатов для включения в представления».
Ряд учреждений, например Институт перспективных исследований в Принстоне (США), по данным Паршина, отказываются от использования библиометрики. У экспертизы, однако, есть недостаток: она провоцирует ученых создавать неформальные сети, которые будут «проталкивать» свои звенья наверх. Конечно, такие группы есть в науке, и без таких сетей ни один ученый ни в одной дисциплине существовать не может (люди должны обмениваться идеями, научной литературой, спорить и т.д.). Но в тот момент, когда решение группы определенных экспертов становится решающим, участие в таких сетях становится жизненно необходимым и возникает огромный простор для злоупотреблений. Могут появиться очередные люди, получающие плоды «за заслуги перед наукой», непонятно как и непонятно кем измеренные.
Но это не значит, что индекс цитируемости — панацея. Абсолютизировать цифры нельзя: дискуссионны сами подсчеты. «Как мы ни пытались, мои коллеги и я не можем согласовать наши собственные подсчеты цитируемых публикаций в самом Nature, в некоторых других журналах Nature и даже в Science с подсчетами, используемыми в ISI (поисковая платформа, объединяющая реферативные базы данных публикаций в научных журналах)», — пишет редактор Nature Филипп Кемпбелл. То есть цифры могут быть инструментом, который в определенных ситуациях позволяет понять, насколько тот или иной ученый эффективен. Нельзя забывать и том, что в научном мире понятие «репутация» сохранило свое значение, а она создается уж точно не с помощью высокого индекса Хирша.

Газета.ру