http://www.ras.ru/digest/showdnews.aspx?id=356a9d54-83bb-4a49-94b2-21ead6177e4b&print=1
© 2024 Российская академия наук

Как оценить ученых

Кто достоин денег

Нынешняя естественная наука в сознании большинства людей – что-то вроде «черного ящика». Армия, школа, медицина, даже культура – относительно всех этих областей понятно, чем и зачем они занимаются, чего хотят достичь, за что можно спрашивать. С наукой такой ясности нет. Считается, что понять, кто сильнее как ученый, – N или NN, могут только их коллеги. Если, конечно, они сами хорошие ученые.

Разумно, что лучшие должны получать больше денег, это диктуется духом времени: постиндустриальное общество, экономика знаний, глобальная конкуренция. Денег лучшим нужно все больше: наука становится дороже и разнообразней. А ресурсы ограничены, поэтому в последние 30 лет ученые, эксперты и чиновники бурно обсуждают, как оценивать результаты научной деятельности в целях оптимизации ее финансирования. В последнее время градус дискуссии заметно обострился. Это связано с все более активными попытками заменить или дополнить традиционную оценку коллег (peer review) обезличенными численными методами, основанными на библиометрии.

Оцените друг друга

Peer review – процесс оценки, проводимый непосредственно экспертами. Они изучают представленные к публикации статьи, заявки на гранты, общий уровень отдельных ученых, исследовательских групп и учреждений. Формы работы могут быть различными – от анонимного рецензирования текстов до выезда международной команды оценщиков на место. При этом редактора журналов, министерства, фонды, распределяющие гранты и все прочие, кто заинтересован в качественном отборе, следят за уровнем экспертов и отсутствием у них конфликта интересов. Экспертиза публикаций и заявок на финансирование обычно не оплачивается, ученые принимают в ней участие на общественных началах, ради прогресса науки.

Отношение к peer review в мировом научном сообществе крайне почтительное, это «священная корова» нынешней научной системы. Но хотя 99% исследователей уверены, что «оценивать науку должны только сами ученые», в действительности этот процесс далек от совершенства. Показательны слова Ричарда Хортона, редактора одного из наиболее престижных научных журналов мира The Lancet: «И редакторы, и ученые настаивают на центральной роли peer review. Мы преподносим его публике как почти сакральный процесс, помогающий сделать науку самым объективным источником знаний. Но мы знаем, что система peer review пристрастная, нечестная, безотчетная, неполная, легко искажаемая, нередко обидная, невежественная, иногда глупая и часто дающая ошибочную оценку». Есть и еще недостатки, даже более существенные: это неспешность, дороговизна и сложность крупномасштабных peer review.

Формализация

Библиометрические методики основаны на численном анализе научной коммуникации, которая в большинстве дисциплин (но далеко не во всех) ведется путем публикации статей в журналах. Существующие базы данных (Thomson-Reuters ISI Web of Knowledge и Elsevier Scopus) содержат информацию по большинству авторитетных научных журналов мирового уровня. Количество показателей, которые эти базы позволяют подсчитать для отдельных ученых, организаций и стран, крайне велико. Помимо традиционных – числа публикаций и их цитирований – можно узнать среднюю цитируемость в данной предметной области, выявить сеть соавторов, публикационную стратегию, достоверно определить, какие темы являются сегодня «модными» и т.д.

В основе библиометрии как инструмента оценки лежит предположение, что если ученого цитируют, то он делает что-то значимое. Конечно, зависимость между научной состоятельностью и цитируемостью далека от прямой. Но почти никто ныне не отрицает факт, что самые цитируемые авторы и есть интеллектуальные лидеры своих направлений. Кроме того, библиометрия сама зависит от peer review. Ведь большинство журнальных статей перед публикацией проходят соответствующую экспертизу. У библиометрии шире охват, она дешевле, не требует выезда экспертов на место и потери времени от общения с испытуемыми, ее результаты легко сравнимы и хорошо отражают динамику.

Еще одно достоинство учета цитирований делает его особенно привлекательным для чиновников. Цитаты отражают научную значимость опубликованного результата и гениальность автора лишь опосредовано, зато прямо сигнализируют о его востребованности. Хотя это говорит о востребованности научных результатов не обществом в целом, а лишь другими учеными, – тем не менее это шаг в сторону от практик исключительно внутренней оценки. Чиновники рады появлению формальных показателей, основанных не только на экспертной оценке, еще и потому, что в других отраслях такие показатели, как правило, есть.

Ученые против

Однако внедрение этой системы в жизнь правительственными органами целого ряда стран вызывает большое недовольство ученых. Самое заметное противостояние наблюдается сейчас в Великобритании. Фонд HEFСE, финансирующий вузовскую науку, решил перейти от экспертных оценок (Research Assessment Exercise) к библиометрическим с добавкой «мягких экспертных оценок» (Research Excellence Framework). Хотя представители фонда пообещали подходить к каждой дисциплине индивидуально и со всей тщательностью, реакция научного сообщества была однозначно отрицательной. «Мы хотим дистанцироваться от такого [библиометрического] подхода и призываем последовать нашему примеру всех представителей нашей и родственных дисциплин» – говорится, например, в редакционной статье International Journal of Nursing Studies (Volume 45, Issue 4, April 2008, pp 487-488).

Не менее резко выступил главный мировой научный журнал Nature, в январской редакционной колонке (Nature 457, 7-8 (1 January 2009)) под заголовком «Эксперты еще нужны» обрушившийся на библиометрию. Nature сообщил, что опубликованная в журнале в 2002 г. статья о практических проблемах скрининга элементов генома человека цитировалась 200 раз, а важнейший материал того же года о глубинных закономерностях работы протонного насоса в клетке упомянули – всего 10. Цитируются не «утонченные достижения, достойные учебников», а те «технологические прорывы, которые сразу используются многими». Но в эпоху глобальной инновационной гонки научные результаты второго типа в глазах чиновников все же важнее результатов первого типа.

Nature полагает, что peer review останется незаменимым, и к нему же сведется усилиями научной общественности и инициатива Research Excellence Framework.

Но точку в противостоянии ставить рано, в HEFCE от библиометрии отказываться не собираются. Недавно итальянские авторы, часть из которых работает в Итальянском совете по науке (Giovanni Abramo, Ciriaco Andrea D’Angelo и Alessandro Caprasecca) сравнили данные общеитальянского peer review (VTR, схож с английским) и собственных библиометрических данных (см Research Policy, Volume 38, Issue 1, February 2009, pp 206-215). По большинству естественнонаучных дисциплин корреляция оказалась весьма высокой, что позволило сделать вывод о предпочтительности менее затратной библиометрии. Анализ экспертами научных результатов, уже прошедших в журналах peer review, вряд ли окажется лучше численного исследования всего массива опубликованных статей, говорится в статье итальянцев. На долю peer review останутся, считают они, лишь области науки, где научные достижения не обязательно фиксируются в статьях (информатика и физика), а также прогнозирование социально-экономического потенциала научных результатов, заключают они. Важно, что этот вывод сделан сотрудниками государственного Совета по науке.

Конечно, до масштабного перехода к финансированию на основе библиометрии далеко, но сам этот переход уже не кажется невозможным. Речь идет в первую очередь об оценке крупных научно-образовательных единиц и о перераспределении масштабного сметного финансирования. Чиновники смогут замерять эффективность сами, но на фундаменте peer review журнальных экспертов, работающих бесплатно. Вполне возможно, что такая формальная технологизация приведет к изменениям предметного поля и содержания науки.