я могу 
Все гениальное просто!
Машины и Механизмы
Все записи
текст

Измерь то, не знаю что

Импакт-фактор, суммарный объем цитирования, индекс Хирша – сухие статистические формулы правят бал в современной науке. По ним оценивают эффективность работы ученых, отдельных институтов и даже целых отраслей. Однако именно в их преимуществе – простоте и универсальности – и кроется их главный недостаток.
Измерь то, не знаю что
Современная наука тесно связана с экономикой. И государства, и частные инвесторы тратят на ученых деньги, чтобы получить шанс заработать больше – например, на продаже новых товаров, на совершенствовании технологий производства или на улучшении управленческих методик. Но бюджеты у спонсоров, как правило, не бездонные, и они вынуждены выбирать, чью работу поддерживать. Чтобы облегчить им выбор, были изобретены многочисленные методы оценки эффективности научного труда. Среди них есть количественные оценки, когда подсчитываются подготовленные специалисты, опубликованные работы, полученные патенты и так далее. Есть экспертные, когда опытные и уважаемые исследователи оценивают работу коллег. А есть библиометрические, основанные на статистической оценке цитируемости научных статей. Именно они в последнее время становятся наиболее востребованными.

НАВЕРНОЕ, САМЫМ ИЗВЕСТНЫМ библиометрическим показателем является импакт-фактор (от англ. impact – воздействие, удар). Этот способ оценки важности журнала и качества материалов в нем предложен в 1960-х годах в США. Он показывает, сколько в среднем ссылок в научных изданиях было сделано на статьи из оцениваемого журнала, опубликованные в течение двух предыдущих лет. Вычислением импакт-фактора занимается американская компания Thomson Scientific, которая публикует результаты своих исследований в ежегодном издании Journal Citation Reports. Она индексирует около 9 тысяч журналов (в основном англоязычных) из 60 стран. От этого значимость импакт-фактора не уменьшается, ведь после войны основным языком мировой науки стал английский. Но в ряде стран, в том числе и в России, множество статей публикуется на национальных языках. Зачастую ученые в этих странах используют аналогичные индексы, в которых издания на их родном языке представлены полнее. В нашей стране такой указатель – Российский индекс научного цитирования – заработал в 2005 году, его запустила компания «Научная электронная библиотека».

индекс хирша.jpg

ОСНОВНОЙ НЕДОСТАТОК импакт-фактора заключается в том, что он неоправданно высоко оценивает статьи, которые описывают популярные методы исследования, – всякий ученый, использующий такой метод, обязан сослаться на первоисточник. В то же время статьи, вносящие значительный вклад в науку, могут цитироваться довольно мало, просто потому что представленные в них сложные теории на первых порах понятны лишь немногим.

ЧТОБЫ ИЗБЕЖАТЬ таких перекосов, ученые предпринимали немало попыток по изобретению новых методик. Одну из самых успешных предложил в 2005 году физик Хорхе Хирш из Калифорнийского университета в Сан-Диего. Для вычисления индекса Хирша (h-индекса) статьи ученого сортируют по уменьшению количества ссылок на них. Далее определяют статью, порядковый номер которой совпадает с числом ее цитирований, – это и будет индекс Хирша. Этот метод отсеивает не только методологические статьи, но и случаи, когда исследователь публикует много плохо цитируемых статей. У h-индекса тоже есть недостатки: он плохо оценивает работу ученых, у которых мало статей, пусть они даже будут очень ценными. Например, если бы ученый за всю свою жизнь опубликовал только одну работу, пусть и крайне важную для всей науки, его h-индекс так и остался бы единицей. В попытках улучшить работу h-индекса или расширить его применимость было предложено большое количество его модификаций: m-индекс, g-индекс, e-индекс, c-индекс и многие другие. 
ЗА ДОЛГИЕ ГОДЫ использования библиометрические показатели глубоко проникли в сознание научного сообщества. Так, на основе импакт-фактора научные сотрудники выбирают, в каком журнале публиковаться. Они исходят из убеждения, что чем выше этот индекс, тем выше вероятность, что их собственную работу процитируют. К тому же представители академической администрации зачастую любят упрощать себе задачу по оценке работы ученого. Ведь намного проще не анализировать количество и качество ссылок на научные работы, а ограничиваться лишь импакт-фактором журналов для назначения премий, выдачи грантов или для принятия кадровых решений.

ЧИНОВНИКИ ЛЮБЯТ библиометрические оценки за формальную «простоту и беспристрастность» статистических данных. Тем не менее, специалисты по статистике называют эту объективность иллюзорной. Математики Роберт Адлер, Джон Эвинг и Питер Тейлор в докладе Международного математического союза отметили, что злоупотребления статистиками цитирований «получили широкое распространение и являются вопиющими». По их словам, правительства, учреждения, да и сами ученые продолжают делать необоснованные или даже ложные заключения из неправильно использованных статистик цитирований, несмотря на неоднократные предостережения. 
Претензии математиков к тому же импакт-фактору вполне конкретны. Они отмечают, например, что нельзя сравнивать импакт-факторы журналов из разных дисциплин, так как в каждой из них есть собственные традиции цитирования, ученые ссылаются на статьи с разной частотой и по разным причинам. Но самое главное, по мнению математиков, что они в принципе не могут понять смысла импакт-фактора. Они подчеркивают: нет никакой общепринятой модели, которая определяла бы, что означает, что какой-то журнал «лучше». Единственная модель происходит от самого импакт-фактора – чем он больше, тем лучшим считается издание. Однако это противоречит самому принципу статистики, когда сначала выдвигается гипотеза, а уж потом ведутся подсчеты, чтобы ее доказать или опровергнуть. Математики – далеко не единственные, кто выступает против бездумного применения библиометрических данных. Главный редактор журнала Nature Филипп Кемпбелл признал, что высокий импакт-фактор может быть искажен из-за многократного цитирования небольшого числа статей, что и было доказано в ходе собственного внутреннего расследования издания. 

Несмотря на критику, мало кто выступает за полный запрет использования библиометрических методов. Ученые лишь подчеркивают, что невозможно оценить научный труд только по формальным признакам, не используя оценки компетентных экспертов. Но к их возражениям мало кто прислушивается, и роль библиометрических методов в оценке труда ученых продолжает расти во всем мире. Это вынуждает научных работников адаптироваться под новые правила игры. При этом некоторые из них делают улучшение формальных показателей своим основным приоритетом, вне зависимости от того, как это повлияет на реальное качество их работы. Студенты, чтобы повысить оценку своего диплома, «раздувают» список процитированных работ. Аспиранты, чтобы выполнить критерий по наличию опубликованных работ для защиты диссертации, печатаются в любом мало-мальски подходящем журнале (в России этот журнал обязан входить в список Высшей аттестационной комиссии при Министерстве образования и науки). А научные работники, чтобы выполнить требование по наличию статей в рецензируемых иностранных журналах, готовы публиковаться даже в изданиях с сомнительной репутацией, но зато англоязычных. 
Научным организациям тоже не чужды такие уловки. Так, в Великобритании в 2013 году университеты должны были предоставить свои данные для оценки деятельности по новым стандартам, при этом больше половины методов оценок составили чисто библиометрические параметры. Поскольку от результатов этого тестирования зависело государственное финансирование на ближайшие годы, университеты ринулись переманивать друг у друга высокорейтинговых ученых, тратя на это очень большие суммы. К примеру, по данным британской прессы, Университет Манчестера, чтобы переманить талантливого химика из Университета Эдинбурга, потратил более 4 млн фунтов только лишь на перестройку химических лабораторий. 
Механический учет количества публикаций и ссылок популярен и в нашей стране. Для россиян одним из основных показателей успешности науки является количество статей в международной базе данных Scopus (ею владеет голландская компания Elsevier). В ней индексируются научные работы, изданные на разных языках, но имеющие аннотации на английском. Количеством публикаций в этой базе данных в России оценивают и труд отдельных ученых, и работу научных организаций, и ход выполнения государственных программ. Другим важнейшим для российской науки параметром стала доля публикаций в поисковой платформе Web of Science (владелец – Thomson Reuters). С 2001 года по 2011-й доля российских публикаций в нем упала с 2,97 до 2,12 %. Для сравнения, у США этот показатель на протяжении десяти лет колебался около 30 %, а у Китая – вырос с 4,62 до 13,62 %. В мае 2012 года Владимир Путин издал указ, согласно которому к 2015 году доля российских публикаций должна увеличиться до 2,44 %.

ВАЖНО ПОДЧЕРКНУТЬ, что требования чиновников касаются увеличения именно количества статей, а не их цитирования. Так что многие российские исследователи подошли к выполнению задачи чисто формально. Они наперегонки с китайскими коллегами (которые были поставлены, по сути, в аналогичные условия на несколько лет раньше) начали активно публиковать статьи в англоязычных журналах, в том числе тех, чья влиятельность в мировой науке приближается к нулю. Высокая активность россиян, к примеру, была отмечена в изданиях Middle East Journal of Scientific Research, World Applied Sciences Journal и Life Science Journal. Эти журналы после многочисленных жалоб ученых со всего мира были исключены из индексов Scopus и Web of Science, к разочарованию оптимизаторов.

ВСЕМИРНАЯ ПОГОНЯ за высокими формальными показателями имеет огромные последствия для науки. Заставляя людей гоняться за цифрами, она ставит фальшивые цели и мешает реальной работе. Но сами по себе библиометрические методы не являются ни абсолютным злом, ни панацеей. Вопрос заключается лишь в том, как правильно их применять.

Наука для всех


Одна из важнейших идей в регулировании современной науки – любой должен иметь бесплатный быстрый доступ к результатам научных исследований, если они профинансированы на деньги налогоплательщиков. Сторонники считают, что это облегчит ученым диалог не только с обществом, но и друг с другом. А что думают об этом сами ученые? Личным мнением на эту тему с нами поделилась кардиофизиолог Фиона Хэтч – научный сотрудник Университета Суррея в Великобритании, член Физиологического общества Британии.

– Насколько важно вам, как ученому, иметь быстрый и открытый доступ к научной информации?
– Крайне важен доступ и к новым, и к старым статьям – прежде всего, чтобы правильно спланировать собственное исследование: знать, что было сделано в этом направлении до тебя, и кто из коллег занимается той же проблемой в данный момент. К счастью, с развитием Интернета доступ к научной информации становится все более открытым. Огромную роль в развитии открытого доступа к научным данным сыграла база медицинских и биологических научных работ PubMed, которую открыли в середине 90-х на основе Национальной медицинской библиотеки США. Сейчас она содержит данные о десятках миллионов статей на разных языках, и все это доступно на английском языке для широкой публики. В большинстве случаев на сайте PubMed есть прямые ссылки на публикации, которые можно тут же скачать.

– «В большинстве случаев» – значит, не всегда удается получить доступ к нужной статье?
– Такое случается. В Великобритании сотрудники университетов обычно получают доступ к статьям через университетские библиотеки: мы можем скачать статью с сайта платного журнала, если университет на него подписан. Но даже самые богатые университеты не могут подписаться абсолютно на все издания, просто потому что это дорого – до нескольких миллионов долларов в год.

– Читаете ли вы журналы с открытым доступом?

– В основном все-таки публикации платных изданий.

– Значит, вы все же больше доверяете платным журналам?
– Журналы с открытым доступом хороши тем, что ты сразу можешь прочесть о результатах новейших исследований. Однако качество статей в них вряд ли будет столь же высоким, как в традиционных изданиях. Ведущие платные журналы, например, Science и Nature, на рынке давно и крайне дорожат репутацией. Поэтому они тщательно рецензируют рукописи и стараются не публиковать работы сомнительного качества. В этих журналах печатают только самые интересные статьи, которым можно доверять. Журналы с открытым доступом такую репутацию еще не заслужили. Хорошие статьи в них, безусловно, есть, и они тоже рецензируют присылаемые работы, но качество рецензий не гарантировано. Так что в них выше вероятность наткнуться на статью, которая будет выглядеть как серьезная работа, но на деле окажется пустышкой.

– Может ли доверие к журналам с открытым доступом возрасти?
– Со временем да. Правительства разных стран прикладывают много усилий к тому, чтобы сделать общедоступной информацию о результатах исследований, сделанных за счет госбюджета. Например, в Великобритании ученые обязаны выкладывать результаты таких работ на сайты университетов. Следующим шагом вполне может быть требование публиковать подобные материалы в журналах с открытым доступом. Возможно, лет через десять открытый доступ станет обыденностью – если не помешает финансовый вопрос. На какие средства такие издания будут существовать? Как они будут платить за рецензии, верстку, печать и развитие сайта?

– Может быть, они повысят плату за публикацию? Сколько сейчас платят ученые за публикацию своих результатов в платных и бесплатных журналах?
– Примерно одинаково. Стоимость публикации в закрытом доступе варьируется от $ 1000 до 3500, плюс – нужно доплачивать за дополнительные возможности, например, размещение фотографий в цвете. Что касается журналов открытого доступа, я слышала от коллег цены от $ 800 до 2500. Обычно за публикации своих сотрудников платят университеты, или эти суммы выделяются из полученного лабораторией гранта.

– Рассматриваете ли вы возможность публикации своих работ в «открытом» журнале?
– По большому счету, для меня не важно, платный это или бесплатный журнал. На что я действительно обращаю внимание, так это на импакт-фактор: по сути, он показывает количество людей, которые читают издание. Я всегда выберу наиболее известный журнал с высоким импакт-фактором, чтобы повысить вероятность того, что мою статью заметят и процитируют как можно больше ученых. Потому что от этого зависит моя будущая карьера, дальнейшие гранты и исследования, абсолютно все. Журналы с открытым доступом таким высоким импакт-фактором пока не обладают.

– А нужна ли обычным людям информация о результатах научных исследований?
– Думаю, это полезно тем, кто интересуется наукой. Сейчас они узнают об исследованиях в основном из СМИ, которые часто искажают суть научных работ. В результате у общества формируется искаженное представление о науке в целом. Так что я бы советовала всем, увидев по телевизору новость об изобретении лекарства против рака, не верить журналистам, а найти оригинал научной статьи. В этом смысле для популяризации науки нет ничего лучше, чем практика выкладывания статей в открытый доступ.

– Не могут ли данные из таких статей навредить кому-нибудь?
– Маловероятно, что их кто-то использует для создания оружия, – для этого нужно еще и получить доступ к опасным веществам, иметь соответствующую лабораторию и квалифицированный персонал для повторения эксперимента. Кто действительно может пострадать, так это сами ученые. Неспециалисту сложно разобраться в научной статье, и люди, не имеющие отношения к науке, могут не понять написанного или понять неправильно. А не осознав важности эксперимента, легко решить, что ученые зря тратят деньги. Еще большую проблему может вызвать упоминание экспериментов на животных. У нас в стране есть люди, которые категорически против таких опытов. Они вполне способны найти исследователя и, например, провести демонстрацию перед его домом или перевернуть его машину.

– Неужели эта проблема настолько остра?

– На моих коллег за последние 10 лет никто не нападал, но я слышала о нескольких демонстрациях перед университетами. Споры об использовании животных в экспериментах идут на самом высоком уровне, и позиции зоозащитников очень сильны. Член Парламента Норман Бейкер, отвечающий за регулирование экспериментов над животными, выступает за полный их запрет. Я считаю это неразумным, ведь тогда станет невозможной разработка новых лекарств. К сожалению, в каждой статье не объяснишь, что лабораторное животное содержится в лучших условиях, чем многие домашние питомцы, а многочисленные комиссии следят, чтобы оно не страдало. Непрофессионалы об этом даже не догадываются. Так что, если развивать открытый доступ к научным статьям, надо озаботиться тем, чтобы любой смог не только прочесть их, но и понять.

– Как это можно сделать?
– Например, требовать у авторов краткое содержание результатов исследований на предельно простом языке. Из этого текста должно быть однозначно понятно, какую проблему затронуло исследование, какие методы использовались и в чем ценность полученных данных. Сейчас такой практики нет. Но, может быть, лет через десять, когда открытый доступ для статей станет повсеместным, такой подход поможет наладить более тесное взаимодействие между обществом и учеными.

Наука

Машины и Механизмы
Всего 0 комментариев
Комментарии

Рекомендуем

OK OK OK OK OK OK OK