eng
Выпуск #2/2017
Статья = контрольная работа? Критерии оценки результатов научных исследований
Просмотры: 2877
DOI: 10.22184/2227-572X.2017.33.2.20.24
Сегодня Минобрнауки РФ активно внедряет систему оценки эффективности деятельности научных организаций, коллективов, отдельных ученых на основе библиометрических показателей (индекс Хирша, индекс цитируемости, импакт-фактор и т.п.). Эта оценка во многом определяет размеры грантов и других видов финансирования, предоставляемых научным учреждениям. Насколько объективна такая система? И возможны ли альтернативные подходы?
Альберт ЛЕБЕДЕВ
д.х.н., профессор химического факультета МГУ
Привлечение математики в любую науку делает ее строже, точнее и даже красивее. Библиометрия – молодая наука. Действительно, введение количественных показателей для оценки деятельности – это пример разумного подхода для сравнения вклада разных ученых в мировую науку. Первым и наиболее простым вариантом был подсчет общего количества опубликованных статей. Да, это действительно показатель активности ученого, если, конечно, он принимает реальное участие в работе над этими публикациями, а не просто вписывает свою фамилию в авторский коллектив, пользуясь своим положением. Однако каждый исследователь знает, что статьи, которые он пишет, по уровню отличаются. Он прекрасно понимает, какими работами можно гордиться, а какие были сделаны, но не привнесли в мир науки существенной новизны. Каждый автор хочет, чтобы его работы читали. Что толку в написании 100 научных статей, на которые никто не обратил внимания и ни разу не процитировал? Эффект такой деятельности стремится к нулю. Поэтому следующий появившийся библиометрический показатель – число цитирований (индекс цитируемости) – позволил дать более реальную оценку востребованности научным сообществом публикаций конкретного ученого. В 2005 году американский физик Хорхе Хирш из университета Сан-Диего в Калифорнии в качестве альтернативы классическому "индексу цитируемости" предложил новый наукометрический показатель, индекс Хирша, или h-индекс. Рассчитывается он достаточно просто. Например, h-индекс 12 означает, что у автора есть, по крайней мере, 12 работ, на каждую из которых есть не менее 12 ссылок. Этот вариант показателя позволяет отсеивать случайности, когда, например, человек оказался соавтором отличной статьи, процитированной в дальнейшем 1000 раз. Но если другие статьи этого автора никто не читает, его h-индекс будет равен единице. Индекс Хирша будет невысоким и у того, кто опубликовал много статей, которые никто не читает, и у тех, кто пишет отличные цитируемые статьи, но в очень небольшом количестве. В России h-индексом заинтересовались примерно в 2011 году. Стоит отметить, что разные научные институты рассчитывают несколько отличающиеся индексы Хирша. Учитываются разные журналы, книги, разные годы издания и т.д. Наиболее популярен сегодня достаточно строгий индекс Web of Science. Самый мягкий, включающий, практически все публикации – Google Scholar. Важным является тот факт, что международный h-индекс (например, в Web of Science) нельзя быстро увеличить. Надо действительно писать много востребованных научным сообществом статей.
Индекс Хирша, безусловно, не идеальный показатель. Он существенно отличается для представителей разных специальностей. Максимальные индексы характерны для биологов и медиков, минимальные – для математиков. Надо понимать, что с годами h-индекс может только увеличиваться, причем даже после смерти ученого. Поэтому оценка деятельности молодых исследователей как правило занижена. Кстати, h-индексы российских ученых ниже, чем у их коллег на Западе. Например, мои однокурсники, уехавшие из страны в начале 90-х годов, имеют индексы Хирша около 40, а оставшиеся в России, даже будучи докторами наук и профессорами МГУ с отличной репутацией у своих иностранных коллег, – около 15. И даже эти 15 – высокий показатель, если посмотреть на ученых России в целом. Мы меньше цитируем друг друга. По каким причинам – сказать трудно. Еще один момент связан с доверием исследователей к результатам конкретных авторов. Понятно, что среди нескольких аналогичных выбирается ссылка именно на публикацию самого уважаемого автора и, желательно, в наиболее рейтинговом журнале. Сослаться же на все сделанные в данной области работы невозможно. Их тысячи, если речь не идет о чрезвычайно узком направлении исследования. Часто и число ссылок в журнальной статье ограничено. Например, работая над обзором по масс-спектрометрии в исследованиях объектов окружающей среды для наиболее высокорейтингового журнала в аналитической химии Annual Review of Analytical Chemistry, я не обратил внимание на это ограничение. Подготовив выжимку по 500 публикациям, я обнаружил, что максимально могу процитировать только 150. Пришлось перерабатывать весь материал. Авторы "выброшенных" статей могли быть процитированы, но этого не случилось.
Несмотря на высказанные недостатки, индекс Хирша все-таки полезный показатель. Он позволяет оценить вклад человека в науку, особенно, если принять во внимание его возраст, отрасль знаний, команду соавторов. К сожалению, используют этот показатель далеко не всегда. Достаточно посмотреть на список новых членов РАН. Понятно, что говорить о выдающемся вкладе в мировую науку ученых с h-индексами 3, 4, 5 не приходится. Это уровень аспирантов приличных вузов. На мой взгляд, академия сама роняет свой рейтинг, пополняя ряды такими людьми.
Рейтинги журналов (импакт-факторы) в последнее время стали для всех пишущих ученых весьма важным ориентиром. Чем выше рейтинг журнала, тем больше вероятность того, что опубликованную в нем статью заметят и станут цитировать. Возрастает и доверие к ее результатам, поскольку публикации в рейтинговом журнале предшествует очень серьезная стадия рецензирования. Мало того, теперь во многих институтах России автор получает за такую статью приличную премию, то есть появилась и финансовая заинтересованность. Поскольку среди высокорейтинговых журналов российские отсутствуют (за исключением "Успехов химии"), мы оказались в весьма сложной ситуации. С одной стороны все понимают, что хорошо бы поднять уровень российских журналов, однако дело это не быстрое и требующее активности от многих заинтересованных исследователей. Для этого надо публиковать в конкретном журнале статьи мирового уровня в течение десятка лет, а при этом каждому автору очень хочется действительно хороший материал разместить в журнале, у которого уже сейчас высокий рейтинг. Проблема серьезная.
Наши национальные индексы РИНЦ сделаны по аналогичной схеме. К сожалению, коррупция в России не обходит стороной и наукометрию. Очень много конкретных материалов по методам раскрутки импакт-факторов российских журналов и персональных национальных h-индексов публикуется в "Троицком варианте". Такие прецеденты только увеличивают недоверие к российским публикациям со стороны мирового сообщества. Для повышения рейтингов журналов есть только один путь: привлекать хорошие статьи авторов с известными именами, безжалостно отсекая все слабые работы, которые дискредитируют издание.
Игорь ЗЕНКЕВИЧ
д.х.н., профессор кафедры органической химии Института химии СПбГУ
Еще в середине прошлого века дотошные американские (хорошо, что не британские) ученые решили выяснить, кто из живших когда-либо людей отличался наибольшей оригинальностью мышления и оставил самый заметный след в истории человечества. Интересно было бы знать – я не проверял, а какими критериями они тогда, более 50 лет назад, пользовались? Никакого индекса Хирша в то время и в помине не было. Однако же ответ был получен, и он оказался вполне ожидаемым – это Аристотель.
Многочисленные индексы позволяют более или менее независимо оценить деятельность как организаций, так и отдельных ученых. Но если, во-первых, задаться вопросом, а кому нужно оцифровывать ученых, то окажется, что для большинства из них такие оценки, скорее всего, не главное. Это нужно тем, кто определяет их финансирование, прием на работу и т.п. Во-вторых, можно ли так модифицировать деятельность, чтобы целенаправленно увеличить свои показатели? Ответ – да, причем, полагаю, многие эффективно пользуются такими приемами, не очень их афишируя. Например, весьма "полезно" отказаться от публикации статей в российских журналах (у многих наших изданий сейчас проблемы с заполнением портфелей). Неплохо публиковаться в соавторстве с иностранными коллегами, хоть десятым по счету, ибо это престижно. В учебных заведениях заметно появление студентов, которые еще пока мало что умеют, но твердо знают, что они хотят и будут печатать свои статьи в иностранных изданиях. В общем, как говорил персонаж Леонида Быкова из известного фильма "В бой идут одни старики": "Летать не умеют. Стрелять не умеют. Но орлы".
Кроме того, великое многообразие критериев и индексов (несколько сотен) позволяет почти любой объект отнести как к достойным внимания, так и к аутсайдерам. Ну, например, кто без обращения к Интернету сразу скажет, что такое индекс Херфиндаля? Вот то-то же.
Объектами индексирования являются как конкретные личности, так и, например, различные издания. Главное выбрать правильные критерии, которые, к тому же, можно вовремя поменять. Есть ли иные способы оценки? Да, но об их эффективности судить тоже сложно. Например, известно, что англоязычные переводы статей российских авторов доступны в Интернете (платная услуга). Тогда в качестве критерия эффективности деятельности того или иного ученого вполне можно выбрать сумму, полученную (кем?) за переводы его статей. Однако эта информация практически недоступна.
Ну а если серьезно, то складывающаяся практика распределения благ за соответствие или несоответствие каким-то индексам не так безобидна. Дело в том, что при этом игнорируется суть научной деятельности, далеко не все аспекты которой можно свести к числовым показателям. Например, с 2008 года в мировой литературе прослеживается крайне опасная тенденция публикации просто недостоверных результатов хромато-масс-спектрометрической идентификации (Zenkevich I.G. Prevention of a dangerous tendency in the presentation of the results of GC-MS identification // Anal. Bioanal. Chem. 2013. V. 405. P. 3075–3083). В качестве одной из причин этого можно назвать приоритет ценности факта конкретной публикации по сравнению с абстрактным критерием научной истины. Кроме того, совершенно недопустимо перерастание наукометрических показателей в этические критерии оценки личностных качеств "я лучше – ты хуже" (или наоборот). Научная деятельность не спорт, где без этого нельзя. Особенно опасно это для молодежи, которой не хватает примеров для сравнения.
SCHAIDULINA.psdГульнара ШАЙДУЛЛИНА
к.х.н., специалист отдела продаж LECO Russia
Любая однозначная система оценки способностей человека, эффективности его деятельности, креативного потенциала, значимости получаемых им результатов – это некая грубая модель, которая для одних целей приемлема, а для других – ошибочна.
Как относиться к библиометрическим показателям? С большими ограничениями и оговорками их значения можно иногда принять во внимание. Сравнение двух ученых из одной научной локализации может быть корректным, но стоит выйти за ее границы, все выводы становятся ошибочными. К значимым факторам локализации в науке можно отнести языковую среду, принадлежность к поколению, дифференциацию по фундаментальным областям, сегментацию по популярности трендов и некоторые другие различия.
Например, в науке происходят волнообразные периоды бурного развития отдельных сегментов, но рост зачастую происходит "не вглубь, а вширь". В рамках тренда наблюдается быстрый рост взаимного и самоцитирования. Однако значит ли это, что ученый, который чувствует модные тенденции в науке и является "профессиональным грантополучателем", сделает в итоге что-то более важное, чем тот, кто работает в "закрытой" стратегической области или ограничен периметром засекреченности из-за промышленно-коммерческой сферы приложения? У министерств и фондов должны быть свои эксперты, способные "отделить зерна от плевел".
В алгоритмах расчета индексов много ошибок. Например, один и тот же российский ученый, который участвует в проектах разных организаций, может получить несколько научных "аватаров" с разными местами работы. А если в фамилии есть какая-то буква, которая при транслитерации может меняться, то число "виртуальных клонов" увеличивается в разы. Поскольку общий результат количества цитирований делится по всем способам написания фамилии и по всем аффилированным организациям, то по методикам Scopus и Web of Science получаются ошибочные индексы. И здесь видим, что все-таки "аршином общим не измерить".
Объективны ли индексы? Рассмотрим, к примеру, что может означать большое число фолловеров (читателей, подписчиков, последователей) в Twitter или Instagram. Только то, что человек специально этим занимается. Есть много элегантных способов поднять этот показатель, которыми, например, активно пользуются маркетологи поколения "Y", а есть и не совсем красивые методы "прокачки". Но ведь это же не значит, что человек с небольшим числом фолловеров объективно хуже. Кто хочет помериться индексами, пусть меряются. Проблемы возникают, когда результаты этого сравнения трактуются ошибочно.
По аналогии с активностью в информационном пространстве можно сравнить и научное сообщество. Философия одних поколений ученых была "лучше меньше, да лучше", у других – "чем больше, тем лучше". Это происходит, в том числе из-за изменения системы финансирования научных исследований. Хотите посмеяться над индексом Хирша, сравните этот показатель у Альберта Эйнштейна с нынешними "рекордсменами". Корректно ли будет такое сравнение с учетом их реального вклада в науку?
Александр КЕССЕНИХ
д.ф.-м.н., профессор, ведущий научный сотрудник ИИЕТ им. С.И.Вавилова РАН
Конечно, индекс цитирования и даже индекс Хирша о чем-то говорят. Импакт-фактор характеризует не только работу редакции журнала, но также масштаб и динамику исследований в области, которой журнал посвящен. Плохую и неинтересную работу могут вовсе не заметить. Правда, часто поначалу не обращают внимания и на что-то новое, непонятное массам или боссам (а потом спохватываются). И есть области, где просто мало народа работает, и потому число ссылок весьма умеренное. Издаются малыми тиражами хорошие сборники и монографии, надо бы дать к ним доступ в Интернете. Так что применять надо библиометрию с осторожностью, что, кажется, постепенно доходит и до ФАНО (правда, причем тут оно?).
Виноват, я, кажется, заговорил стихами. Продолжу в том же духе:
Пришел начальства новый клон,
Ну-ну! К чему же клонит он?
Как с нами быть, как поступить? –
Науку нужно "оскопить".
Но в этот Scopus, вот беда,
Не попадают без труда,
Причем труда не только тех,
Чей измеряется успех.
Дирекций и редакций труд
Совсем не лишним будет тут.
Ну а пока что в Интернет
Реклама прет, и спасу нет
От предложений: "Эй, мусью,
За ваши денежки статью
Сейчас же быстро издадим
И прямо в Scopus предадим.
И вас теперь за черный нал
Навек прославит наш журнал".
И новый рыночный продукт
Уж вызревает словно фрукт.
Ну а по-серьезному, порядка в этом деле нет в самих Scopus и WoS: см. статью в "Трибуне УФН" (Аксентьева М.С., Кириллова О.В., Москалева О.В. К вопросу цитирования в Web of Science и Scopus статей из российских журналов, имеющих переводные версии // Научная периодика: проблемы и решения. 2013. Вып. 4(16) С. 4–18. (https://ufn.ru/ru/tribune).
А как быть тем, чья тематика не для переводимых журналов? Пусть печатаются в международных журналах? А если таких нет, а исследования нужно проводить? И почему движение идет только в одну сторону? Ведь издавался же журнал "Приборы для научных исследований" – русский перевод ежемесячного журнала Американского института физики "The review of scientific instruments". Он выходил с 1961 по 1991 год, издание закрыто после на № 6 1991 года. В этом деле нужна взаимность, поэтому главное – уровень исследований. Библиометрия полезна, но наука важна сама по себе.
И не надо спешить с оценкой работы – не по году, а по десятилетиям надо измерять. Сошлюсь на свой опыт. Идею кросс-эффекта в динамической поляризации ядер мы с соавторами высказали в трех работах 1963–1964 годов (Kessenikh A.V., Lushchikov V.I., Manenkov A.A, Taran Yu.V. Soviet Physics //
Solid State 1963. Cited by 86 Related articles; Kessenikh A.V., Manenkov A.A, Pyatnitskii G.I. Soviet Physics // Solid State 1964. Cited by 62 Related articles; Kessenikh A.V., Manenkov A.A. Soviet Physics // Solid State 1963. Cited by 24 Related articles). За первые сорок лет было всего пять цитирований, а с 2004 года до 2016-го достигло более 160 (по всем по трем). ■
Альберт ЛЕБЕДЕВ
д.х.н., профессор химического факультета МГУ
Привлечение математики в любую науку делает ее строже, точнее и даже красивее. Библиометрия – молодая наука. Действительно, введение количественных показателей для оценки деятельности – это пример разумного подхода для сравнения вклада разных ученых в мировую науку. Первым и наиболее простым вариантом был подсчет общего количества опубликованных статей. Да, это действительно показатель активности ученого, если, конечно, он принимает реальное участие в работе над этими публикациями, а не просто вписывает свою фамилию в авторский коллектив, пользуясь своим положением. Однако каждый исследователь знает, что статьи, которые он пишет, по уровню отличаются. Он прекрасно понимает, какими работами можно гордиться, а какие были сделаны, но не привнесли в мир науки существенной новизны. Каждый автор хочет, чтобы его работы читали. Что толку в написании 100 научных статей, на которые никто не обратил внимания и ни разу не процитировал? Эффект такой деятельности стремится к нулю. Поэтому следующий появившийся библиометрический показатель – число цитирований (индекс цитируемости) – позволил дать более реальную оценку востребованности научным сообществом публикаций конкретного ученого. В 2005 году американский физик Хорхе Хирш из университета Сан-Диего в Калифорнии в качестве альтернативы классическому "индексу цитируемости" предложил новый наукометрический показатель, индекс Хирша, или h-индекс. Рассчитывается он достаточно просто. Например, h-индекс 12 означает, что у автора есть, по крайней мере, 12 работ, на каждую из которых есть не менее 12 ссылок. Этот вариант показателя позволяет отсеивать случайности, когда, например, человек оказался соавтором отличной статьи, процитированной в дальнейшем 1000 раз. Но если другие статьи этого автора никто не читает, его h-индекс будет равен единице. Индекс Хирша будет невысоким и у того, кто опубликовал много статей, которые никто не читает, и у тех, кто пишет отличные цитируемые статьи, но в очень небольшом количестве. В России h-индексом заинтересовались примерно в 2011 году. Стоит отметить, что разные научные институты рассчитывают несколько отличающиеся индексы Хирша. Учитываются разные журналы, книги, разные годы издания и т.д. Наиболее популярен сегодня достаточно строгий индекс Web of Science. Самый мягкий, включающий, практически все публикации – Google Scholar. Важным является тот факт, что международный h-индекс (например, в Web of Science) нельзя быстро увеличить. Надо действительно писать много востребованных научным сообществом статей.
Индекс Хирша, безусловно, не идеальный показатель. Он существенно отличается для представителей разных специальностей. Максимальные индексы характерны для биологов и медиков, минимальные – для математиков. Надо понимать, что с годами h-индекс может только увеличиваться, причем даже после смерти ученого. Поэтому оценка деятельности молодых исследователей как правило занижена. Кстати, h-индексы российских ученых ниже, чем у их коллег на Западе. Например, мои однокурсники, уехавшие из страны в начале 90-х годов, имеют индексы Хирша около 40, а оставшиеся в России, даже будучи докторами наук и профессорами МГУ с отличной репутацией у своих иностранных коллег, – около 15. И даже эти 15 – высокий показатель, если посмотреть на ученых России в целом. Мы меньше цитируем друг друга. По каким причинам – сказать трудно. Еще один момент связан с доверием исследователей к результатам конкретных авторов. Понятно, что среди нескольких аналогичных выбирается ссылка именно на публикацию самого уважаемого автора и, желательно, в наиболее рейтинговом журнале. Сослаться же на все сделанные в данной области работы невозможно. Их тысячи, если речь не идет о чрезвычайно узком направлении исследования. Часто и число ссылок в журнальной статье ограничено. Например, работая над обзором по масс-спектрометрии в исследованиях объектов окружающей среды для наиболее высокорейтингового журнала в аналитической химии Annual Review of Analytical Chemistry, я не обратил внимание на это ограничение. Подготовив выжимку по 500 публикациям, я обнаружил, что максимально могу процитировать только 150. Пришлось перерабатывать весь материал. Авторы "выброшенных" статей могли быть процитированы, но этого не случилось.
Несмотря на высказанные недостатки, индекс Хирша все-таки полезный показатель. Он позволяет оценить вклад человека в науку, особенно, если принять во внимание его возраст, отрасль знаний, команду соавторов. К сожалению, используют этот показатель далеко не всегда. Достаточно посмотреть на список новых членов РАН. Понятно, что говорить о выдающемся вкладе в мировую науку ученых с h-индексами 3, 4, 5 не приходится. Это уровень аспирантов приличных вузов. На мой взгляд, академия сама роняет свой рейтинг, пополняя ряды такими людьми.
Рейтинги журналов (импакт-факторы) в последнее время стали для всех пишущих ученых весьма важным ориентиром. Чем выше рейтинг журнала, тем больше вероятность того, что опубликованную в нем статью заметят и станут цитировать. Возрастает и доверие к ее результатам, поскольку публикации в рейтинговом журнале предшествует очень серьезная стадия рецензирования. Мало того, теперь во многих институтах России автор получает за такую статью приличную премию, то есть появилась и финансовая заинтересованность. Поскольку среди высокорейтинговых журналов российские отсутствуют (за исключением "Успехов химии"), мы оказались в весьма сложной ситуации. С одной стороны все понимают, что хорошо бы поднять уровень российских журналов, однако дело это не быстрое и требующее активности от многих заинтересованных исследователей. Для этого надо публиковать в конкретном журнале статьи мирового уровня в течение десятка лет, а при этом каждому автору очень хочется действительно хороший материал разместить в журнале, у которого уже сейчас высокий рейтинг. Проблема серьезная.
Наши национальные индексы РИНЦ сделаны по аналогичной схеме. К сожалению, коррупция в России не обходит стороной и наукометрию. Очень много конкретных материалов по методам раскрутки импакт-факторов российских журналов и персональных национальных h-индексов публикуется в "Троицком варианте". Такие прецеденты только увеличивают недоверие к российским публикациям со стороны мирового сообщества. Для повышения рейтингов журналов есть только один путь: привлекать хорошие статьи авторов с известными именами, безжалостно отсекая все слабые работы, которые дискредитируют издание.
Игорь ЗЕНКЕВИЧ
д.х.н., профессор кафедры органической химии Института химии СПбГУ
Еще в середине прошлого века дотошные американские (хорошо, что не британские) ученые решили выяснить, кто из живших когда-либо людей отличался наибольшей оригинальностью мышления и оставил самый заметный след в истории человечества. Интересно было бы знать – я не проверял, а какими критериями они тогда, более 50 лет назад, пользовались? Никакого индекса Хирша в то время и в помине не было. Однако же ответ был получен, и он оказался вполне ожидаемым – это Аристотель.
Многочисленные индексы позволяют более или менее независимо оценить деятельность как организаций, так и отдельных ученых. Но если, во-первых, задаться вопросом, а кому нужно оцифровывать ученых, то окажется, что для большинства из них такие оценки, скорее всего, не главное. Это нужно тем, кто определяет их финансирование, прием на работу и т.п. Во-вторых, можно ли так модифицировать деятельность, чтобы целенаправленно увеличить свои показатели? Ответ – да, причем, полагаю, многие эффективно пользуются такими приемами, не очень их афишируя. Например, весьма "полезно" отказаться от публикации статей в российских журналах (у многих наших изданий сейчас проблемы с заполнением портфелей). Неплохо публиковаться в соавторстве с иностранными коллегами, хоть десятым по счету, ибо это престижно. В учебных заведениях заметно появление студентов, которые еще пока мало что умеют, но твердо знают, что они хотят и будут печатать свои статьи в иностранных изданиях. В общем, как говорил персонаж Леонида Быкова из известного фильма "В бой идут одни старики": "Летать не умеют. Стрелять не умеют. Но орлы".
Кроме того, великое многообразие критериев и индексов (несколько сотен) позволяет почти любой объект отнести как к достойным внимания, так и к аутсайдерам. Ну, например, кто без обращения к Интернету сразу скажет, что такое индекс Херфиндаля? Вот то-то же.
Объектами индексирования являются как конкретные личности, так и, например, различные издания. Главное выбрать правильные критерии, которые, к тому же, можно вовремя поменять. Есть ли иные способы оценки? Да, но об их эффективности судить тоже сложно. Например, известно, что англоязычные переводы статей российских авторов доступны в Интернете (платная услуга). Тогда в качестве критерия эффективности деятельности того или иного ученого вполне можно выбрать сумму, полученную (кем?) за переводы его статей. Однако эта информация практически недоступна.
Ну а если серьезно, то складывающаяся практика распределения благ за соответствие или несоответствие каким-то индексам не так безобидна. Дело в том, что при этом игнорируется суть научной деятельности, далеко не все аспекты которой можно свести к числовым показателям. Например, с 2008 года в мировой литературе прослеживается крайне опасная тенденция публикации просто недостоверных результатов хромато-масс-спектрометрической идентификации (Zenkevich I.G. Prevention of a dangerous tendency in the presentation of the results of GC-MS identification // Anal. Bioanal. Chem. 2013. V. 405. P. 3075–3083). В качестве одной из причин этого можно назвать приоритет ценности факта конкретной публикации по сравнению с абстрактным критерием научной истины. Кроме того, совершенно недопустимо перерастание наукометрических показателей в этические критерии оценки личностных качеств "я лучше – ты хуже" (или наоборот). Научная деятельность не спорт, где без этого нельзя. Особенно опасно это для молодежи, которой не хватает примеров для сравнения.
SCHAIDULINA.psdГульнара ШАЙДУЛЛИНА
к.х.н., специалист отдела продаж LECO Russia
Любая однозначная система оценки способностей человека, эффективности его деятельности, креативного потенциала, значимости получаемых им результатов – это некая грубая модель, которая для одних целей приемлема, а для других – ошибочна.
Как относиться к библиометрическим показателям? С большими ограничениями и оговорками их значения можно иногда принять во внимание. Сравнение двух ученых из одной научной локализации может быть корректным, но стоит выйти за ее границы, все выводы становятся ошибочными. К значимым факторам локализации в науке можно отнести языковую среду, принадлежность к поколению, дифференциацию по фундаментальным областям, сегментацию по популярности трендов и некоторые другие различия.
Например, в науке происходят волнообразные периоды бурного развития отдельных сегментов, но рост зачастую происходит "не вглубь, а вширь". В рамках тренда наблюдается быстрый рост взаимного и самоцитирования. Однако значит ли это, что ученый, который чувствует модные тенденции в науке и является "профессиональным грантополучателем", сделает в итоге что-то более важное, чем тот, кто работает в "закрытой" стратегической области или ограничен периметром засекреченности из-за промышленно-коммерческой сферы приложения? У министерств и фондов должны быть свои эксперты, способные "отделить зерна от плевел".
В алгоритмах расчета индексов много ошибок. Например, один и тот же российский ученый, который участвует в проектах разных организаций, может получить несколько научных "аватаров" с разными местами работы. А если в фамилии есть какая-то буква, которая при транслитерации может меняться, то число "виртуальных клонов" увеличивается в разы. Поскольку общий результат количества цитирований делится по всем способам написания фамилии и по всем аффилированным организациям, то по методикам Scopus и Web of Science получаются ошибочные индексы. И здесь видим, что все-таки "аршином общим не измерить".
Объективны ли индексы? Рассмотрим, к примеру, что может означать большое число фолловеров (читателей, подписчиков, последователей) в Twitter или Instagram. Только то, что человек специально этим занимается. Есть много элегантных способов поднять этот показатель, которыми, например, активно пользуются маркетологи поколения "Y", а есть и не совсем красивые методы "прокачки". Но ведь это же не значит, что человек с небольшим числом фолловеров объективно хуже. Кто хочет помериться индексами, пусть меряются. Проблемы возникают, когда результаты этого сравнения трактуются ошибочно.
По аналогии с активностью в информационном пространстве можно сравнить и научное сообщество. Философия одних поколений ученых была "лучше меньше, да лучше", у других – "чем больше, тем лучше". Это происходит, в том числе из-за изменения системы финансирования научных исследований. Хотите посмеяться над индексом Хирша, сравните этот показатель у Альберта Эйнштейна с нынешними "рекордсменами". Корректно ли будет такое сравнение с учетом их реального вклада в науку?
Александр КЕССЕНИХ
д.ф.-м.н., профессор, ведущий научный сотрудник ИИЕТ им. С.И.Вавилова РАН
Конечно, индекс цитирования и даже индекс Хирша о чем-то говорят. Импакт-фактор характеризует не только работу редакции журнала, но также масштаб и динамику исследований в области, которой журнал посвящен. Плохую и неинтересную работу могут вовсе не заметить. Правда, часто поначалу не обращают внимания и на что-то новое, непонятное массам или боссам (а потом спохватываются). И есть области, где просто мало народа работает, и потому число ссылок весьма умеренное. Издаются малыми тиражами хорошие сборники и монографии, надо бы дать к ним доступ в Интернете. Так что применять надо библиометрию с осторожностью, что, кажется, постепенно доходит и до ФАНО (правда, причем тут оно?).
Виноват, я, кажется, заговорил стихами. Продолжу в том же духе:
Пришел начальства новый клон,
Ну-ну! К чему же клонит он?
Как с нами быть, как поступить? –
Науку нужно "оскопить".
Но в этот Scopus, вот беда,
Не попадают без труда,
Причем труда не только тех,
Чей измеряется успех.
Дирекций и редакций труд
Совсем не лишним будет тут.
Ну а пока что в Интернет
Реклама прет, и спасу нет
От предложений: "Эй, мусью,
За ваши денежки статью
Сейчас же быстро издадим
И прямо в Scopus предадим.
И вас теперь за черный нал
Навек прославит наш журнал".
И новый рыночный продукт
Уж вызревает словно фрукт.
Ну а по-серьезному, порядка в этом деле нет в самих Scopus и WoS: см. статью в "Трибуне УФН" (Аксентьева М.С., Кириллова О.В., Москалева О.В. К вопросу цитирования в Web of Science и Scopus статей из российских журналов, имеющих переводные версии // Научная периодика: проблемы и решения. 2013. Вып. 4(16) С. 4–18. (https://ufn.ru/ru/tribune).
А как быть тем, чья тематика не для переводимых журналов? Пусть печатаются в международных журналах? А если таких нет, а исследования нужно проводить? И почему движение идет только в одну сторону? Ведь издавался же журнал "Приборы для научных исследований" – русский перевод ежемесячного журнала Американского института физики "The review of scientific instruments". Он выходил с 1961 по 1991 год, издание закрыто после на № 6 1991 года. В этом деле нужна взаимность, поэтому главное – уровень исследований. Библиометрия полезна, но наука важна сама по себе.
И не надо спешить с оценкой работы – не по году, а по десятилетиям надо измерять. Сошлюсь на свой опыт. Идею кросс-эффекта в динамической поляризации ядер мы с соавторами высказали в трех работах 1963–1964 годов (Kessenikh A.V., Lushchikov V.I., Manenkov A.A, Taran Yu.V. Soviet Physics //
Solid State 1963. Cited by 86 Related articles; Kessenikh A.V., Manenkov A.A, Pyatnitskii G.I. Soviet Physics // Solid State 1964. Cited by 62 Related articles; Kessenikh A.V., Manenkov A.A. Soviet Physics // Solid State 1963. Cited by 24 Related articles). За первые сорок лет было всего пять цитирований, а с 2004 года до 2016-го достигло более 160 (по всем по трем). ■
Отзывы читателей
