ВЕСТНИК РОССИЙСКОЙ АКАДЕМИИ НАУК, 2015, том 85, № 4, с. 310-320
ОРГАНИЗАЦИЯ ИССЛЕДОВАТЕЛЬСКОЙ ДЕЯТЕЛЬНОСТИ
Б01: 10.7868/80869587315010053
Наукометрическая оценка сегодня является неотъемлемой частью как практики внутреннего управления научными учреждениями, так и системы оказания финансовой поддержки со стороны государства и частного сектора. Учёные при этом по-разному относятся к наукометрии и её использованию для определения эффективности научной деятельности — от резкого неприятия до (значительно реже) готовности вносить предложения по корректировке наукометрического инструментария и практики его применения. Этой стратегии придерживается автор публикуемой статьи. Выявляя недостатки имеющихся индикаторов, он показывает, как можно сделать их более адекватными тем задачам, ради решения которых они разрабатываются.
ОБ ИНДЕКСАХ ЦИТИРОВАНИЯ НАУЧНЫХ РАБОТ
А.С. Холодов
С появлением современных информационных технологий, в частности мощных поисковых систем, огромные объёмы накопленных ранее и вновь создаваемых научных знаний стали доступны для весьма широкой аудитории — постоянно расширяющегося круга пользователей. В то же время обострилась проблема систематизации информации, что вызвало рост интереса к наукометрии [1]. Предпринимаются попытки количественной оценки значимости отдельных работ, ранжирования авторов и авторских коллективов в соответствии с различными количественно обсчитываемыми показателями. Прежде учёный вёл личный список печатных (иногда и рукописных) работ в виде так называемой формы 4, заверяемой учёным секретарём организации-работодателя и использовавшейся в достаточно ограниченном масштабе — при аттестации, переводе на новую научную должность, защите диссертаций и т.п. Сейчас гораздо большая по объёму информация (включая значения числа цитирований из разных поисковых систем, всевозможные индексы цитирования и импакт-факторы) всё более ак-
ХОЛОДОВ Александр Сергеевич — член-корреспондент РАН, директор Института автоматизации проектирования РАН.
xolod@crec.mipt.ru
тивно используется работодателями, в том числе для оценки эффективности труда научных сотрудников.
В настоящей статье будут рассматриваться показатели, связанные с числом цитирований публикаций. Число цитирований работы в определённой мере отражает её значимость, но нет оснований для абсолютизации данного критерия, напротив, в литературе приводится множество аргументов в пользу его недостаточности для адекватного отражения научной ценности той или иной публикации. В связи с этим возникает проблема полноты и достоверности наукометрических данных, предоставляемых информационными системами, а также объективности используемых критериев, без которых эти системы оказываются малоэффективными, не описывая положение в соответствующей области знания, а искажая реальную ситуацию.
Несовершенство систем, опирающихся исключительно на количественную оценку научной деятельности, не только стало предметом представительного обсуждения (см. работы [2—12] и цитируемую в них литературу), но и было зафиксировано в решениях регулирующих научную деятельность органов ряда стран [13]. Опыт таких решений рассматривался, например, в докладе академика А.Н. Паршина на заседании Отделения математических наук РАН 10 сентября 2013 г. [14]. Несмотря на это, внедрение подобных систем в нашей стране только ускоряется, что ставит перед научным сообществом страны задачу по крайней мере сгладить негативные последствия данного процесса. Для этого, в частности, необходимо расширить возможности авторов контролировать действия автоматизированных
систем (точнее их разработчиков и коммерческих структур, работающих в этом виде бизнеса). Следует двигаться в направлении совершенствования инструментария такого контроля, увеличения его удобства. Положительным примером может служить система работы с персональными профилями авторов Google Scholar, в которой, в отличие от аналогичной системы Web of Science (WoS), помимо функций "добавить", "удалить" и "экспортировать", есть функция объединения ссылок, позволяющая исправлять ошибки, часто встречающиеся в списках литературы цитирующих работ. Но и Google Scholar нуждается в функциональном дополнении, а именно, в предоставлении авторам возможности подсказывать системе (ссылкой на цитируемую и цитирующую работы) пропущенные ею цитирования. Такие нововведения послужили бы стимулом для разработчиков систем цитирования обрабатывать большее количество баз данных и позволило бы существенно повысить достоверность поисковых результатов. Отмечу, что в большинстве других систем редактирование персональных профилей авторами либо вообще не допускается (Scopus), либо крайне затруднено (e-Library).
Вместе с тем важен контроль над теми авторами, которые искусственно создают высокие значения числа цитирований собственных публикаций (организация перекрёстных ссылок, ссылки на собственные работы, не соответствующие содержанию публикуемой статьи, и др.). Например, следует ограничить долю ссылок на собственные работы от общего списка литературы 10—15% или не учитывать в системах цитирования ссылки, превышающие этот лимит.
Вопрос о допустимом количестве самоцитирований — лишь один из требующих принятия договорённости в научном сообществе. В целом культура научного цитирования оставляет желать лучшего и со временем всё более ухудшается. Так, в работе [15] один из разделов носит название "Аппроксимация Годунова и главные результаты", однако среди 28 ссылок в списке литературы нет ни одной на работы создателя рассматриваемого метода С.К. Годунова. Имена авторов многих основополагающих научных результатов со временем становятся нарицательными, и считается, что на их работы можно не ссылаться (в случаях, когда говорится о законах Архимеда или Ньютона, уравнениях Эйлера, теории относительности Эйнштейна, проблемах Гильберта, теореме Годунова и т.д.). Не стоит ли подобные упоминания результатов автора также включать в перечень его цитирований? Технически это не сложно, вопрос только в том, к каким работам автора относить цитирования такого рода, и это опять-таки вопрос договорённости в научном сообществе. Предлагаемое расширение понятия "цитирова-
ние" было бы более объективной характеристикой вклада автора в науку, тогда как сейчас, например, по запросу "Isaac Newton", а тем более "Исаак Ньютон", любая из систем цитирования выдаст отнюдь не рекордные числа. Существующие проблемы с учётом самоцитирований и не подкреплённых соответствующими ссылками упоминания авторов указывают на необходимость совершенствования систем цитирования научных работ.
Добавлю, что, кроме предоставления учёным возможности отслеживать наукометрическую статистику и способствовать её формированию, представляется необходимым полностью исключить учёт такого чисто издательского и никак не влияющего на научную значимость опубликованной работы параметра, как импакт-фактор журнала. Использование импакт-фактора приводит к завышению значимости слабоцитируемых работ за счёт высокоцитируемых. Именно поэтому британские методы оценки научной деятельности опираются на изложенное в решении Комитета по науке и технологиям Палаты общин британского парламента от 2004 г. требование не использовать импакт-фактор журналов при оценке научных работ. Публикующийся в престижном журнале автор и без того получает немалые преференции благодаря более широкой по сравнению с журналами, отличающимися низкими импакт-факто-рами, читательской аудитории. Аналогичная диспропорция возникает между публикациями в национальных и англоязычных журналах, располагающих большей по численности аудиторией. Преимущество англоязычных публикаций нивелируется, и то лишь частично, если статья выходит в свет в национальном журнале, имеющем англоязычную версию.
Заслуживает внимания и значительный разброс значений наукометрических параметров: иногда показатели одного и того же автора в различных информационных системах отличаются даже не в разы, а в десятки раз [16]. В качестве примера в таблице 1 приведены данные (на 15 января 2014 г. [17]), касающиеся автора настоящей работы, заимствованные из разных претендующих на универсальность систем цитирования. Подобная ситуация является не исключительной, а достаточно распространённой и служит ещё одним доказательством низкого качества систем, использование которых, в частности в нашей стране, активно лоббируется на весьма высоком уровне. Полагаю, в существующих условиях необходимо предоставить авторам во всех затрагивающих их интересы случаях самим выбирать устраивающую их систему цитирования. Такая практика неизбежно приведёт к большей унификации различных систем, их упорядочиванию и решению имеющихся в данной области проблем.
Таблица 1. Показатели публикационной активности А.С. Холодова в различных информационных системах
Информационная система Общее число работ, Ro Число работ, процитированных хотя бы один раз, R Общее число цитирований, Cz Среднее число цитирований одной работы Среднее число цитирований одной цитировавшейся работы, С Л-индекс Число работ, процитированных не менее 10 раз (индекс /10 )
Google Scholar 200 68 737 3.7 10.8 14 20
e-Library 66 54 417 6.32 7.72 8 7
РИНЦ 28 - 42 1.5 - - -
Scopus 32 - 16 0.5 - 3 -
Web of Science 16 12 23 1.4 1.92 2 1
Различные индексы цитирования. Формирование индекса на базе системы основных параметров функции цитирования. Появившиеся в последние годы разнообразные индексы цитирования научных работ базируются на тех или иных параметрах и свойствах функции цитирования С (г) — зависимости числа цитирований Сг работ с номерами г, расположенных в порядке уменьшения Сг от Стах = С = С(1) до Ст;п = С(Я + 1) = 0. В промежутках между целочисленными значениями г в данной работе используется линейное восполнение функции С(г) по целочисленным её значениям Сг. Сразу следует оговориться, что работы с номерами (Я + 1,...,Яо), не имеющие ни одного цитирования, целесообразно не учитывать при расчётах, чтобы можно было работать с содержательной частью функции С (г) и не поощрять любителей публиковать большое число малозначимых работ. Здесь Я0 — общее чи
Для дальнейшего прочтения статьи необходимо приобрести полный текст. Статьи высылаются в формате PDF на указанную при оплате почту. Время доставки составляет менее 10 минут. Стоимость одной статьи — 150 рублей.