научная статья по теме АЛЬТЕРНАТИВНЫЕ ПОДХОДЫ К ОЦЕНКЕ НАУЧНЫХ РЕЗУЛЬТАТОВ Общие и комплексные проблемы естественных и точных наук

Текст научной статьи на тему «АЛЬТЕРНАТИВНЫЕ ПОДХОДЫ К ОЦЕНКЕ НАУЧНЫХ РЕЗУЛЬТАТОВ»

ВЕСТНИК РОССИЙСКОЙ АКАДЕМИИ НАУК, 2015, том 85, № 2, с. 115-122

ОРГАНИЗАЦИЯ ИССЛЕДОВАТЕЛЬСКОЙ ДЕЯТЕЛЬНОСТИ

Б01: 10.7868/80869587315020103

Альтернативные метрики (альтметрики) в качестве возможной замены или дополнения к традиционным способам оценки научных результатов на основе экспертизы и библиометрических показателей впервые были предложены в 2010 г. С тех пор метрические показатели, прежде всего основанные на учёте использования и обсуждения научных публикаций в сети Интернет, с одной стороны, нашли влиятельных защитников в лице учёных и издателей, а с другой — встретили сопротивление не менее авторитетных участников рынка научных публикаций. Альтметрики уже сейчас активно используются крупнейшими издательствами, а в июне 2014 г. американской Национальной организацией по информационным стандартам был разработан проект стандарта по альтметрикам. В настоящей статье представлен обзор существующих показателей, описана их целевая аудитория, рассмотрены ведущие компании, разрабатывающие программные продукты по вычислению альтмет-рик для различных категорий пользователей. Проведено сравнение альтметрик и показателей на основе цитирования.

АЛЬТЕРНАТИВНЫЕ ПОДХОДЫ К ОЦЕНКЕ НАУЧНЫХ РЕЗУЛЬТАТОВ

Н.А. Мазов, В.Н. Гуреев

Последнее десятилетие отмечено изменением форм проведения научных исследований, непрерывным ростом информации, что напрямую влияет на смену парадигмы её получения и использования. Чрезвычайно востребованными становятся новые инструменты, позволяющие ориентироваться в больших потоках научных данных, которые также претерпевают стремительные изменения. Прежде всего это инструментарий мультидисциплинар-ных библиографических баз данных, таких как Web of Science и Scopus, в меньшей степени — отраслевых, а также онлайн-платформы крупных

I

Ш Щ Г ^

Авторы работают в Институте нефтегазовой геологии и геофизики им. академика А.А. Трофимука СО РАН. МАЗОВ Николай Алексеевич — кандидат технических наук, заведующий Информационно-библиотечным центром. ГУРЕЕВ Вадим Николаевич — ведущий библиограф Информационно-библиотечного центра. MazovNA@ipgg.sbras.ru; GureyevVN@ipgg.sbras.ru

издательств, например, ScienceDirect, SpringerLink и др., которые, помимо рефератов научных публикаций, предлагают пользователям оценку контента. Большинство подходов основано на измерении числа публикаций, цитирований и их соотношений. В то же время в научных областях, которые развиваются намного интенсивнее других, показатели, основанные на цитировании, перестают отвечать требованиям пользователей. Так, чтобы выбрать проекты для финансирования, руководителям фондов, разыгрывающих гранты, необходима новейшая информация о тенденциях развития научных направлений. В подобной информации нуждаются и научные организации для корректировки своей деятельности и оценки текущих проектов. В условиях обилия научных данных учёным всё чаще требуется предварительная оценка публикаций. В ряде дисциплин, прежде всего медико-биологических и химических, это касается как целых направлений, так и отдельных исследователей.

Информация на основе цитирований перестаёт отвечать изменяющимся требованиям прежде всего из-за временной задержки, поэтому срок в два-три года, прошедший после опубликования работы, в быстроразвивающихся областях науки часто становится неприемлемым. Отдельной проблемой, которая постепенно находит своё разрешение, является оценка научных результатов учёных и организаций по импакт-факторам журналов. В 2010 г. была предпринята попытка создать дополнительный инструмент оценки научных результатов, который получил название

"альтернативные метрики", или "альтметрики", (см. официальный сайт программы http://altmet-rics.org/manifesto). Альтметрики предлагаются для устранения недостатков, связанных с временной задержкой при оценке на основе рецензирования и анализа цитирования, а также в ответ на неверное использование импакт-фактора журналов в оценке труда отдельных учёных.

По заявлению создателей программного документа альтметрик, большая часть новейшей научной информации переместилась из сферы непосредственного общения в интернет-пространство — социальные сети, блоги, Twitter и другие аналогичные инструменты коммуникации. В связи с этим содержание таких записей в значительной степени поддаётся обработке и анализу и может стать фундаментом для альтернативной системы оценки научного контента, призванной преодолеть недостатки традиционных методов.

Главным объектом измерений альтметриками остаются научные публикации в периодических изданиях. Между тем в сферу исследований постепенно вовлекаются книги, труды конференций, презентации, видеоматериалы, совокупность массивов данных, программные коды и прочие виды научной информации. Кстати, в том же русле, предполагающем значительное расширение объектов оценки, в последнее время развиваются традиционные оценочные показатели на основе цитирования.

Важнейшей отличительной характеристикой нового показателя является, прежде всего, выход за строгие рамки специализированных продуктов по оценке науки и вовлечение в эту оценку всех интернет-ресурсов, пользователями которых могут быть в том числе и неспециалисты. Иногда это приносит пользу, позволяя узнать мнение о той или иной научной проблеме представителей СМИ или государственных служащих, принимающих важные для науки решения. Эти категории читателей научной литературы, число которых оценивается в одну треть [1], сами научных статей не пишут и не цитируют публикации, поэтому их мнение нельзя оценить традиционными методами [2]. Кроме того, в традиционные научные публикации, служащие единственным источником для цитирований, не попадают (или попадают с большой задержкой) такие важные для оценки науки пласты информации, как обсуждение, аннотирование работ, рекомендации, круг чтения учёных или опровержения [3].

Другой особенностью альтметрик выступает более дробная единица анализа, представленная не научным журналом или публикацией, а отдельной точкой зрения или репликой. Главное же их преимущество состоит в намного более быстрой ответной реакции, на которую могут рассчитывать заинтересованные стороны.

Что дают альтметрики целевой аудитории?

Научные работники получают информацию относительно только что опубликованных работ по своей тематике. Они могут отслеживать интерес к своей работе и сведения о её влиянии. Ещё одно применение — поиск коллег для проведения совместных исследований, а также включение результатов в отчётную документацию.

Научные организации получают возможность, во-первых, отслеживать интерес научных групп к той или иной тематике и учитывать это при принятии управленческих решений, связанных с приёмом на работу и дальнейшим продвижением сотрудников; во-вторых, дополнительно оценивать проводимую научную работу и влияние работающих в организации научных коллективов. Организации, имеющие репозитории публикаций своих сотрудников, могут использовать альт-метрики в целях привлечения внимания читателей и для ранжирования публикаций.

Научные библиотеки становятся обладателями сведений об информационных потребностях учёных, на основе которых оптимизируют репертуар подписки. Актуальность данного подхода связана с непрерывным ростом цен на научную периодику, недостатками пакетной подписки, а также устареванием прежних традиционных методов оценки значимости научной литературы [4].

Редакторы журналов могут просматривать аналитические материалы по опубликованным статьям, а также привлекать к ним внимание читателей, отмечая значения их альтметрик. Кроме того, в будущем издатели смогут использовать альтметрики как замену рецензирования в его настоящем виде. Подобное начинание уже используется в социальной сети ResearchGate, где традиционному рецензированию (peer-review) противопоставляется так называемое открытое рецензирование (open review) — обсуждение работы неограниченным кругом коллег в открытом пространстве.

Руководители грантовых фондов могут устанавливать перспективные направления исследований, в которые нужно инвестировать, и получать статистику по текущим финансируемым проектам. Важная функция альтметрик состоит в выявлении публикаций, которые по тем или иным причинам не получили цитирований и поэтому остались незамеченными, хотя в них могут отражаться актуальная для науки тематика и перспективные направления дальнейших исследований. Отдельное применение — анализ роста и спада интереса к реализованным по грантам проектам, что важно с точки зрения планирования деятельности фондов. Сетевой анализ позволяет определить наиболее сильные в той или иной области научные коллективы.

Фактически в альтметриках не заявлено ничего принципиально нового, кроме предложения использовать уже имеющиеся инструменты и

возможности интернет-пространства для оценки науки. Рассмотрим основные альтернативные метрики, выделенные по источникам исходных данных. Разные исследователи применяют различные наборы альтметрик, что делает их определение размытым, а сопоставление показателей проблематичным.

Используемость публикации, выраженная в числе загрузок или просмотров. Иногда отдельно указываются загрузки в формате .pdf и просмотры в .html. Эти данные давно учитываются издательствами и библиотечными работниками для получения информации о динамике спроса на тот или иной ресурс. Основным инструментом получения статистических данных является система COUNTER, по сути, ставшая отраслевым стандартом. Преимуществом альтметрик некоторое время было то, что в них статистика отслеживалась на уровне статей, в отличие, например, от COUNTER, который измерял информацию по журналу в целом. Между тем заявленный в марте 2014 г. переход на постатейную статистику касается и этой системы (The COUNTER Code of Practice for Articles). Информация о загрузках или просмотре в настоящее время указывается для статей журналов РЬО8, в сетях ResearchGate и Academia.edu. Некоторые исследователи выделяют загрузки либо в отдельную категорию, наравне с цитированием и альтметриками (см. официальный сайт программы), либо относят их к традиционным библиометрическим показателям, куда включают также цитирова

Для дальнейшего прочтения статьи необходимо приобрести полный текст. Статьи высылаются в формате PDF на указанную при оплате почту. Время доставки составляет менее 10 минут. Стоимость одной статьи — 150 рублей.

Показать целиком