Analytical statistics of scientific publications on Scilit (using the example of publications by ISEM SB RAS)

Аннотация

The paper examines issues related to the presentation of information on publications of scientific employees of ISEM SB RAS, as well as on scientific publications of the Institute in information and analytical materials of the Scilit system. Specific examples show the advantage of complete and correct setting of metadata for scientific publications, as well as the problems that arise when handling bibliographic information carelessly.

Толық мәтін

Введение. Последние 10 лет показатели публикационной активности российских ученых неуклонно растут [1]. С точки зрения оценки показателей результатов научной деятельности безусловно важны индекс цитируемости публикаций и индекс Хирша, но, с точки зрения автора, одним из наиболее важных показателей является интерес читателей (количество просмотров). Многие библиографические системы дают возможность автору увидеть различные статистические показатели не только в статике (общее число просмотров), но и в динамике (за день, за месяц, в виде графиков и т.д.).

Работы по исследованию методов оценки web-аналитики ведутся как в России [2], так и за рубежом [3]. В российском сегменте это прежде всего проект Science Space от eLibrary [4].

Среди зарубежных следует отметить инструменты Crossref [5] – API от Crossref (https://www.crossref.org/documentation/retrieve-metadata/rest-api/) и, конечно же, разработку швейцарско-китайского издательства MDPI (Multidisciplinary Digital Publishing Institute) – комплексной платформы-агрегатора для научных публикаций Scilit.

Издательство MDPI, выпускающее порядка 390 журналов, часто находится на передовой инноваций в области цифровой публикации. Одним из примеров является Scilit [6] – база данных, которая ежедневно собирает, индексирует и извлекает новейшие данные и материалы из CrossRef и PudMed, обеспечивает поиск нужной информации среди 167 миллионов публикаций, 19 миллионов ученых со всего мира, 24 533 издательств, 1 миллиона научных организаций.

Платформа Scilit была разработана в 2014 году. Потенциал этой базы данных позволил достаточно быстро охватить все статьи с цифровым идентификатором объекта (DOI) из Crossref и с идентификатором PMID (Pubmed). Scilit анализирует метаданные Crossref и сохраняет их в своей информационной базе. Затем они индексируются в поисковой системе для быстрого использования в режиме реального времени.

В своих аналитических отчетах Scilit четко указывает, является ли материал открытым или нет, и какие издатели публикуют работы в максимально доступном читателю формате. Поскольку академический издательский ландшафт смещается в сторону модели открытого доступа, это очень важный индикатор.

На основе рассматриваемого в данной статье инструментария нами были проведены исследования, связанные с представлением информации о публикациях сотрудников ИПМ им. М.В. Келдыша РАН и научных изданиях Института [7]. Это вызвало большой интерес научной общественности и подтолкнуло нас к проведению данного исследования.

Такого рода исследования безусловно важны не только для научных организаций, но и для ВУЗов [8], отдельных секторов экономики [9, 10, 11], издательств и научных журналов [12]. Данное исследование предлагает некоторый подход к проведению подобных аналитических работ.

1. Scilit – комплексная платформа-агрегатор для научных публикаций. Главное меню Scilit (www.scilit.net) позволяет выбрать формат представления аналитической информации (рис. 1): по публикациям; по ученым (авторам); по издателям (издательствам); по источникам; по организациям.

Рис. 1. Главное меню Scilit

Безусловно, все предлагаемые направления интересны для изучения, но, на наш взгляд, проще и понятней начать рассмотрение с последнего пункта – «Организации».

Выбираем этот пункт и указываем название организации – Melentiev Energy Systems Institute (можно сократить до 1-го слова ИСЭМ).

Здесь следует отметить, что в метаданных параметр «ROR» (Research Organization Registry) появился сравнительно недавно, а до этого авторы не всегда точно указывали в статьях названия организаций, да и издатели далеко не всегда утруждали себя заданием корректной аффилиации авторов. В некоторых зарубежных и в очень малом количестве отечественных журналов этот параметр появился в начале 20-х годов. А до этого использовалось текстовое название организации ("affiliation":[{"name":"Melentiev Energy Systems Institute"}]). Кто-то указывал полное название, кто-то сокращенное, а многие не указывали вовсе. В результате значительное количество публикаций сотрудников ИСЭМ не попали в статистику, приведенную на рис. 2.

Рис. 2. Анализ публикационной активности сотрудников ИСЭМ

Акцент на открытость и доступность публикаций читателям очень важен и является ведущим трендом в издательской области. Справа на рис. 2. представлен график публикаций открытого доступа – публикаций, доступ к которым не связан с лицензионными и коммерческими ограничениями издательств.

Как же получается, что авторы и редакции журналов заинтересованы в попадании своих публикационных материалов в отчеты, статистику, аналитику, но информационно-аналитические системы эти материалы не находят?

Первая причина – это небрежность авторов, опечатки в названии или использование транслитерации вместо корректных англоязычных названий своих организаций. Таким образом, некорректная аффилиация автора статьи зачастую автоматически переносится в метаданные публикации и отсылается в библиографические базы данных.

Вторая причина – это работа редакции и издательства.

Возьмем для примера статью в журнале Energy Systems Research.

30 April 2024

Published by Melentiev Energy Systems Institute in Energy Systems Research

Vol. 7 (1(25)), 5-16

Dissociation of Gas Hydrates in the Combustion Environment

by Igor Donskoy

https://doi.org/10.25729/esr.2024.01.0001

Способы получения метаданных из базы Crossref описаны в [13], здесь покажем эту функцию  коротко:

https://api.crossref.org/works/<DOI>

В приведенном примере DOI – 10.25729/esr.2024.01.0001, тогда запрос метаданных указанной статьи будет выглядеть:

https://api.crossref.org/works/10.25729/esr.2024.01.0001

Получаем ответ в формате JSON и контекстным поиском находим данные об аффилиации автора:

"author":[{"given":"Igor","family":"Donskoy",

"sequence":"first","affiliation":[]}]

Показана «пустая» аффиляция, хотя на сайте журнала и в pdf-версии статьи указаны правильные данные аффилиации – Институт систем энергетики им. Л.А. Мелентьева СО РАН, Иркутск, Россия.

Другой пример не совсем корректного подхода к указанию аффилиации автора – издательство MDPI.

Регистрируясь на сайте издательства [14], каждый автор заполняет шаблон (рис. 3, 4) – здесь я привожу фрагменты заполнения своего авторского профиля, так как невозможно получить доступ к шаблонам других авторов.

Рис. 3. Шаблон для регистрации автора в издательстве MDPI

Рис. 4. Поля шаблона, связанные с аффилиацией

Рассмотрим статью в журнале MDPI «Mathematics».

9 September 2024

Published by MDPI AG in Mathematics Vol. 12 (17), 2796

https://doi.org/10.3390/math12172796

A Method for Transforming Non-Convex Optimization Problem to Distributed Form

by Oleg O. Khamisov, Oleg V. Khamisov, Todor D. Ganchev, Eugene S. Semenkin

В метаданных статьи указанное издательство в поле аффилиации записывает все обязательные поля своего регистрационного шаблона (рис..4) – Affiliation, Address1, Zip Code, City, Country.

"author":[{"given":"Oleg O.","family":"Khamisov",

"sequence":"first","affiliation":[{"name":"Depertment of Applied Mathematics, Melentiev Energy Systems Institute, 664033 Irkutsk, Russia"}]}

Конечно, такое указание аффилиации избыточно, но это, безусловно, лучше, чем «пустая» аффилиация. Информационно-аналитическая система при обработке этой информации и читатель при изучении аналитики могут узнать не только организацию автора, но и город, и страну проживания.

На рис. 5 показаны «источники» метаинформации – издания, в которых публиковались статьи сотрудников ИСЭМ и которые стали источником метаданных научных публикаций для приведенной статистики.

Рис. 5. Источники метаинформации о публикациях сотрудников ИСЭМ

На рис.6 показана «тематическая направленность» публикаций, но в метаданных тематическое направление исследований не задается.

Рис. 6. Тематическая направленность публикаций сотрудников ИСЭМ

На основе модели машинного обучения Scilit автоматически классифицирует публикации по различным темам. Модель классификации тем была обучена только на англоязычных публикациях и может привести к «слабым» результатам для публикаций на других языках (если тематическое направление вообще можно определить). Т.е. система сама, возможно по названиям статей или аннотациям, построила таблицу тематических направлений.

В целом, это безусловно хорошо и удобно исследователю. Однако, на текущий момент корректность отнесения той или иной публикации к определенной теме вызывает вопросы. Это легко проверить – справа указано количество публикаций, отнесенное к данной теме. Это поле является «кликабельным», т.е. можно получить весь список статей.

Рассмотрим, например, публикации по первой теме указанного списка – «Управление рисками и оценка».  Система ИИ отнесла к этой тематике статью «Подход «агент-сервис» к созданию цифровых двойников».

Конечно, стремительное развитие систем ИИ в ближайшем будущем сможет исправить такого рода ошибки и, возможно, начнет работать и с русскоязычными аннотациями статей, но даже нынешнее положение на наш взгляд полезно и интересно.

Также следует обратить внимание на статистику по цитированию (рис. 7), которую можно получить за любой диапазон лет с начала наполнения базы данных Scilit (2014 год).

Рис.7. Статистика по цитированию публикаций сотрудников ИСЭМ

«Кликнув» на вопросительный знак «?» в верхней части рисунка, можно получить подробную информацию по каждой позиции данного статистического отчета.

На рис. 8 показаны данные по цитированию в графическом виде.

Рис.8. Графическое представление статистики цитирования публикаций сотрудников ИСЭМ

Еще одним, интересным на наш взгляд показателем, являются данные о сотрудничестве  – соавторстве с сотрудниками других организаций (рис. 9).

Рис. 9. Данные по научным публикациям, подготовленным в соавторстве с сотрудниками других организаций

2. Издательство Института систем энергетики им. Л.А. Мелентьева. Теперь рассмотрим статистику публикаций, которые вышли в издательстве ИСЭМ – журналы, монографии, сборники конференций (рис. 10).

Рис. 10. Статистика по изданиям ИСЭМ

Далее на рис. 11 представлены издания ИСЭМ СО РАН.

Рис. 11. Издания ИСЭМ СО РАН

По каждому из приведенных в этой иллюстрации журналов можно провести отдельное интересное исследование, но мы в следующем разделе ограничимся журналом «Информационные и математические технологии в науке и управлении» [15].

Безусловно, интересна тематическая направленность публикаций в изданиях ИСЭМ (рис. 12).

Рис. 12. Темы публикаций в изданиях ИСЭМ

Эта тематическая таблица также построена при помощи ИИ, и к ней также возникают вопросы, но, скорее всего, с развитием модели ИИ эти вопросы будут постепенно сниматься.

Однако здесь необходимо сделать одно важное замечание. Если журнал не размещает в метаданных статей англоязычные аннотации, то в аналитических обзорах Scilit эти материалы в ближайшем будущем не будут отражены в тематических рубрикациях.

Безусловно интересной является статистика по сотрудничеству ученых ИСЭМ с зарубежными специалистами (рис. 13).

Рис. 13. Сотрудничество с зарубежными специалистами

В качестве примера рассмотрим список публикаций монгольских коллег, «кликнув» соответствующее поле в столбце «Публикации»:

1 января 2022 г.

Опубликовано Институт систем энергетики им. Мелентьева в Исследования энергетических систем

Том 5  (3) , 27-43

https://doi.org/10.38028/esr.2022.03.0005

Актуальные проблемы систем централизованного теплоснабжения России и Монголии и научно-методические направления их решения

Николай Новицкий, Зоя Шалагинова, Вячеслав Токарев, Александр Алексеев, Унурмаа Цевегьяв, Пуревжал Орос, Джигмед Ланданноров

В метаданных  публикации нет явного указания страны, но есть аффилиация авторов:

{"given":"Unurmaa","family":"Tsevegjav","sequence":"additional","affiliation":[{"name":"National Dispatching Center of the Power System of Mongolia"}]},

{"given":"Purevjal","family":"Oros","sequence":"additional","affiliation":[{"name":"Research Center of Advanced Heat Technology and Techniques, Mongolian University of Science and TechnologyPower Engineering School"}]}

Система ИИ из названий организаций определила гражданство данных авторов. Конечно, это не всегда корректно, но нам чаще всего важны не паспортные данные, а место работы ученого.

3. Журнал «Информационные и математические технологии в науке и управлении». Анализ статистики по изданиям Института систем энергетики им. Л.А. Мелентьева покажем на примере журнала «Информационные и математические технологии в науке и управлении».

В метаданных, загружаемых в Crossref, задано русскоязычное название журнала:

"container-title":

["\u0418\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u0435 \u0438 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0438 \u0432 \u043d\u0430\u0443\u043a\u0435 \u0438 \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0438"]

  Это абсолютно нелогично для размещения метаданных в англоязычной базе Crossref,  но, тем не менее, информационно-аналитическая система Scilit видит этот журнал, и, задав название в поле ввода на главной странице системы, получим достаточно полный аналитический обзор о нем (рис.14).

Рис. 14. Аналитическая статистика по журналу «Информационные и математические технологии в науке и управлении»

На рис. 15 представлена графическая информация за все годы сотрудничества этого журнала с Crossref.

Рис. 15. Графическое представление статистики по публикациям журнала «Информационные и математические технологии в науке и управлении»

Резкое падение на графике в районе 2023 г. связано с тем, что или DOI опубликованным статьям не присваивались, или метаданные в Crossref не пересылались. Это можно увидеть, пролистнув аналитические таблицы и графики Scilit до раздела «Последние публикации». Увидим разрыв между № 4 (24) (11 января 2022 г.) и № 2 (34) (16 июля 2024 г.).

Возможно это связано с переходом на новые DOI:

№ 4(24) – https://doi.org/10.38028/esi.2021.24.4.011,

а № 2(34) – https://doi.org/10.25729/esi.2024.34.2.011

Если есть такая возможность, то мы рекомендовали бы редакции загрузить недостающие метаданные.

Рассматривать тематический каталог, построенный системой, не имеет смысла, так как только русскоязычные аннотации статей журнала загружались в Crossref. Остается ждать и надеяться, что ИИ сможет в будущем корректно работать с русским языком, но лучше все-таки в англоязычные информационные системы загружать англоязычные аннотации статей.

Еще один важный аспект, который интересно рассмотреть – это сотрудничество авторов журнала с другими организациями в плане соавторства (рис. 16).

Рис. 16. Показатели сотрудничества авторов журнала «Информационные и математические технологии в науке и управлении»

Здесь следует обратить внимание на последнюю строку в таблице справа на рис. 16 – «Отсутствующие данные – 63,2 %». Это связано как раз с тем, о чем мы писали в начале статьи – некорректности или отсутствии аффилиации авторов.

Возьмем для примера одну из последних опубликованных статей:

17 октября 2024 г.

Опубликовано Институт систем энергетики им. Мелентьева в Информационные и математические технологии в науке и управлении № 3(35), стр. 20-32

https://doi.org/10.25729/esi.2024.35.3.002

Онтологический анализ приемов аргументации в научном дискурсе

автор:  Е.А. Сидорова, И.С. Кононенко

В метаданных этой статьи указано русскоязычное название организации автора:

"author":[{"given":"\u0415.\u0410.","family":"\u0421\u0438\u0434\u043e\u0440\u043e\u0432\u0430","sequence":"first",

"affiliation":[{"name":"\u0418\u043d\u0441\u0442\u0438\u0442\u0443\u0442 \u0441\u0438\u0441\u0442\u0435\u043c \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0442\u0438\u043a\u0438 \u0438\u043c. \u0410.\u041f. \u0415\u0440\u0448\u043e\u0432\u0430 \u0421\u041e \u0420\u0410\u041d"}]}

Если взять статью из предыдущего номера:

16 июля 2024 г.

Опубликовано Институт систем энергетики им. Мелентьева в Информационные и математические технологии в науке и управлении № 2(34) , стр. 19-32

https://doi.org/10.25729/esi.2024.34.2.002

Быстрые преобразования и самоподобные нейронные сети глубокого обучения. Часть 3. Пирамидальные нейронные сети с глубокой степенью обучения

автор  А.Ю. Дорогов

То увидим, что задана «пустая» аффилиация:

author":[{"given":"\u0410.\u042e.","family":"\u0414\u043e\u0440\u043e\u0433\u043e\u0432","sequence":"first","

affiliation":[]}]

Другие разделы отображенного системой Scilit аналитического исследования также представляют определенный интерес, но они уже были рассмотрены нами в предыдущих разделах статьи.

Заключение. В данной работе мы не ставили задачу максимально подробно рассказать о всех возможностях информационно-аналитической системы Scilit. Нам было важно показать на конкретных примерах некоторые, наиболее интересные, на наш взгляд, ее возможности, показать, какие преимущества дает аккуратное и полное задание метаданных научных публикаций и какие проблемы возникают при небрежном отношении авторов и/или издателей к этой информации. Более аккуратное задание метаданных, исправление возможных ошибок так или иначе обязательно скажется и на статистических показателях научных сотрудников, и на рейтинге организации, что мы получили на собственном опыте, активно взаимодействуя с eLibrary [16, 17].