Comprehensive Assessment of the Effectiveness of Scientific Activities Based on a Practice-oriented Approach: Criteria and Indicators

Full Text

Традиционно для оценивания результативности научной деятельности используются мнения авторитетных ученых, выполняющих роль экспертов в той или иной области знания. Необходимость упростить трудоемкий и затратный процесс экспертного оценивания, характеризующийся субъективными результатами, привела к разработке наукометрических показателей, которые на базе математических расчетов позволяют довольно быстро и относительно просто оценить качество работы ученого.

Среди используемых показателей можно назвать:

• количество опубликованных работ;
• индекс цитирований;
• g-индекс;
• импакт-фактор;
• индекс Хирша (h-индекс) и др.

Основные используемые в наукометрии (библиометрии) показатели можно условно разделить на две основные группы. Показатели «рейтинговости» журнала: импакт-фактор (JCR, Thomson Reuters или РИНЦ); Source-normalized impact per paper – SNIP; SCIMago journal ranking – SJR. Показатели публикационной деятельности ученого, организации, области знаний и т. д.: индекс Хирша, средняя цитируемость [Москалева, О. В., 2013, с. 92].

Число цитирований (индекс) – совокупное количество ссылок в научных публикациях на работы данного автора. Этот индекс оценивает интерес коллег к данной публикации, т. е. показывает актуальность и востребованность результатов исследования данного ученого.

Показатель g-индекс учитывает статьи ученого с наибольшим цитированием. При его подсчете используются только статьи, входящие в список англоязычных журналов, индексируемых системой Web of Science. Самоцитирование не учитывается.

Импакт-фактор показывает среднее число цитирований в текущем году статей журнала, опубликованных за два предыдущих года (двухлетний импакт-фактор) или за пять предыдущих лет (пятилетний импакт-фактор).

В Приложении к приказу Рособразования от 28 ноября 2008 г. № 1770 «Целевые показатели эффективности работы государственных образовательных учреждений высшего профессионального образования, подведомственных Рособразованию»¹⁵ в качестве показателей результативности научной и научно-технической деятельности вуза указываются данные о количестве научных публикаций в рецензируемых изданиях на одного научно-педагогического работника вуза в зарубежных и российских изданиях (раздельно).

В соответствии с Концепцией создания и государственной поддержки развития федеральных университетов Министерством образования и науки разработаны основные показатели эффективности федеральных университетов, в которых в качестве показателя результативности исследовательских работ используются данные о количестве публикаций в зарубежных изданиях, индексируемых иностранными организациями¹⁶.

Особое распространение получил индекс Хирша, который стал использоваться для оценивания эффективности работы ученых, преподавателей вузов, для получения поощрений и грантов. Индекс Хирша (h-индекс) – это показатель, предложенный физиком Хорхе Хиршем в 2005 г., представляющий собой максимальное целое число h, указывающее, что автор опубликовал h статей, каждая из которых процитирована хотя бы h раз.

Поскольку индекс Хирша является показателем баз данных Web of Science и Scopus, то полагаем, что применение этих наукометрических платформ для оценки публикационной активности и научной продуктивности российских ученых некорректно, так как учитываются только англоязычные публикации из журналов, имеющих естественно-научную направленность. Кроме того, для расчета показателей учитываются только статьи в журналах, а монографии, которые являются наиболее весомым вкладом ученого, не учитываются.

Как и многие наукометрические показатели, индекс Хирша характеризуется следующими недостатками:

– возможность повышения показателя различными способами; например, результаты исследования публикуются в нескольких статьях или под разными названиями, используются самоцитирование и цитирования коллегами;

– учитывает самоцитирование;

– индекс Хирша является целочисленным показателем;

– не учитывает личный вклад автора в случае публикации статьи авторским коллективом;

– при расчете показателя учитываются ссылки, где статьи автора подвергаются критике или вообще считаются ошибочными.

Для нивелирования этих недостатков по заказу Министерства образования и науки Российской Федерации был разработан Российский индекс научного цитирования (РИНЦ), который начал использоваться с 2010 г. В РИНЦ расчеты индекса Хирша осуществляются только по работам, которые загружены на платформу научной электронной библиотеки (НЭБ-РИНЦ).

Вместе с тем РИНЦ также подвергается критике со стороны научного сообщества. По мнению П. П. Серкова, «этот показатель подтверждает наличие у автора публикаций, а не качество их идейного содержания, в то время как требуется четкое понимание того, что очевидные идейные ценности этого содержания были реально использованы в законотворчестве или правоприменении, т. е. оказали явное влияние на соответствующий вид деятельности» [Серков, П. П., 2023, с. 7].

Таким образом, можно сделать вывод о том, что наукометрические показатели не должны быть единственными критериями оценки результативности научного работника. Необходим комплексный подход, включающий в себя как качественные, так и количественные характеристики, учитывающие разные сферы научной деятельности.

Основываясь на результатах проведенного исследования и учитывая мнение представителей научного сообщества, авторы предлагают комплексную оценку эффективности научной деятельности на основе практико-ориентированного подхода, состоящую из двух групп показателей.

1. I. Расчет интегрированного показателя эффективности научной деятельности, включающий в себя следующие направления:

– написание научных работ: статей, монографий, учебников, учебных пособий, сборников практических заданий, рецензирование и составление сборников научных работ;

– руководство научными работами студентов и аспирантов;

– научно-исследовательские работы и опытно-конструкторские работы (НИР и ОКР);

– экспертная работа, участие в диссертационных, научных, методических советах;

– участие в общественных и публичных мероприятиях, конференциях, круглых столах, дискуссиях, интернет-площадках и др.

Выбор критериев оценки научной деятельности проводится по следующим критериям:

1) публикационная активность;

2) научное руководство;

3) участие в общественных и публичных мероприятиях;

4) участие в НИР и ОКР;

5) работа в диссертационных, научных, методических, экспертных советах;

6) цитируемость публикаций автора.

Все показатели оцениваются по 100-балльной шкале в зависимости от степени важности.

Формула расчета интегрального показателя эффективности научной деятельности (1):

_{n = 6}

N_i = ∑ z_i × w_i (1)

^{i = 1}

N = z₁ × w₁ + z₂ × w₂ + z₃ × w₃ + z₄ × w₄ ⁺ z₅ × w₅ + z₆ × w₆ ,

где N – интегральный показатель эффективности научной деятельности;

n – количество критериев (равно 6);

z – балльная оценка по критерию;

w – весовой коэффициент.

Таблица 1

Расчет весового коэффициента

Название и номер критерия	Степень приоритетности критерия						Сумма баллов	W от 1 до 6 рассчитать
	1	2	3	4	5	6		Сумма всех баллов критериев / на сумму баллов приоритетности
1. Публикационная активность	1	1	1	1	1	1	6	W1 = 0,285
2. Цитируемость публикаций автора	0	1	1	1	1	1	5	W2 = 0,238
3. Научное руководство	0	0	1	1	1	1	4	W3 = 0,190
4. Участие в общественных и публичных мероприятиях	0	0	0	1	1	1	3	W4 = 0,142
5. Участие в НИР и ОКР	0	0	0	0	1	1	2	W5 = 0,095
6. Работа в диссертационных, научных, методических, экспертных советах	0	0	0	0	0	1	1	W6 = 0,047
ИТОГО							21	Сумма коэфф. = 1

Таблица 2

Порядок определения экспертной балльной оценки по критериям для расчета интегрального показателя эффективности научной деятельности

Название критерия	Балльная оценка (z)	Весовой коэффициент (w)	Zw (баллы)
Публикационная активность	100	W1 = 0,285	28,5
Статьи в журнале Перечня ВАК	25	W1 = 0,285	7,125
Статьи в сборниках научных трудов и материалов конференций	20	W1 = 0,285	5,7
Монографии, учебники	30	W1 = 0,285	8,55
Учебные пособия	25	W1 = 0,285	7,125
Цитируемость публикаций автора (один и более раз)	100	W2 = 0,238	23,8
Внешнее цитирование	60	W2 = 0,238	14,28
Перекрестное цитирование	20	W2 = 0,238	4,76
Самоцитирование	20	W2 = 0,238	4,76
Научное руководство	100	W3 = 0,190	19,0
ВКР бакалавра	20	W3 = 0,190	3,8
ВКР магистра	25	W3 = 0,190	4,75
Кандидатская диссертация, докторская диссертация	35	W3 = 0,190	6,65
Руководство подготовкой статей и докладов студентов	20	W3 = 0,190	3,8
Участие в научных и публичных мероприятиях (с докладом)	100	W4 = 0,142	14,2
Научное мероприятие вуза	50	W4 = 0,142	7,1
Научное мероприятие внешнее	50	W4 = 0,142	7,1
Участие в НИР и ОКР	100	W5 = 0,095	9,5
НИР инициативное	35	W5 = 0,095	3,325
НИР по договору	30	W5 = 0,095	2,85
НИР со студентами, в том числе СНП, олимпиады, конкурсы	35	W5 = 0,095	3,325
Работа в диссертационных, научных, методических, экспертных советах	100	W6 = 0,047	4,7
Максимально возможное значение интегрального показателя эффективности научной деятельности			100

1. II. Расчет практико-ориентированного показателя наукометрии

Предлагаемый индекс наукометрии кардинально отличается от индекса Хирша тем, что он носит прежде всего практико-ориентированный характер (2), поскольку учитывает комплекс качественных критериев, а именно: вид научной публикации; практическую значимость научной публикации; степень самостоятельности проведенного исследования; количество соавторов; соответствие материалов публикации сфере научных интересов автора; а также не только количество цитирований, но и их качество, включая: внешнее цитирование, перекрестное цитирование или самоцитирование.

PR = ∑ НР_i×К_i , (2)

ⁿ

^{i = 1}

где PR – практико-ориентированный индекс наукометрии;

НР_i – научная работа;

К_i – К1–К6 – корректирующие коэффициенты, в том числе:

К1 – вид научной публикации (ВАК, профильный журнал, РИНЦ, монография, зарубежное издание, сборник материалов конференции, патент).

Таблица 3

Значение весового коэффициента в зависимости от вида научной публикации

Вид научной публикации	Значение коэффициента
Научная статья в отечественных профильных изданиях (в журнале «Российское правосудие», в журнале «Правосудие/Justice» и др.)	1,5
Научная статья в отечественных научных периодических изданиях, включенных в перечень ВАК
Монографии, учебники, учебные пособия	1,3
Научная статья в отечественных научных периодических изданиях, индексируемых в РИНЦ	1,2
Научная статья в сборниках материалов международных/всероссийских/региональных конференций, индексируемых в РИНЦ и не являющихся периодическими изданиями	1,0
Научная статья в зарубежных профильных изданиях

К2 – практико-ориентированность опубликованных научных статей (подтверждающий документ, рецензия отдела НИР, справка о внедрении в учебный процесс и др.).

Таблица 4

Значение весового коэффициента в зависимости от практической значимости научной публикации

Документ, подтверждающий практическую значимость научной публикации	Значение коэффициента
Есть	1,5
Нет	1,0

К3 – степень самостоятельности проведенного исследования (процент оригинальности текста).

Таблица 5

Значение весового коэффициента в зависимости от уровня оригинальности текста

Уровень оригинальности текста, %	Значение коэффициента
70–79%	0,7
80–89%	0,8
90–100%	1,0

К4 – количество соавторов.

Таблица 6

Значение весового коэффициента в зависимости от количества соавторов

Количество соавторов	Значение коэффициента
1 автор	1,0
2 автора	0,8
3 автора и более	0,7

К5 – соответствие материалов публикации сфере научных интересов автора, в том числе сфере научных исследований НИР вуза и кафедры.

Таблица 7

Значение весового коэффициента в зависимости от соответствия материалов публикации сфере научных интересов автора

Соответствие материалов публикации сфере научных интересов автора	Значение коэффициента
Соответствует	1,0
Не соответствует	0,7

К6 – коэффициент цитирования.

Таблица 8

Значение весового коэффициента в зависимости от количества и качества цитирования

Количество цитирований	Внешнее цитирование	Перекрестное цитирование	Самоцитирование
20 и более	2,5	1,3	1,0
10–20	2,0	1,2	1,0
1–10	1,5	1,1	1,0

В целом из всего изложенного можно сделать выводы, что использование комплекса наукометрических данных для оценки эффективности научной деятельности вполне оправданно и должно учитывать практико- ориентированный подход. Предложенный механизм комплексной оценки эффективности научной деятельности на основе практико-ориентированного подхода является наиболее удобным инструментом для планирования и оценки научной деятельности как в области организации научных исследований, так и в отношении оценки качества и эффективности работы профессорско-преподавательского состава.

About the authors

Natalia A. Ershova

Russian State University of Justice

Author for correspondence.
Email: nataly_ershova@mail.ru

Cand. Sci. (Economy), Associate Professor, Head of the Economics Department

Russian Federation, Moscow

Lyubov N. Kosova

Russian State University of Justice

Email: lkosova@yandex.ru

Cand. Sci. (Economy), Associate Professor, Associate Professor of the Economics Department

Russian Federation, Moscow

References

Supplementary files