Два контура оценки результативности научных организаций в России: текущее состояние и перспективы развития с точки зрения международного опыта

Обложка

Цитировать

Полный текст

Открытый доступ Открытый доступ
Доступ закрыт Доступ предоставлен
Доступ закрыт Только для подписчиков

Аннотация

В России фактически сложились два контура оценки научной результативности организаций: экспертный, лежащий в основе категорирования научных организаций, и количественный, который по методике Комплексного расчёта публикационной результативности позволяет определять и контролировать выполнение государственного задания на фундаментальные научные исследования. В статье описана история становления этих контуров, их достоинства и недостатки, а также предпосылки для дальнейшего развития. Модельными примерами для улучшения обоих контуров рассматриваются британская система экспертизы REF (Research Excellence Framework) и норвежская модель количественной оценки. Особенности REF состоят в дифференцированной оценке результатов, импакта и среды научных подразделений, которая организуется экспертными панелями и группами. Особенности норвежской модели — экспертный подход к формированию национального белого списка научных журналов, конференций и издателей, методика расчёта публикационного индикатора и открытая база данных публикаций норвежских учёных, по которой этот индикатор определяется. Авторы полагают, что эти два примера можно рассматривать как параметрические модели оценки, адаптация которых с учётом национальных особенностей позволит актуализировать и усовершенствовать оба контура оценки научных организаций в России. Акцентируется важность регулярного ретроспективного осмысления опыта, процедур и результатов оценки организаций, что необходимо для планомерного развития этой системы на следующих этапах.

Полный текст

Доступ закрыт

Об авторах

Денис Викторович Косяков

Российский научно-исследовательский институт экономики, политики и права в научно-технической сфере

Автор, ответственный за переписку.
Email: kosyakov@sciencepulse.ru

заместитель заведующего лабораторией наукометрии и научных коммуникаций РИЭПП

Россия, Москва

Ирина Вячеславовна Селиванова

Российский научно-исследовательский институт экономики, политики и права в научно-технической сфере

Email: i-seli@yandex.ru

кандидат технических наук, научный сотрудник РИЭПП

Россия, Москва

Андрей Евгеньевич Гуськов

Российский научно-исследовательский институт экономики, политики и права в научно-технической сфере

Email: guskov.andrey@gmail.com

кандидат технических наук, заведующий лабораторией наукометрии и научных коммуникаций РИЭПП

Россия, Москва

Список литературы

  1. Gruening G. Origin and theoretical basis of new public management // International Public Management Journal. 2001. V. 4. № 1. P. 1–25. https://doi.org/10.1016/S1096-7494(01)00041-1
  2. Hicks D. Performance-based university research funding systems // Research Policy. 2012. V. 41. № 2. P. 251–261. https://doi.org/10.1016/ j.respol.2011.09.007
  3. Dougherty K. J., Natow R. S. Performance-based funding for higher education: how well does neoliberal theory capture neoliberal practice? // Higher Education. 2020. V. 80. № 3. P. 457–478. https://doi.org/10.1007/s10734-019-00491-4
  4. Henkel M. The modernisation of research evaluation: The case of the UK // Higher Education. 1999. V. 38. № 1. P. 105–122. https://doi.org/10.1023/A:1003799013939
  5. Mok K. H. Enhancing quality of higher education for world-class status: Approaches, strategies, and challenges for Hong Kong // Chinese Education and Society. 2014. V. 47. № 1. P. 44–64. https://doi.org/ 10.2753/CED1061-1932470103
  6. Crowe S. F., Watt S. Excellence in Research in Australia 2010, 2012, and 2015: The Rising of the Curate’s Soufflé? // Australian Psychologist. 2017. V. 52. № 6. P. 503–513. https://doi.org/10.1111/ap.12248
  7. Chatterjee B. et al. The spectacle of research assessment systems: insights from New Zealand and the United Kingdom // Accounting, Auditing and Accountability Journal. 2020. V. 33. № 6. P. 1219–1246. https://doi.org/10.1108/AAAJ-01-2019-3865
  8. Abramo G., D’Angelo C. A. The VQR, Italy’s second national research assessment: Methodological failures and ranking distortions // Journal of the Association for Information Science and Technology. 2015. V. 66. № 11. P. 2202–2214. https://doi.org/10.1002/asi.23323
  9. Luwel M. Performance-based Institutional Research Funding in Flanders, Belgium // Scholarly Assessment Reports. 2021. V. 3. № 1. P. 3. https://doi.org/10.29024/sar.29
  10. Engels T. C.E., Guns R. The Flemish Performance-based Research Funding System: A Unique Variant of the Norwegian Model // Journal of Data and Information Science. 2018. V. 3. № 4. P. 45–60. https://doi.org/10.2478/jdis-2018-0020
  11. Shu F., Liu S., Larivière V. China’s Research Evaluation Reform: What are the Consequences for Global Science? // Minerva. 2022. V. 60. № 3. P. 329–347. https://doi.org/10.1007/s11024-022-09468-7
  12. Aagaard K., Bloch C., Schneider J. W. Impacts of performance-based research funding systems: The case of the Norwegian Publication Indicator // Research Evaluation. 2015. V. 24. № 2. P. 106–117. https://doi.org/10.1093/reseval/rvv003
  13. Deutz D.B. et al. Quantitative quality: a study on how performance-based measures may change the publication patterns of Danish researchers // Scientometrics. 2021. V. 126. № 4. P. 3303–3320. https://doi.org/10.1007/s11192-021-03881-7
  14. Mathies C., Kivistö J., Birnbaum M. Following the money? Performance-based funding and the changing publication patterns of Finnish academics // High Educ. 2020. V. 79. № 1. P. 21–37. https://doi.org/10.1007/s10734-019-00394-4
  15. Hammarfelt B. Taking Comfort in Points: The Appeal of the Norwegian Model in Sweden // Journal of Data and Information Science. 2018. V. 3. № 4. P. 84–94. https://doi.org/10.2478/jdis-2018–0023
  16. Постановление Правительства РФ от 8 апреля 2009 г. № 312 “Об оценке и о мониторинге результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения”. 2009. https://sciencemon.ru/documents/6 (дата обращения 05.10.2023).
  17. Информационная справка к Совету при Президенте Российской Федерации по науке и образованию “Об оценке результативности деятельности научных организаций, подведомственных федеральным органам исполнительной власти и государственным академиям наук за 2010–2012 годы”. 2013. https://sciencemon.ru/documents/2 (дата обращения 05.10.2023).
  18. Поручение Президента Российской Федерации от 30 апреля 2013 г. № Пр-1144 по итогам заседания Совета при Президенте Российской Федерации по науке и образованию. 2013. https://sciencemon.ru/documents/3 (дата обращения 05.10.2023).
  19. Гуськов А. Е., Косяков Д. В., Селиванова И. В. Методика оценки результативности научных организаций // Вестник Российской академии наук. 2018. № 5. https://doi.org/10.7868/S0869587318050092
  20. Kosyakov D., Guskov A. Research assessment and evaluation in Russian fundamental science // Procedia Computer Science. 2019. V. 146. P. 11–19. https://doi.org/10.1016/j.procs.2019.01.072
  21. Kosyakov D., Guskov A. Reasons and consequences of changes in Russian research assessment policies // Scientometrics. 2022. V. 127. № 8. P. 4609–4630. https://doi.org/10.1007/s11192-022-04469-5
  22. Guskov A. E., Kosyakov D. V., Selivanova I. V. Boosting research productivity in top Russian universities: the circumstances of breakthrough // Scientometrics. 2018. V. 117. № 2. P. 1053–1080. https://doi.org/10.1007/s11192-018-2890-8
  23. Liu W., Hu G., Gu M. The probability of publishing in first-quartile journals // Scientometrics. 2016. V. 106. № 3. P. 1273–1276. https://doi.org/10.1007/s11192-015-1821-1
  24. Kosyakov D. Analysis of the abnormal growth in the number of Russian publications in conference proceedings in Scopus // Scientififc and Technical Information. 2023. № 4. P. 13–24. https://doi.org/10.36535/0548-0019-2023-04-3
  25. Phillimore A. J. University research performance indicators in practice: The University Grants Committee’s evaluation of British universities, 1985–86 // Research Policy. 1989. V. 18. № 5. P. 255–271. https://doi.org/10.1016/0048-7333(89)90053-X
  26. Sizer J. The impacts of financial reductions on British universities: 1981–84 // Higher Education. 1987. V. 16. № 5. P. 557–580. https://doi.org/10.1007/BF00128422
  27. Lee F. S., Pham X., Gu G. The UK Research Assessment Exercise and the narrowing of UK economics // Cambridge Journal of Economics. 2013. V. 37. № 4. P. 693–717. https://doi.org/10.1093/cje/bet031
  28. Sizer J. In Search of Excellence —Performance Assessment in the United Kingdom // Higher Education Quarterly. 1988. V. 42. № 2. P. 152–161. https://doi.org/10.1111/j.1468–2273.1988.tb01811.x
  29. Bekhradnia B. et al. Research Evaluation: Past, present and future. Higher Education Policy Institute (HEPI), 2022.
  30. Curry S., Gadd E., Wilsdon J. Harnessing the Metric Tide: indicators, infrastructures and priorities for UK responsible research assessment. Research on Research Institute, 2022.
  31. Smith S., Ward V., House A. ‘Impact’ in the proposals for the UK’s Research Excellence Framework: Shifting the boundaries of academic autonomy // Research Policy. 2011. V. 40. № 10. P. 1369–1379. https://doi.org/10.1016/j.respol.2011.05.026
  32. Building on Success and Learning from Experience. An Independent Review of the Research Excellence Framework. UK Government. 2016. https://www.gov.uk/government/uploads/system/uploads/attachment_data/file/541338/ind-16-9-ref-stern-review.pdf (дата обращения 30.01.2023).
  33. Future Research Assessment Programme. https://www.ukri.org/about-us/research-england/research-excellence/future-research-assessment-programme-frap/ (дата обращения 30.01.2023).
  34. Thelwall M. et al. Can REF output quality scores be assigned by AI? Experimental evidence. Wolverhampton, UK: Statistical Cybermetrics and Research Evaluation Group, University of Wolverhampton, 2022. P. 141.
  35. Thelwall M. et al. Predicting article quality scores with machine learning: The U. K. Research Excellence Framework // Quantitative Science Studies. 2023. V. 4. № 2. P. 547–573. https://doi.org/10.1162/qss_a_00258
  36. Singh Chawla D. AI system not yet ready to help peer reviewers assess research quality // Nature Index. 2022. https://doi.org/10.1038/d41586-022-04493-8
  37. Review of research assessment. Report by Sir Gareth Roberts to the UK funding bodies. UK Government. 2003. P. 44. https://web.archive.org/web/20070720232304/http://www.rareview.ac.uk/reports/roberts.asp (дата обращения 30.01.2023).
  38. Research Excellence Framework 2028: Initial decisions and issues for further consultation. Research England, 2023. https://www.ukri.org/publications/ref2028-initial-decisions-and-issues-for-further-consultation/ (дата обращения 30.01.2023).
  39. FAQs on the REF 2021 Impact case study database. https://ref.ac.uk/guidance-on-results/impact-case-study-database-faqs/ (дата обращения 30.01.2023).
  40. Pidd M., Broadbent J. Business and Management Studies in the 2014 Research Excellence Framework: Business and Management Studies in 2014 REF // Brit J Manage. 2015. V. 26. № 4. P. 569–581. https://doi.org/10.1111/1467–8551.12122
  41. Sivertsen G. The Norwegian Model in Norway // Journal of Data and Information Science. 2018. V. 3. № 4. P. 3–19. https://doi.org/10.2478/jdis-2018–0017
  42. A Bibliometric Model for Performance-based Budgeting of Research Institutions. Norwegian Association of Higher Education Institutions, 2004.
  43. Norwegian Register for Scientific Journals, Series and Publishers. https://kanalregister.hkdir.no/publiseringskanaler/Forside (дата обращения 05.07.2023).
  44. Costas Boletsis. Level 1 & Level 2 publications — Norwegian Scientific Index. 2015. https://boletsis.net/level-1-level-2-publications-norwegian-scientific-index/ (дата обращения 05.07.2023).
  45. Ahlgren P., Colliander C., Persson O. Field normalized citation rates, field normalized journal impact and Norwegian weights for allocation of university research funds // Scientometrics. 2012. V. 92. № 3. P. 767–780. https://doi.org/10.1007/s11192-012-0632-x
  46. Cristin. https://www.cristin.no (дата обращения 05.07.2023).
  47. Sivertsen G. The Norwegian Model in Norway // Journal of Data and Information Science. 2018. V. 3. № 4. P. 3–19. https://doi.org/10.2478/jdis-2018–0017
  48. Schneider J. W. An Outline of the Bibliometric Indicator Used for Performance-Based Funding of Research Institutions in Norway // Eur Polit Sci. 2009. V. 8. № 3. P. 364–378. https://doi.org/10.1057/eps.2009.19
  49. Ahlgren P., Colliander C., Persson O. Field normalized citation rates, field normalized journal impact and Norwegian weights for allocation of university research funds // Scientometrics. 2012. V. 92. № 3. P. 767–780. https://doi.org/10.1007/s11192-012-0632-x
  50. Bloch C., Schneider J. W. Performance-based funding models and researcher behavior: An analysis of the influence of the Norwegian Publication Indicator at the individual level // Research Evaluation. 2016. P. rvv047. https://doi.org/10.1093/reseval/rvv047
  51. Aagaard K. How incentives trickle down: Local use of a national bibliometric indicator system // Science and Public Policy. 2015. V. 42. № 5. P. 725–737. https://doi.org/10.1093/scipol/scu087
  52. Skivenes M., Trygstad S. C. When whistle-blowing works: The Norwegian case // Human Relations. 2010. V. 63. № 7. P. 1071–1097. https://doi.org/10.1177/0018726709353954
  53. Schneider J.W., Aagaard K., Bloch C.W. What happens when national research funding is linked to differentiated publication counts? A comparison of the Australian and Norwegian publication-based funding models // Research Evaluation. 2016. V. 25. № 3. P. 244–256. https://doi.org/10.1093/reseval/rvv036
  54. Гуськов А. Е., Косяков Д. В. Национальный фракционный счёт и оценка научной результативности организаций // Научные и технические библиотеки. 2020. № 9. P. 15–42. https://doi.org/10.33186/1027-3689-2020-9-15-42

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML
Скачать
2. КОСЯКОВ Денис Викторович – заместитель заведующего лабораторией наукометрии и научных коммуникаций РИЭПП. СЕЛИВАНОВА Ирина Вячеславовна – кандидат технических наук, научный сотрудник РИЭПП. ГУСЬКОВ Андрей Евгеньевич – кандидат технических наук, заведующий лабораторией наукометрии и научных коммуникаций РИЭПП.

Скачать (229KB)
Метаданные
3. Рис. 1. Основные панели и экспертные группы (UoA) в REF 2021

Скачать (457KB)
Метаданные
4. Рис. 2. Распределение результатов по типам в REF 2021

Скачать (108KB)
Метаданные
5. Рис. 3. Распределение результатов по типам в REF 2021, по экспертным панелям

Скачать (200KB)
Метаданные
6. Рис. 4. Количество результатов менее распространённых типов в REF 2021

Скачать (150KB)
Метаданные
7. Рис. 5. Распределение количества примеров воздействия по их типам (областям) и экспертным панелям в REF 2021

Скачать (131KB)
Метаданные
8. Рис. 6. Пример результатов оценки одного из университетов по двум направлениям (UoA) в REF 2021

Скачать (159KB)
Метаданные

© Российская академия наук, 2024

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».