Evaluation of the scientific results of youth laboratories: features of the methodological approach and potential for application in public administration


Cite item

Abstract

The study presents a methodological approach to assessing the results of research and development (R&D) of youth laboratories created within the framework of the “New Medicine” direction. The approach is based on the use of industry tools of technology readiness levels (TRL), which were finalized considering the purpose and objectives of the study. A distinctive feature of the approach is the ability to obtain not only integer but also fractional TRL values, which allows analyzing the dynamics of scientific and scientific-technical results by years of the budget cycle or the research planning cycle. The second feature of the approach is the assessment of the practical significance of the R&D result according to the criterion “Contribution. of the result to solving priority problems of medicine and health care”. The methodology is implemented using the method of expert survey in the information environment. The requirements for the selection of experts, the features of the implementation of the questionnaire and the type of questions asked are characterized. All requirements are aimed at eliminating expert bias and other factors that can influence the choice of answer. The article presents the results of testing the methodology using the material of R&D of youth laboratories in the direction of “New Medicine”, completed in 2023. The assessment of research results made it possible to form ratings based on the aggregation of assessments by laboratories and types of results. The theoretical and practical significance of the testing results is characterized. Conclusions are made on the practical applicability of the approach within a wider range of organizations not only in the field of medical sciences, but also in other industries. The methodological approach allows: 1) to assess the contribution of research results to solving the most acute and pressing problems of the industry or area of activity; 2) to assess the TRL of research results taking into account the industry-specific nature of research; 3) to form an assessment of research results taking into account their contribution to solving priority problems of the industry or area of activity and the achieved TRL; 4) to compile ratings of scientific and scientific-technical results, applying various approaches to their aggregation. An important consequence of applying the methodological approach is the emerging opportunity to analyze the dynamics of research results within the budget cycle or the research planning cycle and to monitor on this basis, as well as make the necessary management decisions. Ratings and analysis of the dynamics of research results can be used as an information basis when making decisions on the formation of a state assignment for the performance of scientific research or on its adjustment.

About the authors

Elena V. Maslennikova

The Russian Presidential Academy of National Economy and Public Administration (RANEPA)

Author for correspondence.
Email: m_elena_v@mail.ru
ORCID iD: 0000-0001-6291-0411
SPIN-code: 7242-3587

Candidate of Sociological Sciences, Associate Professor, Leading Researcher, Center for Public Administration Technologies

82 Vernadsky ave., bldg. 1, Moscow, 119571, Russian Federation

Svetlana E. Soldatova

Directorate of Scientific and Technical Programs

Email: soldatova@fcntp.ru
ORCID iD: 0000-0003-1752-8445
SPIN-code: 9071-8977

Candidate of Economic Sciences, Associate Professor, Methodologist

19 Presnensky Val st., Moscow, 123557, Russian Federation

Aleksandr A. Dvoinikov

Directorate of Scientific and Technical Programs

Email: a.dvoynikov@fcntp.ru
ORCID iD: 0009-0006-1635-6759

Acting Director

19 Presnensky Val st., Moscow, 123557, Russian Federation

References

  1. Héder M. From NASA to EU: the evolution of the TRL scale in public sector innovation. The Innovation Journal: The Public Sector Innovation Journal. 2017;22(2). URL: https://innovation.cc/document/2017-22-2-3-from-nasa-to-eu-the-evolution-of-the-trl-scale-in-public-sector-innovation/ (accessed: 02.06.2025).
  2. Drogovoz PA, Pushkareva PP. Features of use of a method of assessment of level of readiness of technologies in the knowledge-intensive industries: foreign and domestic experience. Ekonomika i predprinimatel’stvo. 2019;(5):1066-1070. (In Russ.). EDN: DYDGMM
  3. Komarov AV, Pikhtar AN, Grinevsky IV, Komarov KA, Golitsyn LV. A conceptual model for assessing the technological readiness of a R&D project and its potential at the early stages of development. Economics of Science. 2021;7(2):111-134. (In Russ.). https://doi.org/10.22394/2410-132X-2021-7-2-111-134 EDN: KFBSAK
  4. Badanov AYu, Ryzvanov RA. Adapting best-practice approaches to evaluating technology, integration, and system readiness levels. Aktual’nye problemy gumanitarnykh i estestvennykh nauk. 2017;4(1):71-82. (In Russ.). EDN: YGRPCF
  5. Sartori AV. Improving research performance through planning by readiness levels in lean R&D. Economics of Science. 2022;8(1):4-21. (In Russ.). https://doi.org/10.22394/2410-132X-2022-8-1-4-21 EDN: PRCTCD
  6. Heslop L.A, McGregor E, Griffith M. Development of a technology readiness assessment measure: the cloverleaf model of technology transfer. The Journal of Technology Transfer. 2001;26(4): 369-384. https://doi.org/10.1023/A:1011139021356 EDN: ARRRFX
  7. Granich VYu, Dutov AV, Miroshkin VL, Sypalo KI. About The technology readiness level and the application of the TRL calculator for their assessment. Economics of Science. 2020;6(1-2):6-10. (In Russ.). https://doi.org/10.22394/2410-132X-2020-6-1-2-6-10 EDN: IDJEKP
  8. Bakke K, Haskins C. Use of TRL in the systems engineering toolbox. INCOSE International Symposium. 2018;28(1):587-601. https://doi.org/10.1002/j.2334-5837.2018.00502.x
  9. Webster A, Gardner J. Aligning technology and institutional readiness: The adoption of innovation. Technology Analysis & Strategic Management. 2019;31(10):1229-1241. https://doi.org/10.1080/09537325.2019.1601694
  10. Zemlickiene V, Bubliene R, Jakubavičius A. A model for assessing the commercial potential of high technologies. Oeconomia Copernicana. 2018;9(1):29-54. https://doi.org/10.24136/oc.2018.002 EDN: RZALGS
  11. Zatsarinny AA, Ionenkov YuS. Some methodological issues of assessing the level of technological readiness of information systems projects. Systems and Means of Informatics. 2022;32(3):4-14. (In Russ.). https://doi.org/10.14357/08696527220301 EDN: MEFTQV
  12. Aksenova EI., Gorbatov SYu, Pivovarova OA. Determining the level of technological readiness of developments in medicine based on the TRL methodology. Problems of Social Hygiene, Public Health and History of Medicine. 2021;29(S2):1395-1399. (In Russ.). https://doi.org/10.3 2687/0869-866X-2021-29-s2-1395-1399 EDN: NMEWSM
  13. Pyatigorsky AM, Brkich GE, Beregovykh VV, Pyatigorskaya NV. Comprehensive assessment of technological readiness of an innovative project during the development of a pharmaceutical product. Annals of The Russian Academy of Medical Sciences. 2023;78(3):234-241. (In Russ.). https://doi.org/10.15690/vramn8349 EDN: EZNFUO
  14. Asadov AG. Features of the legal status of the young scientist in the Russian Federation. Works on Intellectual Property. 2024;49(2):47-61. (In Russ.). https://doi.org/10.17323/tis.2024.21712. EDN SKFXVO
  15. Pirozhkova SV. Early career researcher: from managerial construct to socio-epistemic reality. Epistemology & Philosophy of Science. 2022;59(3):149-165. (In Russ.). https://doi.org/10.5840/eps202259347 EDN TOCBYR
  16. Gil’mundinov VM, Pankova YuV. Implementation of performance-based employment contracts and youth policy in research institutes: the experience of the institute of economics and industrial engineering, Siberian Branch of the Russian Academy of Sciences (IEIE SB RAS). Nauka: vo vremeni i prostranstve: v 2-kh tomakh [Science: in time and space: in 2 vols]. Novosibirsk: Institut ekonomiki i organizatsii promyshlennogo proizvodstva SO RAN publ.;2022;52(12):155-169. (In Russ.). https://doi.org/10.30680/ECO0131-7652-2022-12-90-105 EDN RMGPKY
  17. Zulkarnai IU. About the mission of the “youth laboratories” created within the framework of the national project “Science and universities”. Economics and Management: Scientific and Practical Journal. 2024;(6):29-35. (In Russ.). https://doi.org/10.34773/EU.2024.6.5 EDN TMXMYD
  18. Ivanova MI., Klepinin AV, Saratova IS. The national system for the development of human resources in the scientific field: Problems and solutions. Ekonomika i upravlenie: problemy, resheniya. 2024;6(2):26-36. (In Russ.). https://doi.org/10.36871/ek.up.p.r.2024.02.06.004 EDN CGHVOU
  19. Dezhina IG, Ponomarev AK. From science to technologies: New trends of government regulations. Innovations. 2020;(10):30-40. (In Russ.). https://doi.org/10.26310/2071-3010.2020.264.10.004 EDN: VVAFFE
  20. Karasev OI, Smirnov RG, Beloshitskii AV. Facilitating the transition of basic research to the applied stage in the Russian Federation. Obshchestvennye finansy. 2020;(39):25-45. (In Russ.). EDN: XDSWXJ
  21. Voronov YuP. New approaches to evaluating the effectiveness of fundamental research. EKO. 2009;(6):64-82. (In Russ.). EDN: KDSUXZ
  22. Lebedev GS, Krylov OB, Lelyakov AI, Mironov YuG, Tkachenko VV. Efficiency integral assessment of research works in research institutions of the Ministry of public health of Russia. Modern high technologies. 2019;(1):69-75. (In Russ.). https://doi.org/10.17513/snt.37381 EDN: YWYUMX
  23. Korobko IV. Comprehensive measures to enhance the efficiency and effectiveness of applied research for medicine and healthcare. Meditsina molodaya: sbornik tezisov ІІ Mezhdistsiplinarnogo foruma [Young Medicine: Collection of abstracts of the 2nd Interdisciplinary Forum]. Moscow; 2023:22-25. (In Russ.). EDN: QURCOI
  24. Aladysheva ZhI, Belyaev VV, Beregovykh VV. Promyshlennaya farmatsiya. Put’ sozdaniya produkta [Industrial pharmacy: the product development path]. Moscow: Izd-vo Rossiiskaya akademiya nauk publ.; 2019. (In Russ.). EDN: KWJJUK
  25. Gusev AB, Yurevich MA. The sovereignty of Russia in the area of pharmaceuticals: Challenges and opportunities. Terra Economicus. 2023;21(3):17-31. (In Russ.). https://doi.org/10.18522/2073-6606-2023-21-3-17-31 EDN: SSZDBG

Supplementary files

Supplementary Files
Action
1. JATS XML


Creative Commons License
This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».