Computational nanotechnologyComputational nanotechnologyComputational nanotechnology2313-223X2587-9693YUR-VAK35839210.33693/2313-223X-2025-12-5-143-153EZTMLXINFORMATICS AND INFORMATION PROCESSINGИНФОРМАТИКА И ИНФОРМАЦИОННЫЕ ПРОЦЕССЫResearch ArticleA Model for the intelligent analysis and detection of anomalies in the data of statistical observation of educational organizationsМодель интеллектуального анализа и обнаружения аномалий в данных статистического наблюдения за образовательными организациями1383-7078VinogradovNikita E.ВиноградовНикита Евгеньевич
Russian Federation

graduate student, Institute for Advanced Technologies and Industrial Programming

аспирант, Институт перспективных технологий и индустриального программирования

vinogradov_n@mirea.ruhttps://orcid.org/0000-0003-1690-796157205359470B-5750-20177619-6288VostroknutovIgor E.ВострокнутовИгорь Евгеньевич
Russian Federation

Dr. Sci. (Pedag.), Professor, Institute for Advanced Technologies and Industrial Programming

доктор педагогических наук, профессор, Институт перспективных технологий и индустриального программирования

vostroknutov_i@mail.ruMIREA – Russian Technological UniversityМИРЭА – Российский технологический университет1412202512514315316122025Copyright ©; 2025, Yur-VAKCopyright ©; 2025, Юр-ВАК2025Yur-VAKЮр-ВАКhttps://www.urvak.ru/contacts/https://journals.rcsi.science/2313-223X/article/view/358392

This article describes an algorithm for applying an intelligent analysis model to detect anomalies in statistical observation data for educational organizations. The definition of an anomaly is given, typical anomalies that may be contained in statistical reporting data are analyzed. The classification of anomaly detection techniques is given depending on the level of markup of the training sample, and possible ways of marking up data to present the results of the anomaly search are analyzed. The analysis and description of the process of collecting and processing statistical data of educational organizations in the Scientific and Technical Center of RTU MIREA is carried out. The weaknesses of the data collection process are analyzed, which can be strengthened by applying intelligent analysis to search for anomalies in the data. The analysis and mathematical description of the format and features of the received and stored statistical data is carried out. An algorithm has been developed for preparing data for training an intelligent analysis model, taking into account their specifics, as well as the subsequent application of the trained model to detect anomalies in the data under consideration. The algorithm was tested on real data using the autoencoder neural network model.

В статье описан алгоритм применения модели интеллектуального анализа для обнаружения аномалий в данных статистического наблюдения за образовательными организациями. Дано определение аномалии, проанализированы типовые аномалии, которые могут содержаться в данных статистической отчетности. Приведена классификация методик выявления аномалий в зависимости от уровня размеченности обучающей выборки, а также проанализированы возможные способы разметки данных для представления результатов поиска аномалий. Проведены анализ и описание процесса сбора и обработки статистических данных образовательных организаций в ГИВЦ РТУ МИРЭА. Проанализированы слабые места процесса сбора данных, которые возможно усилить путем применения интеллектуального анализа для поиска аномалий в данных. Разработана математическая модель обработки данных и поиска аномалий. Предложен алгоритм подготовки данных для обучения модели интеллектуального анализа с учетом их специфики, а также последующего применения обученной модели для обнаружения аномалий в рассматриваемых данных. Произведена проверка работы алгоритма на реальных данных с использованием нейросетевой модели автоэнкодер.

anomaly detectionstatistical datadata miningautoencoderобнаружение аномалий в данныхстатистические данныеинтеллектуальный анализавтоэнкодерBardasova I.A., Volkova E.A. Anomaly detection in emails using machine learning. Vestnik Nauki. 2024. Vol. 4. No. 5 (74). Pp. 1350–1358. (In Rus.)Бардасова И.А., Волкова Е.А. Обнаружение аномалий в электронных письмах с помощью машинного обучения // Вестник науки. 2024. Т. 4. № 5 (74). С. 1350–1358.Grusho A.A. et al. Anomaly detection in big data. Sistemy i Sredstva Informatiki. 2022. Vol. 32. No. 1. Pp. 160–167. (In Rus.)Грушо А.А. и др. Поиск аномалий в больших данных // Системы и средства информатики. 2022. Т. 32. № 1. С. 160–167.Mikhnyaev A.L. et al. Anomaly detection in technological process data. In: Proceedings of the Conference “Digital Environment: Technologies and Prospects” (DETP 2022). N.N. Shalobyta (ed.) et al. Brest: Belarus: Brest State Technical University, 2022. Pp. 62–65.Михняев А.Л. и др. Обнаружение аномалий в данных технологического процесса // Цифровая среда: технологии и перспективы: матер. конф. “Digital Environment: Technologies and Prospects” DETP 2022 (Брест, 31 октября 2022 г.). / ред. Н.Н. Шалобыта и др. Брест: БрГТУ, 2022. С. 62–65.Safronov D.A., Katser Yu.D., Zaitsev K.S. Anomaly detection using autoencoders. International Journal of Open Information Technologies. 2022. Vol. 10. No. 8. Pp. 39–45. (In Rus.)Сафронов Д.А., Кацер Ю.Д., Зайцев К.С. Поиск аномалий с помощью автоэнкодеров // International Journal of Open Information Technologies. 2022. Т. 10. № 8. С. 39–45.Tokarev V.V. A review of machine learning methods used for outlier removal in datasets. In: Scientific review: Current issues of theory and practice. Proceedings of the V International Scientific and Practical Conference. Penza: Nauka i Prosveshchenie, 2023. Pp. 18–24.Токарев В.В. Обзор методов машинного обучения, используемых для удаления выбросов в наборе данных // Научное обозрение: актуальные вопросы теории и практики: сборник статей V Международной научно-практической конференции. Пенза: Наука и Просвещение, 2023. С. 18–24.Shkodyrev V.P. et al. A survey of anomaly detection methods in data streams. In: Proceedings of the Second Conference on Software Engineering and Information Management. Vol. 1864. St. Petersburg, 2017.Шкодырев В.П. и др. Обзор методов обнаружения аномалий в потоках данных // Proc. of the Second Conference on Software Engineering and Information Management. Т. 1864. СПб., 2017.Shelukhin O.I., Ryabinin V.S. Anomaly detection in big data from unstructured system logs. Voprosy Kiberbezopasnosti. 2019. Vol. 2. No. 30. Pp. 36–41. (In Rus.)Шелухин О.И., Рябинин В.С. Обнаружение аномалий больших данных неструктурированных системных журналов // Вопросы кибербезопасности. 2019. № 2 (30). С. 36–41.Zimek A., Schubert E. Outlier detection. In: Encyclopedia of database systems. New York: Springer, 2017.Zimek A., Schubert E. Outlier detection // Encyclopedia of database systems. New York: Springer, 2017.Braei M., Wagner S. Anomaly detection in univariate time-series: A survey on the state-of-the-art. arXiv preprint arXiv:2004.00433. 2020.Braei M., Wagner S. Anomaly detection in univariate time-series: A survey on the state-of-the-art // arXiv preprint arXiv:2004.00433. 2020.Chandola V., Banerjee A., Kumar V. Anomaly detection: A survey. ACM computing surveys (CSUR). 2009. Vol. 41. No. 3. Pp. 1–58.Chandola V., Banerjee A., Kumar V. Anomaly detection: A survey // ACM computing surveys (CSUR). 2009. Vol. 41. No. 3. Pp. 1–58.Salgado C.M., Azevedo C., Proenca H., Vieira S.M. Noise versus outliers. Cham: Springer International Publishing, 2016. Pp. 163–183.Charu C. Aggarwal. outlier analysis. 2nd ed. Springer Publishing Company, Inc., 2016. ISBN: 3319475770.Hojjati H., Ho T.K.K., Armanfard N. Self-supervised anomaly detection: A survey and outlook. arXiv preprint arXiv:2205.05173. 2022.Hojjati H., Ho T.K.K., Armanfard N. Self-supervised anomaly detection: A survey and outlook // arXiv preprint arXiv:2205.05173. 2022.Ruff L. et al. A unifying review of deep and shallow anomaly detection. Proceedings of the IEEE. 2021. Vol. 109. No. 5. Pp. 756–795.Ruff L. et al. A unifying review of deep and shallow anomaly detection // Proceedings of the IEEE. 2021. Vol. 109. No. 5. Pp. 756–795.Smiti A. A critical overview of outlier detection methods. Computer Science Review. 2020. Vol. 38. P. 100306.Smiti A. A critical overview of outlier detection methods // Computer Science Review. 2020. Vol. 38. P. 100306.