The use of neural networks for real-time big data analysis

Abstract

The article is devoted to the exploration of the possibilities of using neural networks for real-time big data analysis in the field of information security. The relevance of the topic is due to the rapid growth of generated data volumes, the complexity of cyberattack methods, and the necessity to develop new effective approaches to information protection. The work examines in detail the key tasks addressed using neural network technologies, including anomaly detection in network traffic, prevention of distributed DDoS attacks, classification of malware, and forecasting new cyber threats. Special attention is paid to the unique advantages of neural networks, such as the ability to process extremely large volumes of heterogeneous data, identify complex non-obvious attack patterns, continuously learn and adapt to rapidly changing conditions in the cyber environment. The study utilizes deep learning methods, including convolutional and recurrent neural networks, for big data analysis and cyber threat identification. Approaches for real-time data processing and model robustness assessment are applied. The conducted research demonstrates that modern neural network architectures possess significant potential for revolutionary transformation of information security systems. Key advantages include ultra-high speed of streaming data processing, the capability to detect previously unknown types of attacks through the identification of complex correlations, as well as the ability to predict threats based on historical data analysis. However, the research also revealed serious technological challenges: excessive demand for computational resources to train complex models, the "black box" problem in interpreting decisions, the vulnerability of the neural network models themselves to specialized attacks (adversarial attacks), and ethical aspects of automated decision-making in cybersecurity. Successful implementation cases are presented, including next-generation intrusion detection systems and malware analysis platforms. The authors see promising directions for further research in the development of energy-efficient neural network models, creation of explainable AI methods for security, and advancement of adaptive systems capable of evolving alongside cyber threats. The results obtained are valuable for cybersecurity specialists, developers of protective solutions, and researchers in the field of artificial intelligence.

References

  1. Воронцов К.В. Машинное обучение и искусственные нейронные сети / К.В. Воронцов. – М.: ДМК Пресс, 2020. – 448 с. – ISBN 978-5-97060-799-1.
  2. Горбань А.Н., Дунин-Барковский В.Л. Нейронные сети: обучение, организация и применение / А.Н. Горбань, В.Л. Дунин-Барковский. – М.: ИПРЖР, 2018. – 292 с. – ISBN 978-5-93121-381-8.
  3. Корнеев В.В. Big Data в информационной безопасности: анализ угроз в реальном времени // Прикладная информатика. – 2021. – № 4. – С. 45-58. – doi: 10.25791/pfim.04.2021.1245.
  4. Соколов И.А., Петров Д.Ю. Применение LSTM-сетей для обнаружения DDoS-атак в потоковых данных // Информатика и её применения. – 2022. – Т. 16, № 3. – С. 72-83. – doi: 10.14357/19922264220308.
  5. Иванов А.М., Кузнецов С.П. Интеграция Apache Kafka и нейросетевых моделей для анализа кибератак // Труды международной конференции "Цифровая трансформация-2023". – СПб.: Изд-во Политехнического университета, 2023. – С. 112-125.
  6. Романова О.Л., Тимофеев А.В. Этика искусственного интеллекта в контексте информационной безопасности // Философия и наука. – 2021. – № 12. – С. 64-75. – doi: 10.15372/PS20211206.
  7. Бабичева М.В., Третьяков И.А. Применение методов машинного обучения для автоматизированного обнаружения сетевых вторжений // Вестник Дагестанского государственного технического университета. Технические науки. – 2023. – Т. 50, № 1. – С. 53-61. – doi: 10.21822/2073-6185-2023-50-1-53-61. – EDN: MGBAGF.
  8. Поздняк И.С., Макаров И.С. Модели обнаружения атак с использованием методов машинного обучения // Вестник Российского нового университета. Серия: Сложные системы: модели, анализ и управление. – 2024. – № 1. – С. 99-109. – doi: 10.18137/RNU.V9187.24.01.P.99. – EDN: MNMSYZ.
  9. Бабичева М.В., Третьяков И.А. Применение методов машинного обучения для автоматизированного обнаружения сетевых вторжений // Вестник Дагестанского государственного технического университета. Технические науки. – 2023. – Т. 50, № 1. – С. 53-61. – doi: 10.21822/2073-6185-2023-50-1-53-61. – EDN: MGBAGF.
  10. Харрисон М. Машинное обучение: карманный справочник. Краткое руководство по методам структурированного машинного обучения на Python / Пер. В.А. Коваленко. – СПб.: Диалектика, 2020. – 320 с. – ISBN 978-5-907203-17-4.

Supplementary files

Supplementary Files
Action
1. JATS XML

Согласие на обработку персональных данных

 

Используя сайт https://journals.rcsi.science, я (далее – «Пользователь» или «Субъект персональных данных») даю согласие на обработку персональных данных на этом сайте (текст Согласия) и на обработку персональных данных с помощью сервиса «Яндекс.Метрика» (текст Согласия).