Detecting Obfuscated Malware Infections on Windows Using Ensemble Learning Techniques

Cover Page

Cite item

Full Text

Abstract

In the internet and smart devices era, malware detection has become crucial for system security. Obfuscated malware poses significant risks to various platforms, including computers, mobile devices, and IoT devices, by evading advanced security solutions. Traditional heuristic-based and signature-based methods often fail against these threats. Therefore, a cost-effective detection system was proposed using memory dump analysis and ensemble learning techniques. Utilizing the CIC-MalMem-2022 dataset, the effectiveness of decision trees, gradient-boosted trees, logistic Regression, random forest, and LightGBM in identifying obfuscated malware was evaluated. The study demonstrated the superiority of ensemble learning techniques in enhancing detection accuracy and robustness. Additionally, SHAP (SHapley Additive exPlanations) and LIME (Local Interpretable Model-agnostic Explanations) were employed to elucidate model predictions, improving transparency and trustworthiness. The analysis revealed vital features significantly impacting malware detection, such as process services, active services, file handles, registry keys, and callback functions. These insights are crucial for refining detection strategies and enhancing model performance. The findings contribute to cybersecurity efforts by comprehensively assessing machine learning algorithms for obfuscated malware detection through memory analysis. This paper offers valuable insights for future research and advancements in malware detection, paving the way for more robust and effective cybersecurity solutions in the face of evolving and sophisticated malware threats.

About the authors

Y. Imamverdiyev

Azerbaijan Technical University

Author for correspondence.
Email: yadigar.imamverdiyev@aztu.edu.az
H. Javid Av. 25

E. Baghirov

Institute of Information Technology of The Ministry of Science and Education of the Azerbaijan Republic

Email: elsenbagirov1995@gmail.com
A. Kunanbayev St. 5/13

J. Ikechukwu

Kadir Has University

Email: cikechukwujohn@stu.khas.edu.tr
Fatih -

References

  1. Baghirov E. Evaluating the performance of different machine learning algorithms for Android malware detection. In 2023 5th International Conference on Problems of Cybernetics and Informatics (PCI). IEEE, 2023. pp. 1–4. doi: 10.1109/PCI60110.2023.10326006.
  2. Baghirov E. Comprehensive framework for malware detection: Using ensemble methods, feature selection, and hyperparameter optimization. In 2023 IEEE 17th International Conference on Application of Information and Communication Technologies (AICT). IEEE, 2023. pp. 1–5. doi: 10.1109/AICT59525.2023.10313179.
  3. Jeon J., Jeong B., Baek S., Jeong Y.-S. Static Multi Feature-Based Malware Detection Using Multi SPP-net in Smart IoT Environments. IEEE Transactions on Information Forensics and Security. 2024. vol. 19. pp. 2487–2500. doi: 10.1109/TIFS.2024.3350379.
  4. Ismail S.J.I., Hendrawan Rahardjo B., Juhana T., Musashi Y. MalSSL – Self-Supervised Learning for Accurate and Label-Efficient Malware Classification. IEEE Access. 2024. vol. 12. pp. 58823–58835. doi: 10.1109/ACCESS.2024.3392251.
  5. Baghirov E. Malware detection based on opcode frequency. Journal of Problems of Information Technology, 2023. vol. 14(1). pp. 3–7. doi: 10.25045/jpit.v14.i1.01.
  6. Egitmen A., Yavuz A.G., Yavuz S. TRConv: Multi-Platform Malware Classification via Target Regulated Convolutions. IEEE Access. 2024. vol. 12. pp. 71492–71504. doi: 10.1109/ACCESS.2024.3401627.
  7. Gungor A., Dogru I.A., Barisci N., Toklu S. Malware detection using image-based features and machine learning methods. Journal of the Faculty of Engineering and Architecture of Gazi University. 2023. vol. 38. no. 3. pp. 1781–1792. doi: 10.17341/gazimmfd.994289.
  8. Mesbah A., Baddari I., Riahla M.A. LongCGDroid: Android malware detection through longitudinal study for machine learning and deep learning. Jordanian Journal of Computers and Information Technology. 2023. vol. 9. no. 4. pp. 328–346. doi: 10.5455/jjcit.71-1693392249.
  9. Howard A., Hope B., Saltaformaggio B., Avena E., Ahmadi M., Duncan M., McCann R., Cukierski W. Microsoft Malware Prediction. Kaggle, 2018. Available at: https://kaggle.com/competitions/microsoft-malware-prediction. (accessed 26.10.2024).
  10. Ahmed I.T., Hammad B.T., Jamil N.A Comparative Performance Analysis of Malware Detection Algorithms Based on Various Texture Features and Classifiers. IEEE Access. 2024. vol. 12. pp. 11500–11519. doi: 10.1109/ACCESS.2024.3354959.
  11. Xie W., Zhang X. The Application of Machine Learning in Android Malware Detection. 2024 4th International Conference on Neural Networks, Information and Communication Engineering (NNICE). 2024. pp. 1–4. doi: 10.1109/NNICE61279.2024.10498936.
  12. Bostani H.; Moonsamy V. EvadeDroid: A practical evasion attack on machine learning for black-box Android malware detection. Computers and Security. 2024. vol. 139. doi: 10.1016/j.cose.2023.103676.
  13. Rigaki M., Garcia S. The Power of MEME: Adversarial Malware Creation with Model-Based Reinforcement Learning. Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). 2024. pp. 44–64. doi: 10.1007/978-3-031-51482-1_3.
  14. Rudd E.M., Krisiloff D., Coull S., Olszewski D., Raff E., Holt J. Efficient Malware Analysis Using Metric Embeddings. Digital Threats: Research and Practice. 2024. vol. 5(1). pp. 1–20. doi: 10.1145/3615669.
  15. Zhan D., Zhang Y., Zhu L., Chen J., Xia S., Guo S., Pan Z. Enhancing reinforcement learning based adversarial malware generation to evade static detection. Alexandria Engineering Journal. 2024. vol. 98. pp. 32–43. doi: 10.1016/j.aej.2024.04.024.
  16. Aljabri M., Alhaidari F., Albuainain A., Alrashidi S., Alansari J., Alqahtani W., Alshaya J. Ransomware detection based on machine learning using memory features. Egyptian Informatics Journal. 2024. vol. 25. doi: 10.1016/j.eij.2024.100445.
  17. Ban Y., Kim M., Cho H. An Empirical Study on the Effectiveness of Adversarial Examples in Malware Detection. CMES – Computer Modeling in Engineering and Sciences. 2024. vol. 139(3). pp. 3535–3563. doi: 10.32604/cmes.2023.046658.
  18. Zhang Y., Jiang J., Yi C., Li H., Min S., Zuo R., An Z., Yu Y. A Robust CNN for Malware Classification against Executable Adversarial Attack. Electronics. 2024. vol. 13(5). doi: 10.3390/electronics13050989.
  19. Dam T.Q., Nguyen N.T., Le T.V., Le T.D., Uwizeyemungu S., Le-Dinh T. Visualizing Portable Executable Headers for Ransomware Detection: A Deep Learning-Based Approach. Journal of Universal Computer Science. 2024. vol. 30(2). pp. 262–286. doi: 10.3897/jucs.104901.
  20. Gibert D., Zizzo G., Le Q. Towards a Practical Defense Against Adversarial Attacks on Deep Learning-Based Malware Detectors via Randomized Smoothing. Lecture Notes in Computer Science. 2024. vol. 14399. pp. 683–699. doi: 10.1007/978-3-031-54129-2_40.
  21. Zhang P., Wu C., Wang Z. BINCODEX: A comprehensive and multi-level dataset for evaluating binary code similarity detection techniques. BenchCouncil Transactions on Benchmarks, Standards and Evaluations. 2024. vol. 4(2). doi: 10.1016/j.tbench.2024.100163.
  22. Gibert D., Zizzo G., Le Q., Planes J. Adversarial Robustness of Deep Learning-Based Malware Detectors via (De)Randomized Smoothing. IEEE Access. 2024. vol. 12. pp. 61152–61162. doi: 10.1109/ACCESS.2024.3392391.
  23. Louthanova P., Kozak M., Jurecek M., Stamp M., Di Troia F. A comparison of adversarial malware generators. Journal of Computer Virology and Hacking Techniques. 2024. vol. 20. pp. 623–639. doi: 10.1007/s11416-024-00519-z.
  24. Qian L., Cong L. Channel Features and API Frequency-Based Transformer Model for Malware Identification. Sensors. 2024. vol. 24(2). doi: 10.3390/s24020580.
  25. Surendran R., Uddin M.M., Thomas T., Pradeep G. Android Malware Detection Based on Informative Syscall Subsequences. IEEE Access. 2023. vol. 11. doi: 10.1109/ACCESS.2024.3387475.
  26. Kozak M., Jurecek M., Stamp M., Troia F.D. Creating valid adversarial examples of malware. Journal of Computer Virology and Hacking Techniques. 2024. vol. 20. pp. 607–621. doi: 10.1007/s11416-024-00516-2.
  27. Imran M., Appice A., Malerba D. Evaluating Realistic Adversarial Attacks against Machine Learning Models for Windows PE Malware Detection. Future Internet. 2024. vol. 16(5). doi: 10.3390/fi16050168.
  28. Saha S., Afroz S., Rahman A. H. MALIGN: Explainable static raw-byte based malware family classification using sequence alignment. Computers and Security. 2024. vol. 139. doi: 10.1016/j.cose.2024.103714.
  29. Li D., Cui S., Li Y., Xu J., Xiao F., Xu S. PAD: Towards Principled Adversarial Malware Detection Against Evasion Attacks. IEEE Transactions on Dependable and Secure Computing. 2024. vol. 21. no. 2. pp. 920–936. doi: 10.1109/TDSC.2023.3265665.
  30. Zhang F., Li K., Ren Z. Improving Adversarial Robustness of Ensemble Classifiers by Diversified Feature Selection and Stochastic Aggregation. Mathematics. 2024. vol. 12(6). doi: 10.3390/math12060834.
  31. Alzaidy S., Binsalleeh H. Adversarial Attacks with Defense Mechanisms on Convolutional Neural Networks and Recurrent Neural Networks for Malware Classification. Applied Sciences. 2024. vol. 14(4). doi: 10.3390/app14041673.
  32. Zhou K., Wang P., He B. Comparative Study: Mouth Brooding Fish (MBF) as a Novel Approach for Android Malware Detection. International Journal of Advanced Computer Science and Applications. 2024. vol. 15(5). doi: 10.14569/IJACSA.2024.0150521.
  33. Rakib H., Dhakal S.M. Obfuscated Malware Detection: Investigating Real-World Scenarios Through Memory Analysis. In 5th IEEE International Conference on Telecommunications and Photonics (ICTP 2023). 2023. doi: 10.1109/ICTP60248.2023.10490701.
  34. Carrier T., Victor P., Tekeoglu A., Lashkari A.H. Detecting Obfuscated Malware using Memory Feature Engineering. Proceedings of the 8th International Conference on Information Systems Security and Privacy (ICISSP). 2022. vol. 1. pp. 177–188. doi: 10.5220/0010908200003120.
  35. Hastie T., Tibshirani R., Friedman J. The Elements of Statistical Learning: Data Mining, Inference, and prediction (2nd ed.). Springer, 2009. 745 p.
  36. Friedman J.H. Greedy function approximation: A gradient boosting machine. Annals of Statistics. 2001. vol. 29(5). pp. 1189–1232. doi: 10.1214/aos/1013203451.
  37. Ke G., Meng Q., Finley T., Wang T., Chen W., Ma W., Ye Q., Liu T. LightGBM: A Highly Efficient Gradient Boosting Decision Tree. NIPS'17: Proceedings of the 31st International Conference on Neural Information Processing Systems. 2017. pp. 31496–3157. doi: 10.5555/3294996.3295074.
  38. Pedregosa F., Varoquaux G., Gramfort A., Michel V., Thirion B., Grisel O., Blondel M., Prettenhofer P., Weiss R., Dubourg V., Vanderplas J., Passos A., Cournapeau D., Brucher M., Perrot M., Duchesnay E. Scikit-learn: Machine Learning in Python. Journal of Machine Learning Research. 2011. vol. 12. pp. 2825–2830. doi: 10.5555/1953048.2078195.
  39. Chen T., Guestrin C. XGBoost: A scalable tree boosting system. Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. 2016. pp. 785–794. doi: 10.1145/2939672.2939785.
  40. Lundberg S.M., Lee S.-I. A Unified Approach to Interpreting Model Predictions. 2017. arXiv preprint arXiv:1705.07874. doi: 10.48550/arXiv.1705.07874.
  41. Ribeiro M.T., Singh S., Guestrin C. "Why Should I Trust You?": Explaining the Predictions of Any Classifier. Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. 2016. pp. 1135–1144. doi: 10.1145/2939672.293977.
  42. Cevallos-Salas D., Grijalva F., Estrada-Jimenez J., Bentez D., Andrade R. Obfuscated Privacy Malware Classifiers Based on Memory Dumping Analysis. IEEE Access. 2024. vol. 12. pp. 17481–17498. doi: 10.1109/ACCESS.2024.3358840.
  43. Roy K.S., Ahmed T., Udas P.B. Karim M.E., Majumdar S. MalHyStack: A hybrid stacked ensemble learning framework with feature engineering schemes for obfuscated malware analysis. Intelligent Systems with Applications. 2023. vol. 20. doi: 10.1016/j.iswa.2023.200283.

Supplementary files

Supplementary Files
Action
1. JATS XML
Download

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».