Computational nanotechnologyComputational nanotechnologyComputational nanotechnology2313-223X2587-9693YUR-VAK30969710.33693/2313-223X-2025-12-1-26-33LNPTVPINFORMATION TECHNOLOGY AND TELECOMMUNICATIONИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ И ТЕЛЕКОММУНИКАЦИИResearch ArticleComparative Analysis of HDFS and Apache Ozone Data Storage SystemsСравнительный анализ систем хранения данных HDFS и Apache Ozonehttps://orcid.org/0009-0003-2723-3154IAN-1730-20231380-5720IevlevKirill O.ИевлевКирилл Олегович
Russian Federation

Postgraduate Student, Assistant of the Department of Mathematical Cybernetics and Information Technologies

аспирант, ассистент кафедры математической кибернетики и информационных технологий

ievlev.k.o@yandex.ruhttps://orcid.org/0000-0003-1739-983155836031600D-3256-20194576-9642GorodnichevMikhail G.ГородничевМихаил Геннадьевич
Russian Federation

Cand. Sci. (Eng.), Associate Professor, Head of the Department of Mathematical Cybernetics and Information Technologies, Dean of the Faculty of Information Technologies

кандидат технических наук, доцент, заведующий кафедры математической кибернетики и информационных технологий, декан факультета информационных технологий

m.g.gorodnichev@mtuci.ruMoscow Technical University of Communications and InformaticsМосковский технический университет связи и информатики19062025121263318092025Copyright ©; 2025, Yur-VAKCopyright ©; 2025, Юр-ВАК2025Yur-VAKЮр-ВАКhttps://www.urvak.ru/contacts/https://journals.rcsi.science/2313-223X/article/view/309697

Over the last few decades, both the volume of digital data in the globe and the variety of ways to use it have increased dramatically. For a long time, the Hadoop ecosystem, which is still widely utilized, has been synonymous with large data storage and processing platforms. However, during the past 20 years, Hadoop has been found to have a number of serious flaws, including the “small files problem” and uneven cluster resource usage. Various commercial and research organizations are faced with the issue of upgrading the data stack to improve resource utilization and increasing data processing efficiency. This study aims to examine the benefits and drawbacks of the next-generation data storage system, Apache Ozone, and to assess whether this technology is ready to completely supplant the Hadoop Distributed File System (HDFS).

За последние десятилетия значительно выросло не только количество цифровых данных в мире, но и способов их использования. Пионером и долгое время синонимом платформы для хранения и обработки больших данных являлась экосистема Hadoop, которая и по сей день активно используется во множестве крупнейших компаний. Однако, за почти 20 лет, прошедших с первого релиза Hadoop, был выявлен ряд существенных недостатков, такие как «проблема маленьких файлов» и неравномерное использование ресурсов кластеров. Во многих коммерческий и исследовательских организациях встает вопрос о модернизации стека работы с данными для повышения утилизации ресурсов и расширения возможностей для эффективной работы с данными. Цель данной работы – продемонстрировать достоинства и недостатки хранилища данных нового поколения – Apache Ozone и сделать вывод о готовности технологии для полноценной замены распределенной файловой системы Hadoop (HDFS).

big data storagedistributed file systemsobject storageS3Apache HadoopApache Ozoneхранение больших данныхраспределенные файловые системыобъектное хранилищеS3Apache HadoopApache OzoneAggarwal R., Verma J., Siwach M. Small files’ problem in Hadoop: A systematic literature review. Journal of King Saud University “Computer and Information Sciences”. 2022. No. 34 (10). Part A. Pp. 8658–8674. DOI: 10.1016/j.jksuci.2021.09.007.Harby A.A., Zulkernine F. From data warehouse to lakehouse: A comparative review. In: IEEE International Conference on Big Data (Big Data). Osaka, 2022. Pp. 389–395. DOI: 10.1109/BigData55660.2022.10020719.Jain E.P., Gupta E.A. Hadoop architecture and its issues. International Journal of Engineering Research and General Science. 2017. No. 5 (2). Pp. 211–217. DOI: 10.1109/CSCI.2014.140.Niazi S., Ismail M., Haridi S. et al. HopsFS: Scaling Hierarchical File System Metadata Using NewSQL Databases. In: 15th USENIX Conference on File and Storage Technologies (FAST 17). USENIX Association, 2017. Pp. 89–104. DOI: 10.48550/arXiv.1606.01588.Sharma G., Tripathi V., Srivastava A. Recent trends in Big Data ingestion tools: A study. In: Research in Intelligent and Computing in Engineering, Springer, 2021. Pp. 873–881. DOI: 10.1007/978-981-15-7527-3_83.Shvachko K. HDFS scalability: The limits to growth. Login Usenix Mag. 2010. No. 35. Pp. 6–16.White T. Hadoop: The definitive guide. 4 ed. O’Reilly Media, Inc., 2015. 754 p.