Email this article 
Using Ensembles with Enhanced Divergence in Forecast Space in Recommender Systems
- Authors: Senko O.V1, Dokukin A.A1, Melnik F.A1
-
Affiliations:
- Issue: No 4 (2025)
- Pages: 92-100
- Section: Optimization, system analysis, and operations research
- URL: https://journals.rcsi.science/0005-2310/article/view/288757
- DOI: https://doi.org/10.31857/S0005231025040061
- EDN: https://elibrary.ru/CAPHAM
- ID: 288757
Cite item
Open Access
Access granted
Subscription Access
Abstract
Рассматривается метод дивергентного решающего леса, основанный на достижении более высокой дивергенции в пространстве прогнозов по сравнению со стандартным случайным решающим лесом за счет включения на каждом шаге в ансамбль нового дерева Tx, которое строится исходя из условий минимизации специального функционала, являющегося разностью квадратичной ошибки Tx и квадрата расхождения прогнозов Tx и текущего ансамбля. Метод является развитием аналогичных ранее разработанных методов, которые предназначены для прогнозирования числовых переменных. Вработе представлены результаты применения метода дивергентного решающего леса для решения задач классификации, возникающих при создании рекомендательных систем. Исследована зависимость эффективности прогноза от глубины деревьев и одного из ключевых параметров алгоритма, регулирующего вклад двух составляющих в минимизируемый функционал. Исследования показали, что точность предлагаемой технологии заметно превышает точность случайного решающего леса и близка к точности метода CatBoost.
About the authors
O. V Senko
Email: senkoov@mail.ru
A. A Dokukin
Email: dalex@ccas.ru
F. A Melnik
Email: melnik.tedor@gmail.com
References
- Hastie T., Tibshirani R., Friedman J. The Elements of Statistical Learning Data Mining, Inference, and Prediction. Springer Series in Statistics. New York: Springer, 2009.
- Breiman L. Random Forests // Machine Learning. 2001. V. 45. No. 1. P. 5–32.
- Friedman J. Stochastic gradient boosting // Comput. Statist. Data Anal. 2002. V. 38. No. 4. P. 367–378.
- Breiman L. Bagging predictors // Machine Learning. 1996. No. 24. P. 123–140.
- Tin Kam Ho. The random subspace method for constructing decision forests // IEEE Transact. Patt. Machine Intelligen. 1998. V. 20. No. 8. P. 832–844.
- Chen T., Guestrin C. XGBoost: A Scalable Tree Boosting System // Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, San Francisco, CA, USA, August 13–17 / eds. Krishnapuram B., Shah M., Smola A.J., Aggarwal C.C., Shen D., Rastogi R. 2016. P. 785–794.
- Ke G., Meng Q., Finley T. et al. LightGBM: A Highly Efficient Gradient Boosting Decision Tree // NIPS’17: Proc. 31st Int. Conf. Neural Inform. Proc. Syst. 2017. P. 3149–3157.
- Hancock J.T., Khoshgoftaar T.M. CatBoost for big data: an interdisciplinary review // J. Big Data. 2020. V. 7. No. 94.
- Zhuravlev Yu.I., Senko O.V., Dokukin A.A., Kiselyova N.N., Saenko I.A. Two-Level Regression Method Using Ensembles of Trees with Optimal Divergence // Dokl. Math. 2021. V. 103. P. 1–4.
- Докукин А.А., Сенько О.В. Новый двухуровневый метод машинного обучения для оценивания вещественных характеристик объектов // Изв. РАН. Теория и системы управления. 2023. No. 4. P. 17–24.
- Senko O.V., Dokukin A.A., Kiselyova N.N., et al. New Two-Level Ensemble Method and Its Application to Chemical Compounds Properties Prediction // Lobachev. J. Math. 2023. V. 44. No. 1. P. 188–197.
- Roy D., Dutta M. A systematic review and research perspective on recommender systems // J. Big Data. 2022. V. 9. No. 59.
Supplementary files
