An Entropy-Based Composite Indicator for Evaluating the Effectiveness of Recommender System Algorithms

Мұқаба

Дәйексөз келтіру

Толық мәтін

Аннотация

The problem of forming a composite indicator for evaluating the effectiveness of recommender system algorithms is considered. A novel composite indicator is proposed by combining individual metrics using the entropy method. The testing base of this study consists of 12 algorithms (on the one hand) and 3 datasets (on the other). For each algorithm–dataset combination, we calculate partial criteria used in evaluating recommender systems. According to the results presented below, the composite indicator is an effective tool for evaluating the performance of recommender system algorithms. As is shown, the performance of the algorithms varies depending on the size and other basic characteristics of a particular dataset. This indicator can be used to develop more efficient algorithms and their ensembles as well as to optimize hyperparameters and improve the quality of recommendations.

Авторлар туралы

R. Kulshin

Tomsk State University of Control Systems and Radioelectronics

Email: roman.s.kulshin@tusur.ru
Tomsk, Russia

A. Sidorov

Tomsk State University of Control Systems and Radioelectronics

Email: anatolii.a.sidorov@tusur.ru
Tomsk, Russia

Әдебиет тізімі

  1. Fayyaz, Z., Ebrahimian, M., Nawara, D., et al. Recommendation Systems: Algorithms, Challenges, Metrics, and Business Opportunities // Appl. Sci. – 2020. – Vol. 10, no. 21. – Art. no. 7748. – DOI: https://doi.org/10.3390/app10217748.
  2. Amatriain, X., Basilico, J. Recommender Systems in Industry: A Netflix Case Study. Recommender Systems Handbook / Ed. by F. Ricci, L. Rokach, B. Shapira. – Boston, MA: Springer, 2015. – P. 385–419. – DOI: https://doi.org/10.1007/978-1-4899-7637-6_11.
  3. Wibisono, C., Purwanti, E., Effendy, F. A Systematic Literature Review of Movie Recommender Systems for Movie Streaming Service // AIP Conf. Proc. – 2023. – Vol. 2554, no. 1. – Art. no. 040005. – DOI: https://doi.org/10.1063/0104316.
  4. Kulshin, R., Sidorov, A., Senchenko, P. Using Neural Networks with Reinforcement in the Tasks of Forming User Recommendations // Journal of Physics: Conference Series. – 2022. – Vol. 2291, no. 1. – Art. no. 012005. – doi: 10.1088/1742-6596/2291/1/012005.
  5. Sipser, M. Introduction to the Theory of Computation. Course Technology. – Boston, MA: PWS Publishing Co., 2006. – 227 p.
  6. Aixin, S. On Challenges of Evaluating Recommender Systems in an Offline Setting // Proceedings of the 17th ACM Conference on Recommender Systems. – Singapore, 2023. – P. 1284–1285.
  7. Jimenez-Fernandez, E., Ruiz-Martos, M. Review of some statistical methods for constructing composite indicators // Studies of Applied Economics. – 2020. – Vol. 38, no. 1. – p. 1–15. – DOI: https://doi.org/10.25115/eea.v38i1.3002.
  8. Nardo, M., Saisana, M., Saltelli, A., Tarantola, S. Tools for Composite Indicators Building. Report no. JRC31473. – Rome, Italy: European Commission, ISPRA, 2005.
  9. Becker, W., Saisana, M., Paruolo, P., Vandecasteele, I. Weights and Importance in Composite Indicators: Closing the Gap. Ecological Indicators. – 2017. – Vol. 80. – P. 12–22. – DOI: https://doi.org/10.1016/j.ecolind.2017.03.056.
  10. Сидоров А.А. Методологический подход к интегральной оценке состояния и динамики многомерных объектов социально-экономической природы // Проблемы управления. – 2016. – № 3. – C. 32–40. [Sidorov, A.A. Methodological Approach to the Integral Assessment of the State and Dynamics of Multidimensional Objects of Socio-Economic Nature / Control Sciences. – 2016. – No. 3 – P. 32–40. (In Russian)].
  11. Abberger, K., Graff, M., Müller, O., Sturm, J. Composite Global Indicators from Survey Data: The Global Economic Barometers // Rev. World Econ. – 2022. – Vol. 158. – P. 917–945. – DOI: https://doi.org/10.1007/s10290-021-00449-8.
  12. Endrodi-Kovacs, V., Tankovsky, O. A Composite Indicator for Economic Integration Maturity: The Case of Western Balkan Countries // Eastern Journal of European Studies. – 2022. – Vol. 13, no 1. – P. 148–166. – doi: 10.47743/ejes-2022-0107.
  13. Khadzhynova, O., Simanaviciene, Z., Mints, O., et al. Assessment of the EU Countries’ Economic Security Based on the Composite Indicators // WSEAS Transactions on Business and Economics. – 2022. – Vol. 19. – P. 690–700. – doi: 10.37394/23207.2022.19.61.
  14. McDonnell, T., Cosgrove, G., Hogan, E., et al. Methods to Derive Composite Indicators Used for Quality and Safety Measurement and Monitoring in Healthcare: A Scoping Review Protocol // BMJ Open. – 2023. – Vol. 13, no. 7. – doi: 10.1136/bmjopen-2022-071382.
  15. Kara, P., Valentin, J., Mainz, J., Johnsen, S. Composite Measures of Quality of Health Care: Evidence Mapping of Methodology and Reporting // PLoS One. – 2022. – Vol. 17, no. 5. – doi: 10.1371/journal.pone.0268320.
  16. Asadi-Lari, M., Majdzadeh, R., Mansournia, M.A, et al. Construction and Validation of CAPSES Scale as a Composite Indicator of SES for Health Research: An Application to Modeling Social Determinants of Cardiovascular Diseases // BMC Public Health. – 2023. – Vol. 23. – Art. no. 293. – DOI: https://doi.org/10.1186/s12889-023-15206-9.
  17. Abenayake, C., Mikami, Y., Matsuda, Y., Jayasinghe, A. Ecosystem Services-Based Composite Indicator for Assessing Community Resilience to Floods // Environmental Development. – 2018. – Vol. 27. – P. 34–46. – DOI: https://doi.org/10.1016/j.envdev.2018.08.002.
  18. Gómez-Limón, J., Arriaza, M., Guerrero-Baena, M. Building a Composite Indicator to Measure Environmental Sustainability Using Alternative Weighting Methods // Sustainability. – 2020. – Vol. 12, no. 11. – Art. no. 4398. – DOI: https://doi.org/10.3390/su12114398.
  19. Alam, M., Dupras, J., Messier, C. A Framework towards a Composite Indicator for Urban Ecosystem Services // Ecological Indicators. – 2016. – Vol. 60. – P. 38–44. – DOI: https://doi.org/10.1016/j.ecolind.2015.05.035.
  20. Melo-Aguilar, C., Agulles, M., Jordà, G. Introducing Uncertainties in Composite Indicators. The Case of the Impact Chain Risk Assessment Framework // Front. Clim. – 2022. – Vol. 4. – DOI: https://doi.org/10.3389/fclim.2022.1019888.
  21. Dolge, K., Blumberga, D. Composite Risk Index for Designing Smart Climate and Energy Policies. Environmental and Sustainability Indicators. – 2021. – Vol. 12. – Art. no. 100159. – DOI: https://doi.org/10.1016/j.indic.2021.100159.
  22. Do, H., Ly, T., Do, T. Combining Semi-quantitative Risk Assessment, Composite Indicator and Fuzzy Logic for Evaluation of Hazardous Chemical Accidents // Sci. Rep. – 2020. – Vol. 10. – Art. no. 18544. – DOI: https://doi.org/10.1038/s41598-020-75583-8.
  23. Avanesian, G., Mizunoya, S., Delamonica, E. UNICEF Remote Learning Readiness Index: A Composite Indicator to Assess Resilience of Education Sector against Crises and Emergencies // Statistical Journal of the IAOS. – 2022. – Vol. 38. – P. 1–14. – doi: 10.3233/SJI-220051.
  24. Segovia-Gonzalez, M., Contreras, I. A Composite Indicator to Compare the Performance of Male and Female Students in Educational Systems // Soc. Indic. Res. – 2023. – Vol. 165. – P. 181–212. – DOI: https://doi.org/10.1007/s11205-022-03009-1.
  25. Hubelova, D., Odvarkova, V., Chalupa, P. Selected Factors of Education Level in East African Countries: Comparative Method Using Composite Indicator // Geographical Journal. – 2016. – Vol. 68. – P. 55–72.
  26. Silveira, T., Zhang, M., Lin, X., et al. How Good Your Recommender System Is? A Survey on Evaluations in Recommendation. Journal of Machine Learning and Cybernetics. – 2016. – Vol. 10. – P. 813–831. – DOI: https://doi.org/10.1007/s13042-017-0762-9.
  27. Hongzhi, Y., Cui, B., Li, J., et al. Challenging the Long Tail Recommendation // Proceedings of the VLDB Endowment. – 2012. – Vol. 5. – P. 896–907. – DOI: https://doi.org/10.14778/2311906.2311916.
  28. Hanczar, B., Hua, J., Sima, C., et al. Small-Sample Precision of ROC-Related Estimates // Bioinformatics. – 2010. – Vol. 26. – P. 822–830. – DOI: https://doi.org/10.1093/bioinformatics/btq037.
  29. Calders, T., Jaroszewicz, S. Efficient AUC Optimization for Classification. Lecture Notes in Computer Science. – 2007. – Vol. 4702. – P. 42–53. – DOI: https://doi.org/10.1007/978-3-540-74976-9_8.
  30. Wenlong, S., Khenissi, S., Nasraoui, O., Shafto, P. Debiasing the Human-Recommender System Feedback Loop in Collaborative Filtering // Proceedings of the 2019 World Wide Web Conference. – San Francisco, 2019. – P. 645–651. – DOI: https://doi.org/10.1145/3308560.3317303.
  31. Zhang, Q., Cao, L., Zhu, C., et al. CoupledCF: Learning Explicit and Implicit User-item Couplings in Recommendation for Deep Collaborative Filtering // Proceedings of the Twenty-Seventh International Joint Conference on Artificial Intelligence. – Stockholm, 2018. – P. 3662–3668. – DOI: https://doi.org/10.24963/ijcai.2018/509.
  32. Bellogin, A., Castells, P., Cantador, I. Precision-Oriented Evaluation of Recommender Systems: An Algorithmic Comparison // Proceedings of the Fifth ACM Conference on Recommender Systems. – Chicago, 2011. – P. 333–336. – DOI: https://doi.org/10.1145/2043932.2043996.
  33. Wang, Y. Application of Recall Methods in Recommendation Systems // Proceedings of the 3rd International Conference on Signal Processing and Machine Learning. – Oxford, 2023. – Vol. 4. – P. 44–51. – doi: 10.54254/2755-2721/4/20230344.
  34. Zriaa, R., Sadiki, H., Ertel, M., et al. Qualitative Recommender System Using Entropy-Weighted Pedagogical Criteria for Effective Training in E-learning Platforms // Journal of Theoretical and Applied Information Technology. – 2023. – Vol. 101, no. 9. – P. 3517–3529.
  35. Kumar, C., Kumar, M. User Session Interaction-Based Recommendation System Using Various Machine Learning Techniques // Multimed. Tools Appl. – 2023. – Vol. 82. – P. 21 279–21 309.
  36. Wang, Y., Wang, L, Li, Y., et al. A Theoretical Analysis of NDCG Ranking Measures // Proceedings of the 26th Annual Conference on Learning Theory. – Princeton, 2013. – Vol. 30. – P. 25–54.
  37. Steffen, R., Freudenthaler, C., Gantner, Z., Schmidt, L. BPR: Bayesian Personalized Ranking from Implicit Feedback // Proceedings of the Twenty-Fifth Conference on Uncertainty in Artificial Intelligence. – Montreal, 2009. – P. 452–461.
  38. Jian, T., Qu, M., Wang, M., et al. LINE: Large-Scale Information Network Embedding // Proceedings of the 24th International Conference on World Wide Web. – Florence, 2015. – P. 1067–1077. – DOI: https://doi.org/10.1145/2736277.2741093.
  39. He, X., Liao, L., Zhang, H., et al. Neural Collaborative Filtering // Proceedings of the 26th International Conference on World Wide Web. – Perth, 2017. – P. 173–182. – DOI: https://doi.org/10.1145/3038912.3052569.
  40. Xue, J, Dai, X., Zhang, J., et al. Deep Matrix Factorization Models for Recommender Systems // Proceedings of the Twenty-Sixth International Joint Conference on Artificial Intelligence. – Toronto, 2017. – P. 3203–3209. – DOI: https://doi.org/10.24963/ijcai.2017/447.
  41. Lei, Z., Lu, C., Jiang, F., et al. Spectral Collaborative Filtering // Proceedings of the 12th ACM Conference on Recommender Systems. – Vancouver, 2018. – P. 311–319. – DOI: https://doi.org/10.1145/3240323.3240343.
  42. He, X., Deng, K., Wang, X., et al. LightGCN: Simplifying and Powering Graph Convolution Network for Recommendation // Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval. – Xian, 2020. – P. 639–648. – DOI: https://doi.org/1145/3397271.3401063.
  43. Dawen, L., Krishnan, R., Hoffman, M., Jebara, T. Variational Autoencoders for Collaborative Filtering // Proceedings of the 2018 World Wide Web Conference. – Lyon, 2018. – P. 689–698. – DOI: https://doi.org/10.1145/3178876.3186150.
  44. Yao, W., DuBois, C., Zheng, A., Ester, M. Collaborative Denoising Auto-Encoders for Top-N Recommender Systems // Proceedings of the Ninth ACM International Conference on Web Search and Data Mining. – San Francisco, 2016. – P. 153–162. – DOI: https://doi.org/10.1145/2835776.2835837.
  45. Lobel, S., Li, C., Gao, J., Carin, L. RaCT: Toward Amortized Ranking-Critical Training for Collaborative Filtering // Proceedings of the Eighth International Conference on Learning Representations (ICLR). – Addis Ababa, 2020.
  46. Ning, X., Karypis, G. SLIM: Sparse Linear Methods for Top-N Recommender Systems // Proceedings of the IEEE 11th International Conference on Data Mining. – Vancouver, 2011. – P. 497–506. – doi: 10.1109/ICDM.2011.134.
  47. Mukund, D., Karypis, G. Item-Based Top-N Recommendation Algorithms // ACM Transactions on Information Systems. – 2004. – Vol. 22. – P. 143–177. – DOI: https://doi.org/10.1145/963770.963776.
  48. Wang, W., Xu, Y., Feng, F., et al. Diffusion Recommender Model // Proceedings of the 46th International ACM SIGIR Conference on Research and Development in Information Retrieval. – Taipei, 2023. – P. 832–841. – DOI: https://doi.org/1145/3539618.3591663.
  49. Zhao, W., Mu, S., Hou, Y., et al. RecBole: Towards a Unified, Comprehensive and Efficient Framework for Recommendation Algorithms // Proceedings of the 30th ACM International Conference on Information & Knowledge Management. – Queensland, 2021. – P. 4653–4664. – DOI: https://doi.org/10.1145/3459637.3482016.
  50. Раев А.Г. Об одном способе определения весовых коэффициентов частных критериев при построении аддитивного интегрального критерия // Автоматика и телемеханика. – 1984. – Вып. 5. – С. 162–165. [Raev, A.G. On One Way tо Determine Weighting Coefficients of Particular Criteria in Development of an Integral Additive Criterion // Avtomatika i telemekhanika. – 1984. – No. 5. – P. 162–165. (In Russian)]

Қосымша файлдар

Қосымша файлдар
Әрекет
1. JATS XML
Жүктеу


Creative Commons License
Бұл мақала лицензия бойынша қолжетімді Creative Commons Attribution 4.0 International License.

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».