Алгоритм выбора признаков линейной регрессии для решения проблемы мультиколлинеарности

Обложка

Цитировать

Полный текст

Аннотация

В работе рассматривается задача отбора факторов линейной регрессии с помощью оптимизационной модели, включающей характеристики связи признаков, а также зависимости признака и результативного показателя. Для ее решения предлагается переформулирование исходной задачи в виде обратной при минимизации суммы абсолютных значений аргументов. Результаты вычислительных экспериментов, включающие сравнение с методами нелинейного программирования, реализованными в математических пакетах и библиотеке Python, продемонстрировали высокую эффективность предложенного алгоритма решения модифицированной задачи.

Об авторах

Екатерина Борисовна Грибанова

Томский государственный университет систем управления и радиоэлектроники

Автор, ответственный за переписку.
Email: ekaterina.b.gribanova@tusur.ru

доктор технических наук, доцент

Россия, Томск

Список литературы

  1. Zhao С., Wu M., Liu J., Duan Z., Li J., Shen L., Shangguan X., Liu D., Wang Y. Progress and prospects of data-driven stock price forecasting research // International Journal of Cognitive Computing in Engineering. 2023. V. 4. P. 100–108.
  2. Chen S., Ke S., Han S., Gupta S., Sivarajah U. Which product description phrases affect sales forecasting? An explainable AI framework by integrating WaveNet neural network models with multiple regression // Decision Support Systems. 2023. 114065.
  3. Mekanik F., Imteaz M., Gato-Trinidad S., Elmahdi A. Multiple regression and Artificial Neural Network for longterm rainfall forecasting using large scale climate modes // Journal of Hydrology. 2013. V. 503. P. 11–21.
  4. Busari S., Samson T. Modelling and forecasting new cases of Covid-19 in Nigeria: Comparison of regression, ARIMA and machine learning models // Scientific African. 2022. V. 18. e01404.
  5. Yarahmadi M., MirHassani S., Hooshmand F. Handling the significance of regression coefficients via optimization // Expert Systems with Applications. 2023. V. 238. No 6. 121910.
  6. Brooks G., Ruengvirayudh P. Best-subset selection criteria for multiple linear regression // General Linear Model Journal. 2016. V. 42. No 2. P. 18-25.
  7. Tsagris M., Pandis N. Multicollinearity // Statistics and research design. 2021. V. 159. No 5. P. 695–696.
  8. Kurita T. Principal Component Analysis (PCA) // Computer Vision. 2020. P. 1-4.
  9. Hamaker H. On multiple regression analysis // Statistica Neerlandica. 1962. V. 16. P. 31–56.
  10. Efron B., Hastie T., Johnstone J., Tibshirani R. Least Angle Regression // The Annals of Statistics. 2004. V. 32. No 2. P. 407–499.
  11. Bertsimas D., King A., Mazumder R. Best Subset Selection via a Modern Optimization Lens // Annals of Statistics. 2016. V. 44. No 22. P. 813-852.
  12. Wang J., Wang, L. A cooperative memetic algorithm with feedback for the energy-aware distributed flow-shops with flexible assembly scheduling // Computers and Industrial Engineering. 2022. V. 168. P. 108-126.
  13. Garg R., Khandekar R. Gradient descent with sparsification: an iterative algorithm for sparse recovery with restricted isometry property // Proceedings of the 26th Annual International Conference on Machine Learning. 2009. P. 337–344.
  14. Blumensath T., Davies M. Iterative hard thresholding for compressed sensing // Applied and Computational Harmonic Analysis. 2009. V. 27. No 3. P. 265–274.
  15. Kapetanios G. Variable selection in regression models using non-stantard optimisation of information criteria // Computational Statistics & Data Analysis. 2006. V. 52. No 1. P. 4-15.
  16. Rodrigues D., Hugo V., Albuquerque C., Papa J. A multiobjective artificial butterfly optimization approach for feature selection // Applied Soft Computing. 2020. V. 94. 106442.
  17. Askr H., Abdel-Salam M., Hassanien A. Copula entropybased golden jackal optimization algorithm for high-dimensional feature selection problems // Expert Systems with Applications. 2024. V. 238. 121582.
  18. Katrutsa A., Strijov V. Comprehensive study of feature selection methods to solve multicollinearity problem according to evaluation criteria // Expert Systems with Applications. 2017. V. 76. P. 1–11.
  19. Zhu Z., Zhang W., Geng Z. A feasible SQP method for nonlinear programming // Applied Mathematics and Computation. 2010. V. 215. No 11. P. 3956–3969.
  20. Beck A., Teboulle M. Mirror descent and nonlinear projected subgradient methods for convex optimization // Operations Research Letters. 2003. V. 31. No 3. P. 167–175.
  21. Storn R., Price K. Differential Evolution – A Simple and Efficient Heuristic for global Optimization over Continuous Spaces // Journal of Global Optimization. 1997. V. 11. P. 341–359.
  22. Грибанова Е.Б. Стохастические алгоритмы решения обратных задач экономического анализа с ограничениями // Доклады Томского государственного университета систем управления и радиоэлектроники. 2016. № 4. С. 112–116.
  23. Грибанова Е.Б. Методы решения обратных задач экономического анализа с помощью минимизации приращений аргументов // Доклады Томского государственного университета систем управления и радиоэлектроники. 2018. № 2. С. 95–99.
  24. Gribanova E.B. Development of iterative algorithms for solving the inverse problem using inverse calculations // Eastern-European Journal of Enterprise Technologies. 2020. No 4 (3). P. 27–34.
  25. Gribanova E.B. An Iterative Algorithm for Solving Inverse Problems of Economic Analysis Using Weighting Factors. Advances in Engineering Research. New York: Nova Publishers, 2021. P. 49–79.
  26. Ahuja R.K., Orlin J.B. Inverse Optimization, Part1: Linear Programming and General Problem. Cambridge: MIT, 1998.
  27. Gribanova E. Elaboration of an Algorithm for Solving Hierarchical Inverse Problems in Applied Economics // Mathematics. 2022. V. 10. 2779.
  28. Gribanova E.B. Algorithm for solving the inverse problems of economic analysis in the presence of limitations // EUREKA: Physics and Engineering. 2020. No 1. Р. 70–78.

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML
Скачать

Согласие на обработку персональных данных

 

Используя сайт https://journals.rcsi.science, я (далее – «Пользователь» или «Субъект персональных данных») даю согласие на обработку персональных данных на этом сайте (текст Согласия) и на обработку персональных данных с помощью сервиса «Яндекс.Метрика» (текст Согласия).