A method for constructing nonelementary linear regressions based on mathematical programming

Cover Page

Cite item

Full Text

Abstract

This paper is devoted to constructing nonelementary linear regressions consisting of explanatory variables and all possible combinations of their pairs transformed using binary minimum and maximum operations. Such models are formalized through a 0-1 mixed integer linear programming problem. By adjusting the constraints on binary variables, we control the structural specification of a nonelementary linear regression, namely, the number of regressors, their types, and the composition of explanatory variables. In this case, the model parameters are approximately estimated using the ordinary least squares method. The formulated problem has advantages: the number of constraints does not depend on the sample size, and the signs of the estimates for the explanatory variables are consistent with the signs of their correlation coefficients with the dependent variable. Regressors are eliminated at the initial stage to reduce the time for solving the problem and make the model quite interpretable. A nonelementary linear regression of rail freight in Irkutsk oblast is constructed, and its interpretation is given.

About the authors

M. P Bazilevskiy

Irkutsk State Transport University

Author for correspondence.
Email: mik2178@yandex.ru
Irkutsk, Russia

References

  1. Arkes, J. Regression Analysis: A Practical Introduction. - Routledge, 2019. - 362 p.
  2. Westfall, P.H., Arias, A.L. Understanding Regression Analysis: A Conditional Distribution Approach. - Chapman and Hall/CRC, 2020. - 514 p.
  3. Клейнер Г.Б. Производственные функции: Теория, методы, применение. - М.: Финансы и статистика, 1986. - 239 с. [Kleiner, G.B. Proizvodstvennye funktsii: Teoriya, metody, primenenie. - Moscow: Finansy i statistika, 1986. - 239 s. (In Russian)]
  4. Onalan, O., Basegmez, H. Estimation of Economic Growth Using Grey Cobb-Douglas Production Function: An Application for US Economy // Journal of Business Economics and Finance. - 2018. - Vol. 7, no. 2. - P. 178-190.
  5. Yankovyi, O., Koval, V., Lazorenko, L., et al. Modeling Sustainable Economic Development Using Production Functions // Studies of Applied Economics. - 2021. - Vol. 39, no. 5.
  6. Ishikawa, A. Why Does Production Function Take the Cobb-Douglas Form? // Statistical Properties in Firms’ Large-scale Data. - Springer, Singapore, 2021. - P. 113-135.
  7. Носков С.И. Технология моделирования объектов с нестабильным функционированием и неопределенностью в данных. - Иркутск: РИЦ ГП «Облинформпечать», 1996. - 320 с.
  8. Шор Н.З. Методы минимизации недифференцируемых функций и их приложения. - Киев: Наук. думка, 1979. - 200 с.
  9. Scaman, K., Bach, F., Bubeck, S., et al. Optimal Algorithms for Non-smooth Distributed Optimization in Networks // Advances in Neural Information Processing Systems. - 2018. - Vol. 31.
  10. Khamaru, K., Wainwright, M. J. Convergence Guarantees for a Class of Non-convex and Non-smooth Optimization Problems // Journal of Machine Learning Research. - 2019. - Vol. 20, no. 154. - P. 1-52.
  11. Иванова Н.К., Лебедева С.А., Носков С.И. Идентификация параметров некоторых негладких регрессий // Информационные технологии и проблемы математического моделирования сложных систем. - 2016. - № 17. - С. 107-110.
  12. Носков С.И., Хоняков А.А. Программный комплекс построения некоторых типов кусочно-линейных регрессий // Информационные технологии и математическое моделирование в управлении сложными системами. - 2019. - № 3 (4). - С. 47-55.
  13. Park, Y.W., Klabjan, D. Subset Selection for Multiple Linear Regression via Optimization // Journal of Global Optimization. - 2020. - Vol. 77. - P. 543-574.
  14. Chung, S., Park, Y.W., Cheong, T. A Mathematical Programming Approach for Integrated Multiple Linear Regression Subset Selection and Validation // Pattern Recognition. - 2020. - Vol. 108. - P. 107565.
  15. Bertsimas, D., Li, M.L. Scalable Holistic Linear Regression // Operations Research Letters. - 2020. - Vol. 48, no. 3. - P. 203- 208.
  16. Базилевский М.П. МНК-оценивание параметров специфицированных на основе функций Леонтьева двухфакторных моделей регрессии // Южно-Сибирский научный вестник. - 2019. - № 2 (26). - С. 66-70.
  17. Базилевский М.П. Оценивание линейно-неэлементарных регрессионных моделей с помощью метода наименьших квадратов // Моделирование, оптимизация и информационные технологии. - 2020. - Т. 8. - № 4 (31).
  18. Базилевский М.П. Отбор информативных операций при построении линейно-неэлементарных регрессионных моделей // International Journal of Open Information Technologies. - 2021. - Т. 9. - № 5. - С. 30-35.
  19. Базилевский М.П. Сведение задачи отбора информативных регрессоров при оценивании линейной регрессионной модели по методу наименьших квадратов к задаче частично-булевого линейного программирования // Моделирование, оптимизация и информационные технологии. - 2018. - Т. 6. - № 1 (20). - С. 108-117.
  20. Базилевский М.П. Способ определения параметра M в задаче частично-булевого линейного программирования для отбора регрессоров в линейной регрессии // Вестник Технологического университета. - 2022. - Т. 25. - № 2. - С. 62-66.
  21. Konno, H., Yamamoto, R. Choosing the Best Set of Variables in Regression Analysis Using Integer Programming // Journal of Global Optimization. - 2009. - Vol. 44. - P. 273- 282.

Supplementary files

Supplementary Files
Action
1. JATS XML
Download


Creative Commons License
This work is licensed under a Creative Commons Attribution 4.0 International License.

Согласие на обработку персональных данных

 

Используя сайт https://journals.rcsi.science, я (далее – «Пользователь» или «Субъект персональных данных») даю согласие на обработку персональных данных на этом сайте (текст Согласия) и на обработку персональных данных с помощью сервиса «Яндекс.Метрика» (текст Согласия).