Doctor of Physics and Mathematics, Professor of the Operations Research Department
доктор физико-математических наук, профессор кафедры исследования операций
Candidate of Physics and Mathematics, Researcher
кандидат физико-математических наук, научный сотрудник
Doctor of Physics and Mathematics, Head of the Nonsmooth Optimization Methods Department
доктор физико-математических наук, заведующий отделом методов негладкой оптимизации
We propose and study the Levenberg-Marquardt method globalized by means of linesearch for unconstrained optimization problems with possibly nonisolated solutions. It is well-recognized that this method is an efficient tool for solving systems of nonlinear equations, especially in the presence of singular and even nonisolated solutions. Customary globalization strategies for the Levenberg-Marquardt method rely on linesearch for the squared Euclidean residual of the equation being solved. In case of unconstrained optimization problem, this equation is formed by putting the gradient of the objective function equal to zero, according to the Fermat principle. However, these globalization strategies are not very adequate in the context of optimization problems, as the corresponding algorithms do not have “preferences” for convergence to minimizers, maximizers, or any other stationary points. To that end, in this work we considers a different technique for globalizing convergence of the Levenberg-Marquardt method, employing linesearch for the objective function of the original problem. We demonstrate that the proposed algorithm possesses reasonable global convergence properties, and preserves high convergence rate of the Levenberg-Marquardt method under weak assumptions.
В работе предлагается и исследуется глобализованный одномерным поиском метод Левенберга-Марквардта для задач безусловной оптимизации с возможно неизолированными решениями. Хорошо известно, что этот метод является эффективным средством решения систем нелинейных уравнений, особенно в случаях наличия вырожденных и даже неизолированных решений. Традиционные способы глобализации сходимости метода Левенберга-Марквардта основаны на одномерном поиске для квадрата евклидовой невязки решаемого уравнения, в роли которого в случае задачи безусловной оптимизации выступает вытекающее из принципа Ферма условие равенства нулю градиента целевой функции. В контексте задач оптимизации такие способы глобализации не вполне адекватны, так как соответствующие алгоритмы не имеют «предпочтений» в плане сходимости к минимумам, максимумам, и вообще любым стационарным точкам. В связи со этим, в данной работе рассматривается другой способ глобализации сходимости метода Левенберга-Марквардта, использующий одномерный поиск для самой целевой функции исходной задачи. В работе показано, что предложенный алгоритм обладает разумными свойствами глобальной сходимости, а также сохраняет высокую скорость локальной сходимости метода Левенберга-Марквардта в слабых предположениях.