Робастный оптимизатор Adam на основе усредняющих агрегирующих функций

Обучение на загрязненных данных (выбросы, тяжелые хвосты, шум меток, артефакты предобработки) делает арифметическое усреднение в эмпирическом риске неустойчивым: несколько аномалий смещают оценки, дестабилизируют шаги оптимизации и ухудшают обобщающую способность. Требуется способ повысить робастность без изменения функции потерь и архитектуры модели.

Цель исследования. Разработать и продемонстрировать вариант Adam, в котором усреднение по партии (batch) заменено на робастную усредняющую агрегирующую функцию на основе штрафа, позволяющую ослабить влияние выбросов при сохранении преимуществ момента и покоординатной адаптации шага.

Методы исследования. Используются усредняющие агрегирующие средние на базе штрафной функции. В качестве функций несходства используется функция Хубера. Для нахождения робастного центра и весов элементов партии используется метод Ньютона. Эффективность оценивается на синтетическом эксперименте с контролируемыми выбросами через сравнение со стандартным Adam по устойчивости обучения.

Результаты. Робастный Adam показал более устойчивое обучение на синтетической линейной регрессии: при наличии до 20 % выбросов итоговая модель сохраняет устойчивость. Метод сохраняет вычислительную эффективность и совместимость, добавляются лишь несколько итераций поиска робастного центра на партию, асимптотика не меняется. При квадратичной штрафной функции он вырождается в обычный Adam, что подтверждает корректность обобщения.

Выводы. При помощи М-средних произведена модификация алгоритма оптимизации Adam. Данный алгоритм сохраняет робастность при линейной регрессии при наличии выбросов по крайней мере до 20 %. Точные ограничения еще подлежат исследованию. Накладные вычислительные расходы связаны с вычислением оптимального значения u* для каждой партии. Однако в силу быстрой сходимости (около трех итераций по методу Ньютона) замедление алгоритма несущественное.