Automatic Image Style Transfer Using an Augmented Style Set

Full Text

ВВЕДЕНИЕ

Алгоритму нейросетевой стилизации изображений (neural style transfer) подаются на вход два изображения – конетное изображение (контент), и стилевое изображение (стиль). Алгоритм решает задачу автоматической перерисовки контентного изображения в стиле стилевого изображения. Под стилем понимается цветовая гамма и характерные паттерны рендеринга, такие как мазки кисти художника. Указанная задача актуальна для создания ярких иллюстраций в книгах, на сайтах, в рекламе, дизайне, а также в индустрии развлечений.

Изначально указанная задача была известна под названием non-photorealistic rendering [1–3] и решалась эвристическими методами обработки изображений, подбираемыми под каждый стиль. Нейросетевой перенос стиля, предложенный в работе [4], позволил переносить стиль с произвольного стилевого изображения-образца, как показано на примере стилизации контентного изображения двумя стилями на рис. 1.

 

Рис. 1. Применение переноса стиля методом [4]. Первый стиль наложился хуже, чем второй, из-за сильной несочетаемости с контентным изображением (по четкости)

 

На рис. 1 видно, что качество стилизации существенно зависит от сочетаемости стилей контентного и стилевого изображений. Если они сочетаемы (стиль 2), то результат стилизации получается приемлемым. Если же стили контентного и стилевого изображений существенно различаются, например, по четкости, как при стилизации первым стилем (см. рис. 1), который более размыт, чем контент, то и стилизация получается неудовлетворительная. Получается, что для создания эффектных стилизаций пользователь вынужден долго перебирать вручную различные стили, пока не найдет стиль, который хорошо сочетается с контентом.

Чтобы упростить процедуру создания качественных стилизаций в работе предлагается производить стилизацию не одним пользовательским стилем, а совокупностью изображений, похожих по стилю на входное пользовательское стилевой изображение. Для расчета стилевой похожести предлагается специальная процедура расчета стилевых характеристик. За счет агрегации стилевой информации с нескольких изображений повышается устойчивость алгоритма к возможным индивидуальным несоотвествиям контентного и стилевого изображений. Проведенные опросы респондентов показывают, что получаемые стилизации действительно получаются более качественными.

Другим преимуществом предлагаемой модификации является возможность более широко смотреть на стиль. Теперь он не задается одним лишь исходным стилевым изображением, а задан целой совокупностью изображений, имеющих стиль, похожий на целевой. Тем самым, беря разные подмножества из этих изображений, можно получать различные варианты стилизации. Это удобно, если пользователю хотелось бы получить иной вариант стилизации исходным стилем.

Стоит отметить, что базовый подход к стилизации [4], над котором предлагается надстройка, производит оптимизацию в исходном цветовом пространстве стилизуемого изображения, что занимает несколько десятков секунд на видеокарте и неприменимо, например, к стилизации видеопотоков в реальном времени. Много последующих работ, например [5, 6], было посвящено ускорению стилизации за счет преобразования контентного изображения через специальную нейронную сеть. Поскольку предлагаемый метод представляет собой надстройку над алгоритмом стилизации, то он применим и к ним, а также к другим методам стилизации.

БАЗОВЫЙ АЛГОРИТМ СТИЛИЗАЦИИ ИЗОБРАЖЕНИЙ

Рассмотрим оригинальный подход, указанный в статье [4]. Процесс переноса стиля оперирует со следующими входными данными:

• S – изображение, содержащее желаемый художественный стиль;
• Y – изображение, содержимое которого требуется отобразить в нужном стиле (контент).

Задача алгоритма стилизации – сгенерировать изображение X (стилизацию), на котором объекты контента Y будут изображены в стиле стилевого изображения S. Стиль задает цветовую гамму и характерные паттерны стилевого изображения – углы, переливы между цветами, характерные паттерны, такие как мазки кисти художника.

Для переноса стиля решается оптимизационная задача в пространстве пикселов результирующего стилизованного изображения X:

${ℒ}_{cont}(X,Y)+\alpha {ℒ}_{style}(X,S)\to \underset{X}{min}$, (1)

где потери ${ℒ}_{cont}(X,Y)$ штрафуют расхождение контентного изображения и стилизации по смыслу (что именно изображено), а ${ℒ}_{style}(X,S)$ штрафуют расхождение стилевого изображения и стилизации по стилю (как изображено). Гиперпараметр α > 0 управляет противоречием между более точной передачей контента (смысла) и более полной передачей стиля.

Расчет контентных и стилевых потерь производится по представлениям изображений X, Y, S на промежуточных слоях сети VGG [7], обученной классифицировать изображения, на выборке ImageNet [8]. Причем для расчета контентных потерь используется один промежуточный слой k, а для расчета стилевых потерь – совокупность более ранних и более поздних слоев, как показано на рис. 2.

 

Рис. 2. Используемые при стилизации слои сети VGG

 

Функция потерь для контента:

${ℒ}_{cont}(X,Y)=\frac{1}{H_k{W}_k{C}_k}\sum _{c=1}^{C_k}\sum _{i=1}^{H_k}\sum _{j=1}^{W_k}{\left(X_{cij}^k-Y_{cij}^k\right)}^2$,

где $X_k, Y_k\in {\mathrm{ℝ}}^{C_k\times H_k\times W_k}$ – тензоры промежуточных представлений на некотором слое k (гиперпараметр) изображений X и Y после того, как их пропустили через классификационную нейросеть; C_k – число каналов; H_k × W_k – пространственное разрешение карты признаков. Суть функции заключается в том, что если по смыслу на изображениях X и Y изображены разные объекты, то и их промежуточные представления в сети VGG будут различаться. Штрафуются расхождения именно в промежуточных признаковых представлениях (отвечающих за семантику), а не в исходных RGB-представлениях, поскольку иначе это служило бы слишком сильной привязкой стилизации к исходному контентному изображению и стилизации бы не получилось.

Стилевые потери представляют собой сумму стилевых потерь по отдельным слоям сети VGG:

${ℒ}_{style}=\sum _k{ℒ}_{style}^k$,

где

${ℒ}_{style}(X,S)=\frac{1}{C_k^2{H}_k^2{W}_k^2}\sum _{i=1}^{H_k}\sum _{j=1}^{W_k}{\left(G_{ij}^{X^k}-G_{ij}^{Y^k}\right)}^2$. (2)

Здесь $G^{Z^k}\in {\mathrm{ℝ}}^{C_k\times C_k}$ обозначает матрицу Грама, состоящую из скалярных произведений между всевозможными каналами промежуточного представления Z ^k в сети VGG на слое k для изображения Z (равного либо стилевому изображению S либо результату стилизации X):

$G_{ij}^{Z^k}=\sum _{i=1}^{W_k}\sum _{j=1}^{H_k}{G}_{cij}^k-G_{cij}^k$. (3)

Контент определяет пространственное расположение объектов на изображении, поэтому при расчете контентной функции потерь производится сравнение промежуточных представлений в привязке к пространственным координатам (i и j).

Стиль же задает общее распределение цветов и более общих паттернов (границ, углов, переливов, мазков кисти и т. д.). Поэтому сначала извлекается это распределение в виде скалярных произведений между каналами (при расчете скалярных произведений пространственная информация теряется, так как происходит агрегация по всевозможных пространственным координатам i, j), а затем штрафуется уже расхождение распределений признаков между стилизацией и стилем. Такая структура стилевых потерь приближает стиль, но не приводит к переносу контентной (смысловой) информации со стилевого изображения.

ПРЕДЛАГАЕМЫЙ ПОДХОД РАСШИРЕННОЙ СТИЛИЗАЦИИ

Поскольку привяка к определенному пользовательскому изображению стиля может быть слишком жестким ограничением, приводящем к артефактам стилизации, вызванной слабым исходным соответствием контента и стиля (см. рис. 1), предлагается трехэтапный алгоритм стилизации, более устойчивый к индивидуальной несовместимости исходного контентного и стилевого изображений:

1. Найти для исходного стилевого изображения наиболее близкие по стилю изображения в широкой базе художественных изображений, таких как Wikiart [9] или Pandora [10] (которая использовалась в работе). Опционально: перекрасить похожие стилевые изображения в цветовую гамму стиля.
2. Усреднить матрицы Грама по похожим изображениям.
3. Применить алгоритм стилизации (1), заменив в стилевых потерях (2) матрицы Грамма стилевого изображения на усредненные матрицы Грама по набору изображений, задающих похожий стиль на заданный.

Для поиска похожих изображений по стилю извлекаются вектора поканальных средних для промежуточных представлений в сети VGG. Например, для изображения Z и его промежуточного представления Z ^k на слое k получим компоненты C_k-мерного вектора средних следующим образом:

$v_c^k\left(Z\right)=\frac{1}{H_k{W}_k}\sum _{i=1}^{W_k}\sum _{j=1}^{H_k}{Z}_{cij}^k, c=\overline{1, C_k}$. (4)

Далее указанные векторы конкатенируются по более ранним и более поздним слоям VGG, чтобы выравнивать соответствие по разным слям сети. Сравнение изображений по стилю производится сравнением результирующих векторов по Евклидовой норме. Указанное векторное представление содержит информацию о стиле, а не о контенте, поскольку при поканальном усреднении стирается информация о пространственном расположении объектов, а сохраняется только статистика присутствия тех или иных признаков (цветов и более общих локальных паттернов), которые и характеризуют стиль.

Чтобы повысить соответствие исходному стилю, рекомендуется перекраска наиболее похожих стилевых изображений на исходный стиль в цвета исходного стиля, используя алгоритм гистограммной перекраски (histogram matching) [11].

Несмотря на то, что в следующей секции приводятся результаты запусков для стилизационной модели [4], предлагаемый подход достаточно общий, чтобы быть применимым и для других методов стилизации. Код предложенного подхода доступен на github¹.

СРАВНИТЕЛЬНЫЕ ЭКСПЕРИМЕНТЫ

Определим параметры, при которых будет производиться стилизация. Максимальное количество предлагаемых изображений взято равным 3, в качестве метрики близости будем использовать Евклидову метрику, порог близости объектов, при которой будут добавляться похожие изображения, возьмем равным threshold = 500. Стилизацию будем проводить по агрегированному (с помощью усреднения матриц Грама) стилю. Сопоставим результаты полученной стилизации со стилизацией с добавленным перекрашиванием найденных стилей в цвет исходного пользовательского стиля.

На рис. 3, 4 показаны некоторые примеры стилизаций с перекрашиванием и без. В обоих случаях видно, что результирующая стилизация немного отлична от исходной, хотя и повторяет ее общие черты. Отстутствие перекрашивания снижает соответствие исходному стилю, но может добавлять яркости результату, что особенно заметно на рис. 3.

 

Рис. 3. Пример работы алгоритма стилизации по группе найденных стилей с перекрашиванием исходного стиля: a) контент; б) стандартная стилизация контента a) по стилю д); в) предложенная стилизация по группе найденных стилей е) и з); г) предложенная стилизация по группе стилей с перекрашиванием ж) и и); д) исходный стиль; е) 1-й найденный стиль; ж) стиль е) перекрашенный в д); з) 2-й найденный стиль; и) стиль з) перекрашенный в д)

 

Рис. 4. Пример работы алгоритма стилизации по группе найденных стилей с переносом цветовой схемы исходного стиля: a) контент; (б) стандартная стилизация контента a) по стилю д); в) предложенная стилизация по группе найденных стилей е), ж); г) предложенная стилизация по группе стилей с перекрашиванием е), ж); д) пользовательский стиль; е), ж) похожие на (e) стили

 

Количество стилей в группе является настраиваемым параметром. Используя группы разных размеров, можно получать отличные друг от друга стилизации. Обозначим за k число стилей в группе. На рис. 5, 6 изображены стилизации по группам стилей при разных k. Большее количество изображений позволяет выразительнее передавать детали стилей и контента, но существует условный предел на k, после которого групповая стилизация начинает размываться и терять преимущества относительно стилизации по исходному изображению. Чем больше k, тем менее похожие стили добавляются в группу. Это также зависит от размера всей коллекции изображений. При небольшом объеме уже третий стиль может сильно отличаться от первого. Результаты экспериментов показывают достаточность использования двух-трех дополнительных стилей для повышения качества стилизации.

 

Рис. 5. Работа предложенным алгоритмом стилизации по группе найденных стилей при различном размере группы k: a) стилизация по д), k = 1; б) стилизация по д) и е), k = 2; в) стилизация по д) – ж), k = 3; г) стилизация по д) – з), k = 4

 

Рис. 6. Работа предложенным алгоритмом стилизации по группе найденных стилей при различном размере группы k: а) стилизация по д), k = 1; б) стилизация по д) и е), k = 2; в) стилизация по д) – ж), k = 3; г) стилизация по д) – з), k = 4

 

Для численного сравнения стилизаций (см. табл. 1), выполненных разными моделями, были рассмотрены метрики: Average Gradient Magnitude [12] – средняя магнитуд градиентов изображения с окном 3 × 3 пикселов (оператор Собеля); Average 0.90 Quantile FFT [13] – стилизация делится на 8 × 8 частей, для каждого блока вычисляются преобразование Фурье и среднее амплитуд, лежащих выше квантили 90%; Deception rate [14] – на основе сети VGG строится классификатор художественных стилей (600 классов), каждый из алгоритмов стилизации тестируется на способность сохранять исходный стиль с помощью построенного классификатора; если он правильно определяет художественный стиль у стилизации, то она считается корректной; оценивается доля корректных стилизаций классификатором на наборе из 1000 пар контент–стиль для каждого алгоритма. По всем мерам качества достигается улучшение предложенного метода по сравнению с базовым [4], использующим лишь один исходный стиль.

 

Таблица 1. Сравнение метрик существующих популярных моделей с предложенным. Значения подсчитывались на тестовом наборе из 1000 пар контент-стиль

Мера качества	Gatys et al. [4]	AdaIN [15]	WCT [16]	Предложенный
Deception rate [14]	0.213	0.117	0.082	0.323
Avg. Gradient Magnitude [12]	160.3	153.9	165.1	177.8
Avg. 90% Quantile FFT [13]	0.488	0.467	0.508	0.541

 

Также был проведен опрос среди респондентов, которым для всевозможных пар контент-стиль предлагались на выбор два варианта стилизаций – базовым методом [4] и предложенным (группой похожих стилей с их перекраской под исходный стиль). Респонеднтам предлагалось выбрать, на их взгляд, более удачный вариант стилизации. Варианты стилизаций каждый раз предлагались в случайном порядке, а респонденты не были ознакомлены с деталями алгоритмов стилизации. Всего участвовало 58 респондентов, каждый из которых сравнивал 25 пар стилизаций. Результаты опросов представлены в табл. 2.

 

Таблица 2. Результаты опроса пользователей по сравнению оригинального способа стилизации [4] и предложенного способа стилизации

число вопросов	число респондентов	число ответов	% голосов за новый метод
25	58	1450	71%

 

Результат опроса пользователей показал, что пользователи в 71% случаев выбирали новый метод стилизации, что показывает его преимущество по отношению к базовому методу стилизации [4].

ЗАКЛЮЧЕНИЕ

В работе исследовалась задача автоматической стилизации изображений. Было предложено расширить исходное стилевое изображение выборкой похожих по стилю изображений. Для стилевого сопоставления использовались вектора поканальных средних в представлениии VGG, которые хорошо себя показали на практике. Стилизация группой похожих стилей, а не только исходным, дает более устойчивый и качественный результат, что показали формальные меры качества и опросы респондентов, чаще предпочитавшие стилизации предложенным методом. Дополнительным преимуществом метода является возможность изменять группу похожих стилевых изображений, что позволит пользователю получать различные варианты стилизаций, если первоначальная стилизация пользователя не устраивает.

БЛАГОДАРНОСТЬ

Работа выполнена в рамках государственного задания в сфере научной деятельности Министерства науки и высшего образования РФ на тему “Модели, методы и алгоритмы искусственного интеллекта в задачах экономики для анализа и стилизации многомерных данных, прогнозирования временных рядов и проектирования рекомендательных систем”, номер проекта FSSW-2023-0004.

¹ httpps://github.com/valerapon/Style-transfer-UESC

About the authors

V. V. Ponamaryov

Lomonosov Moscow State University

Author for correspondence.
Email: valera.pon.vp@gmail.com
Russian Federation, Moscow

V. V. Kitov

Lomonosov Moscow State University; Plekhanov Russian University of Economics

Email: v.v.kitov@yandex.ru
Russian Federation, Moscow; Moscow

References

Supplementary files