A Style-Aware Content Loss for Real-time HD Style Transfer

該論文貢獻：
提出了一個風格感知損失函數，與一個encoder-decoder網絡聯合訓練訓練出特定藝術家風格。

該論文實驗效果如下圖，(a)(c）圖分別是梵高早晚期作品，(b)(d)是合成圖片。可以看出合成圖風格更加貼切畫家的風格。

下圖主要表達了用不同畫家風格合成出的圖內容圖紋理也會不相同，作者可能根據這個發現提出相應損失函數(下面提到)來達到該論文目的。

上圖第一行是風格化圖片，第二行是利用[33]的方法，從潛在空間E(X)重建粗略的內容可視化。值得一提這個33方法是鑒于論文Understanding Deep Image Representations by Inverting Them(CVPR2014)，這個論文的核心是：文章提出的是用于基于梯度的方法優化一個目標函數來實現淺層和深層表達的反轉。例如（a）pollock由于抽象風格所以不能保留內容細節。所以第二行的圖中內容細節就有點糊。作者說用上面方法的目的是：To show the additional intuition behind the style-aware content loss.

為了達到自動聚集相關風格圖片的目的，即為給定一個Y0風格，據此找到一組Y0風格圖。作者用Wikiart數據集網絡在Wikiart數據集VGG16上從零訓練來預測藝術家風格的圖。

網絡結構和訓練網絡的損失函數：
下圖是該方法的網絡結構，圖中所用的損失在下面都有提到。

總的損失函數如下圖

其中，
上圖公式中的T是轉換塊

這個Lc就是作者提到的風格感知損失（style-aware loss），d是在潛在空間中的維度。作者在fig 2中發現的在淺層空間(latent space)中會僅關注與風格相關的細節，所以可以讓特定畫家的風格被訓練到網絡中，從而得到特定作家的風格。其中x是輸入圖片，G(E(x))是合成風格圖。

這個LD損失函數像是GAN損失用到的判別器損失。

在該論文還提出了一個方法——Style Image Grouping
講了如何自動聚集相關風格圖片的方法，把長的差不多風格的圖片放一塊，既給定一個Y0風格，努力找一組與Y0差不多的圖片。為了以上目的，作者用了Wikiart數據集在VGG16從0開始訓練。借助這個方法與style-aware loss 結合可以讓訓練更加高效（快速得到特定畫家風格）。
在訓練時用的損失函數是用余弦距離來求，公式如下：

其中，是VGG16網絡全連接層fc6的對輸入圖的特征圖。t是數據集的分位數（應該是用來控制選擇與Y0相似到什么程度的圖片）。最后，公式是用來求余弦距離。

余弦距離也在以前看過的論文：*Style Transfer by Relaxed Optimal Transport and Self-Similarity(CVPR 2019)*中被用作計算內容損失，以提高合成圖與原內容圖的結構差距，效果如下圖，由此可見余弦距離在保留內容圖結構上有很大作用。

總結

以上是生活随笔為你收集整理的A Style-Aware Content Loss for Real-time HD Style Transfer（一个风格转换的风格感知损失）CVPR2018的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。