A Style-Aware Content Loss for Real-time HD Style Transfer

該論文貢獻(xiàn)：
提出了一個風(fēng)格感知損失函數(shù)，與一個encoder-decoder網(wǎng)絡(luò)聯(lián)合訓(xùn)練訓(xùn)練出特定藝術(shù)家風(fēng)格。

該論文實驗效果如下圖，(a)(c）圖分別是梵高早晚期作品，(b)(d)是合成圖片。可以看出合成圖風(fēng)格更加貼切畫家的風(fēng)格。

下圖主要表達(dá)了用不同畫家風(fēng)格合成出的圖內(nèi)容圖紋理也會不相同，作者可能根據(jù)這個發(fā)現(xiàn)提出相應(yīng)損失函數(shù)(下面提到)來達(dá)到該論文目的。

上圖第一行是風(fēng)格化圖片，第二行是利用[33]的方法，從潛在空間E(X)重建粗略的內(nèi)容可視化。值得一提這個33方法是鑒于論文Understanding Deep Image Representations by Inverting Them(CVPR2014)，這個論文的核心是：文章提出的是用于基于梯度的方法優(yōu)化一個目標(biāo)函數(shù)來實現(xiàn)淺層和深層表達(dá)的反轉(zhuǎn)。例如（a）pollock由于抽象風(fēng)格所以不能保留內(nèi)容細(xì)節(jié)。所以第二行的圖中內(nèi)容細(xì)節(jié)就有點糊。作者說用上面方法的目的是：To show the additional intuition behind the style-aware content loss.

為了達(dá)到自動聚集相關(guān)風(fēng)格圖片的目的，即為給定一個Y0風(fēng)格，據(jù)此找到一組Y0風(fēng)格圖。作者用Wikiart數(shù)據(jù)集網(wǎng)絡(luò)在Wikiart數(shù)據(jù)集VGG16上從零訓(xùn)練來預(yù)測藝術(shù)家風(fēng)格的圖。

網(wǎng)絡(luò)結(jié)構(gòu)和訓(xùn)練網(wǎng)絡(luò)的損失函數(shù)：
下圖是該方法的網(wǎng)絡(luò)結(jié)構(gòu)，圖中所用的損失在下面都有提到。

總的損失函數(shù)如下圖

其中，
上圖公式中的T是轉(zhuǎn)換塊

這個Lc就是作者提到的風(fēng)格感知損失（style-aware loss），d是在潛在空間中的維度。作者在fig 2中發(fā)現(xiàn)的在淺層空間(latent space)中會僅關(guān)注與風(fēng)格相關(guān)的細(xì)節(jié)，所以可以讓特定畫家的風(fēng)格被訓(xùn)練到網(wǎng)絡(luò)中，從而得到特定作家的風(fēng)格。其中x是輸入圖片，G(E(x))是合成風(fēng)格圖。

這個LD損失函數(shù)像是GAN損失用到的判別器損失。

在該論文還提出了一個方法——Style Image Grouping
講了如何自動聚集相關(guān)風(fēng)格圖片的方法，把長的差不多風(fēng)格的圖片放一塊，既給定一個Y0風(fēng)格，努力找一組與Y0差不多的圖片。為了以上目的，作者用了Wikiart數(shù)據(jù)集在VGG16從0開始訓(xùn)練。借助這個方法與style-aware loss 結(jié)合可以讓訓(xùn)練更加高效（快速得到特定畫家風(fēng)格）。
在訓(xùn)練時用的損失函數(shù)是用余弦距離來求，公式如下：

其中，是VGG16網(wǎng)絡(luò)全連接層fc6的對輸入圖的特征圖。t是數(shù)據(jù)集的分位數(shù)（應(yīng)該是用來控制選擇與Y0相似到什么程度的圖片）。最后，公式是用來求余弦距離。

余弦距離也在以前看過的論文：*Style Transfer by Relaxed Optimal Transport and Self-Similarity(CVPR 2019)*中被用作計算內(nèi)容損失，以提高合成圖與原內(nèi)容圖的結(jié)構(gòu)差距，效果如下圖，由此可見余弦距離在保留內(nèi)容圖結(jié)構(gòu)上有很大作用。

總結(jié)

以上是生活随笔為你收集整理的A Style-Aware Content Loss for Real-time HD Style Transfer（一个风格转换的风格感知损失）CVPR2018的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。