論文標(biāo)題：Perceptual Losses for Real-Time Style Transfer and Super-Resolution

這是首次提出使用預(yù)訓(xùn)練模型來在圖像變換任務(wù)中使用感知損失來進(jìn)行相似性度量的論文。在這篇論文剛出的時(shí)候，正是風(fēng)格遷移領(lǐng)域極度火熱的時(shí)候，大家對于風(fēng)格遷移的效果都感覺到非常驚艷。然而原版風(fēng)格遷移論文中使用優(yōu)化的方法來進(jìn)行度量，使得每次進(jìn)行風(fēng)格遷移的時(shí)候都得重新優(yōu)化一次，而且耗時(shí)特別長。這篇論文通過結(jié)合傳統(tǒng)方法使用優(yōu)化算法來進(jìn)行感知度量的方法，利用神經(jīng)網(wǎng)絡(luò)模型淺層提取low-level信息，高層提取high-level信息的特點(diǎn)，使用圖像在預(yù)訓(xùn)練的模型中的高維信息來進(jìn)行相似性度量，取得了很好的效果。論文中在風(fēng)格遷移上效果與SOTA差不多，但是速度快3個(gè)數(shù)量級；在超分任務(wù)上也取得了很好的視覺重建效果。由于感知損失的通用性，可以很好的應(yīng)用于其他的圖像變換任務(wù)中，取得更好的視覺變換效果。

在圖像變換任務(wù)中，都需要進(jìn)行相似性的度量。一些典型圖像變換任務(wù)有風(fēng)格遷移，圖像上色，超分辨率重建，圖像降噪，當(dāng)前的方法都是使用的一些逐像素的損失函數(shù)。

This strategy has been applied to feature inversion [6] by Mahendran et al, to feature visualization by Simonyan et al [7] and Yosinski et al [8], and to texture synthesis and style transfer by Gatys et al [9,10]. These approaches produce high-quality images, but are slow since inference requires solving an optimization problem.

此時(shí)也有一些利用優(yōu)化的方法來進(jìn)行感知損失的度量工作，然而卻特別的慢。

整體的模型架構(gòu)如下：

從上圖可以看到，模型架構(gòu)重點(diǎn)是在后面的損失函數(shù)計(jì)算上，前面的圖像變換模型可以直接使用SOTA的模型就可以了。

整體的損失函數(shù)包括三個(gè)部分，一個(gè)是特征重建損失，為逐像素的損失；一個(gè)是風(fēng)格的損失，為預(yù)訓(xùn)練模型的特征間的逐像素?fù)p失；一個(gè)是TV loss，用來做正則可以更好的保證空間平滑性。其中超分辨率重建沒有風(fēng)格損失，接下來分開講。

風(fēng)格遷移

從VGG不同深度的特征來進(jìn)行度量計(jì)算可以看到，使用淺層的特征那么紋理就會(huì)保留更多，風(fēng)格就會(huì)較少；越深層，紋理就會(huì)越少，風(fēng)格就會(huì)越明顯。

To perform style reconstruction from a set of layers J rather than a single layer j, we define ` φ,J style(?y, y) to be the sum of losses for each layer j ∈ J.

如果要只選一層特征進(jìn)行度量的話那么還需要手動(dòng)調(diào)整來進(jìn)行實(shí)驗(yàn)性對比，文中直接使用了這些挑選出的所有層，將選擇隱含建模在了模型的學(xué)習(xí)過程中。

可以看到的是，效果還是很不錯(cuò)的。

由于只需要進(jìn)行一次模型前向的過程，速度是很快的，相比于需要進(jìn)行迭代優(yōu)化的方法，速度差異還是很明顯的。迭代次數(shù)越多，性能差異就會(huì)越大。

超分辨率重建

We focus on ×4 and ×8 superresolution since larger factors require more semantic reasoning about the input.

超分中倍數(shù)越大，越容易出現(xiàn)細(xì)節(jié)的問題，這里論文針對于高倍數(shù)的超分進(jìn)行對比實(shí)驗(yàn)。目前的客觀評價(jià)標(biāo)準(zhǔn)中PSNE/SSIM對于逐像素的損失函數(shù)來說是很有優(yōu)勢的，然而這些評價(jià)標(biāo)準(zhǔn)無法反映出細(xì)節(jié)詳細(xì)情況。

那個(gè)是否還沒有對超分視覺質(zhì)量進(jìn)行太多的研究，后續(xù)的PIRM2018著重于高視覺質(zhì)量的超分。

從上圖超分對比圖可以看出，論文與EnhanceNet做超分一樣，PSNR慘不忍睹，連插值都比不上。不過視覺質(zhì)量上對比起來很好，有著顯著的優(yōu)勢。

結(jié)論

文中提出了使用預(yù)訓(xùn)練模型的特征計(jì)算的感知損失來進(jìn)行圖像變換任務(wù)中的度量方式。其在風(fēng)格遷移中取得了SOTA的效果，但是速度比需要迭代優(yōu)化的baseline方法速度快3個(gè)數(shù)量級左右；同時(shí)還在高倍率的超分辨率重建中進(jìn)行了對比試驗(yàn)，雖然PSNR/SSIM的數(shù)值性指標(biāo)很差，但是視覺效果上相比有著很大的提升。由于其感知損失的通用性，可以很快速地在應(yīng)用在其他的圖像變換任務(wù)中，來提升生成圖像的視覺質(zhì)量。

總結(jié)

以上是生活随笔為你收集整理的风格迁移应用_[风格迁移][超分][ECCV2016]Perceptual Losses for Real...的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。