論文題目：Cross-domain Correspondence Learning for Exemplar-based Image Translation

論文主頁(yè)：https://panzhang0212.github.io/CoCosNet/

論文鏈接：https://arxiv.org/abs/2004.05571

代碼鏈接：https://github.com/microsoft/CoCosNet

摘要

本文提供了一種圖像翻譯的通用框架，它從輸入的語(yǔ)義圖像合成真實(shí)的照片圖像。與常規(guī)不同的是這個(gè)框架可以再輸入一個(gè) exemplar image，以這個(gè) exemplar image的風(fēng)格來(lái)輸出最后的真實(shí)照片圖像。這個(gè)exemplar圖像給輸出圖像更多的限制，也提供了更多信息。
這個(gè)框架主要由兩部分組成，一是解決跨域語(yǔ)義對(duì)應(yīng)的Cross domain correspondence Network，二是解決翻譯生成圖像的Translation network。傳統(tǒng)方法的理論只能處理自然圖像直接的關(guān)系，無(wú)法處理跨域圖像，但本框架可以處理跨域圖像的問(wèn)題。

Cross domain correspondence Network：
首先建立了位于不同領(lǐng)域的input和exemplar image之間的對(duì)應(yīng)關(guān)系，并對(duì)exemplar image進(jìn)行了相應(yīng)的扭曲，使其語(yǔ)義與input一致。具體是把兩個(gè)域的圖像映射到一個(gè)中間域，找到對(duì)應(yīng)關(guān)系，從而扭曲exemplar image.

input圖像xA屬于A域，exemplar圖像yB屬于B域，作者通過(guò)把xA 和yB放入feature pyramid network（利用FPN方法）提取特征，轉(zhuǎn)化為中間域S的xS和yS.
其中${\theta }_{\mathcal{F}}$是需要學(xué)習(xí)的參數(shù)
此步驟損失函數(shù)為：

${\mathcal{L}}_{\text{domain?}}^{{?}_1}={\Vert {\mathcal{F}}_{A\to S}\left(x_A\right)?{\mathcal{F}}_{B\to S}\left(x_B\right)\Vert }_1$

由于XA和YB是不同域圖像，但包含相同語(yǔ)義，他們轉(zhuǎn)化到S域之后應(yīng)當(dāng)盡量對(duì)其，故損失函數(shù)為使兩者在S域中的映射之間的差別。應(yīng)使這個(gè)差異最小。

xA和yB都映射到域S之后，計(jì)算一個(gè)S域中他們倆的相關(guān)矩陣，然后通過(guò)softmax加權(quán)選擇yB中最相關(guān)的像素。
$\mathcal{M}(u,v)=\frac{{\hat{x}}_S(u{)}^T{\hat{y}}_S(v)}{\Vert {\hat{x}}_S(u)\Vert \Vert {\hat{y}}_S(v)\Vert }$

$r_{y\to x}(u)={\sum }_v{\mathrm{softmax}}_v(\alpha \mathcal{M}(u,v))?y_B(v)$

損失函數(shù)為：${\mathcal{L}}_{reg}={\Vert r_{y\to x\to y}?y_B\Vert }_1$

Translation Network：
把扭曲的exemplar image合成輸出圖像。從一個(gè)固定的常量z開(kāi)始，通過(guò)卷積逐步扭曲圖像的風(fēng)格信息。

${\alpha }_{h,w}^i\left(r_{y\to x}\right)\times \frac{F_{c,h,w}^i?{\mu }_{h,w}^i}{{\sigma }_{h,w}^i}+{\beta }_{h,w}^i\left(r_{y\to x}\right)$

${\alpha }^i,{\beta }^i={\mathcal{T}}_i\left(r_{y\to x};{\theta }_{\mathcal{T}}\right)$

最終生成圖像：

${\hat{x}}_B=\mathcal{G}\left(z,{\mathcal{T}}_i\left(r_{y\to x};{\theta }_{\mathcal{T}}\right);{\theta }_{\mathcal{G}}\right)$

最終網(wǎng)絡(luò)為七層，得到輸出圖片。
另外的一些損失函數(shù)：
第一個(gè)是偽參考圖像對(duì)損失，xB作為真實(shí)值，xB’是xB的變形，保持圖片內(nèi)容不變，如翻轉(zhuǎn)等。如果吧xB’作為exemplar image，xA作為input，那么生成圖像應(yīng)接近xB。故損失函數(shù)為：

${\mathcal{L}}_{\text{feat?}}={\sum }_l{\lambda }_l{\Vert {?}_l\left(\mathcal{G}\left(x_A,x_B^{\prime }\right)\right)?{?}_l\left(x_B\right)\Vert }_1$

第二個(gè)是參考圖像轉(zhuǎn)換損失，其中包含兩項(xiàng)，perceptual loss和contextual loss。
perceptual loss:

${\mathcal{L}}_{\text{perc?}}={\Vert {?}_l\left({\hat{x}}_B\right)?{?}_l\left(x_B\right)\Vert }_1$

contextual loss:

${\mathcal{L}}_{\text{context?}}={\sum }_l{\omega }_l\left[?\log \left(\frac{1}{n_l}{\sum }_i{\max }_j{A}^l\left({?}_i^l\left({\hat{x}}_B\right),{?}_j^l\left(y_B\right)\right)\right)\right]$

最后是Adversarial loss：

${\mathcal{L}}_{adv}^{\mathcal{D}}=?\mathbb{E}\left[h\left(\mathcal{D}\left(y_B\right)\right)\right]?\mathbb{E}\left[h\left(\mathcal{D}\left(\mathcal{G}\left(x_A,y_B\right)\right)\right)\right]$

${\mathcal{L}}_{adv}^{\mathcal{G}}=?\mathbb{E}\left[\mathcal{D}\left(\mathcal{G}\left(x_A,y_B\right)\right)\right]$

最終損失函數(shù)為：

$\begin{array}{rl}{\mathcal{L}}_{\theta }=\underset{\mathcal{F},\mathcal{T},\mathcal{G}}{\min }& \underset{\mathcal{D}}{\max }{\psi }_1{\mathcal{L}}_{\text{feat?}}+{\psi }_2{\mathcal{L}}_{\text{perc?}}+{\psi }_3{\mathcal{L}}_{\text{context?}}\\ & +{\psi }_4{\mathcal{L}}_{adv}^{\mathcal{G}}+{\psi }_5{\mathcal{L}}_{\text{domain?}}^{{?}_1}+{\psi }_6{\mathcal{L}}_{\text{reg?}}\end{array}$

實(shí)驗(yàn)
生成圖像對(duì)比：

跨領(lǐng)域的相關(guān)度
利用correlation matrix可以計(jì)算輸入語(yǔ)義圖像和輸入?yún)⒖硷L(fēng)格圖像之間不同點(diǎn)的對(duì)應(yīng)關(guān)系

圖像編輯
給定一張圖像及其對(duì)應(yīng)的mask，對(duì)語(yǔ)義mask進(jìn)行修改，再將原圖像作為參考風(fēng)格圖像

方法限制

示例圖像中的兩輛不同顏色汽車(chē)同時(shí)與input中的汽車(chē)相對(duì)應(yīng)，方法可能會(huì)產(chǎn)生混合顏色偽影，與現(xiàn)實(shí)不符；此外，在多對(duì)一映射（第二行)的 情況下，多個(gè)實(shí)例(圖中的枕頭)可能使用相同的樣式

另外，相關(guān)矩陣等計(jì)算非常占用GPU內(nèi)存，使得這個(gè)方法很難用在高分辨率的圖像上。

總結(jié)

以上是生活随笔為你收集整理的2021-06-03 【论文笔记】Cross-domain Correspondence Learning for Exemplar-based Image Translation的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。