1. Motivation

• 以前的方法只能生成可以在缺失圖像中可以找到的圖像碎片，不能理解高級的語義信息；
• Context Encoders局部的細節修復不是很好，而且分辨率低。

2.?Approach

2.1 Architecture of network

Overview of our architecture for learning image completion.

• 判別器：網絡中有兩個判別器，Global Discriminator 提取全局特征，Local Discriminator 提取局部特征，將兩類特征concat再做判別；

• 生成器：采用了Encoder-decoder 結構，網絡的中間部分為了獲得更大的感受野，使用了Dilated Convolution：

2.2?Loss function

• MSE loss：

  這里MSE loss其實對應著Context Encoders 里的重構損失。

• GAN loss：

  GAN的損失函數，即對抗損失。

• 最終的損失函數：

2.3 Training

訓練過程如下

2.4 Post-processing

通過對網絡生成的圖像做后處理(使用了【1】中的方法)，修正生成圖像的顏色，結果如下：

3.?Discussion

我認為這篇文章的創新點主要是使用了兩個判別器，同時保證了局部和整體的一致性，可以生成新的沒有在確實圖像中出現的objects。

但是，當圖片中存在大面積的結構性很強的區域缺失時，這篇文章中的模型修復效果較差，如上圖所示。

源代碼：https://github.com/satoshiiizuka/siggraph2017_inpainting. (torch版本)

https://github.com/shinseung428/GlobalLocalImageCompletion_TF.?(Tensorflow版本)

https://github.com/otenim/GLCIC-PyTorch.?(Pytorch版本)

?

4. References

【1】Telea, Alexandru. "An image inpainting technique based on the fast marching method."?Journal of graphics tools?9.1 (2004): 23-34.

【2】Iizuka, Satoshi, Edgar Simo-Serra, and Hiroshi Ishikawa. "Globally and locally consistent image completion."?ACM Transactions on Graphics (ToG)?36.4 (2017): 1-14.

總結

以上是生活随笔為你收集整理的Globally and Locally Consistent Image Completion的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。