作者丨薛潔婷

學校丨北京交通大學碩士生

研究方向丨圖像翻譯

論文引入

圖像修復問題的關鍵是維持修復后圖像的全局語義一致性以及破損區域的細節紋理合理性。近期關于圖像修復問題的研究主要集中于通過使用空間注意力機制或利用原始圖像的有效像素去預測缺失區域兩種策略，這兩種方法由于忽略破損區域的語義相關性和特征連續性，經常會產生模糊紋理或結構混亂的問題（如圖 1）。

▲?圖1.?現有圖像修復算法比較

為了解決這一問題作者借鑒人工修復圖像的過程提出了基于關聯語義注意機制的圖像修復模型，該模型不僅能修復不規則缺失圖像而且能保證修復后圖像的全局一致性。

模型介紹

基于關聯語義注意機制的圖像修復模型主要由兩部分組成，首先圖像經過一個粗略的修復網絡（Rough Network），該網絡基于 U-Net 架構。之后將 Rough Network 修復后的圖像結合原破損圖像作為更細致的修復網絡（Refinement Network）的輸入進行進一步的修復。最后作者通過 feature 鑒別器以及 patch 鑒別器與修復網絡進行對抗，具體架構如圖 2 所示。

▲?圖2. 模型架構

在 Refinement Network 中作者在編碼過程和解碼過程中分別對應嵌入了有關聯的語義注意力層（CSA），該層是通過將破損區域內的前向臨近像素塊作為下一像素塊的語義引導進行修復。

主要過程分為搜索和生成兩部分（如圖 3 所示），首先在已知區域的特征映射??中搜索與破損區域的特征映射 M 最接近的像素塊來初始化破損區域，其中采用互信息來衡量兩像素塊之間的相似度（如圖 4 所示），具體操作是將??中的像素塊作為卷積核并應用于 M 上，從而計算出有最大互信息的像素塊。

之后將??作為主要引導，前向相鄰塊作為次要引導結合歸一化后生成像素塊，即：

?

由于第一個像素塊沒有前向相鄰像素塊，因此第一個像素塊的信息完全來自于，之后迭代該過程 2~n 次從而修復破損區域。

▲?圖3. CSA層

▲?圖4. 互信息

作者在編碼過程中嵌入了 CSA 層，為了能在解碼時重建 M 作者定義了注意力映射矩陣 A，并在解卷積中復用該矩陣，整個過程的偽代碼如圖 5 所示。

▲?圖5. CSA偽算法

為了能適應 CSA 層的訓練作者還提出了一致性損失，該損失調整了傳統的感知損失，使用 VGG-16 作為預訓練模型提取原始圖像的高層特征信息，通過縮小經過 CSA 層之后的特征以及其對應的解卷積后的特征與原始圖像的特征之間的 L2 距離來提高修復效果。一致性損失的定義如下：

為了能讓模型適應于不規則區域的圖像修復，作者還提出了一種新穎的特征鑒別器，特征鑒別器通過計算修復后圖像和原始圖像的特征映射來判斷圖像的真假，具體架構如圖 6 所示。在特征鑒別器中作者采用了 VGG 網絡作為預訓練網絡來提取圖像特征，之后將提取后的特征再經過幾層下采樣來計算對抗損失。為了保證訓練穩定作者也加入了 70*70?的 patch 鑒別器作為輔助鑒別器。

▲?圖6. feature discriminator架構

實驗結果

作者使用了 Places2，CelebA 以及 Paris StreetView 數據集進行實驗，選取 Contextual Attention (CA)，Shift-net (SH)，Partial Conv (PC) 以及 Gated Conv (GV) 作為 baseline 進行比較。部分實驗結果如圖 7 所示，可以看出其他方法會產生或多或少的結構混亂或細節缺失問題，CSA 模型應用在不規則缺失圖像修復上的效果也優于其他 baseline 模型。

▲?圖7. 修復效果比較

總結

作者提出了一種新穎的關聯語義注意力圖像修復模型，該模型將圖形修復分為粗修復和精修復兩部分，綜合考慮時間成本以及修復效果，作者將關聯語義注意力層 CSA 嵌入精修復網絡的第四層編碼-解碼中，通過 ablation 研究發現 CSA 層確實可以提高模型的修復效果，產生更加合理的修復結果。

點擊以下標題查看更多往期內容：?

• 綜述：基于GAN的圖像翻譯模型盤點

• ICCV 2019 | 基于持續學習的條件圖像生成模型

• ICCV 2019 | 關注邊界的顯著性目標檢測

• Github大熱論文 | 基于GAN的新型無監督圖像轉換

• Grid R-CNN Plus：基于網格的目標檢測演化

• CVPR 2019?| 基于空間自適應歸一化的圖像語義合成

#投 稿 通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學習心得或技術干貨。我們的目的只有一個，讓知識真正流動起來。

??來稿標準：

? 稿件確系個人原創作品，來稿需注明作者個人信息（姓名+學校/工作單位+學歷/職位+研究方向）?

? 如果文章并非首發，請在投稿時提醒并附上所有已發布鏈接?

? PaperWeekly 默認每篇文章都是首發，均會添加“原創”標志

? 投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請單獨在附件中發送?

? 請留下即時聯系方式（微信或手機），以便我們在編輯發布時和作者溝通

?

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

▽ 點擊 |?閱讀原文?| 下載論文 & 源碼

總結

以上是生活随笔為你收集整理的ICCV 2019 | 基于关联语义注意力模型的图像修复的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。