【每周CV论文】初学深度学习图像修复应该要读的文章
歡迎來到《每周CV論文》。在這個(gè)專欄里，還是本著有三AI一貫的原則，專注于讓大家能夠系統(tǒng)性完成學(xué)習(xí)，所以我們推薦的文章也必定是同一主題的。
圖像修復(fù)(image inpainting)或補(bǔ)全(scene completion)即去除圖像中的一些小目標(biāo)，屬于底層圖像編輯中的一類技術(shù)，今天給大家推薦初學(xué)該領(lǐng)域必須要讀的文章。
作者&編輯 | 言有三
1 基于GAN的基本模型
傳統(tǒng)的圖像修復(fù)方法通常是用相似度算法從圖像的其他區(qū)域選擇圖像塊進(jìn)行補(bǔ)全，ContextEncoder是首個(gè)使用GAN的圖像補(bǔ)全框架。
文章引用量：1000+
推薦指數(shù)：?????
[1] Pathak D, Krahenbuhl P, Donahue J, et al. Context encoders: Feature learning by inpainting[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2016: 2536-2544.
2 判別器改進(jìn)
Context Encoder模型的生成器和判別器結(jié)構(gòu)都比較簡單，補(bǔ)全的結(jié)果雖然比較真實(shí)，但是邊界非常不平滑，不滿足局部一致性。針對(duì)這個(gè)特點(diǎn)，研究者聯(lián)合使用了全局判別器和局部判別器對(duì)Context Encoder模型進(jìn)行了改進(jìn)。
文章引用量：500+
推薦指數(shù)：?????
[2] Iizuka S, Simo-Serra E, Ishikawa H. Globally and locally consistent image completion[J]. ACM Transactions on Graphics (ToG), 2017, 36(4): 1-14.
3 注意力機(jī)制改進(jìn)
傳統(tǒng)圖像補(bǔ)全方法擅長從背景圖像中采樣，CNN模型則擅長直接生成新的紋理，為了綜合利用這兩類方法的長處，并充分使用圖片中的冗余信息，研究者提出了基于注意力機(jī)制的方法[3]來進(jìn)行圖像補(bǔ)全，這一類方法通常采用由粗到細(xì)的兩個(gè)步驟, 第一步先粗略補(bǔ)全，第二步再在未遮擋區(qū)域?qū)ふ遗c遮擋區(qū)域中相似的圖片塊來進(jìn)行改進(jìn)。
文章引用量：260+
推薦指數(shù)：?????
[3] Yu J, Lin Z, Yang J, et al. Generative image inpainting with contextual attention[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2018: 5505-5514.
4 卷積方式改進(jìn)
很多框架將缺失的區(qū)域使用白色或者是隨機(jī)噪聲來填充，白色/隨機(jī)噪聲本來沒有有效信息, 對(duì)它們與有效的信息不加區(qū)別的卷積并不合理, 這樣的補(bǔ)全結(jié)果會(huì)出現(xiàn)一些不合理的圖像塊，導(dǎo)致往往需要計(jì)算量較大的圖像融合等后處理操作。Nvidia提出了Partial Convolution，它通過修改卷積操作來改進(jìn)圖片補(bǔ)全。
文章引用量：270+
推薦指數(shù)：?????
[4] Liu G, Reda F A, Shih K J, et al. Image inpainting for irregular holes using partial convolutions[C]//Proceedings of the European Conference on Computer Vision (ECCV). 2018: 85-100.
5 基于邊緣的補(bǔ)全
當(dāng)一個(gè)作畫者開始畫一幅圖時(shí)，往往先描繪出整體的邊緣輪廓，然后再上色。基于這樣的啟發(fā)，有一類圖像修復(fù)框架采取先對(duì)邊緣進(jìn)行修復(fù)，然后對(duì)紋理內(nèi)容進(jìn)行修復(fù)的思路，EdgeConnect是其中的一個(gè)代表。
文章引用量：很少
推薦指數(shù)：?????
[5] Nazeri K, Ng E, Joseph T, et al. EdgeConnect: Structure Guided ImageInpainting using Edge Prediction[C]//Proceedings of the IEEE InternationalConference on Computer Vision Workshops. 2019: 0-0.
6 應(yīng)用
在圖像修復(fù)算法中非常重要的一類應(yīng)用就是對(duì)老舊照片進(jìn)行修復(fù)，去除刮痕等。
文章引用量：較少
推薦指數(shù)：?????
[6] Wan Z , Zhang B , Chen D , et al. Bringing Old Photos Back to Life[J]. 2020..
7 文章解讀
關(guān)于圖像修復(fù)相關(guān)文章的詳細(xì)解讀，在有三AI知識(shí)星球-網(wǎng)絡(luò)結(jié)構(gòu)1000變-圖像修復(fù)以及GAN下有較多的文章，感興趣可以移步。
總結(jié)
本次我們介紹了初學(xué)圖像修復(fù)領(lǐng)域值得讀的文章，當(dāng)前研究重點(diǎn)在于GAN模型，復(fù)雜退化類型圖像的修復(fù)等方向，讀者可以繼續(xù)關(guān)注。
有三AI知識(shí)星球
知識(shí)星球是有三AI的付費(fèi)內(nèi)容社區(qū)，里面包括各領(lǐng)域的模型學(xué)習(xí)，數(shù)據(jù)集下載，公眾號(hào)的付費(fèi)圖文原稿，技術(shù)總結(jié)PPT和視頻，知識(shí)問答，書籍下載，項(xiàng)目推薦，線下活動(dòng)等資源，了解詳細(xì)請(qǐng)閱讀以下文章：
【雜談】有三AI知識(shí)星球一周年了！為什么公眾號(hào)+星球才是完整的？
【雜談】萬萬沒想到，有三還有個(gè)保密的‘朋友圈’，那里面都在弄啥！
轉(zhuǎn)載文章請(qǐng)后臺(tái)聯(lián)系
侵權(quán)必究
往期精選
【每周論文推薦】 初入深度學(xué)習(xí)CV領(lǐng)域必讀的幾篇文章
【每周CV論文推薦】 掌握殘差網(wǎng)絡(luò)必讀的10多篇文章
【每周CV論文推薦】 初學(xué)者必須精讀的5篇深度學(xué)習(xí)優(yōu)化相關(guān)文章
【每周CV論文推薦】 CV領(lǐng)域中數(shù)據(jù)增強(qiáng)相關(guān)的論文推薦
【每周CV論文推薦】 初學(xué)高效率CNN模型設(shè)計(jì)應(yīng)該讀的文章
【每周CV論文推薦】 初學(xué)目標(biāo)檢測必須要讀的文章
【每周CV論文推薦】 初學(xué)深度學(xué)習(xí)圖像分割必須要讀的文章
【每周CV論文推薦】 初學(xué)GAN必須要讀的文章
【每周CV論文推薦】 深度學(xué)習(xí)人臉檢測入門必讀文章
【每周CV論文推薦】 初學(xué)深度學(xué)習(xí)人臉關(guān)鍵點(diǎn)檢測必讀文章
【每周CV論文推薦】 初學(xué)深度學(xué)習(xí)人臉識(shí)別和驗(yàn)證必讀文章
【每周CV論文推薦】 初學(xué)深度學(xué)習(xí)人臉屬性分析必讀的文章
【每周CV論文推薦】 初學(xué)活體檢測與偽造人臉檢測必讀的文章
【每周CV論文推薦】 初學(xué)深度學(xué)習(xí)單張圖像三維人臉重建需要讀的文章
【每周CV論文推薦】 人臉識(shí)別剩下的難題：從遮擋，年齡，姿態(tài)，妝造到親屬關(guān)系，人臉攻擊
【每周CV論文推薦】換臉?biāo)惴ǘ加心男┙?jīng)典的思路？
【每周CV論文】深度學(xué)習(xí)文本檢測與識(shí)別入門必讀文章
【每周CV論文】深度學(xué)習(xí)圖像降噪應(yīng)該從閱讀哪些文章開始
【每周CV論文】初學(xué)GAN圖像風(fēng)格化必須要讀的文章
【每周CV論文】初學(xué)深度學(xué)習(xí)圖像超分辨應(yīng)該要讀的文章
【每周CV論文】初學(xué)深度學(xué)習(xí)圖像對(duì)比度增強(qiáng)應(yīng)該要讀的文章
總結(jié)
以上是生活随笔為你收集整理的【每周CV论文】初学深度学习图像修复应该要读的文章的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 【杂谈】关于批量采购与教材试点深度学习之
- 下一篇： 【每周CV论文】初学深度学习图像风格化要