GAN綜述總結(jié)筆記

• 源自超分辨率Generative Adversarial Networks for Image Super-Resolution: A Survey
• 論文地址

1.摘要

• GAN在小樣本的低分辨率圖像表現(xiàn)不錯(cuò)，GAN在圖像超分辨率應(yīng)用總結(jié)。

• 分析基于優(yōu)化方法和判別方法在圖像超分辨應(yīng)用上有監(jiān)督，半監(jiān)督，無監(jiān)督訓(xùn)練GANs的動(dòng)機(jī)，實(shí)現(xiàn)和區(qū)別。

• 給出GANs方法就定性和定量分析上的圖像超分辨率的性能，潛在研究點(diǎn)和挑戰(zhàn)。

• 本文框架圖

• 本文前期提要和本文框架
  -

---

2.GAN發(fā)展

• 介紹幾種經(jīng)典變體和發(fā)展

• 原始GAN

  • ·

• BiGAN（雙編碼器來協(xié)同生成器和判別器以獲得更豐富的信息，以提高異常檢測(cè)的性能，精度提升，訓(xùn)練穩(wěn)定性提高）

• CycleGAN（循環(huán)架構(gòu)實(shí)現(xiàn)風(fēng)格轉(zhuǎn)移）

• 為解決模型坍塌（GD都不盡人意）提出WGAN——使用權(quán)重裁剪來增強(qiáng) Lipschitz 約束的重要性，從而提高訓(xùn)練 GAN [41] 的穩(wěn)定性。

  • 權(quán)重裁剪：消除權(quán)重張量中不必要的值。將神經(jīng)網(wǎng)絡(luò)參數(shù)的值設(shè)置為零，以消除神經(jīng)網(wǎng)絡(luò)各層之間的低權(quán)重連接。
  • 會(huì)導(dǎo)致梯度消失梯度爆炸
  • 使用使用梯度懲罰（視為 WGAN-GP）來打破 Lipschitz 在計(jì)算機(jī)視覺應(yīng)用中追求良好性能的限制

• styleGAN（使用特征解耦來控制不同特征來完成圖像生成的風(fēng)格轉(zhuǎn)移）

  -

  ---

3.用于圖像應(yīng)用的GANs

• 應(yīng)用較多GANs的網(wǎng)絡(luò)模型

3.1用于圖像應(yīng)用的大樣本上的流行 GAN

3.2用于圖像應(yīng)用的基于小樣本的流行GAN

---

4.應(yīng)用在圖像超分辨率上的GANs

4.1基于監(jiān)督 GAN 的圖像超分辨率改進(jìn)架構(gòu)：

4.2用于圖像超分辨率的半監(jiān)督 GAN

4.3用于圖像超分辨率的無監(jiān)督 GAN

---

5.比較圖像超分辨率的 GAN 性能

• 本章介紹不同模型所使用的數(shù)據(jù)集和環(huán)境配置，并對(duì)不同模型的超分結(jié)果進(jìn)行了定性和定量?jī)煞矫娴谋容^。

5.1數(shù)據(jù)集

• 半監(jiān)督，無監(jiān)督，監(jiān)督

5.2環(huán)境配置

5.3實(shí)驗(yàn)結(jié)果

• 用于圖像超分辨率的 GAN 數(shù)據(jù)集（即訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集）。

• 針對(duì)不同訓(xùn)練方式的不同 GAN 圖像超分辨率

• 用于圖像超分辨率的不同 GAN 的環(huán)境配置。
  

---

6.未來展望

• 問題和挑戰(zhàn)

不穩(wěn)定的訓(xùn)練。由于生成器和鑒別器之間的對(duì)抗，GANs在訓(xùn)練過程中是不穩(wěn)定的。

計(jì)算資源大，內(nèi)存消耗高。GAN由生成器和鑒別器組成，這可能會(huì)增加計(jì)算成本和內(nèi)存消耗。這可能會(huì)導(dǎo)致對(duì)數(shù)字設(shè)備的更高需求。

無參考的高質(zhì)量圖像?，F(xiàn)有的大多數(shù)GAN都依賴于成對(duì)的高質(zhì)量圖像和低分辨率圖像來訓(xùn)練圖像超分辨率模型，這可能會(huì)受到現(xiàn)實(shí)世界中數(shù)字設(shè)備的限制。

復(fù)雜圖像超分辨率。大多數(shù)GAN可以處理單個(gè)任務(wù)，即圖像超分辨率和合成噪聲圖像超分辨率等。然而，現(xiàn)實(shí)世界中數(shù)碼相機(jī)采集的圖像存在缺點(diǎn)，即低分辨率和暗光圖像，復(fù)雜的噪聲和低分辨率圖像。此外，數(shù)碼相機(jī)對(duì)圖像低分辨率和圖像識(shí)別的結(jié)合有更高的要求。因此，現(xiàn)有的圖像超分辨率GAN無法有效修復(fù)上述條件下的低分辨率圖像。

用于圖像超分辨率的GANs度量?，F(xiàn)有的大多數(shù)GANs都使用PSNR和SSIM來測(cè)試GANs的超分辨率性能。然而，PSNR和SSIM不能完全測(cè)量恢復(fù)的圖像。因此，對(duì)于圖像超分辨率的GANs來說，找到有效的度量是非常重要的。

• 潛在研究點(diǎn)

增強(qiáng)生成器和鑒別器提取顯著特征，以增強(qiáng)圖像超分辨率上的GANs穩(wěn)定性。例如，使用注意機(jī)制（即Transformer）、剩余學(xué)習(xí)操作、串聯(lián)操作作為生成器和鑒別器來提取更有效的特征，以增強(qiáng)加速圖像超分辨率GAN模型的穩(wěn)定性。

為圖像超分辨率設(shè)計(jì)輕量級(jí)GANs。減少卷積核、群卷積、先驗(yàn)和淺層網(wǎng)絡(luò)結(jié)構(gòu)的結(jié)合可以降低圖像超分辨率處理的復(fù)雜度。

使用自監(jiān)督方法可以獲得高質(zhì)量的參考圖像。

結(jié)合不同低級(jí)任務(wù)的屬性，在不同的GANs中通過不同的階段將復(fù)雜低級(jí)任務(wù)分解為單個(gè)低級(jí)任務(wù)，修復(fù)復(fù)雜的低分辨率圖像，有助于高級(jí)視覺任務(wù)的完成。
構(gòu)的結(jié)合可以降低圖像超分辨率處理的復(fù)雜度。

使用自監(jiān)督方法可以獲得高質(zhì)量的參考圖像。

結(jié)合不同低級(jí)任務(wù)的屬性，在不同的GANs中通過不同的階段將復(fù)雜低級(jí)任務(wù)分解為單個(gè)低級(jí)任務(wù)，修復(fù)復(fù)雜的低分辨率圖像，有助于高級(jí)視覺任務(wù)的完成。

使用圖像質(zhì)量評(píng)估技術(shù)作為衡量標(biāo)準(zhǔn)，評(píng)估來自不同區(qū)域的精確圖像的質(zhì)量。

總結(jié)

以上是生活随笔為你收集整理的GAN综述总结笔记的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。