當前位置：首頁 > 编程资源 > 编程问答 >内容正文

编程问答

GAN综述总结笔记

發布時間：2024/3/12 编程问答 67 豆豆

生活随笔收集整理的這篇文章主要介紹了 GAN综述总结笔记小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

GAN綜述總結筆記

源自超分辨率Generative Adversarial Networks for Image Super-Resolution: A Survey
論文地址

1.摘要

GAN在小樣本的低分辨率圖像表現不錯，GAN在圖像超分辨率應用總結。
分析基于優化方法和判別方法在圖像超分辨應用上有監督，半監督，無監督訓練GANs的動機，實現和區別。
給出GANs方法就定性和定量分析上的圖像超分辨率的性能，潛在研究點和挑戰。
本文框架圖

本文前期提要和本文框架
-

2.GAN發展

介紹幾種經典變體和發展
原始GAN
- ·
BiGAN（雙編碼器來協同生成器和判別器以獲得更豐富的信息，以提高異常檢測的性能，精度提升，訓練穩定性提高）
CycleGAN（循環架構實現風格轉移）
為解決模型坍塌（GD都不盡人意）提出WGAN——使用權重裁剪來增強 Lipschitz 約束的重要性，從而提高訓練 GAN [41] 的穩定性。
- 權重裁剪：消除權重張量中不必要的值。將神經網絡參數的值設置為零，以消除神經網絡各層之間的低權重連接。
- 會導致梯度消失梯度爆炸
- 使用使用梯度懲罰（視為 WGAN-GP）來打破 Lipschitz 在計算機視覺應用中追求良好性能的限制
styleGAN（使用特征解耦來控制不同特征來完成圖像生成的風格轉移）

-

3.用于圖像應用的GANs

應用較多GANs的網絡模型

3.1用于圖像應用的大樣本上的流行 GAN

3.2用于圖像應用的基于小樣本的流行GAN

4.應用在圖像超分辨率上的GANs

4.1基于監督 GAN 的圖像超分辨率改進架構：

4.2用于圖像超分辨率的半監督 GAN

4.3用于圖像超分辨率的無監督 GAN

5.比較圖像超分辨率的 GAN 性能

本章介紹不同模型所使用的數據集和環境配置，并對不同模型的超分結果進行了定性和定量兩方面的比較。

5.1數據集

半監督，無監督，監督

5.2環境配置

5.3實驗結果

用于圖像超分辨率的 GAN 數據集（即訓練數據集和測試數據集）。

針對不同訓練方式的不同 GAN 圖像超分辨率

用于圖像超分辨率的不同 GAN 的環境配置。

6.未來展望

問題和挑戰

不穩定的訓練。由于生成器和鑒別器之間的對抗，GANs在訓練過程中是不穩定的。

計算資源大，內存消耗高。GAN由生成器和鑒別器組成，這可能會增加計算成本和內存消耗。這可能會導致對數字設備的更高需求。

無參考的高質量圖像。現有的大多數GAN都依賴于成對的高質量圖像和低分辨率圖像來訓練圖像超分辨率模型，這可能會受到現實世界中數字設備的限制。

復雜圖像超分辨率。大多數GAN可以處理單個任務，即圖像超分辨率和合成噪聲圖像超分辨率等。然而，現實世界中數碼相機采集的圖像存在缺點，即低分辨率和暗光圖像，復雜的噪聲和低分辨率圖像。此外，數碼相機對圖像低分辨率和圖像識別的結合有更高的要求。因此，現有的圖像超分辨率GAN無法有效修復上述條件下的低分辨率圖像。

用于圖像超分辨率的GANs度量。現有的大多數GANs都使用PSNR和SSIM來測試GANs的超分辨率性能。然而，PSNR和SSIM不能完全測量恢復的圖像。因此，對于圖像超分辨率的GANs來說，找到有效的度量是非常重要的。

潛在研究點

增強生成器和鑒別器提取顯著特征，以增強圖像超分辨率上的GANs穩定性。例如，使用注意機制（即Transformer）、剩余學習操作、串聯操作作為生成器和鑒別器來提取更有效的特征，以增強加速圖像超分辨率GAN模型的穩定性。

為圖像超分辨率設計輕量級GANs。減少卷積核、群卷積、先驗和淺層網絡結構的結合可以降低圖像超分辨率處理的復雜度。

使用自監督方法可以獲得高質量的參考圖像。

結合不同低級任務的屬性，在不同的GANs中通過不同的階段將復雜低級任務分解為單個低級任務，修復復雜的低分辨率圖像，有助于高級視覺任務的完成。
構的結合可以降低圖像超分辨率處理的復雜度。