ICCV 2019 | Lifelong GAN：基于持续学习的条件图像生成模型
作者丨薛潔婷
學校丨北京交通大學碩士生
研究方向丨圖像翻譯
研究動機
持續學習是指希望模型能和人一樣能基于過去的先驗知識來快速準確的解決當前任務，然而對于人類而言與生俱來的能力對于模型來說卻宛如大海撈針般困難。
當我們使用新的數據集去訓練已有的模型時，該模型將會失去對原數據集識別的能力即模型會發生災難性遺忘問題（如圖 1 所示：edges-shoes 模型在經過 segmentations-facades 訓練后原有的參數被完全打亂，無法再完成 edges-shoes 任務）。
▲?圖1. 災難性遺忘問題
這一問題對于持續學習而言是一個非常巨大的挑戰，目前比較主流的解決方案是讓當前任務數據集結合原數據集去訓練模型，但這樣會導致模型的可擴展性很差，當添加一個新的任務時存儲和訓練時間都會同時增加，并且有些預訓練模型的數據是難以獲取的，因此作者提出了更通用的持續學習模型框架，該框架用于解決條件圖像生成問題。
模型介紹
Lifelong GAN 模型基于 BicycleGAN 的架構，BicycleGAN 的架構可參考?[1]。模型主要使用了知識蒸餾來解決持續學習中的災難性遺忘問題，即模型在學習當前任務的同時需要記住原任務的知識，在具體訓練中通過鼓勵當前網絡和原網絡產生相似的結果來迫使模型從原任務的訓練網絡中提取出信息并且加入到當前網絡中。
架構如圖 2 所示，其中表示當前任務的第 t 次訓練，表示當前任務的第 t-1 次訓練。
▲?圖2. LifelongGAN模型架構
作者希望在訓練中產生的結果和訓練結果保持一致性，即對于 cVAE-DL 階段的訓練中希望訓練產生的目標域圖像的編碼結果以及生成的圖像與訓練時保持一致。
對于 cLR-GAN 階段希望訓練產生的生成結果以及生成結果的編碼與訓練時保持一致。
對于 Lifelong GAN 來說其損失函數就是兩部分損失之和。
但是我們知道 BicycleGAN 之所以結合 cVAE-DL 以及 cLR-GAN 就是為了增加模型的多樣性，但是上述兩個損失函數都希望訓練時與原訓練結果保持一致，這兩者的目標是矛盾的，因此作者提出在具體訓練時使用輔助圖像來解決這一問題，即從訓練數據中隨機采樣小圖像塊并將它們一起剪切，或者交換原域和目標域圖像來產生輔助圖像，這兩種方案都不會讓模型產生過擬合問題。
實驗結果
作者將條件圖像生成問題分為基于圖像條件的圖像生成以及基于標簽條件的圖像生成，并從這兩個方面分別評估了模型的性能。
針對基于圖像條件的圖像生成作者在 MNIST 數據集以及 Image-to-Image 數據集（如 edges-shoes,segmentations-facades 等）上計算其 Acc, r-Acc 以及 LPIPS 得分來評估，由圖 3 可以看出和 Sequential Fine-tuning 以及 Joint Learning（使用全部數據集來訓練）相比 Lifelong GAN 的表現效果與JL相近，但 Lifelong GAN 不需要使用全部數據集。
▲?圖3. 基于圖像條件的圖像生成
針對基于標簽條件的圖像生成問題作者采用了 MNIST 數據集以及 Flower 數據集進行評估。
?▲?圖4. 基于標簽條件的圖像生成
總結
本文作者首次提出將知識蒸餾應用于持續學習模型中，并提出了更通用的（可以應用于基于標簽條件以及圖像條件的圖像生成問題上）的條件圖像生成模型。整個模型的設計非常巧妙，避免了使用原數據集帶來的開銷問題。從實驗結果可以看出 Lifelong GAN 的效果和使用全數據集的效果類似，進一步證明了模型的有效性。
參考文獻
[1] J.-Y. Zhu, R. Zhang, D. Pathak, T. Darrell, A. A. Efros, O. Wang, and E. Shechtman. Toward multimodal image-to image translation. In Advances in Neural Information Processing Systems (NIPS), 2017.
點擊以下標題查看更多往期內容：?
Grid R-CNN Plus：基于網格的目標檢測演化
進擊的YOLOv3，目標檢測網絡的巔峰之作
CVPR 2019 | 基于池化技術的顯著性目標檢測
天秤座R-CNN：全面平衡的目標檢測器
萬字綜述之生成對抗網絡（GAN）
CVPR 2019 | BASNet：關注邊界的顯著性檢測
#投 稿 通 道#
?讓你的論文被更多人看到?
如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。
總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?
PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學習心得或技術干貨。我們的目的只有一個，讓知識真正流動起來。
??來稿標準：
? 稿件確系個人原創作品，來稿需注明作者個人信息（姓名+學校/工作單位+學歷/職位+研究方向）?
? 如果文章并非首發，請在投稿時提醒并附上所有已發布鏈接?
? PaperWeekly 默認每篇文章都是首發，均會添加“原創”標志
? 投稿郵箱：
? 投稿郵箱：hr@paperweekly.site?
? 所有文章配圖，請單獨在附件中發送?
? 請留下即時聯系方式（微信或手機），以便我們在編輯發布時和作者溝通
?
現在，在「知乎」也能找到我們了
進入知乎首頁搜索「PaperWeekly」
點擊「關注」訂閱我們的專欄吧
關于PaperWeekly
PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。
▽ 點擊 |?閱讀原文?| 下載論文
總結
以上是生活随笔為你收集整理的ICCV 2019 | Lifelong GAN：基于持续学习的条件图像生成模型的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 报名 | TensorFlow Chin
- 下一篇： 北京 | 免费高效训练及OpenVINO