近日，清華大學劉永進教授課題組在 IEEE Transactions on Visualization and Computer Graphics 上發表論文，提出基于生成對抗神經網絡的自然圖像多風格卡通化方法，代碼在 Github 上開源。

論文標題：

GAN-based Multi-Style Photo Cartoonization

論文鏈接：

https://doi.org/10.1109/TVCG.2021.3067201

代碼鏈接：

https://github.com/syz825211943/Multi-Style-Photo-Cartoonization

卡通畫是日常生活中喜聞樂見的一種藝術形式，不管是在影視作品還是在日常生活中都非常常見。很多卡通畫都是根據自然場景由藝術家精心繪制而成，耗時耗力；而一些現存的卡通畫生成算法也僅針對于單一卡通風格設計，無法獲得風格各異的卡通畫結果。論文提出了一種基于生成對抗神經網絡的自然圖像多風格卡通化方法，使用非成對數據集學習不同風格的卡通風格圖片繪制方式，幫助人們生成具有不同風格的卡通圖片，定格生活中的精彩瞬間。

干貨推薦

• 浙大博士導師深度整理：Tensorflow 和 Pytorch 的筆記（包含經典項目實戰）
• 值得收藏，這份機器學習算法資料著實太香
• 比 PyTorch 的官方文檔還香啊，吃透PyTorch中文版來了
• 趕快收藏，PyTorch 常用代碼段PDF合輯版來了

論文首先針對多風格卡通圖像轉換任務精心設計了網絡結構，如圖 1 所示。Multi-Style CartoonGAN 的生成網絡由一個公用的編碼器和多個解碼器組成，其中編碼器用于提取輸入圖片的內容，多個解碼器分別對應于多種卡通風格并進行學習；判別網絡也包括多個判別器，與多個解碼器一一對應，用于判斷輸入圖像是真實的卡通圖像還是生成網絡生成的卡通圖像；最后增加一個輔助分類器，幫助網絡更好的學習到不同風格之間的區別。

▲ Multi-Style CartoonGAN的網絡結構示意圖

論文在標準的對抗損失的基礎上，增加了邊緣模糊的對抗損失，突出卡通畫具有清晰邊緣的特點。同時，論文提出使用多層次的內容約束，對不同分辨率下的輸入圖像與輸出圖像計算 L1 距離作為內容約束以適應不同卡通風格平滑程度不同這一特點——這不僅保證了結果圖像與輸入圖像語義內容上的一致性，也保留了不同風格的繪制特點。最后增加了風格損失，對不同卡通圖像分類后計算損失，擴大不同風格之間的區別。通過同時優化這三項損失，使得生成網絡最終可以得到保留輸入圖片語義信息的多風格卡通圖像轉換結果。

針對于對抗神經網絡非線性程度高，難以收斂的問題，我們使用初始化過程幫助網絡訓練收斂，在初始化階段我們僅使用層次化的內容約束對網絡進行訓練，在網絡能夠基本重構出輸入圖片信息之后再進行正式訓練。此外，針對于 Multi-Style CartoonGAN 網絡的設計，我們在理論上證明了網絡設計的合理性與可實踐性。

實驗證明，論文提出的多風格卡通化方法可以同時學習到多個卡通風格的繪制方式，在保留輸入圖片內容信息的基礎上完成不同卡通風格的轉換。圖 2 給出了 Multi-Style CartoonGAN 與多種單風格轉換方法的對比結果，圖中 Gatys (image 1) 為標準的 NST 結果，我們將與輸入圖像內容相近的圖片作為風格圖像進行學習；Gatys (collection) 為改進的 NST 結果，使用訓練集內的所有卡通圖像計算平均風格特征進行風格遷移； 是使用了身份損失的 CycleGAN 版本；UNIT，GDWCT 是另外兩種代表性的單風格轉換算法。

▲ 圖2. Multi-Style CartoonGAN與NST，CycleGAN，UNIT與GDWCT的對比結果。第一列為輸入的自然圖像，后六列為對比算法以及Multi-Style CartoonGAN的對比結果。圖中前兩行由宮崎駿《千與千尋》風格訓練集中的圖片訓練得到；中間兩行由新海誠風格訓練集中的圖片訓練得到；最后兩行由法國動畫《悠長假日》風格訓練集中的圖片訓練得到。

盡管這些單風格算法都需要訓練多次才能得到多個卡通風格的轉換結果，但是效果仍然不如 Multi-Style CartoonGAN，而我們的算法只需要訓練一次就可得到多種卡通風格轉換結果。圖 3 展示了 Multi-Style CartoonGAN 與單風格的卡通圖像生成算法 CartoonGAN 相比的結果，我們利用了多風格卡通畫的結構優勢也得到了更為理想的結果——內容保持更好，線條更明顯，色塊更平滑。

▲ 圖3. Multi-Style CartoonGAN與單風格CartoonGAN的比較結果。第一列為輸入的自然圖像，圖中第二、三列由宮崎駿《千與千尋》風格訓練集中的圖片訓練得到；第四、五列由新海誠風格訓練集中的圖片訓練得到；最后兩列由法國動畫《悠長假日》風格訓練集中的圖片訓練得到。

最后與多風格風格轉換算法 (MUNIT，ComboGAN) 相比，我們的結果也具有更理想的卡通特征與質量，結果見圖 4。

▲ 圖4：Multi-Style CartoonGAN與MUNIT，ComboGAN的比較結果。第一列為輸入的自然圖像，后三列為對比算法以及Multi-Style CartoonGAN的對比結果。圖中第一行由宮崎駿《千與千尋》風格訓練集中的圖片訓練得到；中間一行由新海誠風格訓練集中的圖片訓練得到；最后一行由法國動畫《悠長假日》風格訓練集中的圖片訓練得到。

技術交流

目前已開通了技術交流群，群友已超過1000人，添加時最好的備注方式為：來源+興趣方向，方便找到志同道合的朋友

• 方式①、發送如下圖片至微信，長按識別，后臺回復：加群；
• 方式②、微信搜索公眾號：機器學習社區，后臺回復：加群；
• 方式③、可以直接加微信號：mlc2060。加的時候備注一下：研究方向 +學校/公司+CSDN，即可。然后就可以拉你進群了。
  

總結

以上是生活随笔為你收集整理的​清华大学提出基于生成对抗神经网络的自然图像多风格卡通化方法并开源代码的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。