二次元最懂二次元:B站开源动漫画质修复模型 超分辨率画质更好
為了讓你能高清重溫童年的XXX,AI近來沒少努力。
最近我們就發現了一個專為動漫圖像而生的畫質修復模型:
Real-CUGAN。
這個開源模型在今天登上了GitHub熱榜,還來自b站官方。
“老二刺猿”了就是說[狗頭]。
結構魔改自Waiuf2x
Real-CUGAN,全名Real Cascade U-Nets for Anime Image Super Resolution。
其結構魔改自此前大火的圖片無損放大/降噪神器——Waiuf2x(GitHub標星23k),并可以與之無縫兼容;訓練代碼基本來自騰訊去年剛出品的RealESRGAN(GitHub標星9.1k)。
Waiuf2x出自日本的一位“技術宅”,原理大概就是把一堆二次元圖片縮小再和原圖放一起,通過算法讓模型自己學會了如何放大拉伸圖片。
Waiuf2x有免費的網頁版供大家使用。
RealESRGAN,主要通過模擬高分辨率圖像變低分辯率過程中的各種“退化”過程,然后讓模型看到一張糊圖后倒推出來它的高清圖。
它是對超分“前輩”ESRGAN的進一步改進,后者曾贏得ECCV2018 PIRM-SR挑戰賽中的第一名。
相比這兩位,Real-CUGAN都有什么獨到之處呢?
首先在訓練集方面,前兩者都是采用私有二次元訓練集,量級與質量未知,Real-CUGAN則用了百萬級高清的二次元數據集。
在推理耗時方面(目標為1080P),如果以Waiuf2x為基線,RealESRGAN要耗費2.2x的時間,Real-CUGAN則只需1x。
在強度調整方面,Waiuf2x可以支持多種降噪強度,RealESRGAN沒法調整,Real-CUGAN則支持4種降噪強度與保守修復,未來還會提供不同程序的去模糊、去JPEG偽影、銳化等功能。
此外,Waiuf2x只能實現1倍和2倍分辨率修復,RealESRGAN只支持4倍,Real-CUGAN則2~4倍都可以(1倍還在訓練中)。
當然,最最最重要的還是效果。
來看一些最直觀的對比圖:
可以看到,Real-CUGAN和Waiuf2x的結果都差不多,但是RealESRGAN卻沒有處理好地板紋理。
在這組對比圖中,Waiuf2x明顯不如后兩者線條清晰,而相比Real-CUGAN,RealESRGAN中人物嘴巴和下顎處的線條是虛的,有雜線。
而在這組“極致渣清型”圖片的超分效果中,Waiuf2x仍然明顯不夠清晰。
而RealESRGAN整體清晰是清晰,卻仍然出現了雜線,以及和明顯的偽影——只有Real-CUGAN畫面干干凈凈,表現最好。
為了方便更多的創造者,Real-CUGAN面向4類群體開源了不同的推理參數設置。
Real-CUGAN為Windows用戶打包了一個可執行環境(下載鏈接可在文末的倉庫里自取)。
通過congfig文件可進行通用參數設置:在mode中填寫video或者image決定超視頻還是超圖像。
模型分三類,具體選哪種也給了參考:
提供了兩套參數:Real-CUGAN2x標準版(denoise-level3)和Real-CUGAN2x無切割線版。
需torch>=1.0.0,配備numpy、opencv-python、moviepy模塊。
這個就不細說了,相應的讀者可以參見倉庫的Readme說明~
最后,Real-CUGAN也正在計劃更新更多:包括快速模型、簡單的GUI、一步超到任意指定分辨率功能以及對本身效果的改進(優化紋理保留,削減模型處理痕跡)。
心動的朋友可以戳下方鏈接試試手:
總結
以上是生活随笔為你收集整理的二次元最懂二次元:B站开源动漫画质修复模型 超分辨率画质更好的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 2021年全球平板出货量出炉:苹果第一
- 下一篇: 看不懂代码?AI给你做翻译 说人话的那种