| 當你注意到清晰度問題時,恭喜你已經是個老鳥了。 本篇就來講講清晰度相關的進階教程
清晰度通常有以下幾種情況導致看上去違和 1. 視頻清晰、SRC臉模糊 (常見) 2. 視頻模糊、SRC臉清晰 (偶爾) 3. 視頻DST人臉時而清晰時而模糊,換的SRC一直清晰 (少見)
我就分開講講這三種情況都該如何優化
1. 視頻清晰、SRC臉模糊 這是最常見的情況,也是新手都會遇到過著情況。挑了一個清晰的視頻做換臉,結果換上去的臉比周圍背景明顯模糊一大截。 然后許多人錯誤的以為加大模型分辨率就可以變清晰,吭哧吭哧又訓練一個高分辨率模型,一換發現還是這么糊。 別急,先來分析下產生這問題的原因
以1920*1080p的視頻為例,如下圖,通常人臉大小只有250左右,理論上用256分辨率的模型已經足夠滿足人臉清晰度要求
但為什么你用256模型合成出來就感到模糊呢? 原因是你的256模型沒有訓練出它的極限清晰度。一個256極限清晰度的模型要比512垃圾清晰度的模型要好得多 就像你打游戲,256級滿技能滿裝備的土豪,能吊打512級沒技能沒裝備的玩家
那怎么才能訓練出模型的極限清晰度呢? 1. 訓練數據要足夠清晰,減少模糊素材比例。如果沒有高清素材,可以提取人臉后,用Topaz系列軟件來提升清晰度: 論壇有老哥發過?http://dfldata.xyz/forum.php?mod=viewthread&tid=74&extra=page%3D1 2. 訓練足夠充分 3. 訓練充分后把隨機扭曲(random warp)關閉 4. 訓練充分后開GAN 0.01-0.1(一定要開啟自動備份和梯度裁剪,以免模型跑崩)
除了訓練時盡量壓榨出模型潛力,在合成階段也有兩個個手段可以提升臉部清晰度 1.??合成時按T,可以調用軟件自帶的超分辨率模型來提升人臉清晰度 2.??清晰度實在提不上去,換個思路,可以把dst視頻弄模糊一點。合成階段有個背景圖片降噪功能,可以把dst背景視頻給弄模糊,從而提高融合自然度。
按上述處理完后,基本可以實現清晰人臉。 如果你視頻中的人臉特別大,那就挑戰更高分辨率的模型吧。高分辨率模型的訓練技巧以后講解。
2. 視頻模糊、SRC臉清晰 這個通常是SRC訓練特別好,比dst視頻清晰太多出現的問題。屬于幸福的煩惱 也很容易解決。幾個方法 1. 找同款但高清的dst視頻(哈哈) 2. 在SRC訓練數據中,加入一些模糊的SRC。這樣模型看到模糊的dst就生成模糊的src,看見清晰的dst就生成清晰的dst
3.?視頻DST人臉時而清晰時而模糊,換的SRC一直清晰 產生這個現象的原因是dst視頻中人臉在不停變動。靜止時比較清晰,動起來就有運動模糊,看上去自然會糊。 但SRC一股腦全生成清晰的圖,不帶運動模糊,看上去就不自然 解決方法很簡單 1.合成時按R調節運動模糊強度。(如果一個畫面有多個人臉,合成時會全片無法開啟運動模糊。請提前確保aligned_dst中,每一幀至多只有一個人臉,將多余的非目標人臉刪除)
? 出處:deepfacelab中文論壇,免費軟件、模型、素材下載?http://dfldata.xyz/forum.php?mod=viewthread&tid=737&extra=page%3D1 |