日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

【老鸟进阶】deepfacelab如何让融合更自然(二)清晰度篇

發布時間:2023/12/15 编程问答 79 豆豆
生活随笔 收集整理的這篇文章主要介紹了 【老鸟进阶】deepfacelab如何让融合更自然(二)清晰度篇 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

當你注意到清晰度問題時,恭喜你已經是個老鳥了。
本篇就來講講清晰度相關的進階教程

清晰度通常有以下幾種情況導致看上去違和
1. 視頻清晰、SRC臉模糊 (常見)
2. 視頻模糊、SRC臉清晰 (偶爾)
3. 視頻DST人臉時而清晰時而模糊,換的SRC一直清晰 (少見)

我就分開講講這三種情況都該如何優化

1. 視頻清晰、SRC臉模糊
這是最常見的情況,也是新手都會遇到過著情況。挑了一個清晰的視頻做換臉,結果換上去的臉比周圍背景明顯模糊一大截。
然后許多人錯誤的以為加大模型分辨率就可以變清晰,吭哧吭哧又訓練一個高分辨率模型,一換發現還是這么糊。
別急,先來分析下產生這問題的原因

以1920*1080p的視頻為例,如下圖,通常人臉大小只有250左右,理論上用256分辨率的模型已經足夠滿足人臉清晰度要求

但為什么你用256模型合成出來就感到模糊呢?
原因是你的256模型沒有訓練出它的極限清晰度。一個256極限清晰度的模型要比512垃圾清晰度的模型要好得多
就像你打游戲,256級滿技能滿裝備的土豪,能吊打512級沒技能沒裝備的玩家

那怎么才能訓練出模型的極限清晰度呢?
1. 訓練數據要足夠清晰,減少模糊素材比例。如果沒有高清素材,可以提取人臉后,用Topaz系列軟件來提升清晰度: 論壇有老哥發過?http://dfldata.xyz/forum.php?mod=viewthread&tid=74&extra=page%3D1
2. 訓練足夠充分
3. 訓練充分后把隨機扭曲(random warp)關閉
4. 訓練充分后開GAN 0.01-0.1(一定要開啟自動備份和梯度裁剪,以免模型跑崩)

除了訓練時盡量壓榨出模型潛力,在合成階段也有兩個個手段可以提升臉部清晰度
1.??合成時按T,可以調用軟件自帶的超分辨率模型來提升人臉清晰度
2.??清晰度實在提不上去,換個思路,可以把dst視頻弄模糊一點。合成階段有個背景圖片降噪功能,可以把dst背景視頻給弄模糊,從而提高融合自然度。

按上述處理完后,基本可以實現清晰人臉。
如果你視頻中的人臉特別大,那就挑戰更高分辨率的模型吧。高分辨率模型的訓練技巧以后講解。

2. 視頻模糊、SRC臉清晰
這個通常是SRC訓練特別好,比dst視頻清晰太多出現的問題。屬于幸福的煩惱
也很容易解決。幾個方法
1. 找同款但高清的dst視頻(哈哈)
2. 在SRC訓練數據中,加入一些模糊的SRC。這樣模型看到模糊的dst就生成模糊的src,看見清晰的dst就生成清晰的dst


3.?視頻DST人臉時而清晰時而模糊,換的SRC一直清晰
產生這個現象的原因是dst視頻中人臉在不停變動。靜止時比較清晰,動起來就有運動模糊,看上去自然會糊。 但SRC一股腦全生成清晰的圖,不帶運動模糊,看上去就不自然
解決方法很簡單
1.合成時按R調節運動模糊強度。(如果一個畫面有多個人臉,合成時會全片無法開啟運動模糊。請提前確保aligned_dst中,每一幀至多只有一個人臉,將多余的非目標人臉刪除)

?

出處:deepfacelab中文論壇,免費軟件、模型、素材下載?http://dfldata.xyz/forum.php?mod=viewthread&tid=737&extra=page%3D1

?

總結

以上是生活随笔為你收集整理的【老鸟进阶】deepfacelab如何让融合更自然(二)清晰度篇的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。