【每周CV论文推荐】换脸算法都有哪些经典的思路？
歡迎來到《每周CV論文推薦》。在這個專欄里，還是本著有三AI一貫的原則，專注于讓大家能夠系統性完成學習，所以我們推薦的文章也必定是同一主題的。
人臉偽造/換臉算法目前在一定程度上已經達到了以假亂真的效果，這個課題的研究也是由來已久，本次我們來介紹其中的幾種重要思路。
作者&編輯 | 言有三
1 基于3D模型和光流的方法
早期的換臉算法其實不是我們這里要說的換臉算法，而應該稱之為面部表情遷移算法，其中基于多張圖像/視頻序列的方法非常流行，以華盛頓大學的Suwajanakorn等人的研究為代表，主要是基于3D模型和稠密光流變換，我們公眾號4年前有過簡單的解讀，可以參考三維人臉重建入門。
文章引用量：40+
推薦指數：?????
[1] Suwajanakorn S, Seitz S M, Kemelmacher-Shlizerman I. What makes tom hanks look like tom hanks[C]//Proceedings of the IEEE International Conference on Computer Vision. 2015: 3952-3960.
[2]?Thies J, Zollhofer M, Stamminger M, et al. Face2face: Real-time face capture and reenactment of rgb videos[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016: 2387-2395.
2 基于形狀擬合的算法
基于形狀擬合的方法是最直觀的換臉算法，即檢測到的關鍵點然后計算兩個人臉形狀之間的變形，再添加圖像融合等后處理技術，目前在天天P圖等應用中的換臉算法如此。
[3]?https://github.com/hrastnik/FaceSwap
3 基于風格遷移的算法
換臉算法保留了被換臉的表情，姿態，形狀，同時使用了新臉的紋理，要實現的就是紋理的遷移，這可以使用已經較為成熟的風格遷移算法。
文章引用量：60+
推薦指數：?????
[4]?Korshunova I, Shi W, Dambre J, et al. Fast face-swap using convolutional neural networks[C]//Proceedings of the IEEE International Conference on Computer Vision. 2017: 3677-3685.
4 基于圖像翻譯的算法?
換臉算法是一個人臉到人臉的圖像翻譯問題，所以Pix2Pix，CycleGAN等模型自然可以直接被應用，在添加了人臉掩膜，姿態，光照等信息的監督下可以獲得非常逼真的換臉結果。
推薦指數：?????
[5]?Jin X, Qi Y, Wu S. Cyclegan face-off[J]. arXiv preprint arXiv:1712.03451, 2017.
5 基于自編解碼模型的算法
GAN等生成模型已經被廣泛應用于人臉的編輯，我們在上期文章中給大家做過不少的相關介紹，可以參考【雜談】GAN對人臉圖像算法產生了哪些影響？。
當前最流行的Deepfakes就是在使用同樣的編碼器的約束下，分別訓練A圖像和B圖像的編解碼器。使用時將A的特征輸入解碼器B從而實現換臉，感興趣的可以參考開源代碼[7]進行嘗試。
推薦指數：?????
[6]?Korshunov P, Marcel S. Deepfakes: a new threat to face recognition? assessment and detection[J]. arXiv preprint arXiv:1812.08685, 2018.
[7]?https://github.com/deepfakes/faceswap
6 如何獲取文章與交流
找到有三AI開源項目即可獲取。
https://github.com/longpeng2008/yousan.ai
文章細節眾多，相關的人臉數據集在以及論文閱讀交流在有三AI知識星球中進行，感興趣可以加入。
總結
本次我們簡單介紹了換臉的幾種思路，隨著條件GAN等生成式模型的發展，編輯后的人臉精度越來越高，技術雖好，不要使壞噢。
有三AI秋季劃
有三AI秋季劃已經正式啟動報名，模型優化，人臉算法，圖像質量共24個項目，助力提升深度學習計算機視覺算法和工程項目能力。
有三AI秋季劃出爐，模型優化，人臉算法，圖像質量等24個項目等你來拿
轉載文章請后臺聯系
侵權必究
往期精選
【每周論文推薦】 初入深度學習CV領域必讀的幾篇文章
【每周CV論文推薦】 掌握殘差網絡必讀的10多篇文章
【每周CV論文推薦】 初學者必須精讀的5篇深度學習優化相關文章
【每周CV論文推薦】 CV領域中數據增強相關的論文推薦
【每周CV論文推薦】 初學高效率CNN模型設計應該讀的文章
【每周CV論文推薦】 初學目標檢測必須要讀的文章
【每周CV論文推薦】 初學深度學習圖像分割必須要讀的文章
【每周CV論文推薦】 初學GAN必須要讀的文章
【每周CV論文推薦】 深度學習人臉檢測入門必讀文章
【每周CV論文推薦】 初學深度學習人臉關鍵點檢測必讀文章
【每周CV論文推薦】 初學深度學習人臉識別和驗證必讀文章
【每周CV論文推薦】 初學深度學習人臉屬性分析必讀的文章
【每周CV論文推薦】 初學活體檢測與偽造人臉檢測必讀的文章
【每周CV論文推薦】 初學深度學習單張圖像三維人臉重建需要讀的文章
【每周CV論文推薦】 人臉識別剩下的難題：從遮擋，年齡，姿態，妝造到親屬關系，人臉攻擊
總結
以上是生活随笔為你收集整理的【每周CV论文推荐】换脸算法都有哪些经典的思路？的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 【AutoML】当前有哪些可用的Auto
- 下一篇： 【杂谈】当前模型剪枝有哪些可用的开源工具