鹿晗都有AI粉了，为什么AI换脸剧的效果还这么渣？
燃財經（ID:rancaijing）
編輯 | 魏佳??作者 | 金玙璠 蘇琦
一到商用就“露怯”，AI換臉“太丑”背后不只是技術原因。
“科技改變追星生活。”
?
近日，B站上出現了多個鹿晗AI換臉的視頻，因為換臉后的人臉輪廓、表情非常自然，加上鹿晗本人顏值出挑，很多網友自稱成了鹿晗的AI粉。
B站截圖
?
這些視頻多由UP主制作并上傳，時長約2-4分鐘左右。
?
與此同時，日前同樣因為AI換臉被推上熱搜的古裝網劇《三千鴉殺》迎來大結局。劇中被換臉的角色“青青”就沒這么幸運了，不但沒有AI粉，自開播以來就因“技術太差”被網民“群嘲”是車禍現場，“五分錢換臉”“畫面有點詭異”“一個人毀了整部劇”等評論充斥在彈幕和微博評論中。
《三千鴉殺》中的AI換臉效果呈現
?
片方換臉的原因是，劇中“青青”一角的飾演者劉露因大鬧公共場所被拘留，如今替代劉露飾演青青一角的演員是張鼎鼎。但呈現出的效果差強人意，角色換臉后的五官明顯大于常人，表情生硬，臉部邊緣還出現了模糊、扭曲的情況。
?
“片方想要挽回‘劣跡藝人’造成的損失可以理解，但是處理方式過于低劣。如果選擇AI換臉，至少也要達到之前B站up主‘換臉哥’混剪的效果，結果呈現出來的是美圖秀秀的水平，面部扭曲、表情生硬、脖子和頭顏色完全分離。”在影視行業工作6年的陳傾對燃財經表示。
?
AI換臉并不是首次應用在國產影視劇中，2019年播出的《封神演義》《光榮時代》《長安十二時辰》以及剛剛完結的《時光與你都很甜》中，都使用了該技術，但效果不盡如人意。
?
簡單來說，這是一種先通過視頻/圖片采集一位演員的面部表情，再通過轉換編碼給另一位演員“換臉”的技術。此前這項技術進入公眾視野，是2019年B站up主“換臉哥”將94版《射雕英雄傳》中朱茵的臉替換成楊冪，以及陌陌旗下的ZAO App在朋友圈掀起的“換臉”風潮。
?
多位業內人士對燃財經表示，《三千鴉殺》中的換臉效果的確不太理想，但背后不是只有技術原因這么簡單。這次影視劇中被“群嘲”的AI換臉操作與ZAO相比，為何效果不佳？AI換臉成本如何？自娛自樂效果尚可，一商用就“露怯”，這項技術是否真的有應用市場？
??《三千鴉殺》背后的換臉團隊應該是在DeepFake開源算法的基礎上做了一些優化，但在表情和動作，尤其是臉部邊緣處理上存在一些問題，所以用戶覺得效果僵硬；
? ZAO是開卷考試，所有題目都已經做過，爛熟于胸；而影視劇中的AI換臉屬于閉卷考，做的題目都是沒學過的，只是利用原來學過的一些知識和經驗去重做一遍，效果差距自然很大；
??目前市場上AI換臉的價格大概是1.5萬元/分鐘，手動換臉的價格在十幾萬元/分鐘，即便是簡單的內容，最低市場報價也要在5-6萬元/分鐘；
??很少有公司單做AI換臉這一項業務，因為研發成本沒有其他的落地項目來攤銷，盈利很難。
被群嘲的AI換臉術比不過ZAO？
AI換臉技術最早出現在2017年，也被叫做“深度偽造技術”(DeepFake)，簡單來說，就是通過人工智能深度學習技術將視頻中出現的人臉替換成另一張臉。這一技術的鼻祖是一位名叫“DeepFake”的開發者。同年，他將這項技術開源，他的名字也就成了AI換臉技術的統稱。
?
智能互動視頻播放器技術平臺極鏈科技Video++聯合創始人董慧智告訴燃財經，DeepFake這套算法的弱點就在于，臉部邊緣的處理，尤其是在較為夸張的臉部表情處理上，還沒有做過深度處理，因此每家公司在實際使用中都要自己做一些優化處理。
?
他從《三千鴉殺》的換臉效果判斷，“背后的換臉團隊應該是在DeepFake開源算法的基礎上做了一些優化，只是優化得不是特別好，在表情和動作，尤其是臉部邊緣處理上還是存在一些問題，因此從用戶角度來看效果確實比較僵硬”。
? ? ? ?
《三千鴉殺》因角色AI換臉在微博被“群嘲”
?
此次AI換臉的效果，也被眾多用戶拿來與曾經火爆一時的換臉工具ZAO進行對比。
?
2019年8月30日，“僅需一張照片，出演天下好戲”的ZAO App上線，它也是基于DeepFake算法演變出的產品之一。
ZAO App的功能介紹
?
在瑞萊智慧RealAI產品負責人唐家渝看來，“其實ZAO的大部分視頻臉部邊緣處理得也不是很好，估計是它的建模過程學習到的特征也不是特別好。”
?
ZAO的效果雖然看起來略好一些，但也不代表技術一定更優，因為兩者使用場景不同，難度不同。
?
“AI技術的核心在于訓練的過程，訓練后的模型應用于同一領域，很多算法的準確度可以接近100%，這是AI有優勢的地方；但缺點是與人類相比，AI的聯想能力較弱，沒有訓練過的內容幾乎不會。”董慧智說。
?
眾所周知，ZAO里可供用戶換臉的影視劇片段是特定場景，也就是說，技術難度相對較小。董慧智分析，ZAO背后需要訓練的時間比較長，需要選定視頻庫中的片段，對其中男女主角的臉部進行長時間的學習和訓練，不斷調參，經過線下預處理再上線，用戶的使用效果自然不錯。
?
而影視劇中的臨時換臉難度更大，需要在短時間內，對一個未經訓練的影視劇進行AI批量換臉。董慧智對燃財經表示，AI分訓練和推理兩個階段，前期訓練的過程很長，可能要一到兩周甚至幾個月，而一次推理過程也就是幾百毫秒。因此一般情況下，提供技術的AI公司受限于成本和時間要求，只能用有限的樣本來訓練模型，推理時卻面對的是海量多樣化的視頻，效果不是特別理想。
?
在董慧智看來，兩者難度的差異相當于，ZAO是開卷考試，所有題目都已經做過，爛熟于胸；而影視劇中的AI換臉屬于閉卷考，做的題目都是沒學過的，只是利用原來學過的一些知識和經驗去重做一遍，效果差距自然很大。
AI換臉的真實水平與成本難題
據唐家渝介紹，影視劇AI換臉的效果與劇中人物的角度正面與否、光照條件有直接關系。也就是說，如果采用比較前沿的算法，上述兩個條件較好的情況下，數據采集充分，最終建模的效果會比較好，肉眼基本難以分辨，除非場景的復雜度較高，比如臉部被一片樹葉遮擋，這就需要后期的人工修復了。
?
“我看劇(《三千鴉殺》)中有的片段，人物都是相對正面的角度，光線看起來也還不錯，在這樣的情況下，換臉面部依舊沒有貼合，說明技術確實一般。”唐家渝說。
?
那我們看到的B站up主“換臉哥”以及“AI鹿晗”的作品，還有很多好萊塢作品為何能夠以假亂真呢？
?
“有點炫技的意思。”董慧智認為B站up主“換臉哥”的作品（將94版《射雕英雄傳》中朱茵的臉替換成楊冪），應該是經過后期人工處理的，效仿好萊塢一些特效軟件，人工干預、時間長、造價高。
94版《射雕英雄傳》中朱茵的臉替換成楊冪
?
那么，AI公司如果接到影視劇換臉的任務后進行重新訓練和應用是否可以？答案是可以，但要保證訓練的速度足夠快。“這樣做很不經濟，相當于每造一幢小房子，就要請國際頂尖設計師來設計一遍，造價太高了。”董慧智補充道。
?
在好萊塢電影史上，“換臉”技術早就被廣泛應用于影視劇中，甚至創造出一個虛擬的真人出來，當然造價也是高得驚人。
?
最具代表性的要數2015年的《速度與激情7》，直接讓去世的主演保羅·沃克“復活”了。據此前外媒報道，只用CGI（計算機合成圖像）技術一項，就將這部電影的制作成本從原計劃的2億美金提升至了2.5億美金。
?
2019年上映的電影《雙子殺手》更是將CGI技術向前推了一步，創造出一個減齡至23歲的威爾·史密斯，與真人版51歲的威爾·史密斯進行近身搏斗。
?
這不是單純的對男主角威爾·史密斯進行面部“減齡”，而是從肌膚、骨骼、眼睛、牙齒光澤各個方面進行再造。
《雙子殺手》中真假威爾·史密斯近身搏斗的場景
?
要實現這樣的效果，首先需要數據準備，通過傳感器收集演員不同的臉部姿態、角度、表情以及光照的臉部圖像，其次需要進行專門的數據處理，通過電腦進行數字維度上的轉換，最后依照計算機系統對人臉表情變化的特征點，在虛擬形象上重構。當然，在制作部門建模的時候參考了大量威爾·史密斯年輕時拍過的電影畫面。
?
這一場真假威爾·史密斯的近身搏斗，只有4分鐘的戲份，卻需要后期團隊花九個月的時間調整和完善，難度之大、成本之高可想而知。據說光是這個CGI人物的制作費用就是威爾·史密斯片酬的2倍。
?
在成本方面，此前有媒體報道，目前市場上AI換臉的價格大概是1.5萬元/分鐘，手動換臉的價格在十幾萬元/分鐘，即便是簡單的內容，最低市場報價也要在5-6萬元/分鐘。
?
唐家渝從不同角度拆分AI換臉的成本，一方面是算力的成本，需要有高性能、一定數量的GPU，硬件的價格比較高；另一方面是拍攝、收集各種照片以及建模的成本；此外，事后處理一些遮擋情況也需要一定的人工成本。
?
手動P圖換臉的成本自然更高。“如果我現在是影視制作方，演員出了問題，我肯定不會找手動換臉。1秒的畫面一般有23-30幀，每一幀都要手動換，成本太高了。”唐家渝表示。
?
也就是說，目前國內影視行業一旦遇到需要替換演員的突發情況，AI換臉相比手動換臉，是成本可控的挽救方式。
AI換臉商業化前景幾何？
? ? ? ?
《三千鴉殺》中的AI換臉效果呈現
?
據娛樂資本論矩陣號河豚影視檔案報道，《三千鴉殺》背后的AI換臉技術提供方，是一家受到資本市場認可，估值已達幾十億元的公司，但并不主營影視類項目，因此也不擅長做影視劇中的AI換臉。
?
“很少有公司單做AI換臉這一項，盈利很難，因為研發成本沒有其他的落地項目來攤銷。”董慧智告訴燃財經，“拖后腿”的因素，除了成本、技術成熟度之外，還有供需雙方對AI換臉技術的理解、預期相差較大。
?
“不光用戶，包括影視劇的制作方、導演，對AI換臉技術都沒有那么了解，他們因為覺得‘既然ZAO都做得那么好了’，而對影視劇換臉的期望值過高。”他認為這也是制約行業發展的很重要的因素。
?
但總得來說，董慧智介紹，AI換臉技術在行業中主要有兩大商業化模式。
?
一種是向大的視頻平臺和制作方輸出技術，類似于定制開發，收取的是授權費+維護費，這種方式成本高，定價也高，一般都是百萬量級；另一種是按單次需求的工作量（要換多少張臉，一共多少秒）收費，一般是影視劇制作方提出換臉需求，技術公司去實現。
?
具體到極鏈科技Video++，董慧智透露，“AI換臉”只是公司數十款產品中的一個，如此一來，80%的研發成本是共用的，邊際成本也就更低。
?
而想要擴大商業化范圍，隱私問題是一個繞不開的話題。先前紅極一時的ZAO，就是用戶因上傳的照片無法撤掉而擔憂信息泄露、遭遇詐騙等問題，紛紛棄用。
與ZAO類似，極鏈科技Video++的商業化方向之一是面向C端用戶的技術解決方案，即讓用戶上傳自己照片，和自己的idol演對手戲。董慧智對燃財經透露，這一方面可以與影視劇的播放平臺直接合作，也可以鏈接大平臺的粉絲社區，未來有一定的商業價值，當然，也會吸取ZAO的前車之鑒。“ZAO最大的問題是把臉部圖像保存下來，才有了隱私侵權問題，我們會注意避免這個問題。”
?
除此之外，極鏈科技Video++還有兩個商業化方向是，用人臉做emoji表情以及對短視頻/直播中人物的再創作。
?
后者應用需求在B站伴隨同人創作而崛起，一般而言，是將短視頻/直播中的人物替換成動漫臉、GIF表情包等。這一方向還在2018年的國內掀起了一股“虛擬主播”的熱潮，因為媒體、教育、醫療、娛樂、客服等多個領域和場景，無一不適用，于是搜狗、科大訊飛、斗魚等大公司都進場試水。
此次疫情期間應用的AI主播
唐家渝提供了另一個商用方向。
?
眾所周知，DeepFake的開源降低了AI換臉的技術門檻，但與之相應的黑產也快速生長，各種換臉情色視頻和軟件教程層出不窮，在國內已經形成了一個上游提供軟件及技術、中游提供視頻、照片定制、下游售賣成品視頻，甚至有的商家做的是全產業鏈的生意。
?
越來越多的人開始抵制AI換臉，其風險在于經過AI換臉的合成照片、合成視頻是人類僅憑肉眼無法識別的，部分甚至無法通過單一技術模型鑒別，很容易被當作真實信息進行再次傳播。因為除了DeepFake，最常使用的AI換臉算法還有FaceSwap和Face2Face，不同算法生成的結果千差萬別。
?
那么“反黑”，也就是通過使用鑒別器算法來打假，就是個不錯的商業化方向。國外最負盛名的是一家總部位于阿姆斯特丹的創業公司Deeptrace，在國內，RealAI是最早涉及這一領域的公司，去年底正式上線了針對Deepfake的深度偽造視頻檢測工具。目前，RealAI已經在金融行業做出反欺詐的解決方案，主要應用于信貸風控領域。
?
總體來說，影視行業是目前AI換臉技術更容易落地的場景，但眼下需求有限。隨著機器學習算法的快速學習與進化，AI換臉相關從業者要做的是，在燒錢的電影特效和人人取之可用的入門級App之間，尋找性價比和安全性最高的商用領地。
?
*題圖來源于Bilibili Up主AI王子。應受訪者要求，文中陳傾為化名。
思考：你如何評價AI換臉技術？
? ???精 彩 文 章?
當你裝不上Python外部包時，試試這個網站
程序員，你喜歡抽哪種香煙？（python數據分析）
玩會這15款編程游戲，就算是入門了！
我常用的10個Python實用小Trick
END
來和小伙伴們一起向上生長呀~~~
掃描下方二維碼，添加小詹微信，可領取千元大禮包并申請加入 Python學習交流群，群內僅供學術交流，日常互動，如果是想發推文、廣告、砍價小程序的敬請繞道！一定記得備注「交流學習」，我會盡快通過好友申請哦！
（添加人數較多，請耐心等待）
（掃碼回復 1024? 即可領取IT資料包）
總結
以上是生活随笔為你收集整理的鹿晗都有AI粉了，为什么AI换脸剧的效果还这么渣？的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： Python 3 开发钉钉群机器人
- 下一篇： 学习难？求职难？90分钟点亮你的AI求职