導讀：「眼界大開 聲臨其境」技術系列課第三期。網易易盾資深計算機視覺算法工程師胡宜峰帶來了主題為《視頻深度偽造檢測技術在內容安全領域的探索與實踐》技術分享。

講師簡介：胡宜峰，網易易盾資深計算機視覺算法工程師，主要負責圖像和視頻 AI 算法在內容安全領域的研發、落地和優化。在違禁、涉政、暴恐內容識別、logo 識別、圖像檢索、視頻深度鑒偽等多個領域有豐富的研發和項目落地經驗。

AI 技術應用的「雙刃劍」效應?

AI 是近些年熱度頗高的詞匯，并實實在在地滲入了生活的方方面面，如：AI+安全、AI+交通、AI+醫療、AI+零售等。在諸多 AI 技術的成熟應用中，人臉技術又是其中最為廣泛應用的技術之一，常見于智能安防、金融交易、公共交通等領域，相信許多人都有過刷臉支付、刷臉入園的經歷。

隨著 AI 技術的蓬勃發展，AI 自動生成內容的水平取得了顯著的提高。依托文本、語音、圖像、視頻等載體，AI 自動生成技術被廣泛地用于模仿和偽造人類的想法、行為和特征。這在一定程度上降低了人力等成本的消耗，為我們的生活帶來了便利和精神享受，AI 自動生成技術所帶來的仿真數據和虛擬化內容一定程度上可以為一些垂直領域帶來新的應用場景或者直接推動該領域的技術進步。

然而事物具有兩面性，科技發展也存在著“雙刃劍”效應。人們在享受人臉技術帶來便利體驗的同時，也不可避免地受到人臉技術濫用所帶來的風險和隱患。隨著 AI 換臉、自動美顏、智能 P 圖等技術和應用的流行，由 AI 自動生成技術引發的安全風險和“黑灰產”問題也與日俱增，尤其是人臉相關技術，作為 AI 技術落地最為廣泛的場景之一，所面臨的安全、倫理和道德的挑戰愈發嚴重。AI 自動生成技術和人臉技術在視頻載體上的結合，也就是我們熟知的“視頻深度偽造”，已經成為 AI 技術被濫用的“重災區”。

視頻深度偽造技術?

視頻深度偽造技術，從技術方向上看，偽造方法主要分為 4 種。其一是全人臉的生成，這種一般是用 GAN 相關的算法生成現實生活中本不存在的虛擬人臉，常見于游戲等一些虛擬場景。其二是 AI 換臉，將生活中實際存在的人臉進行互相替換，這類應用由于針對性強、娛樂效果好，常常能廣泛破圈傳播，因此在學術界和工業界都是重點的核心研究對象。換臉是目前應用最廣泛，也是潛在的隱患最大的視頻深度偽造方法。其三是人臉屬性的編程，主要包含發型、發色、眼睛、膚色等重要屬性的編輯，常存在于一些自拍美顏美膚的 App 中。其四是表情改變，賦予人臉喜怒哀樂等不同表情，或是將 A 的表情體現在 B 臉上。

從具體算法上看，主要是通過 GAN、自編碼器、風格遷移等方法來完成的，這里面也會涉及一些比如關鍵點定位、對齊、分割、融合等操作。

除了技術方向多、算法多，現在人臉偽造公開的數據集也比較多。這在一定程度上為視頻深度鑒偽算法的創新和迭代提供了數據支撐，促進了視頻深度鑒偽算法的發展。然而，視頻深度鑒偽是一個持續對抗的開集問題，僅通過公開數據上訓練的模型，想要很好地解決這個問題其實不太現實。為了更好地解決此問題，需要更加系統和全面的方案設計，這也是深度偽造檢測這項業務的重點和難點。

視頻深度偽造識別方法與難點?

作為對視頻深度偽造的對抗，視頻深度鑒偽的方法主要有以下幾種：人工特征、CNN、CNN+人工特征、CRNN、transformer 等等，這些方法囊括了人臉偽造識別最主要的方向，也描述了人臉偽造識別的整體歷程。

首先是人工特征，比如 eye blinking、head pose 等等，與真實人臉相比，人臉偽造或換臉必然會存在一定的不一致，也就是我們說的“偽造的痕跡”。基于這些統計層面上的痕跡去發掘人工特征，是比較傳統和有效的方法。傳統特征往往針對性比較強，但是泛化能力不足，尤其是在攻擊的視頻做過比較多后處理之后，傳統特征的效果會大打折扣。所以現在一些研究工作從傳統特征+CNN 特征入手，圍繞特征和分類器層面的融合角度開展，把人工特征作為 deep learning 特征的補充。當然這里所說的人工特征，是指通過統計層面的觀察加入先驗知識，非端到端學習的方式。

當然，隨著 deep learning 的發展，直接用 deep learning 進行端到端的人臉偽造識別也是現在研究的熱點。基于 deep learning 的方法大多數是把人臉偽造識別轉換成一個“人臉檢測+分類”的問題，通過人臉檢測先檢測到人臉的位置，做適當的 expand 再進行 crop，送到后續進行是否為人臉的二分類。這種方式比較直接，流程相對簡單，同時因為人臉檢測現在比較成熟，一般不會是這個任務的難點所在，所以整個任務就轉換成了一個人臉 patch 的分類問題。轉換為分類問題后就可以更直接地銜接一些成熟方法來解決人臉偽造識別的問題，比如半監督學習、遷移學習等等。

隨著 deepfake 的流行以及現在短視頻的日益火爆，人臉偽造和換臉的主戰場已經遷移到了視頻領域，所以對人臉偽造的研究很自然地會加入視頻序列信息，利用 RNN、LSTM 對序列特征進行編碼，從而解決識別問題。這部分工作也是現在研究的熱點。

通過對偽造和鑒偽的介紹，不難發現，偽造和鑒偽是一個對抗的過程，很多鑒偽方法也是針對某些偽造方法而定制設計的。這個對抗過程也反映了現在學術界的一個難點，鑒偽方法沒有很好的泛化性。相同的鑒偽方法在不同的數據上，可能會出現巨大的表現差異。而且，這個學術界難題，遷移到工業界會被進一步放大，因為我們面對的并不是一種或者幾種方法，也不是數據集，而是一個開集問題，面對的是海量的偽造方法和未知的互聯網數據。所以說，未知方法多、對抗多等特點，給視頻深度鑒偽的實踐落地，帶來了巨大困難。

當然，偽造方法多不僅僅體現在具體的偽造算法上。我們發現，其實偽造后處理也是對識別效果的巨大挑戰之一。很多偽造方法，為了掩蓋偽造痕跡，會做很強的后處理來進行對抗。現在比較流行的一些美白、美膚等工具，也客觀起到了后處理的作用。這些后處理極大程度上會掩蓋偽造的痕跡，給識別帶來巨大難度。

除此之外，數據分布廣泛是個更普遍的問題，在人臉識別里也會遇到。

網易易盾視頻深度偽造檢測解決方案?

針對以上的難點，我們整體的解決方案如下圖所示，采取了“人臉檢測+分類”的整體思路。分類就是“是否為偽造人臉”的二分類。之所以選擇這個主體方案，是因為這是目前在學術界效果最好、應用最廣泛的方法，同時人臉檢測也已經是業界非常成熟的技術，可以讓我們的精力聚焦到后置的分類問題上，將識別問題轉換為分類問題，這也更方便我們緊密結合業界的先進技術，達到事半功倍的效果。

那么針對上述偽造方法多、后處理方式多、數據分布廣泛的問題。從數據層面，我們緊密結合了當前火熱的半監督技術，挖掘難例樣本、提高挖掘數據的精確度、降低標注開銷、提升帶噪學習的能力。同時，我們也會直接從偽造和后處理的角度，為識別提供對抗的素材。這兩種方式，其實是數據層面的融合。算法層面，常見有效的方法和特征我們的方案都會涉及到，并進行特征層面選擇及融合。當然，最終決策層面的融合也是非常重要的方式。

半監督的方法大家可能都比較熟悉，這里需要指出的是，半監督方法和視頻深度鑒偽問題存在比較好的契合性。所謂契合性，可以從半監督的方法和我們之前討論難點的直接關系來看。以下列舉了主要的半監督的方法：generative methods、consistency regulation、Plabel、hybrid methods。

首先是生成式的方法，前面也有提到，deepfake 的數據，很多是 GAN 生成的，這里可以和 generative 的半監督方法做一個比較自然的銜接，對應的是我們提到的生成方式多樣的難點。其次是 consistency regulation 的方法，我們知道 consistency regulation 的方法核心思想是輸入做了不同變換的 pair 對，輸出應該保持一致。這其實是為了提升模型的泛化能力以及提升模型的變換魯棒性。這個點可以對應于前面提到的后處理方法多樣的難點，通過利用無標簽數據，提升模型變換的魯棒性。基于 Plabel 的方法，核心是通過偽標簽的方式，擴充訓練數據的分布，從而提升模型的性能。這對應于我們前面說的偽造方法多、數據分布廣泛的問題。

所以，在 deepfake detection 這個問題上應用半監督方法，能較好地對應解決相關難點。

除了半監督，因為 deepfake 是一個攻守對抗問題，生成訓練數據并有監督地訓練初始模型，也是最直接有效的方法。當然，這里也要考慮生成方法多樣、后處理方法多等問題。

現在學術界對 deepfake detection 的研究很多。前面也有提到，這些研究大多數是從特征網絡結構設計、loss設計等層面，發掘和融合出更具魯棒的特征進行識別，包括常規的 embedding 特征、頻域特征、序列特征、人工定義特征、偽造痕跡特征等。這些方法的融合，一部分是特征層面的融合，一部分是決策層面的融合。需要指出的一點是，從訓練數據到算法，deepfake detection 都是一個針對性很強的任務，要想在開集問題上取得較好的泛化效果，除了在單個算法上尋求突破外，多種方法的融合和選擇，也是最核心、最有效的方法之一。

所以，在決策層面的融合是必不可少的內容。模型融合，是最直接有效能提升模型效果和泛化性的方法。這個思路在其他 AI 問題上是通用的，但是有個特殊的點需要指出，一般模型融合的共識是在測試集上表現有差異但指標相似的模型，融合會有效果提升，而 deepfake detection 由于跨偽造方法的泛化能力不強，往往會出現兩個模型在同一批數據上表現差異很大的情況。針對這個問題，需要更加細致地考慮融合的策略，增加更多選擇的策略。

當然，多個模型速度會受到一定的限制，在非離線的速度要求較高的場景，會進一步進行模型的蒸餾，讓小模型集成多個大模型的能力。

?網易易盾視頻深度偽造檢測的成果?

正如其它的涉政、暴恐、違禁相關的業務一樣，視頻深度偽造檢測也被定位為一個開集的不斷迭代優化的問題。網易易盾從解決思路、數據、模型等角度，設計了完整的解決方案。成果方面，在第二屆中國人工智能大賽視頻深度偽造檢測賽道，網易易盾從188家企業、高校、研究單位中脫穎而出，以TOP1的成績獲得了最高級A級別證書。

今天的分享從背景、偽造、識別、技術方案的角度，給大家介紹了偽造和識別相關的內容。希望對 AI、偽造識別相關領域感興趣的同學能從本文獲得一些幫助。

掃碼關注公眾號，了解更多~~

?

總結

以上是生活随笔為你收集整理的眼界大开 声临其境丨胡宜峰：视频深度伪造检测技术在内容安全领域的探索与实践的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。