Representative Forgery Mining for Fake Face Detection

文章創新點

提出了一種基于注意力引導的數據增強方法

• FAM：一種可以定位出對檢測器而言最敏感的面部區域的方法，用于知道后續的數據增強。
• SFE：一種基于attention的數據增強方法，在FAM指導下，幫助檢測器去更加均衡地去分配注意力
• RFM：一個可以在無監督下可視化偽造區域的框架，能夠幫助基于CNN的偽造檢測器實現SOTA的性能。

使用該方法訓練出的偽造檢測器能指出偽造圖片所使用的偽造方法

RFM

RFM框架的處理流程：

將原始圖像輸入檢測器進行一次前向傳播，得到Real和Fake的概率，在利用得到值進行一次反向求導求解出FAM(forgery attention map),FAM中高亮區域就是對檢測器而言比較敏感的區域。這一輪的反向求導是對每個位置的像素值進行求導，而不是對那些權重w求導 ，這樣可以得到每個像素點對最后結果的影響程度，即檢測器的敏感程度

在得到FAM后，從FAM中選擇出最敏感的N個像素位置，然后以這些位置為中心隨機生成矩形的待擦除區域，然后在原圖上將對應區域進行擦除。

將經過擦除后的圖像輸入到檢測器中進行前向傳播和反向求導來對模型進行更新

FAM

FAM

FAM的主要操作如下：

首先輸入原始圖片進行前向傳播，分別得到圖片真偽兩個類別的概率Ofake和Oreal

進行方向傳播，分別計算Ofake和Oreal對于原始圖像上每個像素點的梯度，并計算二者梯度差的絕對值作為敏感程度

因為輸入的圖像往往不是單通道的，因此對于一個像素點而言，在每一個通道上都產生一個梯度差絕對值，這里對于一個像素點，選取所有通道中梯度差絕對值最大的值作為該像素點的敏感程度。

相較于CAM，FAM是用來定位對于檢測器而言比較敏感的區域，而CAM則是用來突出檢測器進行決策時所參考的區域，前者是求梯度，即該區域的變化對最后的值產生影響較大，而后者則是尋找對于最后計算出的結果而言，那一部分的區域的貢獻比較大。FAM是基于整個原始圖像來生成MAP的，但是CAM則是將CNN的最后的一層輸出的特征圖映射到原始圖像來生成最后的MAP。

CAM

關于CAM的介紹來源于知乎用戶Lori的博客

CAM，首先使用最后一層卷積生成的特征圖與特定分類所對應權重相乘就和，再將最終的結果縮放到原始輸入圖片的大小，最終就得到該類別在該輸入圖像上的類激活映射圖。需要注意的同一張圖像的類激活映射圖會隨著類別的不同，所觀察的區域也會存在差別。

SFE

RE

一種簡單的隨機擦除方法，在輸入圖片在隨機選擇一個位置并選擇一個隨機大小進行擦除，由于在偽造檢測過程中，對于檢測器比較敏感的區域是相對不連續，不會完全集中在一個位置，有時候不同的敏感區域可能相距很遠，因此很難使用隨機擦除來抑制特定敏感區域來鼓勵檢測器去發現更多特征。同時隨機算法的缺陷會很容易導致圖像的中心區域更容易被擦除。

AE

AE是基于class attention Mapping的區域擦除方法。其會根據CNN的特征提取部分產生的CAM圖來對輸入圖片的特定區域進行擦除，（需要注意的是不太確定，其是對真偽兩個類別的CAM都進行擦除，還對是對二者產生的CAM的求差值后，對差異較大的區域進行擦除，按照文章整體的意思應該是對差異較大的區域進行插除。）

缺陷：由于是直接將CNN生成的特征圖直接映射到原始的輸入圖片上，會比較容易出現位置的偏差，會導致擦除位置與期待的位置不一致。同時使用AE這種過于細粒度的擦除方式，存在容易導致發生overfitting的可能。

SFE

本文所提出的基于SFE的方法的整體算法流程圖如上圖所示

首先人為設定一個進行SFE擦除概率，即一張圖片有一定的概率進行SFE擦除

若該輸入圖片要進行SFE擦除，則首先根據FAM求出的每個像素點的敏感程度進行由高到底的選擇來做為待擦除區域的中心

如果所選擇的擦除中心未被擦除，則以該中心建立隨機大小的擦除區域，對該擦除區域進行擦除，如果所選擇的擦除中心已經被擦除過了，則返回2重新選擇擦除中心

重復上述2,3兩步，直到一共有N個區域被擦除

優點：能夠精確地確定需要進行擦除的區域，能夠使用多個擦除區域來盡可能多的擦除需要進行擦除的敏感區域以此充分鼓勵檢測器去發現偽造細節特征。檢測器無法額外信息，因此能夠在一定程度上阻止過擬合的發生。

RFM：代表性偽造區域的可視化

圖中每個偽造方法對應的FAM都是使用100張該類偽造方法生成圖片獲得FAM取平均獲取的。不同方法所產生的FAMs存在著差別，因此，后續可以通觀察FAM的差別來實現多偽造方法的研究，可以通過使用每一偽造方法生成對應的平均FAM，對后續偽造圖片的FAM和這些平均FAM計算余弦相似度，來判斷后續偽造圖片的所屬偽造方法。

總結

以上是生活随笔為你收集整理的[论文阅读]Representative Forgery Mining for Fake Face Detection的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。