[論文筆記] Learning Rich Features for Image Manipulation Detection

說在前面

個人心得：

第一次關(guān)注篡改檢測，最常見的篡改方式是拼接、復(fù)制移動和刪除。

本文提出一個雙流Faster R-CNN，用于篡改區(qū)域的檢測和類型識別。

RGB和噪聲雙輸入流，更好地利用一些潛在的特征。

利用雙線性池化進(jìn)行特征融合，效果不錯

CVPR 2018，原文鏈接：http://arxiv.org/abs/1805.04953

一作開源源碼：https://github.com/pengzhou1108/RGB-N

本文作于2020年10月14日。

摘要

Image manipulation detection is different from traditional semantic object detection because it pays more attention to tampering artifacts than to image content, which suggests that richer features need to be learned. We propose a two-stream Faster R-CNN network and train it end-to-end to detect the tampered regions given a manipulated image.

圖像篡改檢測不同于傳統(tǒng)的語義對象檢測，因為它更加關(guān)注篡改偽影而不是圖像內(nèi)容，這表明需要學(xué)習(xí)更豐富的特征。我們提出了雙個輸入流的Faster R-CNN網(wǎng)絡(luò)，并對其進(jìn)行端到端訓(xùn)練，以在給定圖像的情況下檢測被篡改的區(qū)域。One ofthe two streams is an RGB stream whose purpose is to extract features from the RGB image input to find tampering artifacts like strong contrast difference, unnatural tampered boundaries, and so on. The other is a noise stream that leverages the noise features extracted from a steganalysis rich model filter layer to discover the noise inconsistency between authentic and tampered regions. We then fuse features from the two streams through a bilinear pooling layer to further incorporate spatial co-occurrence of these two modalities.

這兩個輸入流之一是RGB流，其目的是從RGB圖像輸入中提取特征，以發(fā)現(xiàn)篡改偽像，例如強(qiáng)烈的對比度差異、不自然的篡改邊界等。另一個是噪聲流，它利用從富含隱寫分析的模型濾波器層中提取的噪聲特征來發(fā)現(xiàn)真實區(qū)域和篡改區(qū)域之間的噪聲不一致。然后，我們通過雙線性池化層融合來自兩個流的特征，以進(jìn)一步合并這兩種模式的空間共現(xiàn)。Experiments on four standard image manipulation datasets demonstrate that our two-stream framework outperforms each individual stream, and also achieves state-of-the-art performance compared to alternative methods with robustness to resizing and compression.

在四個標(biāo)準(zhǔn)圖像處理數(shù)據(jù)集上進(jìn)行的實驗表明，與對大小調(diào)整和壓縮具有魯棒性的替代方法相比，我們的兩流框架勝過每個單獨的流，并且還實現(xiàn)了最新的性能。

1. 引言

隨著圖像編輯技術(shù)和用戶友好編輯軟件的進(jìn)步，低成本的篡改或操縱圖像生成過程已變得廣泛可用。在篡改技術(shù)中，剪接、復(fù)制移動和刪除是最常見的篡改。圖像剪接可從真實圖像中復(fù)制區(qū)域并將其粘貼到其他圖像，復(fù)制移動復(fù)制并粘貼同一圖像中的區(qū)域，然后移除會從真實圖像中消除區(qū)域，然后進(jìn)行修補(bǔ)。有時，在這些篡改技術(shù)之后，將進(jìn)行高斯平滑等后處理。這些篡改的示例如下圖所示。即使進(jìn)行了仔細(xì)的檢查，人類仍然很難識別被篡改的區(qū)域。

結(jié)果，區(qū)分真實圖像與篡改圖像變得越來越具有挑戰(zhàn)性。 針對該主題（圖像取證）的新興研究非常重要，因為它旨在防止攻擊者將篡改的圖像用于不道德的商業(yè)或政治目的。與旨在檢測圖像中不同類別的所有對象的當(dāng)前對象檢測網(wǎng)絡(luò)相反，用于圖像操縱檢測的網(wǎng)絡(luò)將旨在僅檢測被篡改的區(qū)域（通常是對象）。我們研究如何通過探索RGB圖像內(nèi)容和圖像噪聲特征來采用對象檢測網(wǎng)絡(luò)來執(zhí)行圖像篡改檢測。

圖像取證的最新工作利用諸如局部噪聲特征和“相機(jī)濾鏡陣列”（CFA）模式之類的線索將圖像中的特定面片或像素分類為是否受到篡改，并定位受篡改的區(qū)域。這些方法大多數(shù)都集中在一種篡改技術(shù)上。最近提出的基于LSTM的體系結(jié)構(gòu)對篡改的補(bǔ)丁進(jìn)行了分割，通過學(xué)習(xí)檢測篡改邊緣來顯示對多種篡改技術(shù)的魯棒性。在這里，我們提出了一種新穎的兩流篡改檢測框架，該框架不僅可以對視覺篡改偽像（例如，操縱邊緣附近的篡改偽像）進(jìn)行建模，還可以捕獲局部噪聲特征中的不一致之處。

更具體地說，我們在兩流網(wǎng)絡(luò)中采用Faster R-CNN，并進(jìn)行端到端訓(xùn)練。下圖總結(jié)了我們的方法。諸如Faster R-CNN之類的深度學(xué)習(xí)檢測模型在檢測各種規(guī)模的語義對象方面表現(xiàn)出良好的性能。區(qū)域候選網(wǎng)絡(luò)（RPN）是Faster R-CNN中的組件，負(fù)責(zé)選擇可能包含感興趣對象的圖像區(qū)域，并且可以適用于圖像篡改檢測。為了將篡改區(qū)域與真實區(qū)域區(qū)分開，我們利用RGB通道的特征來捕獲線索，例如篡改邊界上的視覺不一致以及篡改區(qū)域與真實區(qū)域之間的對比效果。第二個流分析圖像中的局部噪聲特征。

第二流的直覺是，當(dāng)從一個圖像（源）中刪除一個對象并將其粘貼到另一個圖像（目標(biāo)）中時，源和目標(biāo)圖像之間的噪聲特征不太可能匹配。如果用戶隨后壓縮篡改的圖像，則可以部分掩蓋這些差異。為了利用這些特征，我們將RGB圖像轉(zhuǎn)換為噪聲域，并使用局部噪聲功能作為第二個流的輸入。有很多方法可以從圖像產(chǎn)生噪波特征。基于最近對用于篡改分類的隱寫分析豐富模型（steganalysis rich model，SRM）的工作，我們選擇SRM濾波器內(nèi)核以產(chǎn)生噪聲特征，并將其用作第二個Faster R-CNN網(wǎng)絡(luò)的輸入通道。

然后，針對每個感興趣區(qū)域（RoI）將這兩個流中的特征進(jìn)行雙線性池化，以基于兩個流中的特征來檢測篡改偽像，請參見上圖。

先前的圖像處理數(shù)據(jù)集僅包含數(shù)百個圖像，不足以訓(xùn)練深度網(wǎng)絡(luò)。為了克服這個問題，我們創(chuàng)建了一個基于COCO的綜合篡改數(shù)據(jù)集以進(jìn)行模型預(yù)訓(xùn)練，然后在不同的數(shù)據(jù)集上對該模型進(jìn)行微調(diào)以進(jìn)行測試。我們的方法在四個標(biāo)準(zhǔn)數(shù)據(jù)集上的實驗結(jié)果證明了有希望的性能。

我們的貢獻(xiàn)是兩方面的。首先，我們展示如何以兩流方式將Faster R-CNN框架應(yīng)用于圖像篡改檢測。我們探索了兩種模式，即RGB篡改偽影和局部噪聲特征不一致，并對其進(jìn)行雙線性合并以識別篡改區(qū)域。其次，我們表明這兩個流是互補(bǔ)的，可用于檢測不同的篡改技術(shù)，與最新技術(shù)方法相比，可提高四個圖像處理數(shù)據(jù)集的性能。

2. 相關(guān)工作

圖像取證研究包括多種方法來檢測篡改圖像中的低級篡改偽影，包括雙重JPEG壓縮、CFA顏色陣列分析和局部噪聲分析。具體而言，Bianchi等人提出了一種概率模型來估計不同區(qū)域的DCT系數(shù)和量化因子。基于CFA的方法在假設(shè)篡改區(qū)域會干擾這些模式的情況下，分析由相機(jī)內(nèi)部濾鏡模式引入的低級統(tǒng)計信息。Goljan等人提出了一種高斯混合模型（GMM）來對CFA當(dāng)前區(qū)域（真實區(qū)域）和CFA不存在區(qū)域（篡改區(qū)域）進(jìn)行分類。

最近，基于局部噪聲特征的方法，例如隱寫分析豐富模型（SRM），在圖像取證任務(wù)中表現(xiàn)出了令人矚目的性能。這些方法從相鄰像素提取局部噪聲特征，捕獲篡改區(qū)域和真實區(qū)域之間的不一致。 Cozzolino等人探索并證明了SRM功能在區(qū)分篡改和真實區(qū)域方面的性能。它們還通過將量化和截斷操作與卷積神經(jīng)網(wǎng)絡(luò)（CNN）結(jié)合在一起來組合SRM功能，以執(zhí)行篡改定位。Rao等人使用SRM過濾器內(nèi)核作為CNN的初始化，以提高檢測精度。這些方法大多數(shù)都集中在特定的篡改偽影上，并且僅限于特定的篡改技術(shù)。我們還使用這些SRM過濾器內(nèi)核提取低級噪聲，將其用作Faster R-CNN網(wǎng)絡(luò)的輸入，并學(xué)習(xí)捕獲噪聲特征中的篡改痕跡。此外，并行訓(xùn)練RGB并行流以對中高級視覺篡改偽像建模。

隨著深度學(xué)習(xí)技術(shù)在各種計算機(jī)視覺和圖像處理任務(wù)中的成功應(yīng)用，許多最新技術(shù)還采用了深度學(xué)習(xí)來解決圖像篡改檢測問題。Chen等人在CNN之前添加了一個低通濾波器層，以檢測中值濾波篡改技術(shù)。Bayar等人將低通濾波器層更改為自適應(yīng)內(nèi)核層，以了解在篡改區(qū)域中使用的濾波內(nèi)核。除了濾波學(xué)習(xí)之外，Zhang等人還提出了一種堆疊式自動編碼器，以學(xué)習(xí)用于圖像篡改檢測的上下文特征。Cozzolino等人將此問題視為異常檢測任務(wù)，并使用基于提取特征的自動編碼器來區(qū)分難以重構(gòu)為篡改區(qū)域的那些區(qū)域。Salloum等人使用全卷積網(wǎng)絡(luò)（FCN）框架直接預(yù)測給定圖像的篡改蒙版。他們還學(xué)習(xí)了邊界蒙版，以指導(dǎo)FCN查看被篡改的邊緣，這有助于他們在各種圖像處理數(shù)據(jù)集中實現(xiàn)更好的性能。Bappy等人提出了一種基于LSTM的網(wǎng)絡(luò)，該網(wǎng)絡(luò)被應(yīng)用于小圖像補(bǔ)丁，以在篡改補(bǔ)丁和圖像補(bǔ)丁之間的邊界上找到篡改偽像。他們聯(lián)合使用像素級別分割來訓(xùn)練該網(wǎng)絡(luò)，以提高性能并在不同的篡改技術(shù)下顯示結(jié)果。但是，僅關(guān)注附近的邊界在不同情況下只能提供有限的成功，例如，移除整個對象可能不會留下邊界證據(jù)以進(jìn)行檢測。取而代之的是，我們使用全局視覺篡改技術(shù)以及局部噪聲特征來建模更豐富的篡改工藝。我們使用基于Faster R-CNN的兩流網(wǎng)絡(luò)來學(xué)習(xí)豐富的圖像處理檢測功能。該網(wǎng)絡(luò)顯示了對拼接、復(fù)制和刪除的魯棒性。此外，該網(wǎng)絡(luò)使我們能夠?qū)梢傻拇鄹募夹g(shù)進(jìn)行分類。

3. 所提出的方法

我們采用了一個多任務(wù)框架，該框架同時執(zhí)行篡改分類和邊界框回歸。在RGB流（上圖的頂部流）中提供RGB圖像，在噪聲流（上圖的底部流）中提供SRM圖像。我們在全連接的層之前通過雙線性池化融合兩個流，以進(jìn)行篡改分類。RPN使用RGB流來定位篡改區(qū)域。

3.1 RGB輸入流

RGB流是單個Faster R-CNN網(wǎng)絡(luò)，用于邊界框回歸和篡改分類。我們使用ResNet 101網(wǎng)絡(luò)從輸入的RGB圖像中學(xué)習(xí)特征。ResNet的最后一個卷積層的輸出功能用于篡改分類。RGB流中的RPN網(wǎng)絡(luò)利用這些特征為邊界框回歸提出RoI。形式上，RPN網(wǎng)絡(luò)的損失函數(shù)定義為

這個和Faster R-CNN的RPN是一樣的。請注意，與傳統(tǒng)的對象檢測（RPN網(wǎng)絡(luò)搜索可能是對象的區(qū)域）不同，我們的RPN網(wǎng)絡(luò)搜索可能被篡改的區(qū)域。候選區(qū)域可能不一定是對象，例如，在移除篡改過程中的情況。

3.2 噪聲輸入流

RGB通道不足以解決所有不同的篡改情況。尤其是，經(jīng)過精心后期處理以隱藏拼接邊界并減少對比度差異的篡改圖像對于RGB流而言是具有挑戰(zhàn)性的。

因此，我們利用圖像的局部噪聲分布來提供其他證據(jù)。與RGB流相反，噪聲流旨在更加關(guān)注噪聲，而不是語義圖像內(nèi)容。這是新穎的，盡管當(dāng)前的深度學(xué)習(xí)模型可以很好地表示RGB圖像內(nèi)容的層次結(jié)構(gòu)特征，但深度學(xué)習(xí)的先前工作尚未研究過從檢測中的噪聲分布中學(xué)習(xí)。受圖像取證在SRM特征方面的最新進(jìn)展啟發(fā)，我們使用SRM過濾器從RGB圖像中提取局部噪聲特征（上圖中的示例）作為噪聲流的輸入。

在我們的設(shè)置中，噪聲是通過像素值與僅通過內(nèi)插相鄰像素的值而產(chǎn)生的該像素值的估計之間的殘差來建模的。從30個基本濾波器開始，再加上非線性運算（例如，濾波后附近輸出的最大值和最小值），SRM功能將收集基本噪聲特征。SRM量化并截斷這些濾波器的輸出，并提取附近的共現(xiàn)信息作為最終特征。從該過程獲得的特征可以被視為局部噪聲描述符。我們發(fā)現(xiàn)，僅使用3個內(nèi)核即可獲得不錯的性能，而應(yīng)用所有30個內(nèi)核并不會顯著提高性能。因此，我們選擇3個內(nèi)核，其權(quán)重如下所示，并將其直接輸入經(jīng)過3通道輸入訓(xùn)練的預(yù)訓(xùn)練網(wǎng)絡(luò)中。我們將噪聲流中SRM濾波器層的內(nèi)核大小定義為5×5×3。SRM層的輸出通道大小為3。

上上的第三列顯示了SRM層之后得到的噪聲特征圖。很明顯，它們強(qiáng)調(diào)了局部噪聲而不是圖像內(nèi)容，并明確揭示了可能在RGB通道中不可見的篡改偽像。我們直接將噪聲特征用作噪聲流網(wǎng)絡(luò)的輸入。噪聲流的主干卷積網(wǎng)絡(luò)架構(gòu)與RGB流相同。噪聲流與RGB流共享相同的RoI池層。對于邊界框回歸，我們僅使用RGB通道，因為根據(jù)我們的實驗，RGB特征比RPN網(wǎng)絡(luò)的噪聲特征表現(xiàn)更好。

3.3 雙線性池化

最后，我們將RGB流與噪聲流結(jié)合在一起進(jìn)行篡改檢測。在各種融合方法中，我們對兩個流的特征都應(yīng)用了雙線性池化。首先針對細(xì)粒度分類提出的雙線性池化將雙流合并在兩流CNN網(wǎng)絡(luò)中，同時保留空間信息以提高檢測置信度。我們的雙線性池化層的輸出為 ，其中 是RGB流的RoI特征， 是噪聲流的RoI特征。在池化之前，求和池化會壓縮空間特征。然后，在轉(zhuǎn)發(fā)到全連接的層之前，應(yīng)用帶符號的平方根 和L2規(guī)范化。

為了節(jié)省內(nèi)存并在不降低性能的情況下加快訓(xùn)練速度，我們使用緊湊的雙線性池化（一種實現(xiàn)方式）。

經(jīng)過全連接和softmax層后，我們獲得了RoI區(qū)域的預(yù)測類別。我們將交叉熵?fù)p失用于篡改分類，將smooth L1損失用于邊界框回歸。 總損失函數(shù)為：

其中 表示總損失。 表示RPN網(wǎng)絡(luò)中的RPN loss。 表示最終的交叉熵分類損失，它基于RGB和噪聲流中的雙線性池特征。 表示最終的邊界框回歸損失。 和 是RGB和噪聲流的RoI特征。所有項的總和為總損失函數(shù)。

3.4 實施細(xì)節(jié)

所提出的網(wǎng)絡(luò)是端到端的訓(xùn)練。調(diào)整輸入圖像以及提取的噪聲特征的大小，使較短的長度等于600像素。使用四個錨定標(biāo)尺，大小分別為 、 、 到 ，長寬比為1：2、1：1和2：1。RoI池化后，RGB和噪聲流的特征尺寸均為7×7×1024。緊湊型雙線性池化的輸出特征大小設(shè)置為16384。RPN候選的批處理大小，用于培訓(xùn)時為64，用于測試為300。

圖像翻轉(zhuǎn)用于數(shù)據(jù)增強(qiáng)。RPN正樣本（潛在篡改區(qū)域）的IoU閾值為0.7，而負(fù)樣本（真實區(qū)域）的IoU閾值為0.3。學(xué)習(xí)率最初設(shè)置為0.001，然后在40K后降低為0.0001。 我們將模型訓(xùn)練110k次。在測試時，應(yīng)用標(biāo)準(zhǔn)NMS來減少候選的重疊區(qū)域的冗余。NMS閾值設(shè)置為0.2。

4. 實驗

我們在四個標(biāo)準(zhǔn)圖像處理數(shù)據(jù)集上展示了我們的兩流網(wǎng)絡(luò)，并將結(jié)果與最新方法進(jìn)行了比較。我們還比較了不同的數(shù)據(jù)擴(kuò)充，并測量了我們的方法對大小調(diào)整和JPEG壓縮的魯棒性。

4.1 預(yù)訓(xùn)練模型

當(dāng)前的標(biāo)準(zhǔn)數(shù)據(jù)集沒有足夠的數(shù)據(jù)來進(jìn)行深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練。為了在這些數(shù)據(jù)集上測試我們的網(wǎng)絡(luò)，我們在合成數(shù)據(jù)集上對模型進(jìn)行了預(yù)訓(xùn)練。我們使用來自COCO的圖像和注釋自動創(chuàng)建合成數(shù)據(jù)集。我們使用分割注釋從COCO中隨機(jī)選擇對象，然后將其復(fù)制并粘貼到其他圖像。將訓(xùn)練（90％）和測試集（10％）分開，以確保在訓(xùn)練和測試集中都不會出現(xiàn)相同的背景和被篡改的對象。最后，我們創(chuàng)建42K篡改和真實的圖像對。我們將發(fā)布此數(shù)據(jù)集以供研究使用。我們模型的輸出是帶有置信度得分的邊界框，該置信度得分指示檢測到的區(qū)域是否已被篡改。

為了在RoI中包括一些真實區(qū)域以便更好地進(jìn)行比較，我們在訓(xùn)練過程中將默認(rèn)邊界框稍微擴(kuò)大了20個像素，以便RGB流和噪聲流都了解到篡改區(qū)域與真實區(qū)域之間的不一致。

我們在此綜合數(shù)據(jù)集上端對端訓(xùn)練模型。Faster R-CNN中使用的ResNet 101在ImageNet上進(jìn)行了預(yù)訓(xùn)訓(xùn)。我們使用AP進(jìn)行評估，其度量標(biāo)準(zhǔn)與COCO檢測評估相同。我們將兩流網(wǎng)絡(luò)的結(jié)果與下標(biāo)中的每個流進(jìn)行比較。該表顯示，我們的兩個流網(wǎng)絡(luò)的性能要優(yōu)于每個單個流。同樣，使用噪聲特征作為RPN和RPN使用這兩種特征的RGB-N、RGB-N之間的比較表明，RGB特征比噪聲特征更適合于生成區(qū)域候選。

4.2 標(biāo)準(zhǔn)數(shù)據(jù)集上的測試

• NIST16是一個具有挑戰(zhàn)性的數(shù)據(jù)集，其中包含所有三種篡改技術(shù)。此數(shù)據(jù)集中的操作經(jīng)過后處理以隱藏可見痕跡。他們還提供了真實的防篡改蒙版以供評估。
• CASIA提供各種對象的拼接和復(fù)制移動圖像。仔細(xì)選擇被篡改的區(qū)域，并應(yīng)用一些后期處理，例如濾波和模糊處理。通過對篡改圖像和原始圖像之間的差異進(jìn)行閾值處理來獲得真實的蒙版。我們使用CASIA 2.0進(jìn)行訓(xùn)練，并使用CASIA 1.0進(jìn)行測試。
• COVER是一個相對較小的數(shù)據(jù)集，專注于復(fù)制移動。它覆蓋了與粘貼區(qū)域相似的對象，以隱藏篡改偽影，并提供了GT mask。
• 哥倫比亞數(shù)據(jù)集專注于基于未壓縮圖像的拼接，并提供了GT mask。

以下是標(biāo)準(zhǔn)數(shù)據(jù)集的數(shù)量和劃分。

評估指標(biāo)：我們使用像素水平F1得分和接收器工作特性曲線下面積（AUC）作為我們的性能比較評估指標(biāo)。F1分?jǐn)?shù)是用于圖像篡改檢測的像素級別評估指標(biāo)。我們改變不同的閾值，并使用最高的F1分?jǐn)?shù)作為每個圖像的最終分?jǐn)?shù)，遵循相同的方法。我們將置信度得分分配給檢測到的邊界框中的每個像素，以進(jìn)行像素級AUC評估。

基線模型：

ELA：一種錯誤級別分析方法，旨在通過不同的JPEG壓縮質(zhì)量來查找篡改區(qū)域和真實區(qū)域之間的壓縮錯誤差異。

NOI1：一種基于噪聲不一致的方法，使用高通小波系數(shù)來建模局部噪聲。

CFA1：一種CFA模式估計方法，該方法使用附近的像素近似相機(jī)濾鏡陣列模式，然后為每個像素產(chǎn)生篡改概率。

MFCN：一個基于多任務(wù)邊緣增強(qiáng)FCN的網(wǎng)絡(luò)，使用邊緣二進(jìn)制掩碼和使用篡改區(qū)域掩碼的篡改區(qū)域共同檢測篡改邊緣。

J-LSTM：一個基于LSTM的網(wǎng)絡(luò)聯(lián)合訓(xùn)練補(bǔ)丁級別篡改邊緣分類和像素級別篡改區(qū)域分割。

RGB Net：一個以RGB圖像作為輸入的Faster R-CNN網(wǎng)絡(luò)。即我們的RGB Faster R-CNN流。

Noise Net：單個Faster R-CNN網(wǎng)絡(luò)，其噪聲特征圖作為輸入從SRM濾波器層獲得。RPN網(wǎng)絡(luò)在這種情況下使用噪聲特征。

Late Fusion：直接融合結(jié)合了所有檢測到的RGB Net和噪聲Net的邊界框。來自兩流的重疊檢測區(qū)域的置信度得分設(shè)置為最大。 9. RGB-N：RGB流和噪聲流的雙線性池，用于篡改分類，RGB流用于邊界框回歸。 即我們的完整模型。

數(shù)據(jù)增強(qiáng)：我們在下表中比較了不同的數(shù)據(jù)增強(qiáng)方法。與沒有增強(qiáng)相比，圖像翻轉(zhuǎn)可提高性能，而其他增強(qiáng)方法（如JPEG壓縮和噪聲）則幾乎沒有改善。

JPEG的魯棒性和調(diào)整大小的攻擊：我們測試了我們方法的魯棒性，并與下表中的3種方法（可使用其代碼）進(jìn)行了比較。我們的方法對這些攻擊更魯棒，并且勝過其他方法。

4.3 篡改技術(shù)檢測

我們網(wǎng)絡(luò)的豐富功能表示使其能夠區(qū)分不同的篡改技術(shù)。我們探索篡改技術(shù)檢測并分析所有三種篡改技術(shù)的檢測性能。NIST16包含用于所有三種篡改技術(shù)的標(biāo)簽，從而可以進(jìn)行多類圖像處理檢測。我們將操縱分類的類別更改為拼接、移除和復(fù)制移動，以便為每個類別學(xué)習(xí)不同的視覺篡改偽影和噪聲特征。下表顯示了每種篡改類別的性能。

結(jié)果表明，拼接是使用我們的方法檢測到的最簡單的篡改技術(shù)。這是因為拼接很可能同時產(chǎn)生RGB偽影，例如不自然的邊緣、對比度差異以及噪聲偽影。去除檢測性能也優(yōu)于復(fù)制移動，因為去除過程后的修補(bǔ)對噪聲特征有很大影響。復(fù)制移動是我們提出的方法中最困難的篡改技術(shù)。解釋是，一方面，復(fù)制的區(qū)域來自同一張圖像，這產(chǎn)生了相似的噪聲分布，使我們的噪聲流變得混亂。另一方面，兩個區(qū)域通常具有相同的對比度。而且，理想地，該技術(shù)將需要將兩個對象彼此比較（即，它將需要同時查找和比較兩個RoI），而當(dāng)前方法則不行。 因此，我們的RGB流缺少區(qū)分這兩個區(qū)域的證據(jù)。

4.4 定性結(jié)果

我們在下圖中顯示了一些定性結(jié)果，用于比較兩類圖像處理檢測中的RGB、噪聲和RGB-N網(wǎng)絡(luò)。圖像選自COVER、Columbia和CASIA 1.0。下圖提供了一個示例，即使單個數(shù)據(jù)流之一發(fā)生故障，我們的兩個數(shù)據(jù)流網(wǎng)絡(luò)也能產(chǎn)生良好的性能（第一行和第二行）。

下圖顯示了RGB-N網(wǎng)絡(luò)對使用NIST16的篡改技術(shù)檢測任務(wù)的結(jié)果。如圖所示，我們的網(wǎng)絡(luò)針對不同的篡改技術(shù)會產(chǎn)生準(zhǔn)確的結(jié)果。

5. 總結(jié)

我們提出了一種同時使用RGB流和噪聲流的新型網(wǎng)絡(luò)，以學(xué)習(xí)用于圖像操縱檢測的豐富特征。我們通過根據(jù)隱寫分析文獻(xiàn)改編的SRM濾波器層提取噪聲特征，這使我們的模型能夠捕獲篡改區(qū)域與真實區(qū)域之間的噪聲不一致。我們探索了從RGB查找篡改區(qū)域和圖像的噪聲特征的補(bǔ)充作用。毫不奇怪，兩個流的融合導(dǎo)致性能提高。在標(biāo)準(zhǔn)數(shù)據(jù)集上進(jìn)行的實驗表明，我們的方法不僅可以檢測篡改偽像，而且可以區(qū)分各種篡改技術(shù)。將來將探索更多特征，包括JPEG壓縮。

總結(jié)

以上是生活随笔為你收集整理的图像内复制粘贴篡改取证matlab_[论文笔记] 篡改检测：RGB-N的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。