栗子 曉查 發(fā)自 凹非寺?
量子位 報道 | 公眾號 QbitAI

AI造出的假圖片恐怕很難再騙過AI了。

連英偉達本月剛上線的StyleGAN2也被攻破了。即使是人眼都分辨看不出來假臉圖片，還是可以被AI正確鑒別。

最新研究發(fā)現(xiàn)，只要用讓AI學(xué)會鑒別某一只GAN生成的假圖片，它就掌握了鑒別各種假圖的能力。

不論是GAN生成的，Deepfake的，超分辨率的，還是怎樣得來的，只要是AI合成圖片，都可以拿一個通用的模型檢測出來。

盡管各種CNN的原理架構(gòu)完全不同，但是并不影響檢測器發(fā)現(xiàn)造假的通病。

只要做好適當(dāng)?shù)念A(yù)處理和后處理，以及適當(dāng)?shù)臄?shù)據(jù)擴增，便可以鑒定圖片是真是假，不論訓(xùn)練集里有沒有那只AI的作品。

這就是Adobe和UC伯克利的科學(xué)家們發(fā)表的新成果。

有網(wǎng)友表示，如果他們把這項研究用來參加Kaggle的假臉識別大賽，那么將有可能獲得最高50萬美元獎金。

然而他們并沒有，而是先在ArXiv公布了預(yù)印本，并且還被CVPR 2020收錄。

最近，他們甚至將論文代碼在GitHub上開源，還提供了訓(xùn)練后的權(quán)重供讀者下載。

造出7萬多張假圖

要考驗AI鑒別假貨的能力，論文的第一作者、來自伯克利的學(xué)生Wang Sheng-Yu用11種模型生成了不同的圖片，涵蓋了各種CNN架構(gòu)、數(shù)據(jù)集和損失。

所有這些模型都具有上采樣卷積結(jié)構(gòu)，通過一系列卷積運算和放大操作來生成圖像，這是CNN生成圖像最常見的設(shè)計。

有ProGAN、StyleGAN、BigGAN、BigGAN、GauGAN等等，這些GAN各有特色。

ProGAN和StyleGAN為每個類別訓(xùn)練不同的網(wǎng)絡(luò)；StyleGAN將較大的像素噪聲注入模型，引入高頻細節(jié)；BigGAN具有整體式的類條件結(jié)構(gòu)；進行圖像轉(zhuǎn)換的GauGAN、CycleGAN、StarGAN。

除了GAN以外，還有其他處理圖片的神經(jīng)網(wǎng)絡(luò)：

• 直接優(yōu)化感知損失 ，無需對抗訓(xùn)練的級聯(lián)細化網(wǎng)絡(luò)（CRN）；

• 條件圖像轉(zhuǎn)換模型隱式最大似然估計（IMLE）；

• 改善低光照曝光不足的SITD模型；

• 超分辨率模型，即二階注意力網(wǎng)絡(luò)（SAN）；

• 用于換臉的的開源DeepFake工具faceswap。

主流圖片處理CNN模型應(yīng)有盡有。他們總共造出了7萬多張“假圖”。

雖然生成這些圖片所用的算法大相徑庭、風(fēng)格迥異，但是總有會有一些固有缺陷，這里面既有CNN本身的問題，也有GAN的局限性。

這是因為常見的CNN生成的內(nèi)容降低了圖片的表征能力，而這些工作大部分集中在網(wǎng)絡(luò)執(zhí)行上采樣和下采樣的方式上。下采樣是將圖像壓縮，上采樣是將圖像插值到更大的分辨率上。

之前，Azulay和Weiss等人的研究表明，表明卷積網(wǎng)絡(luò)忽略了經(jīng)典的采樣定理，而跨步卷積（strided convolutions）操作減少了平移不變性，導(dǎo)致很小的偏移也會造成輸出的極大波動。

另外，朱俊彥團隊發(fā)表在ICCV 2019上的論文表明，GAN的生成能力有限，并分析了預(yù)訓(xùn)練GAN無法生成的圖像結(jié)構(gòu)。

今年7月，哥倫比亞大學(xué)的Zhang Xu等人進一步發(fā)現(xiàn)了GAN的“通病”，常見GAN中包含的上采樣組件會引起偽像。

他們從理論上證明了，這些偽像在頻域中表現(xiàn)為頻譜的復(fù)制，這在頻譜圖上表現(xiàn)十分明顯。

比如同樣是一張馬的圖片，真實照片的信號主要集中在中心區(qū)域，而GAN生成的圖像，頻譜圖上出現(xiàn)了四個小點。

因此他們提出了一種基于頻譜而不是像素的分類器模型，在分辨假圖像上達到了最先進的性能。

而Wang同學(xué)發(fā)現(xiàn)，不僅是GAN，其他的CNN在生成圖像時，也會在頻譜圖中觀察到周期性的圖案。

訓(xùn)練AI辨別真?zhèn)?/h2>

剛才生成的數(shù)據(jù)集，包含了11個模型生成的假圖。

不過，真假分類器并不是用這個大合集來訓(xùn)練的。

真正的訓(xùn)練集里，只有英偉達ProGAN這一個模型的作品，這是關(guān)鍵。

△?ProGAN過往作品展

團隊說，只選一個模型的作品用來訓(xùn)練，是因為這樣的做法更能適應(yīng)現(xiàn)實任務(wù)：

現(xiàn)實世界里，數(shù)據(jù)多樣性永遠是未知的，你不知道自己訓(xùn)練出的AI需要泛化到怎樣的數(shù)據(jù)上。所以，干脆就用一種模型生成的圖像來訓(xùn)練，專注于幫AI提升泛化能力。

而其他模型生成的作品，都是測試泛化能力用的。

(如果用很多模型的假圖來訓(xùn)練，泛化任務(wù)就變得簡單了，很難觀察出泛化能力有多強。)

具體說來，真假分類器是個基于ResNet-50的網(wǎng)絡(luò)，先在ImageNet上做了預(yù)訓(xùn)練，然后用ProGAN的作品做二分類訓(xùn)練。

△?ProGAN原理

不過，訓(xùn)練集不是一只ProGAN的作品。團隊用了20只ProGAN，每只負責(zé)生成LSUN數(shù)據(jù)集里的一個類別。一只ProGAN得到3.6萬張訓(xùn)練用圖，200張驗證用圖，一半是生成的假圖，一半是真圖。

把20只ProGAN的成果加在一起，訓(xùn)練集有72萬張，驗證集有4000張。

為了把單一數(shù)據(jù)集的訓(xùn)練成果，推廣到其他的數(shù)據(jù)集上，團隊用了自己的方法：

最重要的就是數(shù)據(jù)擴增。先把所有圖像左右翻轉(zhuǎn)，然后用高斯模糊，JPEG壓縮，以及模糊+JPEG這些手段來處理圖像。

擴增手段并不特別，重點是讓數(shù)據(jù)擴增以后處理的形式出現(xiàn)。團隊說，這種做法帶來了驚人的泛化效果 (詳見后文) 。

訓(xùn)練好了就來看看成果吧。

明辨真?zhèn)?/h2>

研究人員主要是用平均精度 (Average Precision) 這個指標，來衡量分類器的表現(xiàn)。

在多個不同的CNN模型生成的圖片集里，ProGAN訓(xùn)練出的分類器都得到了不錯的泛化：

幾乎所有測試集，AP分值都在90以上。只在StyleGAN的分值略低，是88.2。

不論是GAN，還是不用對抗訓(xùn)練、只優(yōu)化感知損失的模型、還是超分辨率模型，還是Deepfake的作品，全部能夠泛化。

團隊還分別測試了不同因素對泛化能力產(chǎn)生的影響：

一是，數(shù)據(jù)擴增對泛化能力有所提升。比如，StyleGAN從96.3提升到99.6，BigGAN從72.2提升到88.2，GauGAN從67.0提升到98.1等等。更直觀的表格如下，左邊是沒有擴增：

另外，數(shù)據(jù)擴增也讓分類器更加魯棒了。

二是，數(shù)據(jù)多樣性也對泛化能力有提升。還記得當(dāng)時ProGAN生成了LSUN數(shù)據(jù)集里20個類別的圖片吧。大體上看，用越多類別的圖像來訓(xùn)練，得到的成績就越好：

然后，再來試想一下，這時候如果突然有個新模型被開發(fā)出來，AI也能適應(yīng)么？

這里，團隊用了剛出爐沒多久的英偉達StyleGAN2，發(fā)現(xiàn)分類器依然可以良好地泛化：

最后，還有一個問題。

AI識別假圖，和人類用肉眼判斷的機制一樣么？

團隊用了一個“Fakeness (假度) ”分值，來表示AI眼里一張圖有多假。AI覺得越假，分值越高。

實驗結(jié)果是，在大部分數(shù)據(jù)集里，AI眼里的假度，和人類眼里的假度，并沒有明顯的相關(guān)性。

只在BigGAN和StarGAN兩個數(shù)據(jù)集上，假度分值越高時，能看到越明顯的瑕疵。

更多數(shù)據(jù)集上沒有這樣的表現(xiàn)，說明分類器很有可能更傾向于學(xué)習(xí)低層的缺陷，而肉眼看到的瑕疵可能更偏向于高層。

安裝使用

說完了論文，下面我們就可以去GitHub上體驗一下這個模型的厲害了。

論文源代碼基于PyTorch框架，需要安裝NVIDIA GPU才能運行，因為項目依賴于CUDA。

首先將項目克隆到本地，安裝依賴項。?

1pip?install?-r?requirements.txt

考慮到訓(xùn)練成本巨大，作者還提供權(quán)重和測試集下載，由于這些文件存放在Dropbox上不便國內(nèi)用戶下載，在我們公眾號中回復(fù)CNN即可獲得國內(nèi)網(wǎng)盤地址。

下載完成后將這兩個文件移動到weights目錄下。

然后我們就可以用來判別圖像的真假了：

1#?Model?weights?need?to?be?downloaded. 2python?demo.py?examples/real.png?weights/blur_jpg_prob0.1.pth 3python?demo.py?examples/fake.png?weights/blur_jpg_prob0.1.pth

如果你有能力造出一個自己的GAN，還可以用它來檢測你模型的造假能力。

1#?Run?evaluation?script.?Model?weights?need?to?be?downloaded. 2python?eval.py

作者就用它鑒別了13種CNN模型制造的圖片，證明了它的泛化能力。

傳送門

論文地址：
https://arxiv.org/abs/1912.11035

源代碼：
https://github.com/peterwang512/CNNDetection

*?凡來源非注明“機器學(xué)習(xí)算法與Python學(xué)習(xí)原創(chuàng)”的所有作品均為轉(zhuǎn)載稿件，其目的在于促進信息交流，并不代表本公眾號贊同其觀點或?qū)ζ鋬?nèi)容真實性負責(zé)。

推薦閱讀

不能錯過！跟蹤數(shù)據(jù)的Python技巧

【教程】VS Code玩轉(zhuǎn)Jupyter Notebook份完整教程

GitHub標星7000+！Python帶你實踐機器學(xué)習(xí)圣經(jīng)PRML

【25本免費電子書強大合集】從數(shù)學(xué)基礎(chǔ)到機器學(xué)習(xí)，吳恩達、Bengio等專家大牛出品

【資源】 866頁《計算機視覺：原理，算法，應(yīng)用，學(xué)習(xí)》第五版免費下載！

總結(jié)

以上是生活随笔為你收集整理的一个模型击溃12种AI造假，各种GAN与Deepfake都阵亡 | 伯克利Adobe新研究的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。