轉(zhuǎn)載?| AI科技評(píng)論

作者 |?楊鯉萍?

編輯 |?叢末

近日，微軟研究院與北京大學(xué)的研究小組共同提出了一種全新的 AI 換臉框架 FaceShifter，以及一種檢測(cè)偽造人臉圖像的方法 FaceX-Ray。前者可以極大提高換臉的高保真度，而后者則用于檢測(cè)出復(fù)雜偽造人臉圖像。

一個(gè)致力于造假，一個(gè)專注于打假；光是聽起來，就不禁讓人聯(lián)想到「矛」與「盾」的故事。那到底哪個(gè)更勝一籌呢？VB 發(fā)布了的相關(guān)內(nèi)容介紹了這兩個(gè)成果，我們將其整理及編譯如下。

????人臉技術(shù)研究背景

目前，最先進(jìn)的機(jī)器學(xué)習(xí)算法不僅可以完成對(duì)地點(diǎn)或物體的圖像改變與生成，以 Deepfake 為代表的 AI 換臉技術(shù)甚至已經(jīng)可以達(dá)到以假亂真的換臉效果；但由于換臉技術(shù)的濫用可能會(huì)為社會(huì)帶來一系列惡劣影響，研究人員也在不斷探索該技術(shù)的原理，并希望能夠解決這一難題。

就在最近，這一技術(shù)又有了新的進(jìn)展。微軟研究院和北京大學(xué)的研究小組發(fā)表的兩篇學(xué)術(shù)論文中，他們分別提出了一種用于生成高保真和遮擋感知的人臉交換框架——FaceShifter，以及一種用于檢測(cè)偽造人臉圖像的方法——FaceX-Ray。

與現(xiàn)有的方法相比，微軟研究的面容轉(zhuǎn)換

據(jù)相關(guān)研究人員表示，與多個(gè)現(xiàn)行基線方法相比，這兩種方法都能在不犧牲性能的情況下取得更好的效果，而且它們所需的數(shù)據(jù)比以前的方法少得多。

??? 無訓(xùn)練換臉——FaceShifter

從相關(guān)資料可以看到，FaceShifter 能夠?qū)⒛繕?biāo)圖像中的人替換為源圖像中的另一個(gè)人的同時(shí)，保留其頭部姿勢(shì)、面部表情、燈光、顏色、強(qiáng)度、背景和其他屬性特征。

雖然像 Reflect 和 FaceSwap 這樣的應(yīng)用程序聲稱可以相當(dāng)準(zhǔn)確地做到這一點(diǎn)，但是微軟論文的合著者表示 FaceShifter 對(duì)姿態(tài)和視角的變化則敏感度更高。

取源圖像中的臉來替換目標(biāo)圖像中的面，換臉結(jié)果顯示在右邊

FaceShifter 通過使用生成性對(duì)抗網(wǎng)絡(luò)（GAN）來提高換臉的保真度，它主要由兩部分架構(gòu)組成。第一部分主要利用利用自適應(yīng)注意力非正規(guī)化（AAD）層的新生成器整合人臉合成圖片的特征和屬性，該層可以自適應(yīng)地學(xué)習(xí)整合面部屬性的位置；第二部分則重點(diǎn)解決面部遮擋問題，這部分則包括了一個(gè)新的啟發(fā)式錯(cuò)誤確認(rèn)細(xì)化網(wǎng)絡(luò)（HEAR-Net），可利用重建圖像與其輸入之間的差異來識(shí)別遮擋。

更多來自 FaceShifter 的樣本

研究小組稱，「該框架在生成任意真實(shí)圖像相對(duì)的換臉圖像時(shí)，無需特定的訓(xùn)練，都顯示出了優(yōu)越的性能。大量實(shí)驗(yàn)表明，該框架明顯優(yōu)于以前的人臉交換方法。」

可以看到，在一項(xiàng)定性測(cè)試中，FaceShifter 保留了人臉形狀，并自動(dòng)適應(yīng)換臉圖像的光線和圖像分辨率。此外，即使是從互聯(lián)網(wǎng)上抓取的「狂野面孔」，該框架也能夠在不依賴人工注釋數(shù)據(jù)的情況下恢復(fù)異常區(qū)域——包括眼鏡、陰影和反射效果，以及其它不常見的遮擋。

??? 灰度打假 FaceX-Ray

而與 FaceShifter 相比，FaceX-Ray 則恰好是偽造頭像的克星。正如研究人員在相應(yīng)的論文中所指出的那樣，我們確實(shí)需要這樣的工具來防止偽造圖像被濫用的情況。

2019 年 6 月曾有份報(bào)告披露，一名間諜利用人工智能生成的個(gè)人資料圖片愚弄 LinkedIn 中的聯(lián)系人；而就在去年 12 月，Facebook 發(fā)現(xiàn)數(shù)百個(gè)賬戶上面都有使用人工智能合成的假面像來作為個(gè)人資料照片。

各種面部操作方法的視覺結(jié)果，包括自監(jiān)督生成的混合圖像

談回 Face X-Ray 檢測(cè)技術(shù)，它與現(xiàn)有方法不同，它不需要事先知道操作方法或人工監(jiān)督；相反的是它會(huì)生成灰度圖像，顯示給定的輸入圖像是否可以分解為來自不同來源的兩個(gè)圖像的混合。

研究人員表示這一想法是可行的，因?yàn)榇蠖鄶?shù)操作換臉的方法，都會(huì)有「將已改變的面部混合到現(xiàn)有背景圖像中」這一步驟。但每幅圖像都有自己獨(dú)特的標(biāo)記，這些標(biāo)記是從硬件（如傳感器和鏡頭）或軟件組件（如壓縮和合成算法）引入的，并且這些標(biāo)記往往在整個(gè)圖像中也以類似的方式呈現(xiàn)。

生成訓(xùn)練樣本概述

因此，Face X-Ray 不需要依賴于與特定人臉操作技術(shù)相關(guān)聯(lián)的偽影知識(shí)，并且支持它的算法可以在不使用任何方法生成假圖像的情況下進(jìn)行訓(xùn)練。

在一系列實(shí)驗(yàn)中，研究人員在 FaceForensics++（一個(gè)包含 1000 多個(gè)用四種最先進(jìn)的人臉置換方法生成的原始剪輯的大型視頻語料庫），以及另一個(gè)包含由真實(shí)圖像構(gòu)建的混合圖像的訓(xùn)練數(shù)據(jù)集上訓(xùn)練了 Face X-Ray。

他們?cè)u(píng)估了 FaceX-Ray 使用四個(gè)數(shù)據(jù)集進(jìn)行概括的能力，其中包括：

• 上述 FaceForensics++語料庫的一個(gè)子集；

• 谷歌發(fā)布的數(shù)千個(gè) deepfake 影視集合，deepfake 檢測(cè)挑戰(zhàn)賽的圖像；

• Celeb DF，一個(gè)包含 408 個(gè)數(shù)據(jù)集真實(shí)視頻的語料庫和 795 個(gè)減少了視覺偽影的合成視頻。

結(jié)果表明，Face X-Ray 能有效地識(shí)別出未被發(fā)現(xiàn)的偽造圖像，并能可靠地預(yù)測(cè)融合區(qū)域。研究人員指出，該方法依賴于混合步驟的存在，因此它可能不適用于全合成圖像，并且它可以無法成功檢測(cè)出對(duì)抗性樣本的真?zhèn)巍５查_這一點(diǎn)，這也算是朝通用化面部偽造圖像檢測(cè)工具邁出的有希望的一步。

原文地址：

https://venturebeat.com/2020/01/06/microsoft-researchers-propose-face-swapping-ai-and-face-forgery-detector/

FaceShifter 論文地址：

https://arxiv.org/pdf/1912.13457.pdf

FaceX-Ray 論文地址：

https://arxiv.org/pdf/1912.13458.pdf

長(zhǎng)按二維碼關(guān)注我們

有趣的靈魂在等你

總結(jié)

以上是生活随笔為你收集整理的微软北大联合提出换脸AI和脸部伪造检测器，演绎现实版「矛与盾」？的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。