?PaperWeekly 原創 ·?作者?|?孫裕道

學校?|?北京郵電大學博士生

研究方向?|?GAN圖像生成、情緒對抗樣本生成

前言

該論文是關于 GAN 圖像生成類的文章，并收錄于 CVPR 2021。當前 GAN 表現出越來越強的性能，其生成圖像的真實感也越來越難以與自然圖像區分開來，但是根植于深度學習的黑盒不可解釋性的問題，GAN 也存在這個問題，即 GAN 中的輸入噪聲如何有方向感的生成真實樣本。在該論文中作者利用雅可比矩陣對輸入噪聲進行迭代，從而在高度非線性的高維空間中獲得對圖像生成過程的控制。

該論文中的方法很簡單，但是其論文提供的思想可以為打開 GAN 模型可操控性的提供了一個新的思路，非常值得一讀，論文中還提供了相應的源碼，感興趣的可以下載下來跑一跑。

論文標題：

Hijack-GAN: Unintended-Use of Pretrained, Black-Box GANs

論文鏈接：

https://arxiv.org/abs/2011.14107

代碼鏈接：

https://github.com/a514514772/hijackgan

Hijack-GAN

Hijack-GAN 模型的框架如下所示，該框架可以分為兩部分，圖片的左邊部分訓練一個代理模型，以從預先訓練的模型中提取信息，繞過訪問預先訓練的模型的梯度，圖片的右邊部分表示在梯度的引導下生成可控制性的噪聲向量。

2.1 問題描述

考慮將噪聲 映射到真實圖像 的生成器 ，以及將圖像 映射到屬性空間 的一個或多個任務模型 。在該論文中作者的目標是將在噪聲空間 中找到軌跡 ，使得當沿著該路徑遍歷時，可以逐漸實現 GAN 模型的可控制性，具體的公式如下：

其中 是損失函數，并且模型的參數和訓練數據是不可訪問的，這使得優化方法無法直接求解。

2.2 非線性遍歷

在該論文中作者首先訓練一個代理模型來從模型中提取信息，利用數據對 來訓練代理模型，使其能夠將輸入噪聲映射到屬性空間；為了避開直接訪問梯度，同時保持了解屬性和噪聲之間的關系，作者直接計算代理模型 相對于輸入噪聲 的雅可比矩陣：

其中 表示代理預測的第 個屬性。矩陣 的每一行向量表示為 ，該屬性表示為相應屬性變化最快的方向；鑒于此，作者設計了一種算法，在向量 的指導下迭代更新噪聲的位置：

其中 表示為決定更新速度的超參數，通過反復計算以上迭代公式，在每一步中，生成的圖像 中的目標屬性將被逐漸修改，盡管 GAN 是黑盒的但仍然能夠對圖像生成的進行控制。

2.3 正交約束

在許多情況下，圖像屬性可能會所相互關聯的，這意味著如果只沿著迭代等式中最速方向變化，其他非目標屬性也會相應發生變化。為了緩解這個問題，作者提出了正交約束條件。因為每一行向量 表示對某些屬性影響最大的一個方向，其目標是找到一個與目標方向 有最大內積的向量正交于其他非目標方向 。其中目標函數和約束條件如下所示：

其中 是求解的最優方向向量， 矩陣的每一行由屬性向量 ?組成。?

實驗結果?

3.1 屬性控制

下圖比較了論文中的方法， 與線性方法在 和 上編輯 4 個屬性的效果。這三種方法都成功地編輯屬性，但論文中的方法產生的失真要小得多。線性方法無法編輯微笑屬性。與 相比，論文中的方法保留了更多的非目標內容，這驗證了相比而言論文中的迭代方法的更具優勢。

下圖顯示了論文中的方法可以在大多數屬性上快速改變目標屬性，尤其是在罕見的屬性上，如金發、蒼白的皮膚和狹窄的眼睛這些屬性上。這個結果與論文中的假設一致，即噪聲空間中并非所有屬性都呈線性分布。

如下圖所示，作者可視化了對稀有屬性的操控，證實了論文方法的有效性。除了有效的操作之外，還可以看到所有方法的非目標屬性在操作過程中都發生了變化。

下圖分別展示了 和 上的結果。在 上，論文中的方法很好地保留了非目標屬性，并有效地修改了目標屬性。在 上，所有的方法都成功地編輯了屬性，而論文的方法看起來更接近輸入。這些結果表明，論文中約束方法可以有效地編輯目標屬性，同時保留其他屬性。?

下圖顯示所有的方法在幾乎所有的屬性上都達到了最高的比率，驗證了非線性迭代方案不僅提高了屬性操作，而且有助于屬性保存。?

下表給出了 和 的評估結果。在無條件設置中，兩種方法都產生相對平滑的軌跡。這可以歸因于相對線性的流形，論文中的方法在條件設置中大大超過了其它方法，因為它可以很好地保留非目標屬性，從而導致更平滑的轉換。?

下表比較了論文的方法和 魯棒性和誤差。可以發現論文的方法更準確地逼近基礎函數。由于迭代方法，即使當估計點遠離初始點時，論文的方法也獲得了較低的誤差。

如下圖所示，作者對偏角和俯角的圖像進行平滑插值。當迫使姿勢超過一定程度時，會發生一些偽像或不希望的變化。但利用論文中的框架后，只要它們在預先訓練的 GAN 的訓練數據中是可行的，就可以生成任意姿態的人臉。

下圖顯示了編輯鼻子和嘴的坐標時的結果。可以發現有些屬性是高度相關的，例如嘴部標志與微笑高度相關。為了測量相關性，作者另外計算方向向量之間的余弦相似度相似度越高，說明糾纏度越高。作者分析了嘴部標志與微笑的相關性為 ，以及嘴部標志與性別的相關性 。

?

更多閱讀

#投 稿?通 道#

?讓你的文字被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學術熱點剖析、科研心得或競賽經驗講解等。我們的目的只有一個，讓知識真正流動起來。

?????稿件基本要求：

? 文章確系個人原創作品，未曾在公開渠道發表，如為其他平臺已發表或待發表的文章，請明確標注?

? 稿件建議以?markdown?格式撰寫，文中配圖以附件形式發送，要求圖片清晰，無版權問題

? PaperWeekly 尊重原作者署名權，并將為每篇被采納的原創首發稿件，提供業內具有競爭力稿酬，具體依據文章閱讀量和文章質量階梯制結算

?????投稿通道：

? 投稿郵箱：hr@paperweekly.site?

? 來稿請備注即時聯系方式（微信），以便我們在稿件選用的第一時間聯系作者

? 您也可以直接添加小編微信（pwbot02）快速投稿，備注：姓名-投稿

△長按添加PaperWeekly小編

????

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結

以上是生活随笔為你收集整理的CVPR 2021｜可操控的GAN——Hijack-GAN的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。