安妮 發自 凹非寺

量子位 出品 | 公眾號 QbitAI

平靜的水面上，劇變突然出現。

一條黑色弧線從半空延伸而下，劃過半個圈。繼而自己填滿，儼然一座巖山，就這樣落在水中間。

水面漾起波紋。揉揉眼睛，絕不是看花了眼：你看那巖山紋路崎嶇，倒影也是清晰可見。

第二座、第三座，也接踵而至。

透過現象看本質，控制這一切的，都是電腦前那個手握鼠標亂涂鴉的程序員。

英偉達程序員の現實扭曲力場，發動！

他手握的工具，名叫GauGAN，和印象派大師高更(Gauguin)不到一字之差，而繪畫的逼真程度又遠在其上。

除了憑空造山，還能秒加飛流直下的大瀑布：

栽棵樹什么的，就更是小菜一碟：

照片里該有什么，全憑鼠標安排。

除了造出不存在的物體，GauGAN還能穿越日夜，扭曲季節：

而且它造出來的景物，細致到以前的算法都望塵莫及。

那些對細節要求甚高的作品，比如運動場景、動物照片等等，它也都能根據一張涂鴉生成出來。

有Twitter網友發出來自英偉達GTC展廳的驚呼：

媽呀我被自己的藝術能力驚呆了！

神仙操作，大洋此岸的量子位自愧不如。

好了，正式介紹一下英偉達出品的GauGAN：你畫一幅涂鴉，用顏色區分每一塊對應著什么物體，它就能照著你的大作，合成以假亂真的真實世界效果圖。在AI界，你的涂鴉有個學名，叫“語義布局”。

要實現這種能力，GauGAN靠的是空間自適應歸一化合成法SPADE架構。這種算法的論文Semantic Image Synthesis with Spatially-Adaptive Normalization已經被CVPR 2019接收，而且還是口頭報告（oral）。

這篇論文的一作，照例還是實習生。另外幾位作者來自英偉達和MIT，CycleGAN的創造者華人小哥哥朱俊彥也在其中。

在基于語義合成圖像這個領域里，這可是目前效果最強的方法。

神奇的空間適應

在論文中，研究人員揭開了SPADE的神秘面紗。

此前，在語義圖像合成領域有一套“流水線式”的加工流程：直接將語義布局（Semantic Layout）作為深度神經網絡的輸入，然后通過卷積、歸一化和非線性層的處理，輸出合成圖像。

△ 推斷語義布局合成圖像 | 圖片來自論文Inferring Semantic Layout for Hierarchical Text-to-Image Synthesis

但是，這種傳統神經網絡架構并不是最優解，其中的歸一化層通常會讓輸入語義蒙版中的信息流失，導致合成效果變差。

為了解決這個問題，研究人員提出了一種新的方法，空間適應標準化（SPatially-Adaptive (DE)normalization），簡稱SPADE。

這是一種條件歸一化層，它通過學習到的空間適應變換，用語義布局調節激活函數，讓語義信息在整個網絡中有效傳播，避免語義信息流失。

SPADE與批標準化（Batch Normalization）類似，激活函數channel-wise是標準化的，但在很多標準化技術中，實際標準化操作后就應用到了學習過的仿射層（Affine Layer）。

但在SPADE中，仿射層是從語義分割圖中學習的。這類似于條件標準化，不過所學習的仿射參數現在需要空間自適應，也就是對每個語義標簽使用不同的縮放和偏差。

就這樣一個小小的改變，讓語義信號可以作用于所有層輸出，不會在生成圖像中丟失語義信息。

△ SPACE生成器結構

此外，因為語義信息是通過SPADE層提供的，因此隨機向量成為神經網絡的輸入，所以，你還能隨心改變圖像的畫風。

效果+++

研究人員用COCO-Stuff、ADE20K和Cityscapes等數據集測試SPADE與前人的效果如何。

結果發現，這項新研究面前，此前CRN、pix2pixHD等明星語義圖像合成方法效果已經成為渣渣：

此前的pix2pixHD和CRN算法只能分辨開天和海的顏色，而GauGAN卻遙遙領跑，連漸變的海水顏色和四散的浪花都合成出來了，甚至運動場的場地線：

此外，研究人員用平均檢測評價函數（mIoU）、像素準確度（accu）和FID（Frechet Inception Distance）三個維度評估SPADE與其他語義合成模型的評分，SPADE均優于其他模型。

作者介紹

這篇論文由英偉達的研究人員Taesung Park、Ming-Yu Liu、Ting-Chun Wang和Jun-Yan Zhu（朱俊彥）共同完成。

一作Taesung Park是一位韓國小哥，本科和碩士就讀于斯坦福，現在還在攻讀UC伯克利計算機專業的博士學位。Park哥的論文分別被ICCV 2017、ICML 2019和CVPR 2019三場頂會接收過。

△ Taesung Park

目前，Park哥在英偉達實習，由研究員Ming-Yu Liu（劉洺堉）領導。

Ming-Yu Liu在參與過很多CV圈內耳熟能詳的項目，包括vid2vid、pix2pixHD、CoupledGAN、FastPhotoStyle、MoCoGAN、FastPhotoStyle等，他的研究在NeurIPS、CVPR、ECCV大會上頻頻現身。

三作Ting-Chun Wang是Ming-Yu Liu的英偉達研究院同事，也是一作Park哥在UC伯克利的“嫡系”師兄。

四作是一個熟悉的華人名字：朱俊彥。在計算機圈，朱俊彥是大神一樣的存在。

2012年清華大學計算機科學系的工學學士畢業后，朱俊彥在CMU和UC伯克利經過5年學習獲得UC伯克利電氣工程與計算機科學系的博士學位，也師從Alexei Efros。

提出了經典的“馬變斑馬”的CycleGAN后，還其博士畢業畢業論文Learning to Generate Images，獲得了計算機圖形學頂會ACM SIGGRAPH 2018“杰出博士論文獎”。

博士畢業后，朱俊彥成為MIT計算機與人工智能實驗室（CSAIL）一名博士后研究員。

關于朱俊彥，這篇論文里還有個值得注意的小細節：他為自己標注了兩家所屬機構：MIT和英偉達。他此前發表的論文中，即便沒少和英偉達合作，所屬機構也都是MIT或者之前讀博的UC伯克利。

△ 論文截圖

傳送門

目前，論文已經放出，研究人員表示代碼、訓練模型和所有圖像馬上就要來了。

在正在舉辦的英偉達GTC 19大會上，GauGAN已經亮相了。美國時間周三周五Ting-Chun Wang和Ming-Yu Liu還將進行相關演講。

論文地址：

https://arxiv.org/abs/1903.07291

GitHub地址（代碼即將上線）：

https://github.com/NVlabs/SPADE

項目地址：

https://nvlabs.github.io/SPADE/

— 完 —

誠摯招聘

量子位正在招募編輯/記者，工作地點在北京中關村。期待有才氣、有熱情的同學加入我們！相關細節，請在量子位公眾號(QbitAI)對話界面，回復“招聘”兩個字。

量子位 QbitAI · 頭條號簽約作者

?'?' ? 追蹤AI技術和產品新動態

總結

以上是生活随笔為你收集整理的涂鸦一键变逼真照片，我被自己的绘画技巧惊呆了 | CVPR新研究的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。