提升模型跨場景的泛化能力是實際應用不可避免的問題。本文介紹了我們的兩個工作對此進行的探索，分別收錄于 ECCV 2018 和 ICCV 2019。本文側重講述工作背后的思路，希望對讀者有所啟示。

作者丨潘新鋼

學校丨香港中文大學博士生

研究方向丨計算機視覺

提升模型對于圖像外觀變化的適應性是計算機視覺中一個重要問題。當測試數據與訓練數據有較大外觀差異時（例如真實數據 Cityscapes 與虛擬數據 GTA5），模型的性能會顯著下降，該問題通常被稱為域間隙（domain gap）。目前對此的常用解決方案是遷移學習（transfer learning）或域適應（domain adaptation）。

這些方案針對訓練方式進行改進，但是受限于模型自身的性能，當模型適應于域 A 時，它對域 B 的適應性通常會下降。一種更理想的情況是一個模型就可以適應多樣的圖像外觀。因此，我們考慮一種更加基本的方案：改進模型本身，即在模型中引入對圖像的外觀不變性（appearance invariance）。?

在神經網絡中，不變性是一種很有用的特性。例如，常用的 max pooling 引入了局部空間不變性，使神經網絡對圖片的局部空間變化有更好的適應性。我們希望通過引入外觀不變性，使得即使輸入圖片中物體的亮度，顏色，風格等發生變化，也不會影響模型的輸出結果。例如在分類任務中達到如下效果：?

輸入：

▲?同一物體可能呈現出多樣的外觀變化

輸出：羊駝?

為了引入外觀不變性，我們首先想到的是從圖像風格遷移（style transfer）工作中尋找線索。圖像風格遷移可以將圖 A 的風格轉換成圖 B 的，這里的風格包括圖像紋理、顏色、明暗等視覺因素，與我們關注的圖像外觀有很大的重疊。那么如果存在一種變換能夠將所有圖片的風格變化成同一種風格，這就是我們想要的外觀不變性。這樣的變換是否存在呢，答案是肯定的，并且十分簡潔。

在圖像風格遷移領域，學者們發現在 ImageNet 上訓練過的 VGG 網絡的特征各個通道的均值與標準差很好地編碼了圖像的風格信息，因此通過調整該均值與標準差，再經過一個額外訓練的 decoder，就可以實現風格遷移，該方法稱作 adaptive instance normalization?[1]。那么如果我們將所有圖片的神經網絡特征的各個通道的均值與標準差通過 instance normalization（IN）變得相同，就消除了這些圖片在風格上的差異，即引入了風格不變性。

▲?我們通過一個小實驗驗證這個想法。如圖，IN確實可以一定程度上消除圖片在風格上的差異

不變性與判別力的trade-off

那么為了在模型中引入外觀不變性，最直接的方法就是將 BN 都換成 IN。但事實上這樣會顯著降低模型性能，這也是為什么 IN 之前一直沒有被用在高級視覺任務中（分類，檢測等）。

這是因為，IN 雖然引入了不變性，但是減少了判別力（discriminative power）。因為 IN 操作損失了特征的均值與標準差信息，而實際上它們不僅表達風格信息，也表達了對任務有用的類別等信息。事實上，隨著網絡加深，特征的均值與標準差表達的外觀信息越來越少，語義信息越來越多，如下圖所示：

▲?隨著層數加深，圖像風格差異造成的特征散度越來越少，圖像類別差異造成的特征散度越來越大

因此，為了引入外觀不變性同時盡可能保留判別力。我們在模型前半部分（如 ResNet 前三組 residual groups）引入少量 IN，深層保留 BN。只通過這樣微小的改動就可以在不改變模型復雜度的情況下顯著提升性能，我們把這種網絡設計稱作 IBN-Net（具體設計方式參見原論文?[2]）。

▲?IBN-Net在ImageNet上顯著提升各個模型性能（數字越低越好）

由于在模型設計上引入了外觀不變性，在 domain adaptation 任務中，即使不使用目標域的數據，IBN-Net 也可以實現跨域的效果提升：

在 person ReID 任務中，模型對圖片中人物外觀變化的適應性尤為重要，基于 ResNet50 的 IBN-Net 甚至可以超過 SE-ResNeXt101：

▲?表格來自 https://github.com/michuanhaohao/reid-strong-baseline [3]

巧合的是，在我們投稿后兩個月，arxiv 上就有韓國學者放出動機幾乎一樣的工作?[4]。

從IBN-Net到Switchable Whitening

隨后，為了更合理地引入外觀不變性以及提升模型對不同任務的適應性，我們基于以下因素對 IBN-Net 進行了拓展：?

1. 圖像風格遷移領域的學者發現協方差比標準差更好地編碼了圖像風格信息?[5]；?

2. 白化（whitening = center + scale + decorrelate）比標準化（standardization = center + scale）有更好的優化性質，即使得 SGD 更接近 NGD（自然梯度）[6]；?

3. IBN-Net 中 IN 與 BN 的數量依賴手工設計，并非最優，且不同任務需要的各種 normalization 數量可能不同。?

因此，我們將各種不同的白化 (BW, IW) 和標準化 (BN, IN, LN) 方法統一于一種通用的形式，并且各種方法的比重可以根據特定任務學習，稱作自適配白化（Switchable Whitening，以下簡稱 SW）[7]。

具體而言，這些白化/標準化方法的區別可歸納為均值和協方差的計算方式不同，因此我們用可學習的權重系數對這些統計量進行加權平均，再用得到的均值和協方差進行白化操作，即：

其中：

其中??和??是特定的白化/標準化方法的均值和協方差矩陣，?是對應的可直接通過反向傳播學習的比例系數，例如：?

對于batch whitening（BW），有：

對于 instance whitening（IW），有：

BN 和 IN 可以看作 BW 和 IW 只考慮協方差矩陣對角線的形式，例如。?

?通常通過 SVD 來計算，但這在現有的庫中 GPU 實現的效率很低，因此我們借助?[8]?中的牛頓法進行加速，使得 SW 帶來的額外開銷可以接受。?

受益于更靈活的統計量形式和可選擇性，SW 帶來了更顯著的性能提升：

▲?ImageNet validation set結果（數字越低越好）

▲?SW基于強大的PSPNet101上也能取得不錯的提升，在ADE20K上達到SOTA

在實例分割任務中也顯著超越 SyncBN 和 GN，并被 mmlab 檢測天團用在了 COCO 比賽中。

▲?在backbone中為節省計算量只有部分BN替換成了SW，具體請參見論文或代碼

SW 在不同任務中傾向于選擇不同的白化/標準化統計量，體現出適應性：

▲?SW在不同任務中學到的各種統計量的比重，上下分別對應于兩種setting

例如，在圖像風格遷移任務中，SW 會傾向于選擇 IW，而在圖像風格遷移領域中，學者們也經歷了 BN->IN->IW 的探索。有趣的是 SW 的選擇性與人的探索結果相一致。另外，SW 在分類任務中比在分割任務中會傾向于選擇更多的 IW，我們推測這是因為分類任務中數據的外觀多樣性更大，因此需要更多的外觀不變性來應對。

小結與討論

1. IN/IW 以損失信息為代價帶來不變性。從?[9]?的角度也可以理解為，使用了 IN/IW 的模型對每一張測試圖片做了 domain adaptation。另外，由于 IN/IW 不針對特定目標域，所以也是一種 domain generalization 方法。?

2. 在圖像理解任務中，對一個模型使用任何一種歸一化方式都非最優，最優情況介于 IN/IW 的不變性和 BN/BW 的判別力之間。關于不變性與判別力之間 trade-off 的討論在 deep learning 之前就有，參見?[10]。?

3. 通往跨場景泛化能力更強的模型仍有很長的路要走，除了本文關注的外觀變化，旋轉、視角、背景等的變化都可能導致模型性能的顯著下降?[11]，這些還需要更多后續的工作來解決。

IBN-Net 論文：

論文：https://arxiv.org/abs/1807.09441

代碼：https://github.com/XingangPan/IBN-Net

Switchable Whitening 論文：

論文：https://arxiv.org/abs/1904.09739

代碼：https://github.com/XingangPan/Switchable-Whitening

Reference

[1] Huang, Xun, and Serge Belongie. "Arbitrary style transfer in real-time with adaptive instance normalization." ICCV2017.?

[2] Pan, Xingang, et al. "Two at once: Enhancing learning and generalization capacities via ibn-net." ECCV2018.?

[3] Luo, Hao, et al. "A Strong Baseline and Batch Normalization Neck for Deep Person Re-identification." arXiv preprint arXiv:1906.08332(2019).?

[4] Nam, Hyeonseob, and Hyo-Eun Kim. "Batch-instance normalization for adaptively style-invariant neural networks." NIPS2018.?

[5] Li, Yijun, et al. "Universal style transfer via feature transforms." NIPS2017.?

[6] Desjardins, Guillaume, Karen Simonyan, and Razvan Pascanu. "Natural neural networks." NIPS2015.?

[7] Pan, Xingang, et al. "Switchable whitening for deep representation learning." ICCV2019.?

[8] Huang, Lei, et al. "Iterative Normalization: Beyond Standardization towards Efficient Whitening." CVPR2019.?

[9] Li, Yanghao, et al. "Revisiting batch normalization for practical domain adaptation."arXiv preprint arXiv:1603.04779(2016).?

[10] Varma, Manik, and Debajyoti Ray. "Learning the discriminative power-invariance trade-off." ICCV2007.?

[11] Barbu, Andrei, et al. "ObjectNet: A large-scale bias-controlled dataset for pushing the limits of object recognition models."NIPS2019.

點擊以下標題查看更多往期內容：?

• CVPR 2019?| 基于“解構-重構”的圖像分類學習框架

• CVPR 2019 | 針對人臉識別的高效黑盒對抗攻擊
  

• 通過多標簽相關性研究提升神經網絡視頻分類能力
  

• ICCV 2019 | VrR-VG：聚焦視覺相關關系
  

• ICCV 2019?| 適用于視頻分割的全新Attention機制

• ICCV 2019 | 沉迷AI換臉？不如來試試“AI換衣

#投 稿 通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學習心得或技術干貨。我們的目的只有一個，讓知識真正流動起來。

?????來稿標準：

? 稿件確系個人原創作品，來稿需注明作者個人信息（姓名+學校/工作單位+學歷/職位+研究方向）?

? 如果文章并非首發，請在投稿時提醒并附上所有已發布鏈接?

? PaperWeekly 默認每篇文章都是首發，均會添加“原創”標志

???? 投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請單獨在附件中發送?

? 請留下即時聯系方式（微信或手機），以便我們在編輯發布時和作者溝通

????

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

▽ 點擊 |?閱讀原文?| 獲取最新論文推薦

總結

以上是生活随笔為你收集整理的从IBN-Net到Switchable Whitening：在不变性与判别力之间权衡的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。