作者：Zhen Zhu, Mengde Xu, Song Bai, Tengteng Huang, Xiang Bai
機構：Huazhong University of Science and Technology, University of Oxford

1. 背景

在語義分割任務中，長距離依賴無法通過簡單的卷積操作獲得，wang等人在Non-local neural networks中提出的non-local block使得特征圖上每個位置的輸出都結合了整個圖片上所有位置上的特征，使得分割網絡的結果得到提升。然而，non-local block的計算量較大，需要較大的顯存開銷，這阻礙了non-local network在實際應用中的使用。本文提出了APNB來減少non-local block的計算量和顯存開銷,AFNB通過提升分割性能增強non-local block的學習能力。

2. 方法--Asymmetric Non-local Neural Network

2.1. Revisiting Nonlocal Block

?輸入

1.經過3個1*1的卷積Query，Key和Value變換之后，分別得到，，

2.計算所有空間位置特征向量的相似度：

3.歸一化：

4.根據所有空間位置特征向量的相似度加權求和：

5.新特征經過1*1卷積變換后與原輸入特征拼接：

計算復雜度：

2.2. Asymmetric Pyramid Nonlocal Block(APNB)

Non-local的計算復雜度主要來自第2步和第4步：

Intuitive Observation：將N減小為S，不會改變輸出的size

?將N減少到S相當于從和采樣一些特征點，代替使用H*W空間范圍內的點，如圖1所示，增加兩個采樣模塊和，采樣一些稀疏的錨點和，S就是錨點的數量。

1.經過3個1*1的卷積Query，Key和Value變換之后，分別得到，，

2.采樣：,

3.計算所有空間位置與S個采樣點的特征相似度：

4.歸一化：

5.根據相似度加權求和：

5.新特征經過1*1卷積變換后與原輸入特征拼接：

計算復雜度：

APNB的錨點采樣策略：

通過金字塔池化對Key路徑和Value路徑得到的特征圖和進行下采樣，得到和.

4種不同尺度的池化操作：{1,3,6,8},采樣的錨點數量=110

2.3. Asymmetric Fusion Nonlocal Block(AFNB)

為了能夠融合來自多個級別的特征，文章提出了AFNB，因為APNB模塊后續計算允許特征圖不同大小N和S，所以我們可以讓APNB輸入的特征圖來自網絡不同的level，即AFNB。如下圖，Query路徑的特征圖來自high-level層級，Key路徑和Value路徑的特征圖來自low-level級別。

2.4. Network Architecture

backbone:ResNet-101，使用空洞卷積替換最后兩個下采樣操作最后3個stage(stage3，stage4，stage5)的特征圖

具有相同大小，stage4和stage5的特征圖送入AFNB，輸出與stage5的特征圖拼接后再送入APNB，輸出與輸入拼接后，最后經過分類器，得到分割得分圖。

3.實驗

Efficiency Comparison with Non-local Block

Performance Comparisons

定量：

?定性：

在較大物體的局部區域一致性表現更好。

Ablation Study：

common fusion：Stage5 + ReLU(BatchNorm(Conv(Stage4))) to Baseline model

?

總結

以上是生活随笔為你收集整理的[ICCV2019论文阅读]Asymmetric Non-local Neural Networks for Semantic Segmentation的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。