一、 傳送門

論文鏈接：https://arxiv.org/abs/2101.10696

二、 簡介

超像素的通常策略是將圖片分成規則方格，然后估計每個像素和它相鄰方格的關系，最后得到超像素分割的結果。因此，如何準確的估計像素和相鄰方格的關系至關重要。

在Superpixel Segmentation with Fully Convolutional Networks(CVPR2020)中，利用U-net得到一個$h\times w\times 9$的矩陣來作為像素和周圍九個超像素的關系，也可以視作屬于該超像素的概率。

但是該篇論文中認為SpixelFCN中的U-net結構中存在skip-connect操作，對于最后結果是不利的，因為這種操作引入了low-level的pixel-pixel關系。對此，這篇文章提出了Association Implantation (AI) Module，如下圖，AI模塊直接對像素和超像素的關系進行預測，而不會像FCN一樣預測pixel-pixel的關系。

除此之外，這篇文章還提出了新的損失函數，幫助超像素更加貼合圖像的邊緣。

三、方法

（一）Association Implantation Module

這個模塊還是很好理解的，將unet中最中間的部分視作superpixel的編碼，unet最后一層輸出的作為圖像每個像素的feature，將這兩部分送去AI模塊中，直接計算像素和每個超像素之間的關系，得到最后的pixel-superpixel association，即SpixelFCN中的Q。

為什么最中間的部分可以視作超像素的編碼呢？

• 個人理解，unet作為一個encoder-decoder結構，隨著在encoder階段感受野不斷增加，我們獲得了更deep的特征，矩陣也不斷被壓縮。然而超像素本質也可以看做是一個特殊矩陣——圖像的矩陣壓縮，所以encoder得到的結果在和超像素特征是等價的。

AI將每個像素點的和對應的周圍超像素結合起來成一個$3\times 3\times D$的矩陣：

其中$e_p\in R^{1\times 1\times D}$，是一個像素點的特征，D是通道數。$\hat{M}\in R^{1\times 1\times D}$是超像素的特征，這個矩陣會被一個$3\times 3$的卷積變成$1\times 1\times 9$作為像素和周圍超像素的關聯。下面這個公式就是一個普通的卷積公式。

（二）Boundary-Perceiving Loss

之前的超像素的工作中，損失函數主要和語義標簽以及位置信息重建相關，但是忽略了一個重要的標準：讓超像素貼合物體的邊緣。

這個損失函數的過程比較復雜，我們展開來講，主要目的是讓邊緣附近的像素，屬于同一語義標簽的像素更接近，不屬于的差異更大。

對于decoder部分最后生成的像素級特征$E\in R^{H\times W\times D}$，我們在位于GT邊緣附近的地方畫一個$k\times k$的方框，我們將方框內的像素按照語義標簽的不同分成兩個部分 f 和 g$\{f_1,f_2,...,f_m,g_1,g_2,...g_n\};m+n=k^2$，然后按照平均數，將f和g在各自分為兩部分$f^1,f^2,g^1,g^2$，然后 Boundary-Perceiving Loss 損失函數如下。

損失函數有兩部分，第一部分是讓同一類的像素更靠近平均值，也就是更加接近彼此；第二部分反之，讓不同類的像素差異更大。整體使用了交叉熵函數的思想。實驗中，我們將$k$設置為5。

（三）Augmentation via Patch Jitter

作者對該網絡的訓練設計了一種Data Aug的方式，主要由以下幾種組成：

• Patch Shuffle
• Random Shift
• 將一個隨機的Patch用random信息代替，并在語義標簽上設置為一個新的類
  

四、實驗

具體的setup可以直接參考論文，這里放一下實驗結果

總結

以上是生活随笔為你收集整理的超像素论文（三）——AINet: Association Implantation for Superpixel Segmentation的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。