Abstract

作者提出了一種用于顯著目標檢測（salient object detection）的輕量級對抗網(wǎng)絡(luò)，該網(wǎng)絡(luò)通過進行對抗性訓(xùn)練來實現(xiàn)更高階的空間一致性，并分別通過輕量級bottleneck block降低了計算成本，從而同時提高了準確性和效率。

1.Introduction

在計算機上，鑒別器區(qū)分輸入圖像的真實性，并進一步導(dǎo)致更完整的顯著性檢測結(jié)果，這啟發(fā)我們將對抗性訓(xùn)練引入視覺顯著性學(xué)習(xí)中，目前最常見的后處理方法是CRF。

LANet將對抗損失放入視覺顯著性學(xué)習(xí)中，利用編碼器-解碼器結(jié)構(gòu)進行顯著性推理。

本文的貢獻：

我們提出了一個準確有效的網(wǎng)絡(luò)，即LANet，用于顯著目標檢測，該網(wǎng)絡(luò)利用輕量級的線性瓶頸模塊（lightweight linear bottleneck blocks）來構(gòu)造顯著性預(yù)測器和對抗性網(wǎng)絡(luò)，從而大大降低了計算成本以確保效率。

提出多尺度對比模塊（Multi-scale contrast module）

此模型對于準確性和效率兩方面進行了折衷。

2.Related Work

2.1 Salient Object Detection

《 Deeply supervised salient object detection with short connections》提出了一種深度監(jiān)督的模型（deeply supervised salient model）,但是這個模型需要高性能的計算資源，使得無法應(yīng)用于嵌入式和移動設(shè)備。

2.2 Adversarial Learning

生成對抗網(wǎng)絡(luò)由生成網(wǎng)絡(luò)和對抗網(wǎng)絡(luò)組成，是一種用于學(xué)習(xí)深度生成模型的對抗方法。 它最初是為圖像生成而設(shè)計的，其中生成網(wǎng)絡(luò)用于生成偽造圖像，而對抗網(wǎng)絡(luò)則旨在區(qū)分真實圖像和生成網(wǎng)絡(luò)生成的偽造圖像。

最近，一些工作將GAN擴展到顯著目標檢測。 在本文中，我們提出了一種用于目標物體檢測的輕量級對抗網(wǎng)絡(luò)，該網(wǎng)絡(luò)將高級對抗損失納入了網(wǎng)絡(luò)訓(xùn)練期間的常規(guī)顯著性預(yù)測中。

3.Lightweight Adversarial Network

如圖2所示，LANet由顯著性預(yù)測器（saliency predictor）和對抗性網(wǎng)絡(luò)（adversarial network）組成，二者均基于輕量級瓶頸塊（lightweight bottleneck）而不是規(guī)則卷積，從而實現(xiàn)了有效的端到端解決方案。

顯著性預(yù)測器包括特征提取器，多尺度對比度模塊和解碼器,用于生成顯著性圖。 具體來說，在給定圖像的情況下，我們采用特征提取器（即定制的VGG）來生成初始特征圖，然后將其饋入多尺度對比度模塊以生成最終的編碼器特征圖。 然后，通過解碼器對得到的特征圖進行上采樣以產(chǎn)生最終顯著性預(yù)測。

在訓(xùn)練階段，此網(wǎng)絡(luò)最初在預(yù)測的顯著性圖上以顯著性損失進行訓(xùn)練。 然后，該模型通過對抗網(wǎng)絡(luò)進行訓(xùn)練，該對抗網(wǎng)絡(luò)經(jīng)過訓(xùn)練可以解決LANet預(yù)測的顯著性圖和相應(yīng)的地面真實性之間的二元分類任務(wù)。

3.1. Lightweight Bottleneck Block

Lightweight Bottleneck Block是LANet中每個部分的基本單元。如上圖，輕量級瓶頸塊的特征在于深度方向上可分離的卷積，線性瓶頸（linear bottlenecks）和倒數(shù)殘差（inverted residuals）。
特別地，將深度方向上可分離的卷積依次分解為深度方向卷積和點方向卷積，即1×1卷積。 深度方向卷積使用不同的卷積核過濾每個輸入通道，而點方向卷積進一步融合所有通道上的合成特征以產(chǎn)生新的特征表示。
如圖可以直觀地觀察到，輕量級瓶頸塊首先通過逐點卷積將輸入擴展到更高的維度，然后通過深度卷積來過濾高維度的結(jié)果，最后通過另一個點卷積來減小結(jié)果特征的維度。

深度方向可分離卷積的主要貢獻是減少了計算量。
給定輸入張量kernel尺寸是K×K卷積，得到特征圖深度方向可分離卷積的相應(yīng)計算成本M為：

而常規(guī)卷積運算的計算成本R為：

輕量級瓶頸塊中的反向殘差（inverted residual）用于加快訓(xùn)練和推理的過程。 如圖3（a）所示，它在維數(shù)減少后的輸入層和各層之間建立了快捷鏈接，這僅在步幅為1時發(fā)生。

反向殘差（inverted residual）與經(jīng)典殘差（the classical residual）之間的差異是：（a）中的倒數(shù)殘差連接了較薄的立方體（特征圖），而（b）中的經(jīng)典殘差則連接了較厚的立方體。 此外，為了防止有用的信息被破壞，瓶頸塊擺脫了其最后一層的非線性激活。

3.2. Adversarial Training

在使用基于CNN的模型時，預(yù)測的顯著性圖通常不完整，即在空間上與相應(yīng)的Ground Truth不一致。 我們利用對抗訓(xùn)練，將對抗損失納入saliency predictor中，以實現(xiàn)更高階的空間一致性。 具體而言，我們在訓(xùn)練LANet時既考慮了顯著性損失Ls也考慮了對抗性損失La。
為了便于說明，將這兩個術(shù)語中使用的二進制交叉熵損失表示為

顯著性損失是一個標準的二進制交叉熵，用于執(zhí)行顯著性模型以獨立預(yù)測每個像素位置的準確顯著性，但是無法實現(xiàn)更高階的空間一致性。
給定N個訓(xùn)練圖像 x^k∈R^H×W×3 的數(shù)據(jù)集和相應(yīng)的ground-truth y^k∈{0,1} ^H×W，我們使用y^ = S（x）表示預(yù)測的顯著圖。 然后，顯著性損失可以計算為

由于對抗網(wǎng)絡(luò)處理二進制分類問題，導(dǎo)致感受野比顯著性預(yù)測器大得多，因此對抗訓(xùn)練可以實現(xiàn)更高階的空間一致性。

將A（x，y）∈[0,1]表示為對抗網(wǎng)絡(luò)預(yù)測y是x的真實情況顯著性圖的概率，S（?）是顯著性預(yù)測器的輸出。 因此，對抗性損失也由二進制交叉熵損失表示：

Training the Saliency Predictor 在給定對抗網(wǎng)絡(luò)的情況下，對顯著性預(yù)測器的訓(xùn)練旨在最大程度地減少顯著性損失，t同時降低對抗性網(wǎng)絡(luò)的性能。 這鼓勵了顯著性預(yù)測器生成難以與對抗性網(wǎng)絡(luò)的ground-truth圖區(qū)分開的顯著性圖。 it propagates stronger gradient to maximize bce(A(xk,S(xk)),1) than to minimize bce(A(xk,S(xk)),0)。與顯著性預(yù)測器相關(guān)的損失函數(shù)為

Training the Adversarial Network

由于對抗性損失僅取決于對抗性網(wǎng)絡(luò)，因此訓(xùn)練對抗性網(wǎng)絡(luò)等效于最小化以下二進制分類損失

合并對抗性損失不會在測試階段消耗額外的計算資源。 Lightweight bottleneck（對抗網(wǎng)絡(luò)的基本單位）也使訓(xùn)練更加有效。 顯著性預(yù)測器和對抗性網(wǎng)絡(luò)的體系結(jié)構(gòu)將在下面的第3.4節(jié)中介紹。

3.3. Multi-Scale Contrast Module

如前所述，我們提出的基于bottleneck blocks的LANet無法充分融合先前的關(guān)鍵全局對比度，這是因為vanilla CNN和輕型瓶頸塊中的接受域都大大損失了。 為了解決這個問題，我們提出了一種多尺度對比模塊，以正確地結(jié)合全局和局部上下文，以進行精確的顯著性檢測。

空間金字塔平均池可以利用空間統(tǒng)計信息有效地描述整個圖像。 如圖4所示，多尺度對比模塊（multi-scale contrast module）包含金字塔平均池，深度方向可分離卷積（即深度方向卷積與點方向卷積耦合）以及上采樣操作。

為了從初始特征M1分別提取局部和全局視覺對比信息，我們在執(zhí)行金字塔平均池化時考慮了三個不同級別的大小.實驗表明，深度可分離卷積將計算精度提高了約0.6％，而計算成本卻可以忽略不計。

3.4. Network Architecture

顯著性預(yù)測器的體系結(jié)構(gòu)。 在顯著性預(yù)測器中，特征提取器由VGG16的卷積層組成[59]，其中常規(guī)卷積被輕量級瓶頸塊替換以減少模型參數(shù)，而解碼器通過無參數(shù)雙線性插值的上采樣以16的倍數(shù)生成顯著圖。

對抗網(wǎng)絡(luò)的體系結(jié)構(gòu)。 對抗網(wǎng)絡(luò)的體系結(jié)構(gòu)如圖5所示。它以RGB圖像和相應(yīng)的顯著性圖作為輸入，這兩種圖像在饋入網(wǎng)絡(luò)之前都被調(diào)整為224×224。 顯著性圖要么是基礎(chǔ)事實，要么是由顯著性預(yù)測器生成的。 如[68]中所建議的，從圖5中的兩個2??20個獨立分支生成的特征圖具有相同數(shù)量的通道。

4.Experimental Results

評價標準：
F-measure，mean absolute error（MAE), precision-recall(PR)
F-measure:

其中β²設(shè)置成0.3可以突顯精度的重要性。

MAE：

MAE 以像素為單位測量ground-truth G與預(yù)測顯著圖M之間的數(shù)值距離

W和H表示顯著性圖的寬度和高度
M（i,j）表示像素在（i,j）的顯著性值
G（i,j）表示像素在（i,j）的真實值

在bottleneck blocks 中的擴張率設(shè)置成6
顯著性損失和對抗性損失都被公式化為二值交叉熵損失
作者使用驗證集搜索最佳的超參數(shù)λ，最終我們使用15

Conclusion

最終的結(jié)果表明，對抗訓(xùn)練比CRF可以更好地緩解不完整的預(yù)測顯著性圖的問題。LANet降低計算成本、加快了訓(xùn)練速度、并且在準確性和效率方面有更好的優(yōu)越性，可以更好的應(yīng)用在實時的嵌入式應(yīng)用中。

總結(jié)

以上是生活随笔為你收集整理的Lightweight Adversarial Network for Salient Object Detection的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。