與普通的視頻跟蹤網絡不同的是，SiamMask可以同時完成視頻跟蹤和實例級分割的任務。如下圖所示，與傳統的對象跟蹤器一樣，依賴于一個簡單的邊界框初始化（藍色）并在線操作。與ECO（紅色）等最先進的跟蹤器不同，SiamMask（綠色）能夠生成二進制分割，從而更準確地描述目標對象。

?

3.5.1 網絡結構

SiamMask的網絡結構，提出了三分支的SiamMask網絡。與之前的孿生網絡十分相似的是，將模板圖像與搜索圖像輸入網絡，兩者經過特征提取網絡，特征提取網絡如下表所示，生成15×15×256和31×31×256的featuremap，與SiamFC相似的是，將兩個featuremap逐通道相互卷積，生成17×17×256的featuremap，將這個過程生成的像素值叫做RoW，如下圖所示，藍色的1×1×256的featuremap為heatmap的最大值，代表目標最有可能出現的位置。之后將featuremap輸入三個分支中，圖中h_{\psi}h?ψ??,b_{\psi}b?ψ??,s_{\psi}s?ψ???是1×1的卷積層，作用是改變通道的數量。?

?

網絡結構如下表所示：

在box分支中，17×17×256的featuremap經過1×1×(4k)的卷積層后生成17×17×4k的featuremap，這里k是每一個RoW生成k個anchors，這里實際上和SiamRPN相同，每四個一組，分別對應dx、dy、dw、dh四個值，代表著與groundtruth的距離。

在score分支中，17×17×256的featuremap經過1×1×(2k)的卷積層后生成17×17×2k的featuremap，這里k是每一個RoW生成k個anchors，這里實際上和SiamRPN相同，每兩個一組，分別對應分類為目標和背景的標簽結果。

在Mask分支中。17×17×256的featuremap經過1×1×(63×63)的卷積層后生成17×17×(63×63)的featuremap，從featuremap中取出與RoW位置相同的像素值，為1×1×(63×63)，對其做上采樣，生成127×127×1的圖像，在這個圖像中所有的像素值都取0或1，生成的相當于是一個二進制掩碼，目標像素值為1，背景像素值為0，這樣就完成了實例級分割的任務。 ??

三分支中的網絡結構如下表所示：?

除了三分支的SiamMask之外，作者還提出了二分支的SiamMask網絡,如上圖所示，刪掉了box分支，只保留score和Mask分支:

通過Mask分支生成的二進制掩碼來生成相對應的bounding box，二分支中的網絡結構如下表所示：

3.5.2 模型創新

• 改進的bounding box生成策略

設計了三種生成bounding box的策略如下圖所示的紅色、綠色和藍色框

?

在之前的視頻跟蹤網絡中，生成的都是平行于圖片的x軸，y軸的bounding box。當然，SiamMask也能完成這樣的任務，如圖中紅色框所示,在三分支的SiamMask網絡中，box分支負責生成這樣的bounding box。而在二分支的SiamMask網絡中，利用Mask分支生成的二進制掩碼取出目標所在的最小和最大的像素值，來生成Min-max的bounding box。

為了能夠將bounding box盡可能的貼合物體，設計了MBR的生成策略,如圖綠色框所示。同樣，利用Mask分支生成的二進制掩碼，求目標的最小包閉矩形，這樣會導致生成的bounding box會有一定的傾斜。

還設計了一種策略Opt，如圖中藍色框所示。通過Mask分支生成的二進制掩碼，求一個矩形區域使得矩形與目標像素的IoU最大，通過這種策略在一些計算目標與bounding box之間IoU的比賽中會提高SiamMask的成績。

• 掩膜細化模型

下圖為特征提取網絡和Mask分支的結構圖，網絡忽略了box分支和score分支，經過特征提取網絡生成的1×1×256的featuremap，首先經過反卷積生成15×15×32的featuremap，之后每一次反卷積都通過Ui 結合多層的特征，最后經過一個3×3的卷積層和Sigmoid層生成127×127×1的二進制掩碼。

?

下圖為細化模型的結構圖，經過細化模型可以實現上采樣的過程中結合特征提取的featuremap信息。

?

3.5.3 損失函數

Mask分支的損失函數：

???在Mask分支最后生成一個127×127×1的二進制掩碼也需要對其進行標記，目標像素標記為+1，背景像素標記為-1，所以假設一個RoW中會有w×h個像素，cij為Mask中第n個RoW中第i，j個像素的真實標記，mij為對應的網絡的輸出。所以這里的Mask分支只會計算一個目標RoW在二進制掩碼中的所有像素。

• 二分支：

二分支的SiamMask的損失函數如下式所示，其中λ1與λ2為超參數，λ1=32，λ2=1，L_{mask}L?mask???是上面講的Mask分支的損失函數，L_{sim}L?sim??是SiamFC的損失函數?

• 三分支：

三分支的SiamMask的損失函數如下式所示，其中λ1與λ2為超參數，λ1=32，λ2=λ3=1，?L_{mask}L?mask??是Mask分支的損失函數，L_{score}L?score??和L_{box}L?box??是SiamRPN的損失函數?L_{cls}L?cls??和L_{reg}L?reg??.

?

3.5.4 模型訓練

siamMask是端到端訓練模型，訓練參數如下表所示：

?

總結

以上是生活随笔為你收集整理的智慧交通day04-特定目标车辆追踪03：siamese在目标跟踪中的应用-SiamMask(2019)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。