Weakly Aligned Cross-Modal Learning for Multispectral Pedestrian Detection
當前的問題及概述：
真實的多光譜數據存在位置偏移問題，即彩色熱像對沒有嚴格對齊，使得一個物體在不同的模式中有不同的位置。
在本文中，提出了一種新的對齊區域CNN (AR-CNN)來處理端到端的弱對齊數據。

a是目前數據集弱對齊圖示，b為本文的框架思路，c為本文的實驗結果。
模型及loss：
2.1.KAIST-Paired Annotation
為了解決位置偏移問題，首先手動標注每種模態上的color-hot pairs bounding box，通過配對標注，可以得到原始KAIST數據集的移位距離統計信息。如下圖a中，超過一半的邊界框存在位置移動問題，移動距離大多在0到10像素之間。同理，圖b為CVC-14數據集。

2.2 Aligned Region CNN (AR-CNN)網絡框架

輸入一組彩色地形圖和熱地形圖的pair圖像，sense意為被感知的RGB圖像，reference意為被參考的IR圖像，經過特征提取后，通過numerous proposals和RoI Jitter后輸入給區域特征對齊(RFA)模塊，對齊后，分別對彩色地形圖和熱地形圖的區域特征進行合并，然后進行置信感知融合（confidence-aware fusion method）。
2.3 Region Feature Alignment
本文提出區域特征對齊(RFA)模塊來預測兩個模態之間的位移。如下圖：

RFA模塊的連接方案。RF表示區域特征，而⊕表示通道級聯。將交叉模態區域的特征輸入到兩個全連通的層中，以預測該區域在兩種模態之間的移動變化，可以看到，兩個模態的bounding boxes pairs 在與ground-truth的計算出的移動距離如下：

X,y為bounding box的中心坐標，w，h為bounding box的寬度和高度，s，r分別代表sense和reference，實際與ground truth作差，得到的結果是x和y坐標的shift target。再通過smooth L1 loss計算預測的shift target ti和ground-truth ti*的歐氏距離進行輔助學習：

RFA模塊的總object function：

2.4RoI Jitter Strategy
為了改善頻移模式的魯棒性，我們提出了一種新的RoI抖動策略來增強頻移模式。

紅色方框表示ground-truth，GTR和GTS分別代表參考模態和感知模態。藍方框代表roi，即對兩種模態的共享建議框。RoIj1、RoIj2和RoIj3是jitter之后的三個可行的建議實例。因此，將隨機擾動引入到感知RoI中，并對RFA的目標進行相應的移位，豐富了訓練過程中位置移位的規律。抖動的目標是由正態分布產生的：

2.5Confidence-Aware Fusion
框架最后加入了Confidence-Aware Fusion 模塊，由于光照、遮擋等原因，對不同模態的特征進行固定賦值的方法是不合適的，因為我們希望檢測器更多地關注可信賴模態。所以加入的該模塊，該部分通過two-stream網絡，將兩個模態的特征分別提取并計算了兩個置信權值:Wr = |p1 r?p0 r|， Ws = |p1 s?p0 s|，其中p1和p0分別表示行人和背景的概率，r和f分別表示參考和感知模態。然后，我們使用乘法在輸入特征映射上執行特征重新加權。

演示了Confidence-Aware Fusion方法。有三種典型的情況:(a)在白天，顏色和熱特征是一致和互補的。(b)在光照不足的情況下，行人的色彩形態難以分辨，因此我們更重視熱形態。?由于位置偏移，行人只存在于熱模態中，所以我們抑制了顏色特征。
實驗：

數據集：KAIST and CVC-14

KAIST：95,328張彩色和熱成像對，103,128個dense 注釋和1182個person ID
CVC-14：訓練和測試集分別包含7,085和1,433幀，CVC-14數據集有更嚴重的位置偏移問題。

KAIST數據集測試結果（miss rate）：

消融實驗：

總結

以上是生活随笔為你收集整理的2019 ICCV之多光谱行人检测：Weakly Aligned Cross-Modal Learning for Multispectral Pedestrian Detection的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。