Multispectral Pedestrian Detection: Benchmark Dataset and Baseline?

引用量：367??????? CVPR2015???? 單位：In So KweonKorea Advanced Institute of Science and Technology (KAIST), Republic of Korea

Views：該數(shù)據(jù)集是color-thermal對齊性最好的，提供了豐富的圖像對，有著重大意義。

Ideas：結(jié)合之前看的數(shù)篇文章，目前跨膜態(tài)學(xué)習(xí)的方式大概為三種，分別是thermal輔助color，color輔助thermal，color-thermal融合。2020年提出兩篇，ECCV2020第一篇：借助可見光發(fā)展推動紅外，簡單分類day/night，生成條件參數(shù)，注入網(wǎng)絡(luò)，僅使用紅外達(dá)到sota性能，ECCV2020第二篇：通過解決模態(tài)不平衡問題改善多光譜行人檢測。CVPR2017提出通過thermal輔助RGB進行學(xué)習(xí)，最后測試僅使用RGB。問題的難點：1>不平衡問題?? 2>color-thermal不對齊問題?? 3>通過day/night區(qū)分實現(xiàn)自適應(yīng)檢測。結(jié)合傳感器失靈進行考慮，可以設(shè)計一種多模態(tài)網(wǎng)絡(luò)，并且該網(wǎng)絡(luò)具備多個特點，color-thermal可用，融合模型；color不可用，轉(zhuǎn)為color輔助thermal；thermal不可用，轉(zhuǎn)為thermal輔助color。

Abstract：

現(xiàn)有的行人數(shù)據(jù)集僅含color channel，但是thermal channel對黑暗環(huán)境下的檢測大有幫助。考慮到這一點，提出了一個Multispectral pedestrian dataset，它提供了良好對齊的color-thermal image pairs，被beam splitter-based special hardware捕獲。Color-thermal dataset與以前color-based datsets一樣大，并提供dense annotation 包括temporal correspondences。介紹了multispectral ACF，以同時處理color-thermal image。多光譜ACF將ACF得average miss rate降低了15%，實現(xiàn)了新突破。

1.Introduction

行人檢測的重要性+行人檢測的挑戰(zhàn)

為解決automobile application，通常使用兩種類型的紅外傳感：near in frared（0.75~1.3um）攝像機或long-wavelength infrared（7.5~13um）。

貢獻：（1）介紹了multispectral pedestrian dataset，它提供了對齊的熱圖像對。（2）分析了color和thermal channel之間的互補關(guān)系，并暗示了獨立地使用color或thermal channel的strong point。（3）我們提出了幾種與thermal channel的組合，提出的方法在multispectral pedestrian dataset上降低15%的average miss rate。

2.Multispectral Pedestrian Dataset

介紹了imaging hardware 和 捕獲多光譜行人的calibration procedure。下一節(jié)中分析dataset。

2.1 Imaging Hardware

Hardware specification：相關(guān)的相機配置。

Camera calibration（相機校準(zhǔn)）：

Color correction：通過捕獲圖像的強度水平來緩解color distortion（顏色失真）

2.2 Data Collection and Ground Truth

Data capture：設(shè)備掛載在車頂進行采集，并考慮光照條件，采集夜晚和白天的圖像。Fig4是例子。

Ground truth annotation：95,328 color-thermal pairs中，手動注釋103,128個密集的注釋和1,182個行人。只有獨立的人標(biāo)注為person，不能區(qū)分的標(biāo)注為people，騎兩輪車的人被標(biāo)注為cyclist。在高度凌亂場景中，甚至不能區(qū)分是不是行人。數(shù)據(jù)集中，一個人平均出現(xiàn)74.80 frame（對應(yīng)3.74s）。

Train and Test sets：將annotated color-thermal image pairs劃分為train/test datasets，我們使用了后續(xù)標(biāo)準(zhǔn)。1>行人出現(xiàn)數(shù)量相同，2>day/night的幀數(shù)相同，3>兩個集合不重疊。該方案有助于避免特定場景的data bias and over-fitting

2.3 Properties of Dataset

圖5顯示行人在像素單元中的高度與其相應(yīng)的距離（米）之間的關(guān)系

Scale：行人檢測的重要應(yīng)用是accident avoidance，根據(jù)車輛的制動距離分類了annotated bounding boxes的大小。在城市地區(qū)（行人經(jīng)常出沒），30~55Km/h速度下，制動距離為11~28m。行人高度為1.7m，則相應(yīng)的圖像高度為45~115像素。劃分size為3類，near，medium，far。

Occlusion：關(guān)于行人的遮擋問題，標(biāo)注為3類，沒遮擋的標(biāo)注為 no occlusion，遮擋到遮擋一半的標(biāo)注為 partial occlusion，大部分被遮擋的標(biāo)注為heavy occlusion。所有的標(biāo)注中，75%的行人被標(biāo)注為no occluded，12.6% 標(biāo)注為 partial occlusion，8.8% 標(biāo)注為 heavy occlusion。（超過20%為困難場景，后續(xù)方法，理應(yīng)考慮hard example處理）

Position：圖6（a）顯示了高斯分布的注釋中心。由于right-handed condition，行人主要出現(xiàn)在右側(cè)，圖b顯示每幀中行人數(shù)量。

Appearance change：圖7顯示了白天和夜晚的幾個例子，由于強烈的燈光，color image顯示出清晰的人形。另一方面，由于黑暗環(huán)境，color image在夜間的形狀不可分辨。但是，thermal image在夜間顯示出不同的形狀，當(dāng)空氣溫度較冷，溫度差異大，能在夜間清晰地捕獲固定溫度的行人。白天強烈的太陽輻射造成back-ground clutter。

2.4 Comparison to Existing Datasets

表1總結(jié)了現(xiàn)有的數(shù)據(jù)集，可劃分為color，thermal，and color-thermal

3.Baseline Approaches

介紹ACF和擴展ACF以編碼thermal channel（傳統(tǒng)方法組合，可讀性不高）。

4.Experiment

5.Conlcusion

介紹了真實交通場景的 multispectral pedestrian dataset，數(shù)據(jù)集有豐富的信息，thermal images，various real traffic scenes，lots of annotations with occlusion tags，and temporal correlations of the annotations（注釋的時間相關(guān)性）。

總結(jié)

以上是生活随笔為你收集整理的KAIST : Multispectral Pedestrian Detection: Benchmark Dataset and Baseline的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。