計(jì)算機(jī)視覺(jué)多目標(biāo)檢測(cè)整合算法

輸入輸出接口

Input：image/video

Output：（1）BandingBox左上右下的坐標(biāo)位置

    （2）Type類(lèi)型：人，車(chē)，…，…（3）

執(zhí)行度：是指判別目標(biāo)物為某種類(lèi)型的比率。比如為人，車(chē)，…，…的比率。

    （4）需要燈光投射控制區(qū)域的左上右下的坐標(biāo)位置（5）攝像頭與目標(biāo)物距離（6）ID號(hào)（特指目標(biāo)物跟蹤）

算法介紹和設(shè)計(jì)方案

在圖片多目標(biāo)檢測(cè)的應(yīng)用基礎(chǔ)之上，對(duì)視頻幀進(jìn)行離散化的處理，從而達(dá)到處理視頻的效果。評(píng)判目標(biāo)檢測(cè)系統(tǒng)的標(biāo)準(zhǔn)有三個(gè)重要的指標(biāo)。

（1）使用公式：IOU=TP/(TP+FP+FN)來(lái)評(píng)估模型，即判別預(yù)測(cè)的方框和真實(shí)的方框的重疊度。

（2）mAP(Mean Average Precision)，在多個(gè)類(lèi)別的檢測(cè)中，每一個(gè)類(lèi)別都可以調(diào)整閾值，算出召回率從0到1時(shí)的準(zhǔn)確率（同一召回率取最高的準(zhǔn)確率），計(jì)算準(zhǔn)確率的平均值，而后再對(duì)于所有類(lèi)求平均得到 mAP。該值介于0到1之間，且越大越好。

（3） FPS（Frames Per Second），用于評(píng)判系統(tǒng)檢測(cè)速度。本系統(tǒng)主要按照以上三個(gè)指標(biāo)對(duì)多目標(biāo)檢測(cè)任務(wù)進(jìn)行評(píng)估，最終在數(shù)據(jù)集上的達(dá)到官方實(shí)驗(yàn)效果，鑒于數(shù)據(jù)各種場(chǎng)景的復(fù)雜性，其最終IOU和mAP難以評(píng)估，估計(jì)會(huì)低于預(yù)期。

在實(shí)現(xiàn)標(biāo)準(zhǔn)數(shù)據(jù)集實(shí)驗(yàn)效果的基礎(chǔ)上，進(jìn)行各種場(chǎng)景的遷移學(xué)習(xí)從而進(jìn)行微調(diào)，并最終應(yīng)用于處理視頻幀，現(xiàn)初步預(yù)定幀率為35FPS，但使用環(huán)境的不同可能會(huì)影響最終的幀率。

圖1. 多目標(biāo)檢測(cè)實(shí)例

參考傳統(tǒng)目標(biāo)檢測(cè)算法，綜合目前各種深度學(xué)習(xí)網(wǎng)絡(luò)模型在多目標(biāo)檢測(cè)任務(wù)中的應(yīng)用效果，本項(xiàng)目擬采用初步復(fù)現(xiàn)，穩(wěn)步提升的總體路線，從經(jīng)典的Faster RCNN到SDD …… 一直到最新的YOLOv3，逐一驗(yàn)證和改進(jìn)并產(chǎn)品化。鑒于此，項(xiàng)目的開(kāi)發(fā)總體流程如圖2所示：

圖2. 系統(tǒng)總體流程圖

依據(jù)VOC、MS
COCO等標(biāo)準(zhǔn)數(shù)據(jù)集對(duì)多目標(biāo)檢測(cè)任務(wù)的數(shù)據(jù)標(biāo)注形式和規(guī)則，本項(xiàng)目的數(shù)據(jù)集需要按如下方式組織，標(biāo)注數(shù)據(jù)的形式和其對(duì)應(yīng)的原始圖像如圖3所示：

圖3. 數(shù)據(jù)標(biāo)注樣例（左）與原始圖像數(shù)據(jù)（右）

本系統(tǒng)暫擬定復(fù)現(xiàn)和改進(jìn)YOLOv3網(wǎng)絡(luò)，但在此之前會(huì)驗(yàn)證Faster RCNN和YOLOV3等網(wǎng)絡(luò)模型。

Faster RCNN網(wǎng)絡(luò)結(jié)構(gòu)說(shuō)明：

圖4. Faster
RCNN網(wǎng)絡(luò)結(jié)構(gòu)

Faster RCNN可以看做“區(qū)域生成網(wǎng)絡(luò)RPNs + Fast RCNN”的系統(tǒng)，用區(qū)域生成網(wǎng)絡(luò)代替Fast RCNN中的Selective Search方法。 RPN網(wǎng)絡(luò)的核心思想是使用CNN卷積神經(jīng)網(wǎng)絡(luò)直接產(chǎn)生Region Proposal，使用的方法本質(zhì)上就是滑動(dòng)窗口（只需在最后的卷積層上滑動(dòng)一遍），由anchor機(jī)制和邊框回歸可以得到多尺度多長(zhǎng)寬比的Region Proposal。

YOLOV3網(wǎng)絡(luò)結(jié)構(gòu)說(shuō)明：

圖5. YOLOV3網(wǎng)絡(luò)結(jié)構(gòu)

YOLOV3使用VGG-16-Atrous作為基礎(chǔ)網(wǎng)絡(luò)，其中黃色部分是在VGG-16基礎(chǔ)網(wǎng)絡(luò)上添加的特征提取層。YOLOV3與YOLO不同之處是除了在最終特征圖上做目標(biāo)檢測(cè)之外，還在之前選取的5個(gè)特特征圖上進(jìn)行預(yù)測(cè)。從圖5可以看出，檢測(cè)過(guò)程不僅在添加特征圖(conv8_2， conv9_2，
conv_10_2， pool_11)上進(jìn)行，為了保證網(wǎng)絡(luò)對(duì)小目標(biāo)有很好檢測(cè)效果，檢測(cè)過(guò)程也在基礎(chǔ)網(wǎng)絡(luò)特征圖(conv4_3， conv_7)上進(jìn)行。

圖6.
車(chē)輛檢測(cè)算法性能對(duì)比

YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)說(shuō)明：

圖7. YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)

YOLOv3模型是目前YOLO系列中最新的、執(zhí)行效果最好和處理速度最快的目標(biāo)檢測(cè)模型，可用于服務(wù)器端的部署。

集成整合方案：

第一，使用COCO數(shù)據(jù)集，將行人，車(chē)輛，地面標(biāo)識(shí)，TSR的COCO公開(kāi)數(shù)據(jù)集進(jìn)行整合，使用yolov3在GPU上進(jìn)行訓(xùn)練和測(cè)試，反復(fù)調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)，直到訓(xùn)練loss收斂，測(cè)試結(jié)果性能指標(biāo)和檢測(cè)圖像輸出顯示效果較佳。

第二，整合視覺(jué)行人，車(chē)輛，地面標(biāo)識(shí)，TSR的數(shù)據(jù)集，使用上一步的yolov3網(wǎng)絡(luò)模型，用遷移學(xué)習(xí)的方法，訓(xùn)練和測(cè)試視覺(jué)的數(shù)據(jù)集，反復(fù)調(diào)整yolov3的網(wǎng)絡(luò)模型和參數(shù)，直到訓(xùn)練loss收斂，測(cè)試結(jié)果性能指標(biāo)和檢測(cè)圖像輸出顯示效果較佳。

第三，將上一步y(tǒng)olov3的網(wǎng)絡(luò)模型集成到FPGA板子上，繼續(xù)利用整合好的視覺(jué)的數(shù)據(jù)集，反復(fù)調(diào)整網(wǎng)絡(luò)模型和參數(shù)，反復(fù)優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，保證準(zhǔn)確度，召回率，幀率都達(dá)到較佳的效果。

Schedule：

在GPU上完成coco數(shù)據(jù)集上的yolov3整合。

在GPU上完成自主采集數(shù)據(jù)集上的yolov3整合。

在FPGA上完成自主采集數(shù)據(jù)集上的yolov3整合。

性能指標(biāo)：

在自主采集數(shù)據(jù)集上達(dá)到（詳細(xì)指標(biāo)在開(kāi)發(fā)過(guò)程中逐步修正）

集成

算法開(kāi)發(fā)完成后，將算法集成到嵌入式硬件平臺(tái)用于路測(cè)。

總結(jié)

以上是生活随笔為你收集整理的计算机视觉多目标检测整合算法的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。