????????AVOD（Aggregate View Object Detection）和MV3D類似,是一種融合3維點云和相機RGB圖像的三維目標檢測算法. 不同的是: MV3D中融合了相機RGB圖像,點云BEV映射和FrontView映射,而AVOD則只融合相機RGB圖像和點云BEV映射.

????????從網(wǎng)絡結果來看,AVOD采用了基于兩階的檢測網(wǎng)絡,這讓我們很容易想到同樣是兩階檢測網(wǎng)絡結果的Faster RCNN物體檢測網(wǎng)絡. 一想到兩階,相信大家首先想到的就是檢測精度高但檢測速率慢,僅適用了是檢測幀率要求不高且要求檢測精度的場景.

????????下面是一張AVOD的網(wǎng)絡結構圖(圖片來源于網(wǎng)絡):

????????AOVD的兩階體現(xiàn)在兩個方面: 目標框檢測, 數(shù)據(jù)級和特征級兩步融合. 基本過程如下:

一. AVOD對RGB圖像和點云BEV分兩路使用FPN網(wǎng)絡(關于FPN的細節(jié)不再闡述)進行特征提取,獲取兩種輸入的全分辨率特征映射: 圖像特征映射和BEV特征映射(高度圖和密度圖).

二.對于兩種特征映射,為了對它們進行融合,需要調(diào)整到一致的尺寸, 分別對它們進行1x1卷積,進一步提取特征,然后調(diào)整同樣尺寸后, 進行融合. 這是第一融合,相對于第二次融合,該次融合相當于數(shù)據(jù)級融合.

三.?經(jīng)第一次融合后的特征,送入一個類似Faster RCNN的RPN網(wǎng)路,經(jīng)全連接層和NMS后,經(jīng)第一次分類和3DBBox回歸后, 生成一些列區(qū)域建議框(候選框),

四. 生成的建議框分別和第一步生成的兩路特征映射一起,經(jīng)調(diào)整尺寸后,進行第二次融合(區(qū)域建議框融合).

五. 融合后的特征,經(jīng)全連接層第二次分類和3DBBox回歸運算后,經(jīng)NMS后期處理,最終生成目標檢測框.

點云鳥瞰圖(BEV)的獲取方式:

? ? ? ? 在AVOD中,算法采用兩種方式來表達BEV數(shù)據(jù): 高度圖 和 密度圖

• 高度圖：?從BEV視角區(qū)域，劃分為一定尺寸的網(wǎng)格,比如: MxN. 在每一個網(wǎng)忘格里，在從高度方向?qū)?-2.5高的垂直空間劃分為K層，這樣就把BEV視角的點云空間劃分為M x N x K的立體格(Voxel), 同時找出每個立體格內(nèi)的最大高度H_max。這樣,有這M x N x K個H_max就構成了高度圖。
• 密度圖： 基于上一步的M x N x K的立體格(Voxel), 計算每個立體格的點云點密度,計算公式為?,由此M x N x K個密度值構成密度圖。

創(chuàng)新性的3維邊界框的向量表示形式:

????????一般的做法是: 對于2維檢測框,采用4x2(x,y)共8個值,或中心點+尺寸表示法: 1(長)+1(寬)+2(x,y)共4個值. 而對于3維檢測框,采用8x3(x,y,z)共24個值.

????????AVOD創(chuàng)新性的采用了底面邊框+上下面離地高度形式,即; 4x2(x,y)? + 2x高的形式,共10個值. 詳細見下圖, 圖中左側為MV3D的24值表示法,右側為AVOD的10值表示法:

總結

以上是生活随笔為你收集整理的三十三.智能驾驶之多传感器融合技术: AVOD融合方法的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。