作者?|?自動駕駛我睡覺?編輯?|?汽車人

原文鏈接：https://zhuanlan.zhihu.com/p/638759432

點擊下方卡片，關注“自動駕駛之心”公眾號

ADAS巨卷干貨，即可獲取

點擊進入→自動駕駛之心【占用網絡】技術交流群

論文鏈接：https://opendrivelab.com/e2ead/AD23Challenge/Track_3_NVOCC.pdf?=&linkId=100000205404832

github地址：
https://github.com/NVlabs/FB-BEV

一：模型機構設計：

1.基于3D檢測方法（FB-BEV）; 2.Forward Projection(參考LSS)+ Backward Projection(參考BEVFormer)

Forward Projection：1）使用前向投影來生成3D體素表示 2）將 3D 體素表?壓縮為扁平化的BEV特征圖 3）最后將 3D 體素表?和優化的 BEV 表?的融合特征輸?到后續任務頭中

前向投影總結：相對原來的LSS是投影到BEV空間中，這里是投影到3D體素空間中

Backward Projection：

1）3D體素表?壓縮為BEV表示，從?結合更強的語義 2）利?了投影階段的深度分布，能夠更精確地建模投影關系

后向投影總結：靈感來源于BEVFormer， 1.與使?隨機初始化參數作為 BEV 查詢的 BEVFormer 不同，采用1)；2.在推理階段使用了深度分布，從而保證了更加精確的

最后獲得3D體素表示和優化后的BEV表示后， 通過擴展BEV特征的過程將他們組合起來， 從而產生最終的3D體素表示 圖一圖二中展示了體素編碼器和占用預測頭

二：損失函數：

Lfl ：距離感知焦距損失函數

Ldl：語義分割深度分析損失函數

Lgeo scal/Lsem scal：來自MonoScene的親和力損失函數

Lls：lovasz-softmax損失函數

Ld：深度監督損失

Ls ：2D語義損失

三：擴大模型和預訓練：

作者花了大段時間介紹大模型的過擬合的劣勢還有計算復雜度的問題，綜合評比下來，選用了1B參數的backbone，interimage-H；

此模型用于nuScenes中直接應用會有嚴重的過度擬合，利用比賽提供的public data做與訓練

在Object365數據集上進行2D檢測任務的與訓練，用于增強模型的語義感知能力

為了增加深度感知，和減輕模型過度偏向深度信息的風險，導致語義丟失，在nuScenes數據集上進行深度估計的預訓練，用來增強模型的幾何感知能力

考慮到nuScenes數據集不提供2D圖像語義標簽，使用SAM模型生成

四：實驗結果：

（一）視頻課程來了！

自動駕駛之心為大家匯集了毫米波雷達視覺融合、高精地圖、BEV感知、多傳感器標定、傳感器部署、自動駕駛協同感知、語義分割、自動駕駛仿真、L4感知、決策規劃、軌跡預測等多個方向學習視頻，歡迎大家自取（掃碼進入學習）

（掃碼學習最新視頻）

視頻官網：www.zdjszx.com

（二）國內首個自動駕駛學習社區

近1000人的交流社區，和20+自動駕駛技術棧學習路線，想要了解更多自動駕駛感知（分類、檢測、分割、關鍵點、車道線、3D目標檢測、Occpuancy、多傳感器融合、目標跟蹤、光流估計、軌跡預測）、自動駕駛定位建圖（SLAM、高精地圖）、自動駕駛規劃控制、領域技術方案、AI模型部署落地實戰、行業動態、崗位發布，歡迎掃描下方二維碼，加入自動駕駛之心知識星球，這是一個真正有干貨的地方，與領域大佬交流入門、學習、工作、跳槽上的各類難題，日常分享論文+代碼+視頻，期待交流！

（三）【自動駕駛之心】全棧技術交流群

自動駕駛之心是首個自動駕駛開發者社區，聚焦目標檢測、語義分割、全景分割、實例分割、關鍵點檢測、車道線、目標跟蹤、3D目標檢測、BEV感知、多傳感器融合、SLAM、光流估計、深度估計、軌跡預測、高精地圖、NeRF、規劃控制、模型部署落地、自動駕駛仿真測試、產品經理、硬件配置、AI求職交流等方向；

添加汽車人助理微信邀請入群

備注：學校/公司+方向+昵稱

總結

以上是生活随笔為你收集整理的英伟达冠军！FB-OCC：CVPR23 3D占用预测冠军方案解读的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。