12月28日，百度Apollo平臺攜手國內激光雷達公司禾賽科技扔下一顆名為Pandora的重磅炸彈，此舉將極大地加快無人駕駛落地的進程，卻也會讓不少自動駕駛初創公司陷入無比尷尬的境地。 簡單地說，Pandora指的是一套以激光雷達、環視攝像頭模組、多傳感器融合和感知識別算法為一體的自動駕駛開發者套件，它實際上是一種新型的“多傳感器融合”技術。 通常，業界所說的“多傳感器融合”，都是指對攝像頭、激光雷達、毫米波雷達、超聲波雷達等多種傳感器各自分別收集到的數據所做的“數據融合”，而Pandora的做法則是“硬件層面的融合”，即在硬件層面就將攝像頭、激光雷達集成到一起，然后再將采集到的數據統一輸送到計算平臺。 在Pandora的開發過程中，禾賽主要負責硬件產品的設計和制造，而百度Apollo負責整體系統的定義和算法的適配。但目前尚不清楚，Pandora中采用的激光雷達，是不是禾賽的混合固態Pandar40。 為什么要做Pandora，它能解決什么問題呢？ 禾賽方面認為，對大多數涉足自動駕駛的公司來說，搞定一套傳感器方案，這個看似簡單的工作，卻往往需要耗費一個小團隊至少6-8個月的寶貴研發時間，才能勉強做到“不拖后腿”，而這又僅僅是“重復發明輪子”的一個過程。Pandora就是為了解決這樣的研發痛點而生。 做“硬件層面的多傳感器融合”，Pandora并不是第一家，硅谷激光雷達公司AEye早在2013年成立之初就這么干了；《建約車評》在12月18日報道的硅谷激光雷達初創公司Innovusion也采取了激光雷達和攝像頭在硬件層面融合的方案。 禾賽科技CEO李一帆和百度Apollo主任研發架構師王亮都在這次Pandora的發布會上詳細解釋了硬件層面的多傳感器融合對整個行業的積極意義，隨后，《建約車評》也采訪了地平線創始人余凱、馭勢科技創始人吳甘沙、主線科技創始人張天雷、智行者科技創始人張德兆等多位業內人士，多位受訪者一致認為，像Pandora這種多傳感器融合方案，是“大勢所趨”。 總的來說，Innovusion和禾賽這種硬件層面的多傳感器融合方案，最明顯的好處有以下幾點： 1.提高了探測的可靠性 我們大家理解的“點云”，其實并不是激光雷達的原始數據。點云只是原始數據經過“過濾”后形成的產物，真正的原始數據可能比點云的數據多1000倍，也就是說，超過點云數據900倍的原始數據，都在傳感器里“藏著掖著”，沒有被輸送到中央計算系統——這些數據如果被充分利用起來的話，會有助于提高系統對外部環境的感知能力。 據Innovusion創始人鮑君威介紹，硬件端的融合，恰好可以充分利用起這些數據，再加上激光雷達和攝像頭分辨率的自然匹配，極大地提高了三維空間重構以及物體探測的可靠性。 2.解決了數據同步的問題 在常見的那種“數據融合”下，來自于不同的傳感器并經過匯總的數據在軟件層融合的過程，往往需要幾十毫秒、上百毫秒的延遲——如果不同廠商做的傳感器沒有同步的機制，還需要額外花很大力氣做同步；同步不好的話，同一個物體會由于運動造成不同傳感器探測到的空間位置的不一致，給后續融合造成額外的困擾 。而在硬件層面的融合，則不會存在這種問題。 3.節省計算量，降低功耗 硬件端的融合還減少了對計算量的要求，提高了運算處理的效率。 站在攝像頭的角度看，跟激光雷達在硬件端融合，檢測到的信息就直接是三維的，不像之前那樣只能檢測到二維信息，然后第三維“靠猜”了；站在激光雷達的角度，跟攝像頭的融合，檢測到的信息直接帶有顏色，可以分類，不需要后端再處理一次了。 從產品性能的角度，節省結算量，就是提高效率；而站在用戶的角度，節省計算量，就可以降低功耗、降低對硬件端的性能要求，進而降低成本。 4.幫用戶節省時間 Pandora不是激光雷達和攝像頭的機械式拼湊，而是一個匹配了算法和處理器的有機系統，用戶可以“拿走即用”，而不是像以前那樣從不同的供應商處拿到不同的傳感器后還得再花個大半年時間進行匹配、調試。這就會幫用戶節省很多時間，讓他們把時間投入到自己更擅長、也更有價值的事情上面。 5. 降低集成難度 激光雷達和多個攝像頭的一體化機械設計，使總體積明顯變小，布線也簡單多了，更方便主機廠的集成安裝。 吳甘沙認為，Pandora所提供的前融合方案，會是一個大方向，只是當前因為激光雷達的價格太高，還不能成為主流，但2-3年后，一旦激光雷達的成本降低到1000美元以下，跟攝像頭融合起來就很厲害了。 Pandora將優先為Apollo聯盟成員提供技術支持和產品信息，并且，Apollo成員還可享受最佳供貨期和最優購買價。這個重磅的推出，可能會吸引更多的主機廠及Tier，甚至是無人駕駛初創公司加入Apollo生態。 但并非是“你好，我好，大家好”。一旦Pandor的各種“用戶體驗”經過驗證，將會有不少原本采用“別人家的激光雷達”的用戶“倒戈”，這個時候，那些“體驗不佳”的方案將會受到極大沖擊。 起初，一些激光雷達公司也許會有一點危機感，但他們可能很快就發現，激光雷達和攝像頭在硬件端的融合，難度并不大，他們自己也可以做。然后，相關的Tier 1也會跟進。再然后呢？ “多傳感器融合”（數據融合），一直是Momenta、pony.ai及Roadstar 等諸多無人駕駛初創公司的主要技術方案，現在，激光雷達廠商和Tier 1都來做“多傳感器融合”，并且，把融合“前置”到硬件層，不僅使用更方面，而且性能也更好，這......看到這樣的消息，一些“多傳感器融合“的技術方案供應商可能“整個人都不好了”。 左邊，是來自原來的“潛在客戶”Tier 1們的“降維打擊”；右邊，是來自那些原先只能做它的供應商的激光雷達廠商的“升維打擊”，技術方案供應商，處境將無比尷尬。 讓這些初創公司去投靠禾賽這樣的激光雷達公司，它們當然不會甘心；相比之下，投入Tier 1的懷抱，為Tier 1做“多傳感器融合”——不是它們自己那老一套的融合方案，而是類似于Pandora這種融合，可能已是“最好的結局”。 一點補充： 不過，并非所有人都對Pandora及其所代表的新技術盲目樂觀。主要有以下幾種聲音—— 1.余凱認為，Pandora這樣的標品打包方案，應該會有很多無人駕駛企業感興趣，但“估計離車規級量產版本還有很長距離”。 2.某激光雷達企業COO認為，在硬件端就將攝像頭和激光雷達融合，最大的弊端在于，靈活性不足。有的用戶，可能就希望攝像頭和激光雷達安裝在不同的地方，就希望用某一個款特定的攝像頭，而“硬件層的融合”卻杜絕了這種可能性。最終結果可能是，只有那些技術實力不強、沒有能力自己做融合的技術會采用Pandora，而融合能力強的用戶還是會自己研究傳感器方案。 3.吳甘沙雖然也看好Pandora這個方向，但他也有一些疑慮。“以前的一些融合產品，如德爾福曾在2013年推出將雷達和攝像頭集成到一起的駕駛輔助系統RACam， 大陸也在2015年推出過一款將單線激光雷達和攝像頭融合在一起的‘多功能攝像頭激光雷達’（MFL）中，但也并沒有做得有風生水起。” 4. 在Roadstar創始人佟顯僑看來，Pandora在本質上就是個Super Sensor，和Depth Camera”沒多大區別。佟顯僑還是對Roadstar所采用的多傳感器融合技術更有信心。 Roadstar的多傳感器融合技術，既不同于Pandora的“在硬件層次融合”，也跟其他無人駕駛初創公司的“數據融合”有很大的不同——通常的“數據融合”，都是先等各傳感器收集到的原始數據再經過計算處理后再融合，而Roadstar則使用獨創的算法DeepFusion，對各種傳感器獲得的原始數據進行深度融合。 這種深度融合數據算法使深度學習所需要的訓練數據大幅度減少，用4000個數據就能超過傳統非深度融合學習算法15萬個數據的效果。并且，由于傳感器的物理特性互補，導致很多LiDAR和Camera下的Corner sense都可以別識別，導致Corner Sense降低到傳統算法下的1%。如此一來，就降低了對路測里程的要求。

總結

以上是生活随笔為你收集整理的自动驾驶多传感器融合的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。