「誰用激光雷達，誰完蛋！」

在去年特斯拉舉辦的 Autonomy Day 上，特斯拉 CEO Elon Musk 言辭激烈地炮轟激光雷達。

「昂貴的傳感器是不必要的，這就像是一大堆昂貴的附屬品。」

「像闌尾一樣。一個闌尾不好——那么，一大堆闌尾怎么樣？這太荒謬了。」

Musk 對激光雷達的態度是盡人皆知，他甚至認為：自動駕駛汽車依賴激光雷達，就像行走依賴拐杖一樣。

雖然特斯拉在自動駕駛有過多次跳票的記錄，但特斯拉在人工智能與神經網絡上的飛速進步也給足了 Musk 不斷立下 Flag 的底氣。

當然，這也離不開 Autopilot 團隊的努力。

在今年 2 月的 Scaled ML 大會上，特斯拉 AI 高級總監 Andrej Karpathy 對外分享了特斯拉訓練 AI 的方法，同時也首次對外分享了特斯拉如何借助攝像頭就能實現激光雷達的探測精度。

傳統自動駕駛系統非常依賴激光雷達這一不可或缺的傳感器。

激光雷達的工作流程可以簡單理解為三個步驟：

首先，激光雷達陣列會投射出激光點陣；

而后，車載計算機將這些激光點陣的回波「翻譯」成 3D 圖像，讓車輛識別周邊是否有汽車車輛、行人、道路或建筑；

最后，自動駕駛汽車感知到周圍環境后，安全穿梭在復雜的路況下。

近些年來，自動駕駛的蓬勃發展也促進了激光雷達硬件及相關軟件方案行業的大躍進。但即使是這樣，激光雷達系統的價格依然居高不下。

與其相比，在智能手機、筆記本等行業已相當普及的攝像頭卻只要數十美元。

與激光雷達依靠激光飛行時間來判斷各個像素間距離的方法不同，人類測距靠的是大腦。

除了雙眼創造的立體視覺(只適合中等距離)，我們還能借助「動態視差」跟蹤物體的運動方式，從而得出其他可以參考的線索。而且，即使駕駛員閉上一只眼睛，也一樣能夠好好駕駛。

那么，借助神經網絡，自動駕駛汽車是不是也能實現同樣的效果呢？

這時就輪到「虛擬激光雷達」登場了。

目前，特斯拉 AI 團隊已經掌握了名為「虛擬激光雷達」(pseudo-LiDAR)的新技術，它彌合了傳統計算機視覺和激光雷達強大的點云世界之間的界線。

這是什么意思？

首先，特斯拉將計算機視覺提升到了前所未有的水平——不僅能夠分析圖像，而且還能夠分析圖像中的單個像素。

這也意味著，隨著時間推移，特斯拉的這一技術或許能夠復制傳統激光雷達的大部分功能，進一步提高特斯拉在 3D 物體探測方面的技術水平。

與訓練多個神經網絡相比，訓練虛擬激光雷達的過程并不復雜。在這里，工程師們會使用到無監督學習技術。

其次，與傳統激光雷達系統相比，特斯拉基于攝像頭探測方式的成本更加便宜，硬件端實現起來也更容易，探測距離更是能大幅提升。

不過，想實現相同的性能，特斯拉必須手握一套極其復雜的計算系統，將輸入的原始數據轉化成真實高效的信息。

比如，車載計算機能從連續的靜態圖像中識別出道路標線、交通標志和其他車輛。

「我們走了一條『虛擬激光雷達』的路徑，只需簡單預測單個像素的深度，找到它們直接的距離，就能得出結論。」Karpathy 說道。

這樣說來，特斯拉只要不斷重復這一過程，就能復制傳統激光雷達系統的大部分功能。

但與此同時，這個過程在解構圖像時，也需要付出巨大的實時算力。好在，特斯拉注重垂直整合，FSD 芯片就是專為自家代碼開發的。

目前，特斯拉的「虛擬激光雷達」解決方案正在變得越來越完善。

在 Scaled ML 大會上，Karpathy 放出了一系列有激光雷達形式的 3D 地圖，這些地圖看起來就像是激光雷達采集到的信息。

「只要利用好了視覺技術和『虛擬激光雷達』，(自動駕駛車輛在)未使用激光雷達和使用激光雷達之間的差距會快速縮小。」Karpathy 解釋。

當然，「虛擬激光雷達」這項技術并非特斯拉獨有的專利。

最早提出「虛擬激光雷達」概念的，要追溯到一篇來自康奈爾大學的技術論文。

這篇論文提出了一種新方法來縮短純視覺技術架構與激光雷達間的性能差距：

通過改變立體攝像頭目標檢測系統的 3D 信息呈現形式，將基于圖像的立體視覺數據轉換為類似激光雷達生成的 3D 點云，通過數據轉換切換成最終的視圖格式。

具體的過程是這樣的：

首先，將基于圖像的立體視覺數據轉換為類似激光雷達生成的 3D 點云；

其次，在數據輸入通常用于解讀激光雷達數據的 3D 物體探測算法之前，先將數據轉換為「鳥瞰」視圖格式。

康奈爾大學的研究人員在實驗中采用了 40 萬像素相機，雖然實驗結果仍然無法比肩激光雷達 66% 的 3D 平均精度，但是通過采用這種方案，基于圖像數據的 3D 平均精度大幅提高到了 37.9%。

研究人員表示，更高分辨率的相機可能會進一步提高實驗結果。

康奈爾大學的這項研究證明，利用成本低廉的立體視覺攝像頭，或能提供與激光雷達幾乎相同的精度。

要知道，激光雷達是目前自動駕駛技術開發中最常見的方案，也是最昂貴的技術方案。

這項研究，也在一定程度上為 Musk 在激光雷達上的觀點提供了一定技術支持。

那么，該如何評價這項技術呢？

如果有一天，「虛擬激光雷達」這項技術能完成對激光雷達的追趕，那些還在使用激光雷達的汽車廠商或是自動駕駛公司，會在第一時間投向「虛擬激光雷達」的懷抱嗎？

雖然整個自動駕駛行業已經基本認可自動駕駛車輛需要部署包括激光雷達、毫米波雷達、攝像頭在內的多種傳感器系統。

但從現在的情況來看，大多數公司還是想靠激光雷達一勞永逸的解決問題，畢竟這條路徑肯定行得通，而且激光雷達在未來還有相當大的降價空間。

而康奈爾大學的這項研究表明，立體攝像頭系統至少可以為基于激光雷達的探測方案提供低成本的備份冗余。

如果特斯拉能率先將「虛擬激光雷達」應用在車上，那么自動駕駛汽車基于攝像頭的 3D 物體探測或許在不久的將來或能成為現實。而這種前景的影響，將是巨大的。

參考信息：

https://cleantechnica.com/2020/04/24/tesla-achieved-the-accuracy-of-lidar-with-its-advanced-computer-vision-tech/

https://www.forbes.com/sites/bradtempleton/2020/04/14/if-teslas-dream-of-making-cameras-perform-as-well-as-lidar-comes-true-it-may-help-teslas-competitors-more/

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的怎么通过media foundation将图像数据写入虚拟摄像头_千倍成本压缩！特斯拉开发虚拟激光雷达，替代最贵自动驾驶传感器...的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。