將激光雷達與相機結(jié)合，再通過深度學(xué)習(xí)的方式獲得場景的3D模型——Ouster首席執(zhí)行官在博客中介紹了相機OS-1，并裝有激光雷達。LiveVideoStack對原文進行了摘譯。

文 / Angus Pacala. Ouster?

譯 / 王月美

技術(shù)審校 / 田棟

原文 https://medium.com/ouster/the-camera-is-in-the-lidar-6fcf77e7dfa6

很明顯，當(dāng)Ouster三年前開始開發(fā)OS-1時，相機的深度學(xué)習(xí)研究就超過了激光雷達研究。激光雷達數(shù)據(jù)具有突出的獨特優(yōu)勢，——簡舉二例，如空間信息豐富、環(huán)境光照不敏感，——然而它缺乏類似于傳統(tǒng)相機圖像的原始（高）分辨率和高效的陣列存儲結(jié)構(gòu)，因而3D點云在神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)或處理中迄今缺乏高效快速的硬件算法及實現(xiàn)。

考慮到兩種傳感模式之間的權(quán)衡，我們從一開始就將激光雷達和相機的優(yōu)勢集中在一個設(shè)備中。今天，我們發(fā)布了固件升級并更新到了我們的開源驅(qū)動程序中來實現(xiàn)這一目標(biāo)。我們的OS-1激光雷達現(xiàn)在可以實時的輸出固定分辨率的深度圖像、信號圖像和環(huán)境圖像，而所有這些都不需要攝像頭的參與。數(shù)據(jù)層在空間上完全相關(guān)，具有零時間失配或快門效應(yīng)，并且每個像素具有16位和線性光響應(yīng)。

讓我們一探究竟：

同時從OS-1輸出的實時圖像層。你從上到下看到的是環(huán)境、強度、范圍和點云——這些所有來自我們的激光雷達。請注意，環(huán)境圖像捕獲了多云的天空和樹木及車輛的陰影。

相比大多數(shù)數(shù)碼單反相機，OS-1的光學(xué)系統(tǒng)具有更大的光圈，并且我們開發(fā)的光子計數(shù)ASIC具有極低的光敏度，因此即使在低光照條件下也能夠收集環(huán)境圖像。OS-1捕獲近紅外信號和環(huán)境數(shù)據(jù)，因此數(shù)據(jù)非常類似于相同場景的可見光圖像，這使得數(shù)據(jù)具有自然的外觀，且為攝像機開發(fā)的算法很好地轉(zhuǎn)換為數(shù)據(jù)提供了更高的可能性。未來，我們將努力從這些環(huán)境圖像中去除固定模式噪聲，但與此同時我們希望可以讓客戶獲得數(shù)據(jù)！

另外，還更新了我們的開源驅(qū)動程序，將這些數(shù)據(jù)層輸出為固定分辨率的360°全景幀，以便客戶能夠立即開始使用新的功能。而且，我們將提供基于VTK構(gòu)建的新的跨平臺可視化工具，用于查看、記錄 、并在Linux，Mac和Windows上并排播放圖像和點云。傳感器輸出的數(shù)據(jù)不需要后期處理即可實現(xiàn)此功能——該神奇之處是在于硬件，而驅(qū)動程序只是將流數(shù)據(jù)包組裝成圖像幀。

我們的新開源可視化工具。完整未經(jīng)編輯的視頻：https://www.youtube.com/watch?v=LcnbOCBMiQM

獲得早期訪問更新權(quán)的客戶已經(jīng)被打動了，我們鼓勵任何對OS-1感興趣的人在線觀看我們未經(jīng)編輯的視頻，或者下載我們的原始數(shù)據(jù)并使用可視化工具自行播放。

固件更新頁面：https：//www.ouster.io/downloads

Github和樣本數(shù)據(jù)：www.github.com/ouster-LIDAR

這不是噱頭

我們已經(jīng)看到多家激光雷達公司推出激光雷達/相機融合解決方案。通過將一個單獨的相機與一個激光雷達聯(lián)合安裝，執(zhí)行偽劣的外部校準(zhǔn)，并為最終無用的產(chǎn)品推出了新聞稿。但是，我們沒有這樣做。為了證明這一點，我們想要分享一些證明OS-1傳感器數(shù)據(jù)有多么強大的例子，這將讓我們回到深度學(xué)習(xí)。

由于傳感器在每個像素處輸出具有深度，信號和環(huán)境數(shù)據(jù)的固定分辨率圖像幀，因此我們能夠?qū)⑦@些圖像直接饋送到最初為相機開發(fā)的深度學(xué)習(xí)算法中去。我們在矢量中編碼深度，強度和環(huán)境信息，這很像彩色圖像的網(wǎng)絡(luò)將編碼輸入層的紅色，綠色和藍色通道。當(dāng)然，我們訓(xùn)練過的網(wǎng)絡(luò)已經(jīng)非常適用于新的激光雷達數(shù)據(jù)類型。

作為一個示例，我們訓(xùn)練了每像素語義分類器，以識別來自舊金山周圍的一系列深度和強度幀中的可駕駛道路，車輛，行人和騎自行車的人。我們能夠在NVIDIA GTX 1060上實時運行生成的網(wǎng)絡(luò)，并取得了可喜的成果，特別是考慮到其實這是我們嘗試的第一個實現(xiàn)。請查閱：

完整視頻: https://www.youtube.com/watch?v=JxR9MasA9Yc

因為每個像素都提供了所有的數(shù)據(jù)，所以我們能夠無縫地將2D掩碼轉(zhuǎn)換為3D幀，以進行額外的實時處理，如邊界框估計和跟蹤。

在其他情況下，我們選擇將深度，信號和環(huán)境圖像分開，并將它們獨立地傳遞到同一網(wǎng)絡(luò)中去。例如，我們從DeTone等人的SuperPoint項目中獲取了預(yù)先訓(xùn)練好的網(wǎng)絡(luò)，并直接在我們的強度和深度圖像上運行它。網(wǎng)絡(luò)在大量通用RGB圖像上進行訓(xùn)練，且從未見過深度/激光雷達數(shù)據(jù)，但強度和深度圖像的結(jié)果卻令人驚嘆：

完整視頻: https://www.youtube.com/watch?v=igsJxrbaejw

仔細(xì)檢查后，很明顯地發(fā)現(xiàn)，網(wǎng)絡(luò)正在拾取每個圖像中的不同關(guān)鍵點。任何從事激光雷達和視覺測距的人都會掌握這個結(jié)果中所體現(xiàn)的冗余的價值。激光雷達測距儀只在隧道和高速公路等幾何均勻的環(huán)境中使用，而視覺測距儀則在無紋理和光線不足的環(huán)境中使用。而OS-1的相機/激光雷達融合將為這個長期存在的問題提供多模式解決方案。

以上這些結(jié)果令我們相信，融合的激光雷達和相機數(shù)據(jù)遠遠超過其各部分的單純總和，我們期望未來激光雷達和相機之間能夠有進一步融合。

總結(jié)

以上是生活随笔為你收集整理的相机+激光雷达重绘3D场景的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。