將激光雷達(dá)與相機(jī)結(jié)合，再通過(guò)深度學(xué)習(xí)的方式獲得場(chǎng)景的3D模型——Ouster首席執(zhí)行官在博客中介紹了相機(jī)OS-1，并裝有激光雷達(dá)。LiveVideoStack對(duì)原文進(jìn)行了摘譯。

文 / Angus Pacala. Ouster?

譯 / 王月美

技術(shù)審校 / 田棟

原文 https://medium.com/ouster/the-camera-is-in-the-lidar-6fcf77e7dfa6

很明顯，當(dāng)Ouster三年前開(kāi)始開(kāi)發(fā)OS-1時(shí)，相機(jī)的深度學(xué)習(xí)研究就超過(guò)了激光雷達(dá)研究。激光雷達(dá)數(shù)據(jù)具有突出的獨(dú)特優(yōu)勢(shì)，——簡(jiǎn)舉二例，如空間信息豐富、環(huán)境光照不敏感，——然而它缺乏類(lèi)似于傳統(tǒng)相機(jī)圖像的原始（高）分辨率和高效的陣列存儲(chǔ)結(jié)構(gòu)，因而3D點(diǎn)云在神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)或處理中迄今缺乏高效快速的硬件算法及實(shí)現(xiàn)。

考慮到兩種傳感模式之間的權(quán)衡，我們從一開(kāi)始就將激光雷達(dá)和相機(jī)的優(yōu)勢(shì)集中在一個(gè)設(shè)備中。今天，我們發(fā)布了固件升級(jí)并更新到了我們的開(kāi)源驅(qū)動(dòng)程序中來(lái)實(shí)現(xiàn)這一目標(biāo)。我們的OS-1激光雷達(dá)現(xiàn)在可以實(shí)時(shí)的輸出固定分辨率的深度圖像、信號(hào)圖像和環(huán)境圖像，而所有這些都不需要攝像頭的參與。數(shù)據(jù)層在空間上完全相關(guān)，具有零時(shí)間失配或快門(mén)效應(yīng)，并且每個(gè)像素具有16位和線性光響應(yīng)。

讓我們一探究竟：

同時(shí)從OS-1輸出的實(shí)時(shí)圖像層。你從上到下看到的是環(huán)境、強(qiáng)度、范圍和點(diǎn)云——這些所有來(lái)自我們的激光雷達(dá)。請(qǐng)注意，環(huán)境圖像捕獲了多云的天空和樹(shù)木及車(chē)輛的陰影。

相比大多數(shù)數(shù)碼單反相機(jī)，OS-1的光學(xué)系統(tǒng)具有更大的光圈，并且我們開(kāi)發(fā)的光子計(jì)數(shù)ASIC具有極低的光敏度，因此即使在低光照條件下也能夠收集環(huán)境圖像。OS-1捕獲近紅外信號(hào)和環(huán)境數(shù)據(jù)，因此數(shù)據(jù)非常類(lèi)似于相同場(chǎng)景的可見(jiàn)光圖像，這使得數(shù)據(jù)具有自然的外觀，且為攝像機(jī)開(kāi)發(fā)的算法很好地轉(zhuǎn)換為數(shù)據(jù)提供了更高的可能性。未來(lái)，我們將努力從這些環(huán)境圖像中去除固定模式噪聲，但與此同時(shí)我們希望可以讓客戶(hù)獲得數(shù)據(jù)！

另外，還更新了我們的開(kāi)源驅(qū)動(dòng)程序，將這些數(shù)據(jù)層輸出為固定分辨率的360°全景幀，以便客戶(hù)能夠立即開(kāi)始使用新的功能。而且，我們將提供基于VTK構(gòu)建的新的跨平臺(tái)可視化工具，用于查看、記錄 、并在Linux，Mac和Windows上并排播放圖像和點(diǎn)云。傳感器輸出的數(shù)據(jù)不需要后期處理即可實(shí)現(xiàn)此功能——該神奇之處是在于硬件，而驅(qū)動(dòng)程序只是將流數(shù)據(jù)包組裝成圖像幀。

我們的新開(kāi)源可視化工具。完整未經(jīng)編輯的視頻：https://www.youtube.com/watch?v=LcnbOCBMiQM

獲得早期訪問(wèn)更新權(quán)的客戶(hù)已經(jīng)被打動(dòng)了，我們鼓勵(lì)任何對(duì)OS-1感興趣的人在線觀看我們未經(jīng)編輯的視頻，或者下載我們的原始數(shù)據(jù)并使用可視化工具自行播放。

固件更新頁(yè)面：https：//www.ouster.io/downloads

Github和樣本數(shù)據(jù)：www.github.com/ouster-LIDAR

這不是噱頭

我們已經(jīng)看到多家激光雷達(dá)公司推出激光雷達(dá)/相機(jī)融合解決方案。通過(guò)將一個(gè)單獨(dú)的相機(jī)與一個(gè)激光雷達(dá)聯(lián)合安裝，執(zhí)行偽劣的外部校準(zhǔn)，并為最終無(wú)用的產(chǎn)品推出了新聞稿。但是，我們沒(méi)有這樣做。為了證明這一點(diǎn)，我們想要分享一些證明OS-1傳感器數(shù)據(jù)有多么強(qiáng)大的例子，這將讓我們回到深度學(xué)習(xí)。

由于傳感器在每個(gè)像素處輸出具有深度，信號(hào)和環(huán)境數(shù)據(jù)的固定分辨率圖像幀，因此我們能夠?qū)⑦@些圖像直接饋送到最初為相機(jī)開(kāi)發(fā)的深度學(xué)習(xí)算法中去。我們?cè)谑噶恐芯幋a深度，強(qiáng)度和環(huán)境信息，這很像彩色圖像的網(wǎng)絡(luò)將編碼輸入層的紅色，綠色和藍(lán)色通道。當(dāng)然，我們訓(xùn)練過(guò)的網(wǎng)絡(luò)已經(jīng)非常適用于新的激光雷達(dá)數(shù)據(jù)類(lèi)型。

作為一個(gè)示例，我們訓(xùn)練了每像素語(yǔ)義分類(lèi)器，以識(shí)別來(lái)自舊金山周?chē)囊幌盗猩疃群蛷?qiáng)度幀中的可駕駛道路，車(chē)輛，行人和騎自行車(chē)的人。我們能夠在NVIDIA GTX 1060上實(shí)時(shí)運(yùn)行生成的網(wǎng)絡(luò)，并取得了可喜的成果，特別是考慮到其實(shí)這是我們嘗試的第一個(gè)實(shí)現(xiàn)。請(qǐng)查閱：

完整視頻: https://www.youtube.com/watch?v=JxR9MasA9Yc

因?yàn)槊總€(gè)像素都提供了所有的數(shù)據(jù)，所以我們能夠無(wú)縫地將2D掩碼轉(zhuǎn)換為3D幀，以進(jìn)行額外的實(shí)時(shí)處理，如邊界框估計(jì)和跟蹤。

在其他情況下，我們選擇將深度，信號(hào)和環(huán)境圖像分開(kāi)，并將它們獨(dú)立地傳遞到同一網(wǎng)絡(luò)中去。例如，我們從DeTone等人的SuperPoint項(xiàng)目中獲取了預(yù)先訓(xùn)練好的網(wǎng)絡(luò)，并直接在我們的強(qiáng)度和深度圖像上運(yùn)行它。網(wǎng)絡(luò)在大量通用RGB圖像上進(jìn)行訓(xùn)練，且從未見(jiàn)過(guò)深度/激光雷達(dá)數(shù)據(jù)，但強(qiáng)度和深度圖像的結(jié)果卻令人驚嘆：

完整視頻: https://www.youtube.com/watch?v=igsJxrbaejw

仔細(xì)檢查后，很明顯地發(fā)現(xiàn)，網(wǎng)絡(luò)正在拾取每個(gè)圖像中的不同關(guān)鍵點(diǎn)。任何從事激光雷達(dá)和視覺(jué)測(cè)距的人都會(huì)掌握這個(gè)結(jié)果中所體現(xiàn)的冗余的價(jià)值。激光雷達(dá)測(cè)距儀只在隧道和高速公路等幾何均勻的環(huán)境中使用，而視覺(jué)測(cè)距儀則在無(wú)紋理和光線不足的環(huán)境中使用。而OS-1的相機(jī)/激光雷達(dá)融合將為這個(gè)長(zhǎng)期存在的問(wèn)題提供多模式解決方案。

以上這些結(jié)果令我們相信，融合的激光雷達(dá)和相機(jī)數(shù)據(jù)遠(yuǎn)遠(yuǎn)超過(guò)其各部分的單純總和，我們期望未來(lái)激光雷達(dá)和相機(jī)之間能夠有進(jìn)一步融合。

總結(jié)

以上是生活随笔為你收集整理的相机+激光雷达重绘3D场景的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。