前言：隨著機器視覺， 自動駕駛等顛覆性的技術逐步發展， 采用 3D 相機進行物體識別， 行為識別， 場景建模的相關應用越來越多， 可以說 3D 相機就是終端和機器人的眼睛。

那什么是 3D 相機呢？

? ? ? ? 跟之前的普通相機（2D） 比， 又有哪些差別？3D 相機又稱之為深度相機， 顧名思義， 就是通過該相機能檢測出拍攝空間的景深距離， 這也是與普通攝像頭最大的區別。 普通的彩色相機拍攝到的圖片能看到相機視角內的所有物體并記錄下來， 但是其所記錄的數據不包含這些物體距離相機的距離。 僅僅能通過圖像的語義分析來判斷哪些物體離我們比較遠， 哪些比較近， 但是并沒有確切的數據。 而 3D 相機則恰恰解決了該問題，?通過 3D 相機獲取到的數據，我們能準確知道圖像中每個點離攝像頭距離， 這樣加上該點在 2d 圖像中的(x,y)坐標， 就能獲取圖像中每個點的三維空間坐標。 通過三維坐標就能還原真實場景， 實現場景建模等應用。

? ? ? ? ?從上面描述可以看出， 我們的眼睛就是一個天然的 3D 相機， 這主要得益于偏光原理， 當人眼在看任何物體時， 由于兩只眼睛在空間有一定間距約為 5cm， 即存在兩個視角。 這樣形成左右兩眼所看的圖像不完全一樣， 稱為視差。 這種細微的視差通過視網膜傳遞到大腦里， 就能顯示出物體的前后遠近， 產生強烈的立體感， 這是 1839 年， 英國科學家溫特斯頓發現的奇妙現象。 自然的人類就想到通過兩個一定距離的普通攝像頭來模擬人眼來獲取 3D 數據。 這就是最初的雙目立體相機， 鑒于雙目相機的一些缺陷， 后來人們又發明了結構光和 TOF 的方法來獲取 3D 數據。

目前市面上常有的 3D 相機方案就就是這3 種。
(1)結構光(Structured-light)， 代表公司有奧比中光， 蘋果(Prime Sense)， 微軟 Kinect-1， 英特爾RealSense, Mantis Vision 等。
(2)雙目視覺(Stereo)， 代表公司 Leap Motion， ZED， 大疆;
(3)光飛行時間法(TOF)， 代表公司微軟 Kinect-2， PMD， SoftKinect， 聯想 Phab。

結構光
結構光， 英文叫做 Structured light， 通常采用特定波長的不可見的紅外激光作為光源， 它發射出來的光經過一定的編碼投影在物體上， 通過一定算法來計算返回的編碼圖案的畸變來得到物體的位置和深度信息。 根據編碼圖案不同一般有條紋結構光---enshape ， 編碼結構光---Mantis Vision, Realsense(F200), 散斑結構光---apple(primesense), 奧比中光。 下圖是一個典型的結構光相機的示意圖:

特定波長的 Laser 發出的結構光照射在物體表面， 其反射的光線被帶濾波的 camera 相機接收， 濾波片保證只有該波長的光線能為 camera 所接受。 Asic 芯片對接收到的光斑圖像進行運算， 得出物體的深度數據。其基本的算法原理可參看下圖：

（1）A 點： 激光投影模塊位置
（2）C 點： CMOS 相機位置
（3）d： BaseLine
（4）l： 參考面到相機的距離
（5）Z(X,Y): 物體表面(x,y)點到標定平面的距離。物體表面任一點 P(x,y)的深度信息可以通過比較P(x,y)與激光散斑投射到參考平面（虛線所示）上的點 P'(x,y)的 x 方向的偏移量得到。

以奧比中光的方案為例， 采用的是散斑結構光的技術， 下圖是 camera 接收到的散斑圖：

蘋果公司的 IphoneX 采用收購至 primesense 的技術， 也是散斑結構光， 所謂散斑就是是激光照射到粗糙物
體或穿透毛玻璃后隨機形成的衍射斑點。 這些散斑具有高度的隨機性， 而且會隨著距離的不同而變換圖案。

也就是說空間中任意兩處的散斑圖案都是不同的。 只要在空間中打上這樣的結構光， 整個空間就都被做了
標記， 把一個物體放進這個空間， 只要看看物體上面的散斑圖案， 就可以知道這個物體在什么位置了。 當
然， 在這之前要把整個空間的散斑圖案都記錄下來， 所以要先做一次光源標定， 通過對比標定平面的光斑
分布， 就能精確計算出當前物體距離相機的距離。
結構光（散斑） 的優點主要有：
1） 方案成熟， 相機基線可以做的比較小， 方便小型化。
2） 資源消耗較低， 單幀 IR 圖就可計算出深度圖， 功耗低。
3） 主動光源， 夜晚也可使用。
4） 在一定范圍內精度高， 分辨率高， 分辨率可達 1280x1024,幀率可達 60FPS。
散斑結構光的缺點與結構光類似：
1） 容易受環境光干擾， 室外體驗差。
2） 隨檢測距離增加， 精度會變差。

雙目視覺
雙目立體視覺(Binocular Stereo Vision)是機器視覺的一種重要形式， 他是基于視差原理并利用成像設備從不同的位置獲取被測物體的兩幅圖像， 通過計算圖像對應點間的位置偏差， 來獲取物體三維幾何信息的方法。 目前有主動雙目， 被動雙目之分， 被動雙目就是采用可見光， 好處是不需要額外光源， 但是晚上無法使用， 主動雙目就是主動發射紅外激光做補光， 這樣晚上也能使用。雙目視覺僅僅依靠圖像進行特征匹配， 對附加設備要求低， 在使用雙目視覺相機前必須對雙目中兩個攝像頭的位置進行精確標定。 下面圖片很好的簡單闡述了雙目相機如何獲取物體的深度數據。 同一直線上的 3 個點在下端的相機都投影到 cmos 同一個點， 因此單獨的這個相機沒法分辨三個點的距離， 但是這 3 各點在上端相機的投影位置不同， 通過三角測量辦法和兩個相機基線距離 B， 我們就可以計算出這 3 個點離相機平面距離。

當然完整的雙目深度計算非常復雜， 主要涉及到左右相機的特征匹配， 計算會非常消耗資源。
雙目相機的主要優點有：
1） 硬件要求低， 成本也低。 普通 CMOS 相機即可。
2） 室內外都適用。 只要光線合適， 不要太昏暗。
但是雙目的缺點也是非常明顯：
1） 對環境光照非常敏感。 光線變化導致圖像偏差大， 進而會導致匹配失敗或精度低。

2） 不適用單調缺乏紋理的場景。 雙目視覺根據視覺特征進行圖像匹配， 沒有特征會導致匹配失敗。
3） 計算復雜度高。 該方法是純視覺的方法， 對算法要求高， 計算量較大。
4） 基線限制了測量范圍。 測量范圍和基線（兩個攝像頭間距） 成正比， 導致無法小型化。

光飛行時間法(TOF)
顧名思義是測量光飛行時間來取得距離， 具體而言就是通過給目標連續發射激光脈沖， 然后用傳感器接收從反射光線， 通過探測光脈沖的飛行往返時間來得到確切的目標物距離。 因為光速激光， 通過直接測光飛行時間實際不可行， 一般通過檢測通過一定手段調制后的光波的相位偏移來實現。TOF 法根據調制方法的不同， 一般可以分為兩種： 脈沖調制（Pulsed Modulation） 和連續波調制（Continuous Wave Modulation）。 脈沖調制需要非常高精度時鐘進行測量， 且需要發出高頻高強度激光， 目前大多采用檢測相位偏移辦法來實現 TOF 功能。下面圖片描述了 TOF 相機（連續波） 的基本原理， 實際應用中， 通常采用的是正弦波調制。 由于接收端和發射端正弦波的相位偏移和物體距離攝像頭的距離成正比， 因此可以利用相位偏移來測量距離。

因為 TOF 并非基于特征匹配， 這樣在測試距離變遠時， 精度也不會下降很快， 目前無人駕駛以及一些高
端的消費類 Lidar 基本都是采用該方法來實現。
TOF 的優點主要有：
1） 檢測距離遠。 在激光能量夠的情況下可達幾十米。
2） 受環境光干擾比較小。
但是 TOF 也有一些顯而易見的問題：
1） 對設備要求高， 特別是時間測量模塊。
2） 資源消耗大。 該方案在檢測相位偏移時需要多次采樣積分， 運算量大。
3） 邊緣精度低。
4） 限于資源消耗和濾波， 幀率和分辨率都沒辦法做到較高。 目前消費類最大也就 VGA。
從上面三種主流的 3D 相機成像方案來看， 各有優劣， 但是從實際應用場景來看， 在非無人駕駛領域， 結構光， 特別是散斑結構光的用途是最廣泛。 因為從精度， 分辨率， 還有應用場景的范圍來看雙目和 TOF 都沒有辦法做到最大的平衡。 而且對于結構光容易受環境光干擾， 特別是太陽光影響問題， 鑒于此類相機都有紅外激光發射模塊， 非常容易改造為主動雙目來彌補該問題。 針對這三種方案， 我們針對常用場景做了一些測試。

當然這三種方案在發展過程中也有一些互相融合趨勢， 如主動雙目+結構光， 取長補短， 使 3D 相機能適應更多的場景。 也有一些同時使用， 如手機前置基本確認會采用結構光來做 FaceId， 但是后置用來做 AR 應用，結構光和 TOF 都有機會。 雖然項目具體使用哪種方案， 要結合當前硬件資源， 對性能要求等來確定， 但從最廣泛的使用角度來看， 散斑結構光無疑是目前最佳的方案。

總結

以上是生活随笔為你收集整理的3D相机（1）：1、了解的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。