一、3D成像技術(shù)概述??

????????圖像傳感器一直以來都是人類研究的熱點。但隨著當(dāng)代科學(xué)技術(shù)發(fā)展， 人類對于傳統(tǒng)的 2D 圖像傳感器的要求越來高，不僅期望著更高分辨率，更快速度，更大的動態(tài)范圍，人類加希望能夠獲得物體深信息，但是 2D 成 像技術(shù)現(xiàn)在已經(jīng)不能滿足人類的需求，所以應(yīng)運(yùn)而生了 3D 成像技術(shù)。下圖展示了采用 3D 成像技術(shù)所獲得的圖，（a）中是一個實際的場景，（b）表示通過表示通過 3D 成像技術(shù)獲得的該場景的深度信息。

?????????目前市場上常見的3D 成像技術(shù)主要有結(jié)構(gòu)光法，雙目立體視覺法和飛行時間法等，我們主體上采用2001年 Optical Engineering（《光學(xué)工程》）一書中的分類，如下圖所示

????????

????????光學(xué)測距的方法整體上分成主動和被動兩種。其中被動（Passive）包括了立體視覺（Stereoscopy，比如人們常說的“雙攝測距”）、聚焦合成（Depth-from-Focus，典型的類似技術(shù)比如光場相機(jī)）；而ToF被歸類到主動光學(xué)測距技術(shù)中，主動技術(shù)還包括了三角測量（Triangulation，典型的如iPhone中Face ID的結(jié)構(gòu)光）、干涉法（interferometry）等。

????????值得一提的是，這個分類方法或許仍然不夠全面。比如在不同切分維度中，三角測量這種方法本身就可以分成主動和被動兩種，雙攝測距的立體視覺就屬于被動三角測距方案。再比如說在被動光學(xué)測距技術(shù)分類上，在深度方面做文章的不僅有depth from focus，還有depth from motion、depth from shape等。

1、三角測量

????????其中結(jié)構(gòu)光法和雙目立體視覺法是比較傳統(tǒng)的方法，都是基于光學(xué)和幾何原理測量物體的深度信息。

????????結(jié)構(gòu)光法通過向目標(biāo)發(fā)射近紅外波段的可控光點、光條或光面，依據(jù)目標(biāo)引起的光學(xué)圖形的偏移提取場景的深度信息。如上圖圖所示，依照光學(xué)三角測量原理，可通過測量偏移量x’，計算得到目標(biāo)相對于參考的距離x，進(jìn)而實現(xiàn)三維成像。這種成像方法原理比較簡單，成本較低，但是缺點也很明顯：受環(huán)境光影響嚴(yán)重，且受被照射物體的材質(zhì)影像也很嚴(yán)重，成像精度較低。

????????雙目立體視覺法則是利用兩個攝像機(jī)同時測量同物體，來得到物體各點在兩個相機(jī)中的視差再計算得到物體的三維坐標(biāo)值。這種方法原理簡單，精度較高，但是因其成本較高，并且需要對相機(jī)進(jìn)行標(biāo)定，同時在后續(xù)計算距離信息時算法比較復(fù)雜，并且對于如何辨別不同傳感器所拍攝圖像中的同一視域還沒有較好的解決方法。

2、全息干涉

????????此外，還可以通過全息干涉法實現(xiàn)3D 成像。該技術(shù)對于物體位移的測量可達(dá)到幾百納米甚至更高的精度，是眾多3D 成像技術(shù)中絕對精度及分辨率最高的。全息干涉法的實現(xiàn)裝置如圖：

?????????光源產(chǎn)生的光首先會經(jīng)過分束器變成兩路光，由于這兩束光的光學(xué)路徑不同，其相位也不一樣，從而產(chǎn)生兩束相干光，兩相干光照射到物體上形成的圖形會有細(xì)微的差別，進(jìn)而提取物體的位移信息。該技術(shù)廣泛應(yīng)用于震動模式識別、表面位移等領(lǐng)域。但它的測量范圍有限，多為
微米到毫米級的短距離應(yīng)用。

3、飛行時間

????????飛行時間法圖像傳感器不同于傳統(tǒng)的3D 成像法，它主要包含間接型和直接型兩種類型。

????????ToF 傳感器又分為連續(xù)波型和脈沖型，大體原理相同，區(qū)別主要在于一個是有光源發(fā)射一定調(diào)制頻率的紅外脈沖信號，通過測量發(fā)射脈沖和接收到的脈沖之間的時間間隔來得到物體距離信息；一個是發(fā)射一定調(diào)制頻率的紅外正弦波信號，通過在四個相位連續(xù)積分得到接收光的相位偏移來計算物體的距離信息。

? ? ? ? 其中基于連續(xù)波的ToF 傳感器具有功耗低，像素結(jié)構(gòu)相對簡單，精度高，成本低等優(yōu)點。此外，ToF 因其體積小，還可用于虛擬現(xiàn)實，智能手機(jī)和可穿戴傳感器設(shè)備中，使得ToF 成像將成為實現(xiàn)智能化社會生活環(huán)境的最基本技術(shù)。

二、飛行時間（TOF）三維圖像傳感器

????????與傳統(tǒng)的結(jié)構(gòu)光法和雙目立體視覺法以及全息干涉法相比，隨著CMOS 工藝的不斷進(jìn)步，ToF 在相機(jī)體積和成本方面遠(yuǎn)低于前者。對于ToF 來說，雖然其分辨率略低于現(xiàn)有基于全息干涉法的產(chǎn)品，但隨著工藝的不斷進(jìn)步以及電路設(shè)計水平的提升，ToF 相機(jī)的分辨率將會有很大提升；在精度方面，結(jié)構(gòu)光法和ToF 法均達(dá)到了毫米量級，而雙目立體視覺法僅為厘米量級；在速度方面，雙目立體視覺法和結(jié)構(gòu)光法都是基于光學(xué)三角表原理計算深度的，計算復(fù)雜，極大的影響了成像速度。此外，ToF 法還具有不需要像素對應(yīng)、測量范圍受限制弱等優(yōu)勢，這使得基于ToF 的3D 成像技術(shù)成為未來主流的3D 成像技術(shù)。

????????現(xiàn)如今，在業(yè)內(nèi)已有多款飛行時間三維圖像傳感器問世。按照光源調(diào)制方式、飛行時間測量原理以及像素結(jié)構(gòu)對現(xiàn)有傳感器進(jìn)行分類，可分為下圖所示幾種。

1、光源調(diào)制方式

????????飛行時間圖像傳感器常用的調(diào)制手段分為兩種：(a)連續(xù)波調(diào)制和(b)脈沖波調(diào)制。兩種調(diào)制方式都需要特定的探測器結(jié)構(gòu)、測量方法和距離計算手段。連續(xù)波調(diào)制技術(shù)也可稱作鎖相技術(shù)，經(jīng)調(diào)制的信號一般為周期性的光信號，如正弦波信號；脈沖調(diào)制技術(shù)則是一組經(jīng)調(diào)制的脈沖信號。調(diào)制后的波形如圖：

2、飛行時間測量原理

1）間接飛行時間

????????如圖所示，調(diào)制后的發(fā)射光會被物體反射，被像素接收的反射光會與發(fā)射光存在相位差。

?????????如果能夠獲得相位差的具體數(shù)值，即可根據(jù)式子

????????計算出目標(biāo)物與探測器的距離。其中z為計算的距離，c為光速，f為發(fā)射光的調(diào)制頻率，為入射光和反射光的相位差。

????????為了獲得接收光與發(fā)射光的相位差，或者說是獲得接收光的相位信息，需要對接收光進(jìn)行采樣四個點。設(shè)發(fā)射的正弦波為：

? ? ? ?接收光為

? ? ? ? 這里B是背景光帶來的噪聲，也可認(rèn)為是散粒噪聲。通過采樣計算出相位差從而獲得距離信息。分別采樣0°，90°，180°，270 的四個點。得到四相采樣的結(jié)果：

?

? ? ? ? 然而在實際中，接收光照射到圖像傳感器上，產(chǎn)生光生電荷，無法通過光生電荷直接獲得采樣獲得正弦波各個點的數(shù)值。只有采用對光生電荷進(jìn)行積分的方法從而進(jìn)行采樣，以0°，90°，180°，270°四個點為起點開始積分，積分的時間為正弦信號的半個周期。

????????間接飛行時間法的實現(xiàn)電路簡單，但卻容易受到背景光的影響，降低了該方法的準(zhǔn)確度。

2）直接飛行時間

????????直接飛行時間法測量發(fā)射光和反射光的時間差，可快速獲得目標(biāo)物與探測器的距離。

?????????由于直接法采用的是脈沖調(diào)制光源，所以對光源系統(tǒng)的要求很高，發(fā)射光脈沖的上升時間和下降時間要很快。此外，為了保證準(zhǔn)確檢測光脈沖，對探測器和前端電路的響應(yīng)速度也有一定的要求。例如，系統(tǒng)要求測量的分辨率達(dá)到1 毫米，那么計數(shù)器的時鐘頻率要達(dá)到150GHz。這對現(xiàn)有工藝來說是一個巨大的挑戰(zhàn)。而且直接法也存在背景光噪聲的問題。

3）時間相關(guān)單光子計數(shù)

????????時間相關(guān)單光子計數(shù)(Time-correlated single-photon counting，TCSPC)因其能夠?qū)r間信息進(jìn)行準(zhǔn)確測量而被廣泛應(yīng)用于核物理及天文領(lǐng)域。在生命科學(xué)領(lǐng)域也有很大的應(yīng)用空間，如熒光相關(guān)光譜，熒光壽命成像，熒光共振能量轉(zhuǎn)移技術(shù)等。??

? ? ? ? 下圖為TCSPC 裝置，該裝置的Start 觸發(fā)信號與脈沖激光二極管是同步的，單光子探測器提供Stop 信號。

?????????每個獨(dú)立的光子事件對應(yīng)獨(dú)立的Start-Stop 時間差：

????????當(dāng)在一個探測周期內(nèi)入射到探測器的光子數(shù)超過一個時，只有一個光子會被探測到，其他光子將無法令探測器產(chǎn)生相應(yīng)的響應(yīng)，這是因為每個光子事件被探測到時，會使系統(tǒng)處于死時間狀態(tài)，即圖中所示的Td，在這段時間內(nèi)其他入射光子是無法檢測到的。?

????????在TCSPC 系統(tǒng)中，最后輸出的是以光子到達(dá)時間為橫坐標(biāo)，以檢測到的光子事件數(shù)為縱坐標(biāo)的直方圖，如圖所示：

? ? ? ? 在該光子事件直方圖中，每次直方圖的開始時間，即零時刻，是與光源發(fā)射的信號同步的，而光子事件直方圖的持續(xù)時間就等于一次探測周期的長度。直方圖中的開窗大小由還原深度信息的硬件決定。通過光子事件直方圖還原深度有下面三種方法：

最大峰法。人為設(shè)定一個光子事件閾值，只有超過這一閾值的部分才被認(rèn)為是與最終所測目標(biāo)的距離相關(guān)；然后就是峰值的定位，這一步只需要通過峰值查找算法即可完成。

互相關(guān)法。通過判斷光子事件直方圖與發(fā)射光之間的相似程度來計算目標(biāo)深度信息。

最小能量法。當(dāng)要檢測的信號僅含有背景噪聲時，對該信號在時間軸上對其能量進(jìn)行積分，將會得到一個按照固定斜率上升的能量曲線；如果信號中存在脈沖，該脈沖的上升沿將會使得能量曲線的斜率出現(xiàn)跳變。因此可以通過該方法檢測信號中脈沖出現(xiàn)的時間點。

? ? ? ? 總地來說，TCSPC還是基于時差的TOF方法，通過時差來計算深度距離。

3、SPAD TOF圖像傳感器

? ? ? ? 這里主要說明基于SPAD像素的TOF圖像傳感器。該傳感器主要用于直接TOF（dTOF）。

????????我們說回直接TOF法，其使用脈沖光源，傳感器內(nèi)部的每一個像素都直接測量往返時間，具有靈敏度高的優(yōu)點，并且不存在光電子積累的過程，其測量精度受光噪聲的影響比較小，為了達(dá)成目標(biāo)，像素需要一個高速的光電探測器和高精度的時間-數(shù)字轉(zhuǎn)換電路（TDC）。TCSPC這一方法也是同樣的需求。目前最為常用的光電探測器就是SPAD。基于SPAD的像素如下圖：

????????以該像素為基礎(chǔ)的圖像傳感器的精度主要由單光子雪崩二極管（SPAD）探測器性能和TDC 電路精度決定。下圖為該TOF?圖像傳感器原理，激光發(fā)射光脈沖經(jīng)目標(biāo)物體反射后入射SPAD 發(fā)生雪崩擊穿，TDC 電路測量激光信號和SPAD 雪崩信號之間的時間間隔，從而可以通過計算得到目標(biāo)物體和傳感器之間的距離。

1）SPAD

????????這里說明什么是SPAD。根據(jù)光電二極管的 I-V 特性，可分為太陽能電池模式、光電二極管模式、雪崩模式、蓋革模式等幾種工作狀態(tài)，下圖是光電二極管分別在明暗條件下的I-V 曲線。

????????蓋革模式下的光電二極管的增益理論上是無窮的，所以經(jīng)常被用來進(jìn)行單光子探測，也稱作單光子雪崩二極管（SPAD）。在蓋革模式下，雪崩光電二極管吸收光子會產(chǎn)生電子-空穴對，在高反偏電壓產(chǎn)生的強(qiáng)電場作用下電子-空穴對被加速，從而獲得足夠的能量，然后與晶格發(fā)
生碰撞，形成連鎖效應(yīng)，結(jié)果形成大量的電子-空穴對，引發(fā)雪崩現(xiàn)象，電流成指數(shù)增長。此時SPAD 的增益理論上是無窮的，單個光子就能夠使SPAD 的光電流達(dá)到飽和。

????????工作在蓋革模式下的SPAD 可以看作是內(nèi)置數(shù)字觸發(fā)器的探測器，在雪崩-淬滅-復(fù)位三個狀態(tài)間切換。狀態(tài)切換過程如圖：

?????????VA 為施加在SPAD 兩端的電壓，該電壓要比SPAD 的擊穿電壓VBD 高出一個溢出電壓VEX，以保證二極管始終處于蓋革模式。在這種狀態(tài)下一旦有載流子進(jìn)入勢壘區(qū)，即使只有一個載流子，它也會在強(qiáng)電場的作用下被加速，進(jìn)而發(fā)生碰撞電離以及雪崩倍增，產(chǎn)生以指數(shù)形式增長的雪崩電流。此時的二極管處于開啟狀態(tài)。

????????需要注意的是，SPAD 的開啟狀態(tài)是自持的，即沒有外界干擾的情況下，這種狀態(tài)會一直維持下去。這也就致使SPAD 無法繼續(xù)檢測后續(xù)的光子事件。此外，產(chǎn)生的雪崩電流極大，會使SPAD 融化。為避免上述兩種情況，外加淬滅電路使SPAD 脫離雪崩狀態(tài)是必不可少的。淬滅的過程就是將SPAD 兩端的電壓降至VBD 甚至更低。淬滅完成后SPAD 的外加電壓會復(fù)位至VA，等待下一次的光子入射。常用的淬滅方法是針對連續(xù)信號的被動淬滅(passive quenching)、主動淬滅(active quenching)，以及針對非連續(xù)信號的門控脈沖淬滅(gated mode quenching)三種。

2）TDC

????????時間數(shù)字轉(zhuǎn)換（Time-to-Digital Converters，TDC）技術(shù)在航空航天、雷達(dá)定位、激光測距、衛(wèi)星導(dǎo)航等領(lǐng)域受到了廣泛應(yīng)用。

?????????TDC 電路用于量化兩個信號之間的時間間隔，與模數(shù)轉(zhuǎn)換器有些相似之處，區(qū)別在于模數(shù)轉(zhuǎn)換器量化的是電流或電壓，TDC 是用數(shù)字方式輸出待測時間間隔大小。

????????待測時間間隔即為START 信號STOP 信號之間的時間差。分辨率和測量誤差是影響TDC 性能的兩個關(guān)鍵技術(shù)指標(biāo)。分辨率指的是TDC 最小量化步長，即能夠分辨的最小時間變化量。

總結(jié)

以上是生活随笔為你收集整理的CMOS图像传感器——TOF 图像传感器的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。