1、Color Filter Array — CFA

隨著數(shù)碼相機(jī)、手機(jī)的普及，CCD/CMOS 圖像傳感器近年來(lái)得到廣泛的關(guān)注和應(yīng)用。?圖像傳感器一般都采用一定的模式來(lái)采集圖像數(shù)據(jù)，常用的有 BGR 模式和 CFA 模式。BGR 模式是一種可直接進(jìn)行顯示和壓縮等處理的圖像數(shù)據(jù)模式，它由 R( 紅)、G( 綠) 、B( 藍(lán)) 三原色值來(lái)共同確定 1 個(gè)像素點(diǎn)，例如富士數(shù)碼相機(jī)采用的 SUPER CCD 圖像傳感器就采用這種模式，其優(yōu)點(diǎn)是圖像傳感器產(chǎn)生的圖像數(shù)據(jù)無(wú)需插值就可直接進(jìn)行顯示等后續(xù)處理，圖像效果最好，但是成本高，常用于專(zhuān)業(yè)相機(jī)中。一般數(shù)碼相機(jī)的傳感器（CCD 或 CMOS）約占整機(jī)總成本的 10%~25%，為了減少成本，縮小體積，市場(chǎng)上的數(shù)碼相機(jī)大多采用 CFA 模式，即在像素陣列的表面覆蓋一層彩色濾波陣列（Color Filter Array，CFA），彩色濾波陣列有多種，現(xiàn)在應(yīng)用最廣泛的是 Bayer 格式濾波陣列，滿(mǎn)足 GRBG 規(guī)律，綠色像素?cái)?shù)是紅色或藍(lán)色像素?cái)?shù)的兩倍，這是因?yàn)槿搜蹖?duì)可見(jiàn)光光譜敏感度的峰值位于中波段，這正好對(duì)應(yīng)著綠色光譜成分。

上圖就是一個(gè)采用 CFA 模式的圖像傳感器，有效分辨率為 640 x 480，該模式圖像數(shù)據(jù)只用 R、G、B 3個(gè)值中的1 個(gè)值來(lái)表示 1 個(gè)像素點(diǎn)。這樣一來(lái)每個(gè)像素點(diǎn)只能捕獲三基色 R，G，B 中的一個(gè)，而缺失另外兩個(gè)顏色值，這時(shí)候得到的是一幅馬賽克圖像。為了得到全彩色的圖像， 需要利用其周?chē)袼攸c(diǎn)的色彩信息來(lái)估計(jì)出缺失的另外兩種顏色， 這種處理叫作色彩插值，也稱(chēng)作彩色插值或去馬賽克。

上圖是一個(gè)8 x 8像素大小的 CFA 模式圖像數(shù)據(jù)陣列，圖中 1 個(gè)方格表示 1個(gè)像素，R、G、B 的數(shù)字下標(biāo)表示其在 8 x 8 圖像陣列中的位置。由于 CFA 模式所采用的圖像顏色濾波陣列結(jié)構(gòu)相對(duì)簡(jiǎn)單，并且所得到的圖像數(shù)據(jù)僅僅是原始圖像全部三原色信息的1 / 3 的數(shù)據(jù)，因此成本較低。但是，上圖中的 CFA 模式圖像數(shù)據(jù)與 BGR 模式的圖像數(shù)據(jù)相比，缺少了 2 / 3 的圖像顏色信息，所以要對(duì) CFA 模式圖像數(shù)據(jù)進(jìn)行顯示、壓縮等后續(xù)處理，就需要事先對(duì)其進(jìn)行插值運(yùn)算，恢復(fù)CFA 模式圖像數(shù)據(jù)所缺少的2 / 3 顏色信息，從而將 CFA 模式圖像數(shù)據(jù)重建為與 BGR 模式圖像相匹配的圖像數(shù)據(jù)。比較常見(jiàn)的是雙線(xiàn)性插值算法：該算法在對(duì)一個(gè)像素點(diǎn)的某顏色值進(jìn)行插值運(yùn)算時(shí)，會(huì)用該像素相鄰像素點(diǎn)對(duì)應(yīng)顏色值通過(guò)算數(shù)平均來(lái)估計(jì)。

2、圖像去噪

在圖像的采集和傳輸過(guò)程中，圖像質(zhì)量經(jīng)常受到各種噪聲的影響而下降。由于采集和各種元器件容易受到強(qiáng)干擾會(huì)產(chǎn)生脈沖噪聲，由于照明不穩(wěn)定，鏡頭灰塵以及非線(xiàn)性的信道傳輸引起的圖像退化都會(huì)產(chǎn)生不同種類(lèi)的噪聲其主要影響人的視覺(jué)效果，使人難以辨認(rèn)圖像的某些細(xì)節(jié)，另外噪聲給一些圖像處理算法帶來(lái)嚴(yán)重影響，例如梯度算子，由于一些與對(duì)象無(wú)關(guān)點(diǎn)的引入，使得無(wú)用信息的使用造成更加嚴(yán)重的后果，干擾了圖像的可觀測(cè)的信息。這里討論的噪聲僅僅局限在圖像傳感器獲取圖像數(shù)據(jù)時(shí)的噪聲污染，由于這時(shí)候的數(shù)據(jù)量較少，噪聲直接影響后面的插值算法，并使圖像的細(xì)節(jié)無(wú)法體現(xiàn)，既影響圖像的插值效果，也影響人的視覺(jué)感受。因此在圖像處理中噪聲的去除是一項(xiàng)非常重要的環(huán)節(jié)。

3、自動(dòng)聚焦

自動(dòng)聚焦目的是獲得清晰度更高得圖像。常用的聚焦方法分兩類(lèi)，一類(lèi)是傳統(tǒng)的聚焦方法，一種是基于數(shù)字圖像處理方式的圖像聚焦方法。傳統(tǒng)的方式中，自動(dòng)聚焦通過(guò)紅外線(xiàn)或者超生波測(cè)距的方式來(lái)實(shí)現(xiàn)。這種方式需要安裝發(fā)射機(jī)和接收機(jī)，增加了攝像機(jī)的成本，而且超聲波對(duì)于玻璃后面的被攝物體不能很好的自動(dòng)聚焦。這一類(lèi)聚焦方式在某些場(chǎng)合受到了限制。因此在日趨集成化、微型化、低成本的應(yīng)用中，基于數(shù)字圖像處理的自動(dòng)聚焦方法更具有優(yōu)勢(shì)。

根據(jù)鏡頭成像分析，鏡頭的光學(xué)傳遞函數(shù)可以近似為高斯函數(shù)，它的作用等效為一個(gè)低通濾波器。離焦量越大，光學(xué)傳遞函數(shù)的截止頻率越低。從頻域上看，離焦量增大，對(duì)圖像高頻能量造成損失，使得圖像的細(xì)節(jié)逐漸模糊。從空域上看，離焦量增大，點(diǎn)光源成像的光強(qiáng)分布函數(shù)越分散，可分辨的成像間距越大，圖像相鄰像素互相重疊，圖像細(xì)節(jié)損失嚴(yán)重。因此圖像清晰度評(píng)價(jià)函數(shù)時(shí)建立在圖像邊緣高頻能量上的。

數(shù)字處理方法中，自動(dòng)聚焦的關(guān)鍵在于構(gòu)造圖像的清晰度評(píng)價(jià)函數(shù)。己經(jīng)提出的圖像清晰度評(píng)價(jià)函數(shù)苞括灰度方差、梯度能量、嫡函數(shù)和一些頻域函數(shù)法。圖像清晰度評(píng)價(jià)函數(shù)必須具有良好的單峰性和尖銳性，而且要計(jì)算量適度，從而可以快速的實(shí)現(xiàn)精準(zhǔn)對(duì)焦。

4、自動(dòng)曝光

曝光是用來(lái)計(jì)算從景物到達(dá)相機(jī)的光通量大小的物理量。圖像傳感器只有獲得正確的曝光，才能得到高質(zhì)量的照片。曝光過(guò)度，圖像看起來(lái)太亮曝光不足，則圖像看起來(lái)太暗。到達(dá)傳感器的光通量的大小主要由兩方面因素決定：曝光時(shí)間的長(zhǎng)短以及光圈的大小。

利用光圈進(jìn)行自動(dòng)曝光，主要根據(jù)所拍攝的場(chǎng)景來(lái)控制光圈大小，使得進(jìn)光量維持在一定范圍內(nèi)。通過(guò)光圈進(jìn)行曝光控制的成本比較高。現(xiàn)在市場(chǎng)所見(jiàn)的中低端攝像頭采用的主流技術(shù)通過(guò)調(diào)整曝光時(shí)間來(lái)實(shí)現(xiàn)自動(dòng)曝光。

目前自動(dòng)曝光控制算法方法有兩種，一種是使用參照亮度值，將圖像均勻分成許多的子圖像，每一塊子圖像的亮度被用來(lái)設(shè)置參照亮度值，這個(gè)亮度值可以通過(guò)設(shè)置快門(mén)的速度來(lái)獲得。另外一種方法是，通過(guò)研究不同光照條件下的亮度與曝光值之間的關(guān)系來(lái)進(jìn)行曝光控制。這兩種方法都是研究了大量的圖像例子和許多不同的光照條件。而且均需要在不同的光照條件下所采集的圖像數(shù)據(jù)庫(kù)。實(shí)際中自動(dòng)曝光研究需要解決好以下幾個(gè)問(wèn)題，首先是判定圖像是否需要自動(dòng)曝光，其次是自動(dòng)曝光時(shí)，如何調(diào)整光電轉(zhuǎn)換后數(shù)字信號(hào)來(lái)找出自動(dòng)曝光能力補(bǔ)償函數(shù)，最后就是調(diào)整到什么程度最為合適。

5、伽馬校正

在視頻采集顯示系統(tǒng)中，光電轉(zhuǎn)換（CCD/CMOS）和電光轉(zhuǎn)換（CRT/LCD）的器件的轉(zhuǎn)換特性都是非線(xiàn)性的。這些非線(xiàn)性期間都存在一個(gè)能反映各自特性的冪函數(shù)，用它來(lái)衡量非線(xiàn)性器件的轉(zhuǎn)換特性。這種特性稱(chēng)為伽瑪特性，在視頻中由于伽瑪特性的存在，會(huì)導(dǎo)致圖像信號(hào)的亮度失真，降低通信質(zhì)量，影響用戶(hù)體驗(yàn)。因此要對(duì)這個(gè)失真進(jìn)行補(bǔ)償，即伽瑪校正。
光電轉(zhuǎn)換器特性的非線(xiàn)性會(huì)引起圖像非線(xiàn)性失真，圖像的非線(xiàn)性失真主要表現(xiàn)在灰度的失真，即圖像亮度層次的壓縮與擴(kuò)張，其圖像表征為看起來(lái)被漂白或者太暗。攝像機(jī)/攝像頭的伽瑪特性大小一般為0.4 - 0.7，顯示器的伽瑪特性大小一般在1.3 - 2.5之間。
伽瑪校正的具體實(shí)現(xiàn)方法多種多樣，較簡(jiǎn)單的實(shí)現(xiàn)方式是查表法。伽瑪校正分兩步。首先建立適合所用器件的伽瑪校正表，然后根據(jù)輸入的像素值查表獲得伽瑪校正后的數(shù)據(jù)。

6、白平衡

白平衡，字面上的理解是白色的平衡。用色彩學(xué)的知識(shí)解釋，白色是指反射到人眼中的光線(xiàn)由于藍(lán)、綠、紅三種色光比例相同且具有一定的亮度所形成的視覺(jué)反應(yīng)。白色光是由赤、橙、黃、綠、青、藍(lán)、紫七種色光組成的，而這七種色光又是有紅、綠、藍(lán)三原色按不同比例混合形成，當(dāng)一種光線(xiàn)中的三原色成分比例相同的時(shí)候，習(xí)慣上人們稱(chēng)之為消色，黑、白、灰、金和銀所反射的光都是消色。通俗的理解白色是不含有色彩成份的亮度。人眼所見(jiàn)到的白色或其他顏色根物體本身的固有色、光源的色溫、物體的反射或透射特性、人眼的視覺(jué)感應(yīng)等諸多因素有關(guān)，舉個(gè)簡(jiǎn)單的例子，當(dāng)有色光照射到消色物體時(shí)，物體反射光顏色與入射光顏色相同，既紅光照射下白色物體呈紅色，兩種以上有色光同時(shí)照射到消色物體上時(shí)，物體顏色呈加色法效應(yīng)，如紅光和綠光同時(shí)照射白色物體，該物體就呈黃色。當(dāng)有色光照射到有色物體上時(shí)，物體的顏色呈減色法效應(yīng)。如黃色物體在品紅光照射下呈現(xiàn)紅色，在青色光照射下呈現(xiàn)綠色，在藍(lán)色光照射下呈現(xiàn)灰色或黑色。
由于人眼具有獨(dú)特的適應(yīng)性，有時(shí)候不能發(fā)現(xiàn)色溫的變化。比如在鎢絲燈下呆久了，并不會(huì)覺(jué)得鎢絲燈下的白紙偏紅，如果突然把日光燈改為鎢絲燈照明，就會(huì)覺(jué)查到白紙的顏色偏紅了，但這種感覺(jué)也只能夠持續(xù)一會(huì)兒。攝像頭并不能像人眼那樣具有適應(yīng)性，所以如果攝像機(jī)的色彩調(diào)整同景物照明的色溫不一致就會(huì)發(fā)生偏色。白平衡就是針對(duì)不同色溫條件下，通過(guò)調(diào)攝像頭內(nèi)部的色彩電路使拍攝出來(lái)的影像抵消偏色，更接近人眼的視覺(jué)習(xí)慣。白平衡也可以簡(jiǎn)單地理解為在任意色溫條件下，攝像頭所拍攝的標(biāo)準(zhǔn)白色經(jīng)過(guò)電路的調(diào)整，使之成像后仍然為白色。

7、顏色空間

顏色空間也稱(chēng)彩色模型(又稱(chēng)彩色空間或彩色系統(tǒng)），它的用途是在某些標(biāo)準(zhǔn)下用通常可接受的方式對(duì)彩色加以說(shuō)明。本質(zhì)上，彩色模型是坐標(biāo)系統(tǒng)和子空間的闡述。位于系統(tǒng)的每種顏色都有單個(gè)點(diǎn)表示。 在彩色圖像處理中，選擇合適的彩色模型是很重要的。從應(yīng)用的角度來(lái)看，人們提出的眾多彩色模型可以分為兩類(lèi)。一類(lèi)面向諸如彩色顯示器或彩色打印機(jī)之類(lèi)的硬設(shè)備（但可以與具體設(shè)備相關(guān)，也可以獨(dú)立于具體設(shè)備），比如 RFB、CMY、YUV 模型。另一類(lèi)面向視覺(jué)感知或者說(shuō)以彩色處理分析為目的的應(yīng)用，如動(dòng)畫(huà)中的彩色圖形，各種圖像處理的算法等，像 HSI、HSV 模型等。

8、YUV 顏色空間

亮度信號(hào)（Y）和色度信號(hào)（U，V）是相互獨(dú)立的，也就是Y信號(hào)分量構(gòu)成的黑白灰度圖與用U，V信號(hào)構(gòu)成的另外兩幅單色圖是相互獨(dú)立的。由于Y，U，V是獨(dú)立的，所以可以對(duì)這些單色圖分別進(jìn)行編碼。黑白電視機(jī)能夠接收彩色電視信號(hào)也就是利用了YUV分量之間的獨(dú)立性。采用 YUV 顏色空間的好處在于人眼對(duì)彩色圖象細(xì)節(jié)的分辨本領(lǐng)比對(duì)黑白圖象低，因此，對(duì)色差信號(hào)， U、V，可以采用“大面積著色原理”。即用亮度信號(hào)Y 傳送細(xì)節(jié)，用色差信號(hào)U、V 進(jìn)行大面積涂色。因此，彩色信號(hào)的清晰度由亮度信號(hào)的帶寬保證，而把色差信號(hào)的帶寬變窄。正是由于這個(gè)原因，在多媒體計(jì)算機(jī)中，采用了 YUV 彩色空間，數(shù)字化的表示，通常采用Y:U:V = 8:4:4， 或者 Y:U:V = 8:2:2。例如8:2:2具體的做法是：對(duì)亮度信號(hào)Y，每個(gè)像素都用8位2進(jìn)制數(shù)表示（可以有256級(jí)亮度），而U、V 色差信號(hào)每4個(gè)像素點(diǎn)用一個(gè)8位數(shù)表示，即畫(huà)面的粒子變粗，但這樣能夠節(jié)約存儲(chǔ)空間，將一個(gè)像素用24位表示壓縮為用12位表示，節(jié)約 1/2 存儲(chǔ)空間，而人的眼睛基本上感覺(jué)不出這種細(xì)節(jié)的損失，這實(shí)際上也是圖像壓縮技術(shù)的一種方法。

YUV格式通常有兩大類(lèi)：打包（packed）格式和平面（planar）格式。前者將YUV分量存放在同一個(gè)數(shù)組中，通常是幾個(gè)相鄰的像素組成一個(gè)宏像素（macro-pixel）；而后者使用三個(gè)數(shù)組分開(kāi)存放YUV三個(gè)分量，就像是一個(gè)三維平面一樣。

9、圖像縮放

圖像縮放（Scaler）技術(shù)，也稱(chēng)圖像尺度轉(zhuǎn)換、圖像重采樣和圖像分辨率轉(zhuǎn)換技術(shù)，是視頻圖像處理中的關(guān)鍵技術(shù)，廣泛應(yīng)用于實(shí)現(xiàn) FPD 圖像分辨率轉(zhuǎn)換。例如，高清晰度數(shù)字電視接收到 NTSC 或 PAL 格式的標(biāo)準(zhǔn)清晰度數(shù)字電視信號(hào)后需轉(zhuǎn)換成 HDTV（1920×1080）格式，才能在 HDTV 的電視上顯示；另外，等離子（PDP）電視、TFT-LCD 電視等逐行顯示器，須提升接收到的圖像分辨率使之和液晶顯示屏的物理分辨率一致，才能在終端上顯示出視頻圖像；因此，Scaler 性能的優(yōu)劣，將直接決定顯示器圖像的質(zhì)量。

圖像縮放可理解為圖像的重采樣過(guò)程，關(guān)鍵在于用連續(xù)模型函數(shù)來(lái)擬合原始離散圖像，在求得連續(xù)模型參數(shù)后，根據(jù)所需縮放倍率對(duì)此連續(xù)圖像進(jìn)行重采樣，得到符合目標(biāo)分辨率的離散圖像。數(shù)字圖像重采樣的本質(zhì)是對(duì)離散圖像點(diǎn)進(jìn)行插值的過(guò)程。根據(jù)采樣/重建理論，理想的插值核為 sinc 函數(shù)，但在物理上是不可實(shí)現(xiàn)的。通常的插值核函數(shù)都是采用近似于 sinc 函數(shù)的有限寬度插值函數(shù)。最近鄰域法是最簡(jiǎn)單的縮放算法，但會(huì)使處理后的圖像產(chǎn)生明顯的鋸齒形邊緣和馬賽克效應(yīng)。雙線(xiàn)性插值法雖然能解決最近鄰域法所存在的問(wèn)題，但卻容易造成圖像邊緣的模糊。作為改進(jìn)，又提出了加窗 sinc 核函數(shù)，從而得到了高次插值算法，如立方插值、高次樣條插值等。

總結(jié)

以上是生活随笔為你收集整理的ISP 图像传感器camera原理的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。