1、Color Filter Array — CFA

隨著數(shù)碼相機(jī)、手機(jī)的普及，CCD/CMOS 圖像傳感器近年來得到廣泛的關(guān)注和應(yīng)用。?圖像傳感器一般都采用一定的模式來采集圖像數(shù)據(jù)，常用的有 BGR 模式和 CFA 模式。BGR 模式是一種可直接進(jìn)行顯示和壓縮等處理的圖像數(shù)據(jù)模式，它由 R( 紅)、G( 綠) 、B( 藍(lán)) 三原色值來共同確定 1 個像素點(diǎn)，例如富士數(shù)碼相機(jī)采用的 SUPER CCD 圖像傳感器就采用這種模式，其優(yōu)點(diǎn)是圖像傳感器產(chǎn)生的圖像數(shù)據(jù)無需插值就可直接進(jìn)行顯示等后續(xù)處理，圖像效果最好，但是成本高，常用于專業(yè)相機(jī)中。一般數(shù)碼相機(jī)的傳感器（CCD 或 CMOS）約占整機(jī)總成本的 10%~25%，為了減少成本，縮小體積，市場上的數(shù)碼相機(jī)大多采用 CFA 模式，即在像素陣列的表面覆蓋一層彩色濾波陣列（Color Filter Array，CFA），彩色濾波陣列有多種，現(xiàn)在應(yīng)用最廣泛的是 Bayer 格式濾波陣列，滿足 GRBG 規(guī)律，綠色像素數(shù)是紅色或藍(lán)色像素數(shù)的兩倍，這是因為人眼對可見光光譜敏感度的峰值位于中波段，這正好對應(yīng)著綠色光譜成分。

上圖就是一個采用 CFA 模式的圖像傳感器，有效分辨率為 640 x 480，該模式圖像數(shù)據(jù)只用 R、G、B 3個值中的1 個值來表示 1 個像素點(diǎn)。這樣一來每個像素點(diǎn)只能捕獲三基色 R，G，B 中的一個，而缺失另外兩個顏色值，這時候得到的是一幅馬賽克圖像。為了得到全彩色的圖像， 需要利用其周圍像素點(diǎn)的色彩信息來估計出缺失的另外兩種顏色， 這種處理叫作色彩插值，也稱作彩色插值或去馬賽克。

上圖是一個8 x 8像素大小的 CFA 模式圖像數(shù)據(jù)陣列，圖中 1 個方格表示 1個像素，R、G、B 的數(shù)字下標(biāo)表示其在 8 x 8 圖像陣列中的位置。由于 CFA 模式所采用的圖像顏色濾波陣列結(jié)構(gòu)相對簡單，并且所得到的圖像數(shù)據(jù)僅僅是原始圖像全部三原色信息的1 / 3 的數(shù)據(jù)，因此成本較低。但是，上圖中的 CFA 模式圖像數(shù)據(jù)與 BGR 模式的圖像數(shù)據(jù)相比，缺少了 2 / 3 的圖像顏色信息，所以要對 CFA 模式圖像數(shù)據(jù)進(jìn)行顯示、壓縮等后續(xù)處理，就需要事先對其進(jìn)行插值運(yùn)算，恢復(fù)CFA 模式圖像數(shù)據(jù)所缺少的2 / 3 顏色信息，從而將 CFA 模式圖像數(shù)據(jù)重建為與 BGR 模式圖像相匹配的圖像數(shù)據(jù)。比較常見的是雙線性插值算法：該算法在對一個像素點(diǎn)的某顏色值進(jìn)行插值運(yùn)算時，會用該像素相鄰像素點(diǎn)對應(yīng)顏色值通過算數(shù)平均來估計。

2、圖像去噪

在圖像的采集和傳輸過程中，圖像質(zhì)量經(jīng)常受到各種噪聲的影響而下降。由于采集和各種元器件容易受到強(qiáng)干擾會產(chǎn)生脈沖噪聲，由于照明不穩(wěn)定，鏡頭灰塵以及非線性的信道傳輸引起的圖像退化都會產(chǎn)生不同種類的噪聲其主要影響人的視覺效果，使人難以辨認(rèn)圖像的某些細(xì)節(jié)，另外噪聲給一些圖像處理算法帶來嚴(yán)重影響，例如梯度算子，由于一些與對象無關(guān)點(diǎn)的引入，使得無用信息的使用造成更加嚴(yán)重的后果，干擾了圖像的可觀測的信息。這里討論的噪聲僅僅局限在圖像傳感器獲取圖像數(shù)據(jù)時的噪聲污染，由于這時候的數(shù)據(jù)量較少，噪聲直接影響后面的插值算法，并使圖像的細(xì)節(jié)無法體現(xiàn)，既影響圖像的插值效果，也影響人的視覺感受。因此在圖像處理中噪聲的去除是一項非常重要的環(huán)節(jié)。

3、自動聚焦

自動聚焦目的是獲得清晰度更高得圖像。常用的聚焦方法分兩類，一類是傳統(tǒng)的聚焦方法，一種是基于數(shù)字圖像處理方式的圖像聚焦方法。傳統(tǒng)的方式中，自動聚焦通過紅外線或者超生波測距的方式來實(shí)現(xiàn)。這種方式需要安裝發(fā)射機(jī)和接收機(jī)，增加了攝像機(jī)的成本，而且超聲波對于玻璃后面的被攝物體不能很好的自動聚焦。這一類聚焦方式在某些場合受到了限制。因此在日趨集成化、微型化、低成本的應(yīng)用中，基于數(shù)字圖像處理的自動聚焦方法更具有優(yōu)勢。

根據(jù)鏡頭成像分析，鏡頭的光學(xué)傳遞函數(shù)可以近似為高斯函數(shù)，它的作用等效為一個低通濾波器。離焦量越大，光學(xué)傳遞函數(shù)的截止頻率越低。從頻域上看，離焦量增大，對圖像高頻能量造成損失，使得圖像的細(xì)節(jié)逐漸模糊。從空域上看，離焦量增大，點(diǎn)光源成像的光強(qiáng)分布函數(shù)越分散，可分辨的成像間距越大，圖像相鄰像素互相重疊，圖像細(xì)節(jié)損失嚴(yán)重。因此圖像清晰度評價函數(shù)時建立在圖像邊緣高頻能量上的。

數(shù)字處理方法中，自動聚焦的關(guān)鍵在于構(gòu)造圖像的清晰度評價函數(shù)。己經(jīng)提出的圖像清晰度評價函數(shù)苞括灰度方差、梯度能量、嫡函數(shù)和一些頻域函數(shù)法。圖像清晰度評價函數(shù)必須具有良好的單峰性和尖銳性，而且要計算量適度，從而可以快速的實(shí)現(xiàn)精準(zhǔn)對焦。

4、自動曝光

曝光是用來計算從景物到達(dá)相機(jī)的光通量大小的物理量。圖像傳感器只有獲得正確的曝光，才能得到高質(zhì)量的照片。曝光過度，圖像看起來太亮曝光不足，則圖像看起來太暗。到達(dá)傳感器的光通量的大小主要由兩方面因素決定：曝光時間的長短以及光圈的大小。

利用光圈進(jìn)行自動曝光，主要根據(jù)所拍攝的場景來控制光圈大小，使得進(jìn)光量維持在一定范圍內(nèi)。通過光圈進(jìn)行曝光控制的成本比較高。現(xiàn)在市場所見的中低端攝像頭采用的主流技術(shù)通過調(diào)整曝光時間來實(shí)現(xiàn)自動曝光。

目前自動曝光控制算法方法有兩種，一種是使用參照亮度值，將圖像均勻分成許多的子圖像，每一塊子圖像的亮度被用來設(shè)置參照亮度值，這個亮度值可以通過設(shè)置快門的速度來獲得。另外一種方法是，通過研究不同光照條件下的亮度與曝光值之間的關(guān)系來進(jìn)行曝光控制。這兩種方法都是研究了大量的圖像例子和許多不同的光照條件。而且均需要在不同的光照條件下所采集的圖像數(shù)據(jù)庫。實(shí)際中自動曝光研究需要解決好以下幾個問題，首先是判定圖像是否需要自動曝光，其次是自動曝光時，如何調(diào)整光電轉(zhuǎn)換后數(shù)字信號來找出自動曝光能力補(bǔ)償函數(shù)，最后就是調(diào)整到什么程度最為合適。

5、伽馬校正

在視頻采集顯示系統(tǒng)中，光電轉(zhuǎn)換（CCD/CMOS）和電光轉(zhuǎn)換（CRT/LCD）的器件的轉(zhuǎn)換特性都是非線性的。這些非線性期間都存在一個能反映各自特性的冪函數(shù)，用它來衡量非線性器件的轉(zhuǎn)換特性。這種特性稱為伽瑪特性，在視頻中由于伽瑪特性的存在，會導(dǎo)致圖像信號的亮度失真，降低通信質(zhì)量，影響用戶體驗。因此要對這個失真進(jìn)行補(bǔ)償，即伽瑪校正。
光電轉(zhuǎn)換器特性的非線性會引起圖像非線性失真，圖像的非線性失真主要表現(xiàn)在灰度的失真，即圖像亮度層次的壓縮與擴(kuò)張，其圖像表征為看起來被漂白或者太暗。攝像機(jī)/攝像頭的伽瑪特性大小一般為0.4 - 0.7，顯示器的伽瑪特性大小一般在1.3 - 2.5之間。
伽瑪校正的具體實(shí)現(xiàn)方法多種多樣，較簡單的實(shí)現(xiàn)方式是查表法。伽瑪校正分兩步。首先建立適合所用器件的伽瑪校正表，然后根據(jù)輸入的像素值查表獲得伽瑪校正后的數(shù)據(jù)。

6、白平衡

白平衡，字面上的理解是白色的平衡。用色彩學(xué)的知識解釋，白色是指反射到人眼中的光線由于藍(lán)、綠、紅三種色光比例相同且具有一定的亮度所形成的視覺反應(yīng)。白色光是由赤、橙、黃、綠、青、藍(lán)、紫七種色光組成的，而這七種色光又是有紅、綠、藍(lán)三原色按不同比例混合形成，當(dāng)一種光線中的三原色成分比例相同的時候，習(xí)慣上人們稱之為消色，黑、白、灰、金和銀所反射的光都是消色。通俗的理解白色是不含有色彩成份的亮度。人眼所見到的白色或其他顏色根物體本身的固有色、光源的色溫、物體的反射或透射特性、人眼的視覺感應(yīng)等諸多因素有關(guān)，舉個簡單的例子，當(dāng)有色光照射到消色物體時，物體反射光顏色與入射光顏色相同，既紅光照射下白色物體呈紅色，兩種以上有色光同時照射到消色物體上時，物體顏色呈加色法效應(yīng)，如紅光和綠光同時照射白色物體，該物體就呈黃色。當(dāng)有色光照射到有色物體上時，物體的顏色呈減色法效應(yīng)。如黃色物體在品紅光照射下呈現(xiàn)紅色，在青色光照射下呈現(xiàn)綠色，在藍(lán)色光照射下呈現(xiàn)灰色或黑色。
由于人眼具有獨(dú)特的適應(yīng)性，有時候不能發(fā)現(xiàn)色溫的變化。比如在鎢絲燈下呆久了，并不會覺得鎢絲燈下的白紙偏紅，如果突然把日光燈改為鎢絲燈照明，就會覺查到白紙的顏色偏紅了，但這種感覺也只能夠持續(xù)一會兒。攝像頭并不能像人眼那樣具有適應(yīng)性，所以如果攝像機(jī)的色彩調(diào)整同景物照明的色溫不一致就會發(fā)生偏色。白平衡就是針對不同色溫條件下，通過調(diào)攝像頭內(nèi)部的色彩電路使拍攝出來的影像抵消偏色，更接近人眼的視覺習(xí)慣。白平衡也可以簡單地理解為在任意色溫條件下，攝像頭所拍攝的標(biāo)準(zhǔn)白色經(jīng)過電路的調(diào)整，使之成像后仍然為白色。

7、顏色空間

顏色空間也稱彩色模型(又稱彩色空間或彩色系統(tǒng)），它的用途是在某些標(biāo)準(zhǔn)下用通常可接受的方式對彩色加以說明。本質(zhì)上，彩色模型是坐標(biāo)系統(tǒng)和子空間的闡述。位于系統(tǒng)的每種顏色都有單個點(diǎn)表示。 在彩色圖像處理中，選擇合適的彩色模型是很重要的。從應(yīng)用的角度來看，人們提出的眾多彩色模型可以分為兩類。一類面向諸如彩色顯示器或彩色打印機(jī)之類的硬設(shè)備（但可以與具體設(shè)備相關(guān)，也可以獨(dú)立于具體設(shè)備），比如 RFB、CMY、YUV 模型。另一類面向視覺感知或者說以彩色處理分析為目的的應(yīng)用，如動畫中的彩色圖形，各種圖像處理的算法等，像 HSI、HSV 模型等。

8、YUV 顏色空間

亮度信號（Y）和色度信號（U，V）是相互獨(dú)立的，也就是Y信號分量構(gòu)成的黑白灰度圖與用U，V信號構(gòu)成的另外兩幅單色圖是相互獨(dú)立的。由于Y，U，V是獨(dú)立的，所以可以對這些單色圖分別進(jìn)行編碼。黑白電視機(jī)能夠接收彩色電視信號也就是利用了YUV分量之間的獨(dú)立性。采用 YUV 顏色空間的好處在于人眼對彩色圖象細(xì)節(jié)的分辨本領(lǐng)比對黑白圖象低，因此，對色差信號， U、V，可以采用“大面積著色原理”。即用亮度信號Y 傳送細(xì)節(jié)，用色差信號U、V 進(jìn)行大面積涂色。因此，彩色信號的清晰度由亮度信號的帶寬保證，而把色差信號的帶寬變窄。正是由于這個原因，在多媒體計算機(jī)中，采用了 YUV 彩色空間，數(shù)字化的表示，通常采用Y:U:V = 8:4:4， 或者 Y:U:V = 8:2:2。例如8:2:2具體的做法是：對亮度信號Y，每個像素都用8位2進(jìn)制數(shù)表示（可以有256級亮度），而U、V 色差信號每4個像素點(diǎn)用一個8位數(shù)表示，即畫面的粒子變粗，但這樣能夠節(jié)約存儲空間，將一個像素用24位表示壓縮為用12位表示，節(jié)約 1/2 存儲空間，而人的眼睛基本上感覺不出這種細(xì)節(jié)的損失，這實(shí)際上也是圖像壓縮技術(shù)的一種方法。

YUV格式通常有兩大類：打包（packed）格式和平面（planar）格式。前者將YUV分量存放在同一個數(shù)組中，通常是幾個相鄰的像素組成一個宏像素（macro-pixel）；而后者使用三個數(shù)組分開存放YUV三個分量，就像是一個三維平面一樣。

9、圖像縮放

圖像縮放（Scaler）技術(shù)，也稱圖像尺度轉(zhuǎn)換、圖像重采樣和圖像分辨率轉(zhuǎn)換技術(shù)，是視頻圖像處理中的關(guān)鍵技術(shù)，廣泛應(yīng)用于實(shí)現(xiàn) FPD 圖像分辨率轉(zhuǎn)換。例如，高清晰度數(shù)字電視接收到 NTSC 或 PAL 格式的標(biāo)準(zhǔn)清晰度數(shù)字電視信號后需轉(zhuǎn)換成 HDTV（1920×1080）格式，才能在 HDTV 的電視上顯示；另外，等離子（PDP）電視、TFT-LCD 電視等逐行顯示器，須提升接收到的圖像分辨率使之和液晶顯示屏的物理分辨率一致，才能在終端上顯示出視頻圖像；因此，Scaler 性能的優(yōu)劣，將直接決定顯示器圖像的質(zhì)量。

圖像縮放可理解為圖像的重采樣過程，關(guān)鍵在于用連續(xù)模型函數(shù)來擬合原始離散圖像，在求得連續(xù)模型參數(shù)后，根據(jù)所需縮放倍率對此連續(xù)圖像進(jìn)行重采樣，得到符合目標(biāo)分辨率的離散圖像。數(shù)字圖像重采樣的本質(zhì)是對離散圖像點(diǎn)進(jìn)行插值的過程。根據(jù)采樣/重建理論，理想的插值核為 sinc 函數(shù)，但在物理上是不可實(shí)現(xiàn)的。通常的插值核函數(shù)都是采用近似于 sinc 函數(shù)的有限寬度插值函數(shù)。最近鄰域法是最簡單的縮放算法，但會使處理后的圖像產(chǎn)生明顯的鋸齒形邊緣和馬賽克效應(yīng)。雙線性插值法雖然能解決最近鄰域法所存在的問題，但卻容易造成圖像邊緣的模糊。作為改進(jìn)，又提出了加窗 sinc 核函數(shù)，從而得到了高次插值算法，如立方插值、高次樣條插值等。

總結(jié)

以上是生活随笔為你收集整理的Camera原理的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。