CMOS图像传感器——图像传感器噪声
????????圖像傳感器噪聲取決于圖像傳感器的制作工藝、內(nèi)部結(jié)構(gòu)及內(nèi)部補(bǔ)償技術(shù)等原因，噪聲反應(yīng)了圖像傳感器的內(nèi)部特性。CMOS圖像傳感器基本原理見：
CMOS圖像傳感——概述_滄海一升的博客-CSDN博客_cmos圖像傳感器CMOS圖像傳感器基本介紹https://blog.csdn.net/qq_21842097/article/details/117659629????????相比純粹的光學(xué)器件，電子器件在噪聲方面的性能更差。受量化噪聲、溫度、漂移、ADC 精度、勢(shì)阱閾值容量、暗電流以及像素之間差異等因素影響，圖像傳感器拍攝的圖像不能避免受到噪聲影響。研究圖像傳感器的噪聲成因，能夠?yàn)閳D像噪聲的校正提供理論依據(jù)，并且為圖像傳感器制造技術(shù)提供參考。
? ? ? ? 下面就介紹CMOS圖像傳感器的主要噪聲成因。
一、光子散粒噪聲（Photon shot noise）
????????光是由離散的光子構(gòu)成（光的粒子性），光源發(fā)出的光子打在CMOS上，從而形成一個(gè)可見的光點(diǎn)。光源每秒發(fā)射的光子到達(dá)CMOS的越多，則該像素的灰度值越大。但是因?yàn)楣庠窗l(fā)射和CMOS接收之間都有可能存在一些因素導(dǎo)致單個(gè)光子并沒有被CMOS接收到或者某一時(shí)間段內(nèi)發(fā)射的光子特別多（量子漲落），所以這就導(dǎo)致了灰度值會(huì)有波動(dòng)，也就是所謂的散粒噪聲。噪聲分布如下，通過對(duì)兩幅連續(xù)圖像進(jìn)行做差來分離得到光子散粒噪聲：
?????????噪聲直方圖本質(zhì)上是一個(gè)高斯分布，不同像素間的光子計(jì)數(shù)波動(dòng)是完全不相關(guān)的，就其空間變化而言，光子shot noise是白噪聲（在所有空間頻率上具有相同的強(qiáng)度）。因此，從表現(xiàn)形式來看，光子散粒噪聲表現(xiàn)為椒鹽噪聲。
? ? ? ? 進(jìn)一步分析，可以得到該噪聲滿足泊松分布。至于為什么是泊松分布，非常好理解。對(duì)于每一個(gè)像素點(diǎn)，能否接收到光子可以用一個(gè)二項(xiàng)分布（伯努利分布）去描述，從整個(gè)面的角度，能夠接收到的概率是比較小的，而且分散到整個(gè)探測(cè)器平面的光子數(shù)往往是非常多的，能夠使得這個(gè)二項(xiàng)分布趨向于泊松分布（二項(xiàng)分布的極限就是泊松分布）。
?????????對(duì)于泊松分布，其均值與方差均相同，事實(shí)上均值的分布就是概率（波函數(shù)）的分布，可以看作是信號(hào)。通常在圖像中定義信噪比的時(shí)候，可以將標(biāo)準(zhǔn)差定義為噪聲，所以對(duì)于散粒噪聲，噪聲是與信號(hào)有關(guān)的。而且可以想象，總光子數(shù)越多，均值就越高，同時(shí)標(biāo)準(zhǔn)差也越大，也就是信號(hào)與噪聲同時(shí)增加，然而信號(hào)的提高是?倍的提高，而噪聲是??倍(標(biāo)準(zhǔn)差與方差存在根號(hào)的關(guān)系)，所以總光子數(shù)的提高會(huì)帶來信噪比??倍的提高。光照越高，散粒噪聲越不明顯;光照越低，它就越明顯。
二、讀出噪聲（sensor read noise）
????????由像素的光敏部分收集的光子會(huì)刺激電子的逸散（光電效應(yīng)），每一個(gè)被捕獲的光子都會(huì)發(fā)射一個(gè)電子。累積的光電子被轉(zhuǎn)換成與其數(shù)量成比例的電壓，電壓通過PGA進(jìn)行放大（在相機(jī)里，此處放大倍數(shù)稱為原生ISO），并在模數(shù)轉(zhuǎn)換器 (ADC) 中進(jìn)行數(shù)字化。代表所有像素的光子計(jì)數(shù)的數(shù)字構(gòu)成圖像的原始數(shù)據(jù)，我們將這個(gè)數(shù)字稱為像素的原始值。
????????在理想情況下，原始數(shù)據(jù)中記錄的數(shù)字?jǐn)?shù)與光子數(shù)成正比。光子數(shù)量和相應(yīng)的原始值之間的比例常數(shù)通常被稱為傳感器的模擬增益(它不是真正的增益，而是光電子計(jì)數(shù)和原始值之間的轉(zhuǎn)換因子)。由于ISO值每增加一倍就會(huì)使給定曝光的原始值增加一倍，所以增益與ISO成反比——ISO值增加一倍就會(huì)使增益減半，因?yàn)橄嗤瑪?shù)量的光子在ISO值增加一倍時(shí)就會(huì)轉(zhuǎn)換成兩倍大的原始值。
?????????在現(xiàn)實(shí)世界中，原始數(shù)據(jù)并不精確地反映光子計(jì)數(shù)。信號(hào)處理鏈中的每個(gè)電子電路元件——從傳感器讀出，到ISO增益，再到數(shù)字化——都會(huì)受到電壓波動(dòng)的影響，導(dǎo)致原始值與理想值的偏差與光子計(jì)數(shù)成比例。由于信號(hào)處理電子器件的原始值的波動(dòng)構(gòu)成了傳感器的read noise。
? ? ? ? 通過拍攝“黑幀”圖像（蓋上鏡頭蓋進(jìn)行曝光和最高可用快門速度）來分離得到讀取噪聲：沒有捕捉到光子，只剩下讀取傳感器的電子噪聲。可以看出，噪聲的直方圖近似為高斯分布。
????????就其空間變化而言，read noise并不完全是白噪聲。經(jīng)過仔細(xì)觀察，圖像的波動(dòng)中有一維模式。因?yàn)閺娜搜鄣母兄Ｊ絹碚f，即使。模式或條帶噪聲對(duì)整體噪聲的貢獻(xiàn)較小，但在視覺上比白噪聲更明顯。
三、模式噪聲（Pattern noise）?
????????模式噪聲既可以具有固定的分量，即在圖像之間也不會(huì)發(fā)生變化；也可以具有一個(gè)可變分量，雖然在像素之間不是隨機(jī)的，但在圖像兩兩之間并不相同。
????????通過對(duì) 16 個(gè)相同的“黑幀”進(jìn)行平均來或得固定模式噪聲的pattern，可以平均掉任何可變的、波動(dòng)的讀噪聲分量，留下大部分固定的分量。可以看到，圖中既有水平條帶，也有垂直條帶。
? ? ? ? 可以看到，固定模式噪聲在視覺上造成的影響是巨大的。目前，業(yè)界主要采用相關(guān)雙采樣（CDS）技術(shù)來消除固定模式噪聲。
四、熱噪聲（Thermal noise）
????????在像素中受熱激發(fā)可以釋放幾個(gè)電子，這些熱電子與光子吸收釋放的電子無法區(qū)分，因此導(dǎo)致原始數(shù)據(jù)所代表的光子計(jì)數(shù)的失真。熱電子在單位時(shí)間內(nèi)以相對(duì)恒定的速率釋放，因此熱噪聲隨曝光時(shí)間增加。
???????噪聲水平隨著曝光時(shí)間的增加而上升，在這個(gè)特定樣本中，當(dāng)曝光時(shí)間超過約 15 秒時(shí)，斜率會(huì)下降。 這種行為變化的原因是標(biāo)準(zhǔn)偏差的上升主要是由于分布尾部的一些“hot” pixel。當(dāng)這些像素的原始值達(dá)到 max（sensor的最大值）時(shí)，它們對(duì)標(biāo)準(zhǔn)偏差的貢獻(xiàn)會(huì)飽和，并且只有其他像素會(huì)導(dǎo)致標(biāo)準(zhǔn)偏差（較慢）上升。
????????為了顯示這些外圍“hot” pixel 數(shù)量的增長(zhǎng)，下圖以白色繪制了兩個(gè)不同曝光時(shí)間的像素值高于平均值四個(gè)或更多標(biāo)準(zhǔn)差的像素（左圖曝光時(shí)間為15s，右圖為30s）：
?????????對(duì)于少于一秒左右的曝光，讀取噪聲相對(duì)恒定，熱噪聲對(duì)整體圖像噪聲的貢獻(xiàn)可以忽略不計(jì)。?另一個(gè)導(dǎo)致圖像質(zhì)量下降的熱因素是amplifier glow，這是由讀出放大器發(fā)出的紅外輻射（熱量）引起的：
? ? ? ? 可以看到，圖中右下角有明顯的發(fā)亮，該部分靠近讀出電路。?
五、光響應(yīng)非均勻性（Pixel response non-uniformity?）
????????光響應(yīng)非均勻性（PRNU，Pixel response non-uniformity）—— 由于sensor中并非所有像素在捕捉和計(jì)數(shù)光子方面都具有完全相同的效率，即使沒有read noise、shot noise等，原始計(jì)數(shù)仍然會(huì)有變化。造成這個(gè)問題的原因主要是在傳感器制造過程中，感光元件上的硅的薄厚不同造成的。
????????通過分別測(cè)量組合的shot noise和read noise，并從一系列曝光的總噪聲中適當(dāng)?shù)販p去這些噪聲，我們得到了PRNU“噪聲”繪制為曝光的函數(shù)的圖像：
????????PRNU“噪聲”隨著曝光的增長(zhǎng)而增長(zhǎng)——不同的像素記錄了不同比例的光子，因此PRNU的RAW值的標(biāo)準(zhǔn)差與曝光成正比增長(zhǎng)。另一方面，shot noise隨著曝光的平方根而增大;read noise與曝光無關(guān)。在較低的曝光shot noise是主要的貢獻(xiàn)，陰影區(qū)域read noise變得重要。
????????PRNU通常占總噪聲的1~2%左右，很多時(shí)候是可以忽略的。從下圖中可以看出當(dāng)信號(hào)較大時(shí)光信號(hào)本身的散粒噪聲遠(yuǎn)大于像素的非線性響應(yīng)噪聲。
六、量化噪聲（Quantization error）
????????當(dāng)來自signal 的模擬電壓信號(hào)被數(shù)字化為一個(gè)RAW值時(shí)，它被四舍五入到一個(gè)附近的整數(shù)值。由于這種四舍五入，RAW值會(huì)略微錯(cuò)誤地表示實(shí)際信號(hào);數(shù)字化帶來的誤差稱為量化誤差，有時(shí)也被稱為量化噪聲。
????????
七、暗電流相關(guān)噪聲
????????暗電流是在目標(biāo)物體無光照的條件下觀測(cè)到的電流，是一種非理想因素，暗電流會(huì)積分成為暗電荷并存儲(chǔ)在像素內(nèi)的電荷儲(chǔ)存節(jié)點(diǎn)。暗電荷的數(shù)量與積分時(shí)間成正比，同時(shí)也和溫度有關(guān)系。
1、暗電流散粒噪聲（Dark current shot noise）
????????暗電流散粒噪聲源自像素的暗電流的波動(dòng)。由于像素中的熱誘導(dǎo)電子流（熱電子發(fā)射）而產(chǎn)生暗電流。由于累積電荷量與時(shí)間成比例，因此在像素中會(huì)產(chǎn)生暗信號(hào)。由于電子的離散性質(zhì)，暗信號(hào)在每個(gè)像素中都不會(huì)相同，但會(huì)遵循泊松分布，就像光子散粒噪聲一樣。因此，暗電流散粒噪聲等于暗電流的平方根，因此將隨著像素的積分時(shí)間而增長(zhǎng)。由于暗電流是熱現(xiàn)象，因此它與溫度有很大關(guān)系。通常認(rèn)為暗電流每8攝氏度加倍，但這個(gè)數(shù)字在不同傳感器之間可能有很大不同，因此應(yīng)該將其視為一個(gè)經(jīng)驗(yàn)法則而非精確數(shù)字。所以在設(shè)計(jì)電路時(shí)必須注意把容易發(fā)熱的電子元件盡可能布置在遠(yuǎn)離sensor的地方。
2、暗信號(hào)響應(yīng)非均勻性（Dark signal non-uniformity?）
????????暗電流產(chǎn)生在像素之間可能不同，并且這將顯示為通常被稱為暗信號(hào)不均勻性（DSNU）的固定模式噪聲。對(duì)于CMOS傳感器而言，無論是在像素級(jí)還是列級(jí)，其他元件的差異也可能導(dǎo)致不均勻性。這些可能是隨機(jī)的或結(jié)構(gòu)化的，取決于它們的起源是在像素本身還是在傳感器的列電路中。如果源自列電路，則結(jié)果將在圖像中顯示為垂直條紋。
3、復(fù)位噪聲（Reset noise）
? ? ? ? 根據(jù)CMOS圖像傳感器的工作原理，卷簾曝光方式需要在先對(duì)勢(shì)阱復(fù)位，將勢(shì)阱中自由積累的電荷全部釋放，為后續(xù)的讀出準(zhǔn)備。但是由于暗電流的存在，每次復(fù)位后都會(huì)殘留一些大小隨機(jī)的噪聲信號(hào)，即復(fù)位噪聲，其大小與像素結(jié)構(gòu)、芯片溫度、PN結(jié)電容有關(guān)，因此也稱為kTC噪聲。
????????像素的復(fù)位是需要一定時(shí)間的。定量的研究表明，即使是采用較大的復(fù)位電流，一般也需要1ms以上的時(shí)間才能將電荷釋放干凈，如下圖所示。
?????????實(shí)際的復(fù)位控制信號(hào)通常會(huì)短于1ms，因此下一幀圖像多多少少會(huì)殘存一些上一幀圖像的影子，這個(gè)殘影叫做image lag，也是噪聲的一種形式。下圖顯示了有殘影和無殘影的圖像對(duì)比。
? ? ? ? 復(fù)位噪聲也可以通過相關(guān)雙采樣(correlated double sampling, CDS)進(jìn)行抑制。
八、1/f 噪聲（Flicker noise）
????????1/f 噪聲是一種低頻噪聲，在有些文獻(xiàn)中也稱flicker noise（閃爍噪聲） 或pink noise（粉紅噪聲），它廣泛存在于半導(dǎo)體器件中。在低頻的時(shí)候1/f噪聲一般顯著高于電散粒噪聲。
????????從上圖中可以看到，“pink”與“white”這兩種"顏色"的主要區(qū)別在于功率譜的分布。白噪聲的功率在所有頻段上是均勻分布的，而粉紅噪聲的功率主要集中在低頻。
? ? ? ? 1/ f 噪聲大部分被相關(guān)雙采樣(correlated double sampling, CDS)所抑制，只要兩次采樣之間的間隔足夠短,可以認(rèn)為 1/ f 噪聲是失調(diào)。
九、串?dāng)_（cross-talk）
? ? ? ??在sensor領(lǐng)域，串?dāng)_指的是入射到一個(gè)像素A的光信號(hào)沒有在這個(gè)像素里被捕獲，反而被其周圍的像素B捕獲，導(dǎo)致B產(chǎn)生了不該有的信號(hào)。下圖顯示了串?dāng)_的原理，黃色像素周圍的多個(gè)像素都有可能捕獲一些本屬于黃色的光子，這也是一種噪聲來源。
????????波長(zhǎng)越長(zhǎng)，串?dāng)_越嚴(yán)重。而造成這一?現(xiàn)象越來遠(yuǎn)嚴(yán)重的原因在于像素越做越小。業(yè)界為了解決串?dāng)_也做了很多努力：
CMOS圖像傳感器 —— ISOCELL_滄海一升的博客-CSDN博客_cmos圖像傳感器介紹了三星 ISOCELL技術(shù)，在此基礎(chǔ)上說明了DTI（深槽隔離技術(shù)），索尼的B-DTI，OV 的PureCel Plus-S均采用DTI技術(shù)。https://blog.csdn.net/qq_21842097/article/details/121011137
??????????盡管像素噪聲有多種來源，但每種噪聲的貢獻(xiàn)程度并不是同等重要的。為了簡(jiǎn)化計(jì)算，實(shí)際上經(jīng)常采用簡(jiǎn)化的噪聲模型，只考慮光散粒噪聲、暗散粒噪聲、讀出噪聲、以及ADC器件的量化噪聲。
????????甚至可以進(jìn)一步將量化噪聲吸收到讀出噪聲中。因此，在計(jì)算信噪比時(shí)，往往噪聲往往只計(jì)算讀出噪聲，散粒噪聲以及暗電流。見：
CMOS圖像傳感器——提升圖像信噪比_滄海一升的博客-CSDN博客_cmos信噪比介紹常用的提升信噪比方法的技術(shù)原理，并對(duì)他們的效果做定量分析https://blog.csdn.net/qq_21842097/article/details/118785962
總結(jié)
以上是生活随笔為你收集整理的CMOS图像传感器——图像传感器噪声的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 转 list三种遍历效率
- 下一篇： 智能故事机方案简介