HDR 成像技术学习（二）
? ? ? ? 回顧下之前介紹的內容：
HDR成像技術學習（一）
? ? ? ? 介紹了從HDR、HDR+等多幀HDR技術到硬件的單幀HDR技術。
????????從技術上來說，單幀HDR要比多幀HDR簡單不少，在早期設備處理能力不足的時候，速度快，沒拖影，性能要求低的單幀HDR反而要更有優勢。到了HDR＋時代，單幀HDR漸漸不敵多幀合成HDR。技術的迭代就是這么殘酷。這些技術曾經短暫地在部分手機上應用過，但是很快因為效果不佳也退出了市場。
? ? ? ? 數次嘗試結果都很一般，硬件 HDR 的出路在何方呢？針對這一問題，主流廠商也給出了自己的答案。
一、行交織?HDR
????????多幀異曝光的問題主要出現在應對運動物體無力，容易被手抖影響，而多幀同曝光的畫質雖然上限很高，但代價也很大，有沒有一種比較折衷的辦法，既能較好地應對運動物體，又能較好地節約寶貴的計算資源和電力呢？
????????答案就是行交織 HDR。
????????要想理解行交織 HDR，我們要先了解 CMOS 的工作原理，現代手機里應用的都是滾動快門（Rolling Shutter），也就是說它的讀取不是所有像素同時讀出，而是從上到下一行一行讀取。
????????在傳統的多幀 HDR 里，每一幀都需要在上一幀完成讀取后才能進行。CMOS 會先進行一次長曝光，然后從上到下完整讀取出整個畫面的數據，然后再開始中曝光，從上到下讀一遍，最后以同樣的方式完成短曝光。換言之兩幀之間的時間間隔是曝光時間 + 傳感器完整完成讀取一幀的時間，在第一行像素被讀出后，它需要等待其它行的像素被讀取完才能開始中曝光。
????????如果我們能讓 CMOS 的每一行像素完成讀取后，立即開始下一次曝光，就可以省下等待其它像素完成讀取的時間。我們讓 CMOS 完成長曝光后，讀取完第一行的同時，第一行像素幾乎立即開始中曝光，而無需等待其它行的像素讀取完成，而在這個時候，其它行也在進行著讀取 - 下一次曝光的工作，每一行不同的曝光和讀取交替進行，就像紡織里互相穿插的紗線一樣，我們就把它稱作行交織技術。兩幀之間的讀取間隔被縮短，物體運動帶來的偽像得以顯著改善。
????????以兩曝光為例，sensor每行會以長短曝光兩次先后輸出，從readout角度來看，就是長曝光幀line與短曝光幀 line interleaving 依次輸出：?
? ? ? ? 當然，各個廠商提出的方案?有一些不同，Sony的稱為DOL-HDR（Digital overlap），OV的稱為staggered HDR，下面分別介紹。
1、DOL-HDR
????????索尼支持‘準同時’輸出多幀不同曝光時間的圖像。ISP收到多幀圖像后可以做圖像融合，生成HDR圖像。
????????Sony在推出DOL的時候，宣傳DOL是‘準同時’輸出長短曝光。既然是‘準同時’，那就還不是同時，所以也會有一些典型時域多幀HDR的圖像質量問題，同時DOL也有一些特有的IQ（image quality）問題——HDR Transition Artefacts。
????????從DOL hdr的noise?profile可以看出來，如下圖，在HDR拼接處，可以看到SNR的顯著變化，叫做snr?drop，當SNR?drop大的時候，就會出現明顯的edge，如上圖所示。? ? ?
????????曝光比越小，SNR?drop就越小,?可以想見，如果曝光比為1，也就沒有snr?drop了。反之，曝光比越大，動態范圍越大，snr?drop也越大。
2、staggered HDR
? ? ? ? 與Sony不同的是最多支持4:1曝光輸出，即long，medium，short，veryshort。而OV最多支持3:1輸出，即long，medium，short。
????????所以如果相同的exposure ratio的話，合成后的HDR圖像sony可以達到更大的動態范圍。
????????合成的方法都是一樣的，把先輸出的曝光行存入line buffer，然后做frame stitch，形成HDR輸出。
????????OV?支持4種輸出方式：
????????相比Sony?的DOL-HDR，?OV的輸出方式比較靈活配置以適應傳輸帶寬的限制。
小結：采用行交織HDR方式時，每幀的間隔從時域HDR的曝光時間+讀出時間減少為僅曝光時間。但由于相鄰兩行的時間間隔由先前僅讀取一次短曝光變為讀取一次短曝光和幾次長曝光，因此行交織HDR的讀出時間會翻倍（倍數取決于每行進行了幾次曝光），果凍效應會加劇。
????在白天，也就是短曝光時間很短時，可以看到每幀的曝光間隔幾乎可以忽略不記，但仍然不能算是同步的，物體也會位移，并且光線不足時效果也會不盡如人意。
????綜合來講，行交織HDR是目前普通消費領域最好的HDR合成方式之一。?
二、Dual Gain
????????隨著圖像傳感器的像素數越來越高，?單像素尺寸變得越來越小，現在的億像素sensor pixel pitch已經到了0.8um。Pixel size變小所帶來的full well capacity?與SNR?性能的變差,也很大地影響了sensor的動態范圍，所以手機sensor廠需要采用新的技術手段解決改善這個問題。
????????我們都知道CMOS圖像傳感器本質上是光電轉換和模數轉換兩部分連接的一個器件。如果這兩步轉換都工作在一個確定倍數增益的狀態下，輸入多少光子與輸出多少亮度之間應該是一一對應的。但是實際上有攝影知識的人都知道并不是這樣，ISO在數碼相機當中都是可以設置的，也就意味著“可變增益”——固定的光子數量下，輸出的亮度可以不一致。當然了，這個不一致并不是完全沒有代價的。????????
????????一個典型的CMOS感光元件（內置ADC），其輸出圖像的過程可以概括為以下幾步：
????????很明顯在傳統的CMOS技術當中，可以改變增益值（輸出亮度和輸入亮度比值）的步驟是4和5——或者這么說，改變4的增益倍數就相當于你在機身上設置ISO（模擬增益），改變5的增益倍數（數字增益）就是等效于使用擴展ISO或者后期在ACR里拉亮度。
? ? ? ? 其次，在傳感器技術當中經常提到一個性能參數叫滿阱容量（Full-Well Capacity，FWC），在數字圖像當中也會使用一個概念叫白點（White Level）。實際上對于一部相機和它輸出的圖像而言這兩個值應該是一一對應的——滿阱就意味著過曝，過曝輸出的圖像就是純白。所以阱容（3當中這個電容的容量）也是會影響ISO的。
? ? ? ? 因此，我們可以根據通過調整Gain來獲得不同曝光值（不同ISO下）的圖片，從而完成HDR。改變增益的位置不同，涉及的技術也不同，現在流行的主要是：雙原生ISO技術（Dual Gain Amplifier） 和??雙轉換增益技術（Dual Conversion Gain，DCG）。下面分別進行介紹。
1、Dual Gain Amplifier
? ? ? ? Dual Gain Amplifier技術其實是在電路中提供了兩條電路，連接增益大小不同的PGA。事實上，更準確地講，該技術應稱為雙電路增益。 由于改變模擬增益相當于調整了ISO，因此，也被稱為雙原生ISO技術。
? ? ? ? 值得一提的是，在小米10至尊紀念版相機主攝里，小米和豪威提出了"雙原生ISO Fusion技術"，與雙原生ISO技術比較如下：
? ? ? ? 具體技術原理有待查詢資料。
2、Dual Conversion Gain
? ? ? ? 我們通過調整阱容來獲得不同增益的曝光值時，采用的就是雙轉換增益技術：像素有兩個不同的FWC。在小FWC時，本底噪聲小，對應較高的增益；在大FWC時，本底噪聲大，對應較低的增益。這樣減小了噪聲的占比，即提高了信噪比。
? ? ? ? 由于需要改變阱容，實際上這一技術的實現在于特殊地像素結構：
????????使用的方案，在FD節點和CFD電荷阱之間增加了一個Dual Gain Switch。在High conversion gain?的模式下，DCG保持斷開，這樣FD電容等于小電容FD，所以conversion gain大。當工作low conversion gain模式下，DCG保持連接，FD電容等于大電容，相應的CG就小。
三、Dual Gain+行交織 HDR
? ? ? ? OV在前面的基礎上，在小米10 至尊紀念版采用的主攝 OV48C上實現了現了支持同時讀出的dual gain，能同時讀出一個更亮的和一個更暗的圖片。基于此，利用這一技術搭配行交織 HDR，得到了一種更強的實現：
????????在第一幀里，我們使用同樣的曝光時間，同時讀出高增益（High Conversion Gain，HCG）和低增益（Low Conversion Gain，LCG）兩幀畫面，實現長曝光和中曝光的效果，然后再補充一個短曝光即可，如果光比不是太大，放棄短曝光換取更短的遲滯也是可以的。
????????這種增強版行交織 HDR 長曝光與中曝光之間完全沒有時間差，可以進一步改善對運動物體的拍攝效果。
????????
總結
以上是生活随笔為你收集整理的HDR 成像技术学习（二）的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 对“西刺免费代理IP“爬取、测试并存入M
- 下一篇： sqluldr2 用法简述